💬 NLP

Self-Improving In-Context Learning

यह शोध पत्र इन-कॉन्टेक्स्ट लर्निंग के लिए एक टेस्ट-टाइम कैलिब्रेशन विधि प्रस्तावित करता है जो मॉडल के लॉग-प्रोबेबिलिटीज से प्राप्त एक सेल्फ-सुपरवाइज्ड कॉन्फिडेंस प्रॉक्सी को अधिकतम करके निरंतर प्रॉम्प्ट एम्बेडिंग्स को अनुकूलित करता है, जिससे फाइन-ट्यूनिंग, टोकन जनरेशन, या बाहरी डेटा की आवश्यकता के बिना वर्गीकरण और जनरेशन दोनों कार्यों पर प्रदर्शन में सुधार होता है।

मूल लेखक: Baturay Saglam, Dionysis Kalogerias

प्रकाशित 2026-05-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Baturay Saglam, Dionysis Kalogerias

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा घबराया हुआ छात्र (AI मॉडल) है जो एक परीक्षा के सामने बैठा है। शिक्षक छात्र को वास्तविक प्रश्न से ठीक पहले कुछ उदाहरण और उनके उत्तर (जिन्हें "डेमोंस्ट्रेशन" कहा जाता है) देता है। छात्र को इन उदाहरणों को देखना चाहिए, पैटर्न को समझना चाहिए और फिर नए प्रश्न को हल करना चाहिए। इसे इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning) कहा जाता है।

समस्या यह है कि यह छात्र अविश्वसनीय रूप से नाजुक है। यदि आप उदाहरणों का क्रम बदल देते हैं, या यदि उदाहरण थोड़े अजीब तरीके से लिखे गए हैं, तो छात्र भ्रमित हो सकता है और असफल हो सकता है, भले ही उसे उत्तर पता हो।

यह पेपर एक चतुर तरकीब प्रस्तावित करता है जिससे छात्र को वास्तविक टेस्ट शुरू होने से ठीक पहले बेहतर प्रदर्शन करने में मदद मिलती है, बिना उसे कुछ नया सिखाए या उसके मस्तिष्क (ब्रेन) को बदले।

मुख्य विचार: "मानसिक वाइब" (Mental Vibe) को ट्यून करना

आमतौर पर, जब हम किसी AI को सुधारना चाहते हैं, तो हम या तो:

उसे नए तथ्य सिखाते हैं (Fine-tuning): जैसे छात्र को पूरी नई पाठ्यपुस्तक देना।
बेहतर उदाहरण चुनते हैं (Selection): जैसे बेहतरीन अभ्यास प्रश्न ढूँढना।
उदाहरणों का क्रम बदलते हैं (Ordering): जैसे अभ्यास प्रश्नों को सबसे तार्किक क्रम में व्यवस्थित करना।

यह पेपर कुछ अलग करता है। यह प्रॉम्प्ट (उदाहरणों) को एक निश्चित टेक्स्ट के रूप में नहीं, बल्कि एक निरंतर "वाइब" या "एहसास" के रूप में देखता है जिसे AI महसूस करता है। प्रॉम्प्ट को एक रेडियो फ्रीक्वेंसी की तरह समझें। आप जो टेक्स्ट पढ़ते हैं वह केवल डायल पर लगा एक लेबल है, लेकिन AI वास्तव में उसके नीचे के स्टैटिक (शोर) और सिग्नल स्ट्रेंथ (गणितीय एम्बेडिंग) को "सुनता" है।

लेखकों ने महसूस किया कि नया प्रश्न पूछने से पहले ही, AI उन उदाहरणों के बारे में पहले ही "सोच" चुका होता है। उसने उन उदाहरणों के अपने उत्तरों के लिए एक कॉन्फिडेंस स्कोर (आत्मविश्वास का स्तर) निर्धारित कर लिया है।

"स्व-सुधार" (Self-Improving) वाली तरकीब

यहाँ उनकी विधि का चरण-दर-चरण उपमा दी गई है:

साइलेंट चेक (The Silent Check): AI उदाहरणों को देखता है और फुसफुसाता है, "यदि मैं इन उदाहरणों का उत्तर देता, तो मैं कितना आश्वस्त होता?" वह वास्तव में उत्तर नहीं लिखता; वह बस अपने आंतरिक आत्मविश्वास की जाँच करता है।
"नज" या हल्का धक्का (The "Nudge"): शोधकर्ता एक गणितीय उपकरण (जिसे ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन कहा जाता है) का उपयोग करके "रेडियो डायल" (प्रॉम्प्ट की अंतर्निहित गणित) को धीरे से हिलाते हैं। वे पूछते हैं: "यदि मैं डायल को थोड़ा सा बाईं ओर घुमाता हूँ, तो क्या AI उदाहरणों के बारे में अधिक आश्वस्त महसूस करेगा? दाईं ओर के बारे में क्या?"
चढ़ाई (The Climb): वे उस दिशा में डायल को हिलाना जारी रखते हैं जो AI को उदाहरणों के बारे में अधिक आश्वस्त बनाता है। वे अनिवार्य रूप से कह रहे हैं, "हे AI, अपना ध्यान थोड़ा इस तरह समायोजित करो कि ये उदाहरण तुम्हें अधिक समझ में आएं।"
परिणाम (The Result): एक बार जब AI उदाहरणों के बारे में अधिकतम आश्वस्त महसूस करता है, तो वे उससे वास्तविक प्रश्न पूछते हैं। क्योंकि अब AI पैटर्न को बेहतर ढंग से "ट्यून" कर चुका है, इसलिए वह नए प्रश्न को अधिक सटीकता से हल करता है।

यह विशेष क्यों है?

यह पेपर इस विधि की तीन प्रमुख महाशक्तियाँ बताता है:

कोई नया ज्ञान आवश्यक नहीं: उन्हें AI को फिर से प्रशिक्षित करने या उसे नया डेटा देने की आवश्यकता नहीं है। वे बस मौजूदा प्रॉम्प्ट की "सेटिंग्स" को थोड़ा बदल देते हैं।
सबके लिए काम करता है: अधिकांश पिछली विधियाँ केवल बहुविकल्पीय प्रश्नों (जैसे "क्या यह सत्य है या असत्य?") के लिए काम करती थीं। यह विधि मुक्त-रूप लेखन (free-form writing) के लिए भी काम करती है। चाहे AI को कोई अक्षर चुनना हो या कविता लिखनी हो, यह "ट्यूनिंग" मदद करती है।
यह स्व-जांच करने वाला है: यह विधि AI के अपने आत्मविश्वास को एक मार्गदर्शक के रूप में उपयोग करती है। यह एक छात्र की तरह है जो एक अभ्यास क्विज़ लेता है, महसूस करता है कि वह अवधारणाओं पर डगमगा रहा है, और अपने ध्यान को तब तक मानसिक रूप से समायोजित करता है जब तक कि अभ्यास क्विज़ आसान न लगने लगे। एक बार जब अभ्यास आसान हो जाता है, तो वह वास्तविक टेस्ट का सामना करता है।

परिणाम

शोधकर्ताओं ने पैटर्न कॉपी करने से लेकर तर्क पहेलियों को हल करने जैसे विभिन्न कठिन कार्यों पर इसका परीक्षण किया।

परिणाम: "ट्यून्ड" AI लगभग हमेशा मूल AI के बराबर या उससे बेहतर प्रदर्शन करता है।
प्रमाण: उन्होंने एक सीधा संबंध पाया: जब भी AI का "कॉन्फिडेंस स्कोर" उदाहरणों पर बढ़ा, उसका वास्तविक टेस्ट स्कोर भी बढ़ गया। यह साबित करता है कि यह विधि केवल अनुमान नहीं लगा रही है; यह वास्तव में AI को कार्य को बेहतर ढंग से समझने में मदद कर रही है।

संक्षेप में

कल्पना कीजिए कि आप एक पुराने रेडियो को एक धुंधले स्टेशन को पकड़ने के लिए ट्यून करने की कोशिश कर रहे हैं। आप स्टेशन को बदल नहीं सकते, और आप नए स्पीकर भी नहीं जोड़ सकते। लेकिन आप ट्यूनिंग नॉब (प्रॉम्प्ट एम्बेडिंग्स) को तब तक घुमा सकते हैं जब तक कि स्टैटिक साफ न हो जाए और संगीत (पैटर्न) एकदम स्पष्ट न हो जाए।

यह पेपर हमें AI के लिए उस सटीक "घुमाव" को स्वचालित रूप से खोजने का तरीका देता है, जिससे वह बिना कभी दोबारा स्कूल जाए, निर्देशों का पालन करने में अधिक स्मार्ट बन जाता है।

तकनीकी सारांश: स्व-सुधारित इन-कॉन्टेक्स्ट लर्निंग (Self-Improving In-Context Learning)

समस्या विवरण

इन-कॉन्टेक्स्ट लर्निंग (ICL) लार्ज लैंग्वेज मॉडल्स (LLMs) को मॉडल पैरामीटर्स को अपडेट किए बिना, कुछ-शॉट प्रॉम्प्ट (few-shot prompt) के माध्यम से नए कार्यों को करने की अनुमति देता है। हालाँकि, यह क्षमता अत्यधिक नाजुक है; प्रदर्शन प्रदर्शनों (demonstrations) के चयन, स्वरूपण (formatting) और क्रम के प्रति अत्यधिक संवेदनशील होता है। मौजूदा टेस्ट-टाइम सुधार विधियाँ सामान्यतः तीन श्रेणियों में आती हैं: प्रदर्शन चयन (demonstration selection), प्रदर्शन क्रम निर्धारण (demonstration ordering), और आउटपुट अंशांकन (output calibration)। इन दृष्टिकोणों में संरचनात्मक सीमाएँ हैं: वे अक्सर डिस्क्रीट प्रॉम्प्ट-स्तरीय निर्णयों पर कार्य करते हैं, उन्हें एक पूर्व-निर्धारित सीमित लेबल सेट की आवश्यकता होती है (जो उन्हें केवल वर्गीकरण कार्यों तक सीमित कर देता है), या वे बाहरी डेटा और मॉडल इंटरनल पर निर्भर करते हैं। फलस्वरूप, एक सामान्य-उद्देश्य वाले, टेस्ट-टाइम अंशांकन (calibration) विधियों का अभाव है जो फाइन-ट्यूनिंग या बाहरी संसाधनों की आवश्यकता के बिना वर्गीकरण और फ्री-फॉर्म जनरेशन दोनों कार्यों के लिए ICL में सुधार कर सकें।

कार्यप्रणाली

प्रस्तावित विधि, स्व-सुधारित इन-कॉन्टेक्स्ट लर्निंग (Self-Improving In-Context Learning), टेस्ट टाइम पर एक निश्चित फ्यू-शॉट प्रॉम्प्ट के निरंतर एम्बेडिंग (continuous embeddings) को अनुकूलित करके इन सीमाओं को संबोधित करती है। मुख्य रणनीति एक ब्लैक बॉक्स के रूप में प्रॉम्प्ट के साथ व्यवहार करने और मॉडल के अपने स्वयं के भविष्यवाणियों से प्राप्त स्व-पर्यवेक्षित आत्मविश्वास प्रॉक्सी (self-supervised confidence proxy) को अधिकतम करने के लिए इसके एम्बेडिंग मैट्रिक्स को पुनरावृत्ति (iteratively) से समायोजित करने में निहित है।

1. अनुकूलन संकेत (विश्वास प्रॉक्सी - Confidence Proxy)

यह विधि इस अवलोकन पर आधारित है कि मॉडल द्वारा अपने प्रदर्शित आउटपुट्स को दिए गए लॉग-प्रोबेबिलिटीज़ (log-probabilities)—जो बिना टोकन जनरेशन के एक सिंगल टीचर-फोर्स्ड फॉरवर्ड पास के माध्यम से प्राप्त की जा सकती हैं—कार्य अनुमान की गुणवत्ता का एक सार्थक संकेत प्रदान करती हैं। इस संकेत को पूरी तरह से मॉडल के अपने भविष्यवाणियों से प्राप्त एक बाउंडेड, स्केलर प्रॉक्सी $f(X)$ के रूप में औपचारिक रूप दिया गया है, जहाँ $X$ प्रॉम्प्ट एम्बेडिंग मैट्रिक्स है। प्रॉक्सी तीन घटकों का एक भारित रैखिक संयोजन (weighted linear combination) है:

पूर्ण भविष्य कहनेवाला आत्मविश्वास ( $\bar{C}$ ): सभी प्रदर्शित आउटपुट स्पैन में टोकन प्रोबेबिलिटीज़ के ज्योमेट्रिक मीन (geometric mean) का एक लेंथ-नॉर्मलाइज्ड औसत। यह विभिन्न लंबाई के लेबल्स के बीच तुलनात्मकता सुनिश्चित करता है।
पूल की गई मजबूती ( $R$ ): टेल फ्रैजिलिटी (tail fragility) का एक माप। केवल औसत पर निर्भर रहने के बजाय, यह घटक सभी प्रदर्शनों में सभी ट्रू-टोकन प्रोबेबिलिटीज़ के एक निश्चित क्वांटाइल (जैसे, 10वां पर्सेंटाइल) की गणना करता है। यह उन मामलों को दंडित करता है जहाँ एक लेबल औसतन आत्मविश्वासी दिखता है लेकिन उसमें कम-संभावना वाले आउटलायर टोकन होते हैं।
सूचना लाभ ( $G$ ): प्रगतिशील सुधार का एक माप। यह ट्रैक करता है कि क्या मॉडल बाद के प्रदर्शनों को प्रोसेस करते समय आत्मविश्वास बढ़ाता है, जो ऑटोरेग्रेसिव टास्क इन्फरेंस की क्रमिक प्रकृति को दर्शाता है।

अंतिम प्रॉक्सी को $f(X) = \alpha\bar{C}(X) + \beta R(X) + \gamma G(X)$ के रूप में परिभाषित किया गया है, जहाँ वेट्स का योग 1 है।

2. ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन (Zeroth-Order Optimization)

चूंकि प्रॉक्सी नॉन-स्मूथ है और टेस्ट टाइम पर मॉडल के माध्यम से बैकप्रोपैगेशन करना अत्यधिक महंगा है, इसलिए यह विधि प्रॉम्प्ट एम्बेडिंग के सापेक्ष प्रॉक्सी के ग्रेडिएंट का अनुमान लगाने के लिए ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन (विशेष रूप से, गॉसियन स्मूथिंग) का उपयोग करती है।

प्रक्रिया: एल्गोरिदम वर्तमान एम्बेडिंग्स और गॉसियन डिस्ट्रीब्यूशन से रैंडम नॉइज़ द्वारा विक्षेपित (perturbed) एम्बेडिंग्स पर प्रॉक्सी का मूल्यांकन करके ग्रेडिएंट का अनुमान लगाता है।
बाधाएं (Constraints): एम्बेडिंग्स को आउट-ऑफ-डिस्ट्रीब्यूशन क्षेत्रों में जाने से रोकने के लिए, विधि निम्नलिखित का उपयोग करती है:
- ग्रेडिएंट क्लिपिंग: बड़े अपडेट को सीमित करने के लिए।
- कोसाइन सिमिलरिटी कंस्ट्रेंट: यह सुनिश्चित करने के लिए कि अपडेट किए गए एम्बेडिंग्स मूल दिशा के करीब रहें।
- प्रारंभिक प्रॉक्सी गेट: यदि प्रारंभिक प्रॉक्सी मान बहुत कम है, तो ऑप्टिमाइज़ेशन को छोड़ दिया जाता है, क्योंकि शून्य के पास ग्रेडिएंट सिग्नल एक्सपोनेन्शियली फ्लैट होता है।
दायरा: विक्षेपण (Perturbations) प्रॉम्प्ट के प्रदर्शन क्षेत्र तक ही सीमित हैं; क्वेरी टोकन को विक्षेपित नहीं किया जाता है, क्योंकि कॉज़ल अटेंशन के तहत उनके लॉग-प्रोबेबिलिटीज़ प्रॉक्सी गणना का हिस्सा नहीं हैं।

3. टेस्ट-टाइम अंशांकन (Test-Time Calibration)

यह प्रक्रिया पूरी तरह से प्लग-एंड-प्ले है। इसके लिए मॉडल पैरामीटर्स तक पहुंच, कोई बाहरी डेटा, कोई पूर्व-निर्धारित लेबल सेट, और ऑप्टिमाइज़ेशन चरण के दौरान कोई टोकन जनरेशन आवश्यक नहीं है। यह केवल इनपुट एम्बेडिंग्स और मॉडल के लॉग-प्रोबेबिलिटीज़ पर कार्य करता है।

मुख्य योगदान

एम्बेडिंग-स्पेस हस्तक्षेप (Embedding-Space Intervention): यह पेपर डिस्क्रीट प्रॉम्प्ट इंजीनियरिंग से मौलिक रूप से भिन्न रणनीति प्रस्तावित करता है, जो मानव-पठनीय इनपुट को बरकरार रखते हुए सीधे निरंतर प्रॉम्प्ट एम्बेडिंग मैट्रिक्स में हस्तक्षेप करता है और आउटपुट डिस्ट्रीब्यूशन को नया आकार देता है।
कार्य-अज्ञेयवादी प्रॉक्सी (Task-Agnostic Proxy): प्रस्तावित कॉन्फिडेंस प्रॉक्सी हैश स्ट्रिंग्स और रूल-लर्निंग कार्यों का उपयोग करने वाले कार्यों के लिए भी उपयुक्त है, जो मौजूदा बेसलाइन की संरचनात्मक सीमा को दूर करता है जिन्हें सीमित लेबल सेट की आवश्यकता होती है।
स्व-पर्यवेक्षित संकेत (Self-Supervised Signal): यह विधि अपने स्वयं के प्रदर्शनों पर मॉडल की भविष्यवाणियों से ही अपना ऑप्टिमाइज़ेशन सिग्नल प्राप्त करती है, जिसके लिए क्वेरी के लिए ग्राउंड-ट्रुथ लेबल्स या किसी बाहरी ओरेकल की आवश्यकता नहीं है।
ज़ीरोथ-ऑर्डर दक्षता: ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन का उपयोग करके, यह विधि बैकप्रोपैगेशन की कम्प्यूटेशनल लागत और ग्रेडिएंट्स को स्टोर करने के मेमोरी ओवरहेड से बचती है, जिससे यह बड़े मॉडल्स पर टेस्ट-टाइम अनुप्रयोग के लिए व्यवहार्य हो जाती है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन ICLEval पर किया गया था, जो हैश स्ट्रिंग्स और रूल-लर्निंग कार्यों का उपयोग करके ICL क्षमता को प्रीट्रेनिंग नॉलेज से अलग करने के लिए डिज़ाइन किया गया एक बेंचमार्क है। मूल्यांकन Llama 3.1-8B, Qwen3-4B, और Gemma 2-2B तीन मॉडलों में 12 कार्यों (एक्सैक्ट कॉपीइंग और रूल लर्निंग) को कवर करता है।

प्रदर्शन: प्रस्तावित विधि ने सभी कार्यों और मॉडलों में बेस मॉडल के स्तर को लगातार मैच किया या उसमें सुधार किया। इसने कभी भी गिरावट (degradation) नहीं की।
- Llama 3.1-8B: औसत सटीकता 0.67 से बढ़कर 0.71 (+6.0%) हुई।
- Qwen3-4B: औसत सटीकता 0.65 से बढ़कर 0.72 (+10.8%) हुई।
- Gemma 2-2B: औसत सटीकता 0.45 से बढ़कर 0.48 (+6.7%) हुई।
सांख्यिकीय महत्व: वन-साइडेड मैकनेमर टेस्ट (McNemar tests) ने तीनों मॉडलों के लिए सांख्यिकीय रूप से महत्वपूर्ण सुधार की पुष्टि की ( $p < 0.05$ )।
बेसलाइन तुलना: वर्गीकरण उपसमुच्चय (classification subset) पर, यह विधि अधिकांश कार्यों पर वर्गीकरण-विशिष्ट बेसलाइनों (Contextual Calibration, DC-PMI, DEmO) की तुलना में बेहतर या उनके बराबर रही, बावजूद इसके कि यह बिना पूर्व-निर्धारित लेबल स्पेस के कार्य करती है।
प्रॉक्सी-प्रदर्शन सहसंबंध: प्रॉक्सी मान में सुधार और डाउनस्ट्रीम सटीकता लाभ के बीच एक सांख्यिकीय रूप से महत्वपूर्ण सकारात्मक सहसंबंध पाया गया, जो पुष्टि करता है कि प्रॉक्सी एक विश्वसनीय ऑप्टिमाइज़ेशन सिग्नल को एनकोड करता है।

महत्व और दावे

यह पेपर दावा करता है कि प्रस्तावित विधि यह प्रदर्शित करती है कि डेमॉन्स्ट्रेशन लॉग-प्रोबेबिलिटीज़ इन-कॉन्टेक्स्ट लर्निंग के लिए एक विश्वसनीय ऑप्टिमाइज़ेशन सरफेस (optimization surface) बनाती हैं। इस सरफेस का आरोही दिशा (ascent direction) डाउनस्ट्रीम प्रदर्शन के साथ संरेखित है, जो यह सुझाव देता है कि मॉडल का अपने स्वयं के उदाहरणों पर आंतरिक आत्मविश्वास स्व-सुधार के लिए एक पर्याप्त संकेत है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण मौजूदा ICL सुधार (चयन, क्रम, अंशांकन) के परिवारों के ऑर्थोगोनल (orthogonal) है और उन्हें जोड़ा जा सकता है। इस विधि का महत्व इसकी क्षमता में है कि यह बिना:

मॉडल पैरामीटर्स को फाइन-ट्यून किए।
कैलिब्रेशन चरण के दौरान टोकन जेनरेट किए।
पूर्व-निर्धारित लेबल सेट की आवश्यकता के (फ्री-फॉर्म जनरेशन के अनुप्रयोग को सक्षम बनाता है)।
एम्बेडिंग लेयर के अलावा मॉडल इंटरनल या बाहरी डेटा तक पहुँच के।
ICL विश्वसनीयता में सुधार करता है।

यह कार्य सुझाव देता है कि टेस्ट-टाइम एम्बेडिंग अंशांकन विविध कार्य प्रकारों और मॉडल स्केल्स के लिए इन-कॉन्टेक्स्ट लर्निंग को बढ़ाने के लिए एक व्यवहार्य, सामान्य-उद्देश्य वाला तंत्र है।