In-Context Learning as Implicit Policy Gradient

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल एक सख्त रेसिपी का पालन नहीं करते, बल्कि बातचीत के बीच में ही तुरंत सीख सकते हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) का क्षेत्र है, जो उन टूल्स के पीछे के सुपर-स्मार्ट AI दिमाग हैं जो कहानियाँ लिखते हैं, गणित की समस्याओं को हल करते हैं और हमसे चैट करते हैं। आमतौर पर, इन AI को कोई नया हुनर सिखाने के लिए, वैज्ञानिकों को कंप्यूटर के गहरे कोड में जाकर इसकी आंतरिक सेटिंग्स को बदलना पड़ता है—यह बिल्कुल एक रोबोट के मस्तिष्क की वायरिंग बदलने जैसा है। लेकिन हाल ही में, "इन-कॉन्टेक्स्ट लर्निंग" (In-Context Learning) नामक एक दिलचस्प घटना की खोज की गई। यह पता चला कि ये मॉडल आपके द्वारा चैट प्रॉम्प्ट में दिए गए उदाहरणों को पढ़कर ही सीख सकते हैं, बिना उनके कोड की एक भी लाइन बदले। इसे एक ऐसे छात्र की तरह समझें जो परीक्षा से पहले पूरे सप्ताह पढ़ाई करने के बजाय, अचानक विषय को पूरी तरह समझ जाता है क्योंकि आपने उसे परीक्षा शुरू होने से ठीक पहले कुछ अभ्यास प्रश्न दिखाए थे।

इससे भी अधिक आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि यदि आप इन मॉडल्स को उनके अपने पिछले उत्तरों के उदाहरण उनके साथ एक "स्कोर" (जैसे ग्रेड या रेटिंग) देकर देते हैं, तो वे उस फीडबैक का उपयोग अपने अगले उत्तर को तुरंत बेहतर बनाने के लिए कर सकते हैं। यह ऐसा है जैसे AI कह रहा हो, "ओह, पिछली कहानी को 6/10 मिला? मैं समझ गया कि मैंने कहाँ गलती की; चलिए फिर से कोशिश करता हूँ और 10 का लक्ष्य रखता हूँ।" लेकिन यहाँ एक बड़ा रहस्य है: एक मशीन केवल स्कोर पढ़कर वास्तव में कैसे "सीखती" है? क्या इसके अंदर कोई गुप्त शिक्षक है? या यह सिर्फ अनुमान लगा रही है? COLM 2026 सम्मेलन का एक नया पेपर इस सवाल की गहराई में उतरता है, यह पता लगाने की कोशिश करता है कि यह सब करने के पीछे छिपा गणितीय जादू क्या है।

पेपर की बड़ी खोज: AI की गुप्त "रिवॉर्ड" मांसपेशी

यह पेपर, जिसका शीर्षक "In-Context Learning as Implicit Policy Gradient" है, इस बात का एक चतुर स्पष्टीकरण प्रस्तावित करता है कि कैसे ये AI मॉडल स्कोर का उपयोग बेहतर होने के लिए करते हैं। लेखक, मसाहिरो कानेको और टिमोथी बाल्डविन, सुझाव देते हैं कि जब एक AI अपने पिछले उत्तरों और उनके स्कोर की एक सूची पढ़ता है, तो वह केवल उन्हें याद नहीं कर रहा होता है। इसके बजाय, वह गुप्त रूप से एक गणितीय ट्रिक कर रहा होता है जो सुदृढीकरण शिक्षण (reinforcement learning) में उपयोग किए जाने वाले एक प्रसिद्ध सीखने के तरीके, जिसे पॉलिसी ग्रेडिएंट (Policy Gradient) कहा जाता है, के बिल्कुल समान है।

इसे समझने के लिए, कल्पना करें कि AI एक शेफ है जो एक आदर्श व्यंजन बनाने की कोशिश कर रहा है।

• पुराना तरीका (सुपरवाइज्ड लर्निंग): आमतौर पर, यदि आप चाहते हैं कि एक शेफ बेहतर खाना बनाए, तो आप उसे एक आदर्श व्यंजन की तस्वीर (इनपुट) और एक आदर्श रेसिपी (आउटपुट) दिखाते हैं। वे जो बनाया और जो उन्हें बनाने के लिए कहा गया था, उनके बीच के अंतर को कॉपी करके सीखते हैं।
• नया तरीका (स्कोर-कंडीशन्ड ICL): इस नए परिदृश्य में, शेफ के पास कोई आदर्श रेसिपी नहीं है। इसके बजाय, उनके पास कल बनाए गए व्यंजनों की एक सूची है, और प्रत्येक के लिए एक फूड क्रिटिक ने स्कोर दिया है (जैसे, "यह सूप 4/10 था, लेकिन यह केक 9/10 था")। शेफ इस सूची को देखता है और निर्णय लेता है, "मुझे अपना अगला व्यंजन केक जैसा बनाना चाहिए और सूप जैसा कम।"

पेपर यह सिद्ध करता है कि AI का आंतरिक तंत्र, जिसे सेल्फ-अटेंशन (Self-Attention) कहा जाता है, एक सुपर-स्मार्ट कैलकुलेटर की तरह काम करता है जो इन पिछले व्यंजनों को तौलता है। यह पता चलता है कि AI का अटेंशन मैकेनिज्म गणितीय रूप से इन उच्च-स्कोर वाले उदाहरणों को "पकड़" सकता है और उन्हें अपने वर्तमान विचार प्रक्रिया के करीब खींच सकता है, जबकि कम स्कोर वाले उदाहरणों को दूर धकेल सकता है। यह ऐसा है जैसे AI के पास एक चुंबकीय हाथ है जो केवल "अच्छे" उत्तरों को चुनता है और उन्हें अपने सोचने के तरीके को सही दिशा में धकेलने के लिए उपयोग करता है।

गणितीय जादू: AI "अच्छे" उत्तरों को कैसे पकड़ता है

लेखक दिखाते हैं कि यह केवल एक भाग्यशाली अनुमान नहीं है; यह इस बात की एक संरचनात्मक विशेषता है कि ये मॉडल कैसे बनाए गए हैं। वे एक "प्रूफ ऑफ कॉन्सेप्ट" प्रदान करते हैं जो दिखाता है कि यदि आप AI के आंतरिक वेट्स (इसके मस्तिष्क के भीतर के नॉब्स और डायल) को एक विशिष्ट तरीके से सेट करते हैं, तो अटेंशन मैकेनिज्म एक रिवॉर्ड-वेटेड एग्रीगेटर (reward-weighted aggregator) बन जाता है।

यहाँ उपमा है: कल्पना करें कि AI एक परीक्षा देने वाला छात्र है।

1. इनपुट: छात्र पिछले प्रश्नों की एक सूची और उन पर मिले स्कोर देखता है।
2. अटेंशन मैकेनिज्म: यह छात्र का मस्तिष्क है जो तय करता है कि पिछले उदाहरणों में से किन पर ध्यान केंद्रित करना है।
3. जादू: पेपर दिखाता है कि AI के मस्तिष्क को इस तरह कॉन्फ़िगर किया जा सकता है कि किसी पिछले उदाहरण को दिया गया "फोकस" सीधे तौर पर उसके प्राप्त स्कोर के समानुपाती हो। यदि किसी उदाहरण को उच्च स्कोर मिला, तो AI उस पर बहुत ध्यान देता है। यदि उसे कम स्कोर मिला, तो AI उस पर बहुत कम ध्यान देता है।

लेखक प्रदर्शित करते हैं कि यह प्रक्रिया गणितीय रूप से REINFORCE नामक एक विधि के समान है, जो AI एजेंटों को रिवॉर्ड को अधिकतम करने के लिए सिखाने का एक मानक तरीका है। सरल शब्दों में, AI स्कोर के आधार पर एक "ग्रेडिएंट" (चलने की दिशा) की गणना कर रहा है, प्रभावी रूप से कह रहा है, "मेरी आंतरिक स्थिति को उच्च-स्कर वाले उदाहरणों की ओर ले जाओ।"

सुरक्षा जाल: क्यों AI पागल नहीं होता

इस पेपर का सबसे रोमांचक हिस्सा यह भी है कि यह समझाता है कि यह सीखने की प्रक्रिया सुरक्षित और स्थिर क्यों है। AI प्रशिक्षण की दुनिया में, यदि आप किसी मॉडल को बदलने के लिए बहुत अधिक मजबूर करते हैं, तो वह जो कुछ भी जानता था उसे भूल सकता है या अजीब, निरर्थक उत्तर देने लगता है। इसे "डिस्ट्रीब्यूशन शिफ्ट" (distribution shift) कहा जाता है।

लेखक सिद्ध करते हैं कि चूंकि AI केवल उदाहरणों की एक सीमित संख्या (एक "कॉन्टेक्स्ट") को देख रहा है और स्कोर सीमित (bounded) हैं (वे अनंत रूप से उच्च या निम्न नहीं हो सकते), इसलिए AI के व्यवहार में परिवर्तन भी सीमित है। वे एक गणितीय सीमा निकालते हैं, जो एक "ट्रस्ट रीजन" (trust region) के समान है, जो गारंटी देता है कि AI का नया उत्तर उसके पुराने उत्तर से बहुत अधिक अलग नहीं होगा। यह रोलर कोस्टर पर एक सुरक्षा रेल की तरह है: AI को बेहतर उत्तर खोजने के लिए तेज गति से चलने और मोड़ने की अनुमति है, लेकिन गणित यह सुनिश्चित करता है कि वह कभी भी ट्रैक से बाहर न जाए।

प्रयोगों ने क्या दिखाया

यह सुनिश्चित करने के लिए कि यह केवल एक सुंदर सिद्धांत नहीं था, लेखकों ने Llama-3, Olmo-3, Qwen-3, GPT-4o और अन्य सहित दुनिया के सबसे शक्तिशाली AI मॉडल्स पर इसका परीक्षण किया। उन्होंने प्रयोग चलाए जहाँ उन्होंने मॉडल्स को उनके अपने आउटपुट्स और स्कोर की सूचियाँ दीं और देखा कि क्या होता है।

यहाँ उन्हें क्या मिला:

• स्कोर मायने रखते हैं: जब उन्होंने स्कोर को आपस में बदल दिया (एक खराब उत्तर को उच्च स्कोर और एक अच्छे उत्तर को कम स्कोर दिया), तो AI का व्यवहार पूरी तरह से बदल गया। इससे सिद्ध हुआ कि AI वास्तव में नंबरों को पढ़ रहा था, न कि केवल टेक्स्ट को।
• "फोकस" स्कोर से मेल खाता है: उन्होंने AI के मस्तिष्क के भीतर देखा और पाया कि "अटेंशन वेट्स" (AI ने प्रत्येक उदाहरण पर कितना ध्यान दिया) स्कोर के साथ मजबूती से सह-संबंधित (correlated) थे। स्कोर जितना अधिक था, AI ने उस उदाहरण पर उतना ही अधिक ध्यान दिया।
• यह रिइन्फोर्समेंट लर्निंग की तरह काम करता है: जब उन्होंने AI के व्यवहार की तुलना एक पारंपरिक रिइन्फोर्समेंट लर्निंग एल्गोरिदम (जो स्पष्ट रूप से ग्रेडिएंट की गणना करता है) से की, तो AI जिस दिशा में आगे बढ़ा, वह लगभग समान था। AI वही गणित कर रहा था, बस बिना स्पष्ट रूप से बताए।
• यह समय के साथ बेहतर होता है: जब उन्होंने इसे पुनरावृत्ति (iteratively) में होने दिया (एक उत्तर उत्पन्न करना, स्कोर प्राप्त करना, एक बेहतर उत्तर उत्पन्न करना, बेहतर स्कोर प्राप्त करना), तो मॉडल्स ने गणितीय तर्क और प्रॉम्प्ट ऑप्टिमाइज़ेशन जैसे कार्यों में लगातार अपना प्रदर्शन सुधारा।

इसका क्या अर्थ है (और क्या नहीं)

पेपर बहुत सावधानी से यह स्पष्ट करता है कि यह क्या दावा नहीं करता है। यह यह नहीं कहता कि AI मानव तरीके से "सोच" रहा है या "समझ" रहा है। यह यह भी नहीं कहता कि AI बैकग्राउंड में एक जटिल ऑप्टिमाइज़ेशन प्रोग्राम चला रहा है। इसके बजाय, यह दिखाता है कि AI का आर्किटेक्चर स्वाभाविक रूप से अपने अटेंशन मैकेनिज्म के माध्यम से अनुकूलन (optimization) का एक रूप लागू करता है।

लेखक इस बात पर जोर देते हैं कि यह एक "स्ट्रक्चरल कॉरेस्पोंडेंस" (structural correspondence) है। इसका मतलब है कि गणित उसी तरह काम करता है, भले ही AI इसे करने की "कोशिश" न कर रहा हो। वे यह भी नोट करते हैं कि उनका प्रमाण कुछ सरलीकृत धारणाओं (जैसे लीनियर अटेंशन) पर निर्भर करता है, लेकिन वास्तविक, जटिल मॉडल्स पर उनके प्रयोगों से पता चलता है कि वही व्यवहार व्यवहार में भी सत्य है।

संक्षेप में, यह पेपर इस रहस्य को सुलझाता है कि कैसे AI मॉडल अपने कोड को बदले बिना फीडबैक से सीखते हैं। यह प्रकट करता है कि जब एक AI "अच्छे" और "बुरे" उदाहरणों की सूची देखता है, तो वह अपने अटेंशन मैकेनिज्म का उपयोग खुद को गणितीय रूप से "अच्छे" उदाहरणों की ओर खींचने के लिए करता है, प्रभावी रूप से एक पॉलिसी ग्रेडिएंट अपडेट करता है। यह इस बात का एक सुंदर उदाहरण है कि कैसे सरल, अच्छी तरह से डिज़ाइन किए गए गणितीय ढांचों से जटिल सीखने के व्यवहार उभर सकते हैं, जो AI को एक आत्म-सुधार करने वाले छात्र में बदल देते हैं जो अपने स्वयं के ग्रेड से सीखता है।