🤖 machine learning

Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning

यह शोध पत्र एक ऐसा प्रथम सैद्धांतिक ढांचा प्रदान करता है जो यह प्रदर्शित करता है कि मानक सॉफ्टमैक्स ट्रांसफॉर्मर (softmax Transformers) उनके लेयरवाइज फॉरवर्ड पास को एक नवीन भारित सॉफ्टमैक्स टेम्पोरल डिफरेंस (weighted softmax temporal difference) एल्गोरिदम के समान मानकर इन-कॉन्टेक्स्ट सुदृढीकरण शिक्षण (in-context reinforcement learning) को लागू करते हैं, जो उनके अभिसरण गुणों (convergence properties) और प्रीट्रेनिंग के दौरान इष्टतम मापदंडों के उद्भव दोनों की व्याख्या करता है।

मूल लेखक: Zixuan Xie, Xinyu Liu, Claire Chen, Shuze Daniel Liu, Rohan Chandra, Shangtong Zhang

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zixuan Xie, Xinyu Liu, Claire Chen, Shuze Daniel Liu, Rohan Chandra, Shangtong Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "सुपर-रीडर" एजेंट

कल्पना कीजिए कि आपके पास एक रोबोट एजेंट है जिसने वर्षों तक हजारों अलग-अलग वीडियो गेम का अध्ययन किया है। उसने केवल गेम को याद नहीं किया है; उसने यह सीखा है कि कैसे सीखा जाए।

अब, आप इस रोबोट को एक बिल्कुल नए गेम के सामने रखते हैं जिसे उसने पहले कभी नहीं देखा है। आप उसे कोई मैनुअल नहीं देते, और न ही आप उसके मस्तिष्क को फिर से प्रशिक्षित (retrain) करते हैं (जिसमें बहुत समय लगेगा)। इसके बजाय, आप बस उसे उसके अपने हालिया मूव्स और उसके द्वारा अभी प्राप्त किए गए पॉइंट्स का एक संक्षिप्त इतिहास दिखाते हैं।

प्रश्न: वह रोबोट उस संक्षिप्त इतिहास को देखकर यह कैसे समझ जाता है कि आगे क्या करना है? क्या उसके मस्तिष्क के अंदर एक छिपा हुआ "कैलकुलेटर" है जो चलते-चलते अपनी रणनीति को अपडेट करता है?

लंबे समय तक, वैज्ञानिकों ने सोचा कि यह "कैलकुलेटर" बहुत सरल है, जैसे कि एक बुनियादी कैलकुलेटर जो केवल संख्याओं को जोड़ता है (जिसे "लीनियर अटेंशन" कहा जाता है)। लेकिन यह पेपर कहता है: "नहीं, असली कैलकुलेटर बहुत अधिक जटिल और शक्तिशाली है।" लेखक सिद्ध करते हैं कि रोबोट वास्तव में एक परिष्कृत, मानक कैलकुलेटर (जिसे "सॉफ्टमैक्स अटेंशन" कहा जाता है) का उपयोग कर रहा है जो उसके 'फॉरवर्ड पास' के भीतर ही रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक गणितीय सीखने का एक विशिष्ट प्रकार करता है।

मुख्य खोज: "वेटेड सॉफ्टमैक्स TD" एल्गोरिदम

यह पेपर एक नए तरीके से यह समझने की व्याख्या करता है कि रोबोट क्या कर रहा है। वे इसे Weighted Softmax TD कहते हैं।

उपमा: टीम मीटिंग

कल्पना कीजिए कि रोबोट एक मैनेजर है जो किसी उत्पाद की भविष्य की बिक्री का अनुमान लगाने की कोशिश कर रहा है। उसके पास एक नोटबुक ("कॉन्टेक्स्ट") है जो विभिन्न दिनों के पिछले बिक्री डेटा से भरी हुई है।

पुराना तरीका (लीनियर अटेंशन): मैनेजर नोटबुक को देखता है और हर एक बीते हुए दिन को समान महत्व देता है, या केवल इस आधार पर एक सरल महत्व देता है कि वह कितना हालिया है। यह कहने जैसा है कि, "कल की बिक्री थोड़ा मायने रखती है, और उससे पहले वाले दिन का थोड़ा कम मायने रखता है।"
नया तरीका (इस पेपर की खोज): मैनेजर अधिक स्मार्ट है। वह नोटबुक को देखता है और कहता है, "पिछले मंगलवार की बिक्री आज की स्थिति के बहुत समान है, इसलिए मैं उन पर बहुत ध्यान दूँगा। पिछले महीने की बिक्री बिल्कुल अलग थी, इसलिए मैं उन्हें अनदेखा कर दूँगा।"

रोबोट यह तय करने के लिए कि अतीत की कौन सी यादें वर्तमान स्थिति के लिए सबसे अधिक प्रासंगिक हैं, सॉफ्टमैक्स (Softmax) नामक एक गणितीय उपकरण का उपयोग करता है। यह भविष्य के लिए अपने अनुमान को अपडेट करने के लिए पिछले सबक का एक "वेटेड एवरेज" (भारित औसत) बनाता है।

लेखकों ने सिद्ध किया कि जब रोबोट की परतें (उसके "सोचने के चरण") डेटा को प्रोसेस करती हैं, तो यह चरण-दर-चरण इस विशिष्ट "वेटेड सॉफ्टमैक्स" लर्निंग एल्गोरिदम को चलाने के गणितीय रूप से समान होता है।

परतों का "जादू": गहराई के साथ और स्मार्ट बनना

यह पेपर यह भी समझाता है कि क्या होता है जब रोब of अधिक "परतें" (सोचने के अधिक चरण) उसके मस्तिष्क में होती हैं।

रूपक: कल्पना कीजिए कि आप डार्टबोर्ड के सटीक केंद्र को खोजने की कोशिश कर रहे हैं, लेकिन आप केवल छोटे कदम ही उठा सकते हैं।
- लेयर 1: आप एक अनुमान लगाते हैं। यह ठीक है, लेकिन परफेक्ट नहीं।
- लेयर 2: आप अपने पहले अनुमान को देखते हैं, नए डेटा के आधार पर उसमें सुधार करते हैं, और करीब पहुँच जाते हैं।
- लेयर 10: आप अपने अनुमान को लगातार परिष्कृत करते रहते हैं।

लेखकों ने सिद्ध किया कि जैसे-जैसे रोबोट अधिक परतें जोड़ता है, उसका अनुमान गणितीय रूप से गारंटी के साथ वास्तविक उत्तर के करीब पहुँचता जाता है। यह एक घुमावदार सीढ़ी की तरह है जो आपको सीधे पहाड़ की चोटी (परफेक्ट प्रेडिक्शन) तक ले जाती है। जितने अधिक कदम (परतें) आप लेते हैं, आप सत्य के उतने ही करीब पहुँचते हैं, बशर्ते रोबोट का "अटेंशन" सही ढंग से केंद्रित हो (एक स्थिति जिसे वे "कॉन्ट्रैक्शन" कहते हैं)।

"क्यों": रोबोट ने यह कैसे सीखा?

आप पूछ सकते हैं: "रोबोट को पता कैसे चला कि इस विशिष्ट 'वेटेड सॉफ्टमैक्स' कैलकुलेटर को कैसे बनाया जाए? क्या किसी इंसान ने इसे प्रोग्राम किया था?"

नहीं। रोबोट ने इसे खुद सीखा।

लेखकों ने एक प्रयोग चलाया जहाँ उन्होंने रोबोट को विविध प्रकार के रैंडम कार्यों (जैसे "बॉयन्स चेन" गेम के विभिन्न संस्करणों) पर प्रशिक्षित किया। उन्होंने रोबोट को यह नहीं बताया कि कार्यों को कैसे हल किया जाए; उन्होंने बस उसे यह बताया, "इन कार्यों में अच्छा प्रदर्शन करो।"

परिणाम: जब प्रशिक्षण समाप्त हुआ, तो रोबोट के आंतरिक वेट्स (उसके मस्तिष्क की सेटिंग्स) स्वाभाविक रूप से उसी तरह व्यवस्थित हो गए जैसा कि लेखकों ने वर्णित किया था—एक "वेटेड सॉफ्टमैक्स" कैलकुलेटर के रूप में।

उपमा: कल्पना कीजिए कि आप एक मूर्तिकार को मिट्टी का एक ब्लॉक देते हैं और कहते हैं, "कुछ ऐसा बनाओ जो इन पहेलियों को हल कर सके।" आप उसे यह नहीं बताते कि उसे कैसे तराशना है। घंटों के काम के बाद, मूर्तिकार एक ऐसी मूर्ति बनाता है जो बिल्कुल उस विशिष्ट उपकरण की तरह दिखती है जिसकी पहेलियों को हल करने के लिए आवश्यकता थी। यह पेपर सिद्ध करता है कि वह "मूर्ति" (रोबोट के पैरामीटर्स) प्रशिक्षण लक्ष्य के लिए सर्वश्रेष्ठ संभव समाधान (ग्लोबल मिनिमाइज़र) है।

तीन बड़े सवालों का सारांश

यह पेपर तीन विशिष्ट प्रश्नों के उत्तर देता है:

रोबोट कौन सा एल्गोरिदम उपयोग कर रहा है?
यह Weighted Softmax TD नामक एक नए, परिष्कृत लर्निंग एल्गोरिदम का उपयोग कर रहा है। यह वह सरल लीनियर संस्करण नहीं है जिसे लोग समझते थे; यह वास्तविक दुनिया में उपयोग किया जाने वाला जटिल, मानक संस्करण है।
क्या अधिक परतों के साथ यह बेहतर होता है?
हाँ। पेपर सिद्ध करता है कि जैसे-जैसे रोबोट गहरा (अधिक परतें) होता जाता है, उसकी त्रुटियाँ (errors) कम होती जाती हैं, और वह सटीक उत्तर की ओर अभिसरित (converge) होता है।
रोबोट के पास ये विशिष्ट सेटिंग्स क्यों हैं?
क्योंकि वे प्रशिक्षण के दौरान त्रुटि को कम करने के लिए गणितीय रूप से एकदम सही सेटिंग्स हैं। रोबोट ने इस जटिल एल्गोरिदम को खुद "खोजा" क्योंकि यह उन समस्याओं को हल करने का सबसे कुशल तरीका था जिन पर उसे प्रशिक्षित किया गया था।

निष्कर्ष

यह पेपर उस "सरलीकरण" को हटा देता है जिसका उपयोग वैज्ञानिक गणित को आसान बनाने के लिए करते थे। उन्होंने दिखाया कि पूर्ण, जटिल, वास्तविक दुनिया के संस्करण (सॉफ्टमैक्स) के साथ भी, रोबोट वास्तव में अपने मस्तिष्क के भीतर एक बहुत ही विशिष्ट, शक्तिशाली प्रकार की लर्निंग कर रहा है। यह केवल नकल नहीं कर रहा है; यह वास्तव में अपने कॉन्टेक्स्ट से सीखने के लिए एक गणितीय अपडेट कर रहा है, और यह ऐसा करता है जो गणितीय रूप से सिद्ध है कि काम करता है।

तकनीकी सारांश: लीनियर अटेंशन से परे: इन-कॉन्टेक्स्ट रिइन्फोर्समेंट लर्निंग के लिए सॉफ्टमैक्स ट्रांसफॉर्मर

समस्या विवरण

इन-कॉन्टेक्स्ट रिइन्फोर्समेंट लर्निंग (ICRL) इस बात की जांच करता है कि कैसे एजेंट, प्रीट्रेनिंग के बाद, अपने पैरामीटर्स को अपडेट किए बिना अतिरिक्त कॉन्टेक्स्ट (जैसे, इंटरेक्शन हिस्ट्री) पर कंडीशन होकर, इन्फरेंस के समय नई कार्यों (tasks) के अनुकूल हो सकते हैं। जबकि ICRL के मौजूदा सैद्धांतिक विश्लेषण मुख्य रूप से लीनियर अटेंशन (जहाँ विश्लेषण को सरल बनाने के लिए सॉफ्टमैक्स फंक्शन को आइडेंटिटी मैपिंग से बदल दिया जाता है) पर निर्भर रहे हैं—यह सरलीकरण व्यावहारिक ट्रांसफॉर्मर आर्किटेक्चर में उपयोग किए जाने वाले मानक सॉफ्टमैक्स अटेंशन से भिन्न है।

यह शोध पत्र जिस केंद्रीय प्रश्न को संबोधित करता है, वह यह है: जब एक मानक ट्रांसफॉर्मर सॉफ्टमैक्स अटेंशन के साथ इन-कॉन्टेक्स्ट पॉलिसी इवैल्यूएशन (policy evaluation) करता है, तो वह किस विशिष्ट रिइन्फोर्समेंट लर्निंग (RL) प्रक्रिया को लागू करता है? विशेष रूप से, लेखक यह समझना चाहते हैं कि लीनियर अटेंशन के अवास्तविक सरलीकरण पर निर्भर हुए बिना, एल्गोरिद्मिक व्यवहार, अभिसरण गारंटी (convergence guarantees), और रिइन्फोर्समेंट प्रीट्रेनिंग के तहत ऐसे पैरामीटर्स का उद्भव (emergence) कैसे होता है।

कार्यप्रणाली (Methodology)

1. सैद्धांतिक निर्माण: वेटेड सॉफ्टमैक्स TD (Weighted Softmax TD)

लेखक एक नया RL एल्गोरिदम पेश करते हैं जिसे वेटेड सॉफ्टमैक्स टेम्पोरल डिफरेंस (TD) लर्निंग कहा जाता है। यह एल्गोरिदम एक कर्नेल स्पेस में पॉलिसी इवैल्यूशन करता है, जो एक स्कोर फंक्शन $g(S_j, S_{k-1})$ से प्राप्त सॉफ्टमैक्स वेट्स का उपयोग करके एक ट्राजेक्टरी पर TD एरर्स को एकत्रित करता है।

एल्गोरिदम: दी गई ट्राजेक्टरी $\tau_n$ के लिए, वैल्यू एस्टीमेट $v_{t+1}(S_j)$ को एक सॉफ्टमैक्स कर्नेल $K(S_{k-1}, S_j)$ द्वारा भारित (weighted) $\delta_k^{(t)}$ TD एरर्स को एकत्रित करके अपडेट किया जाता है।
मानक TD से संबंध: यदि स्कोर फंक्शन एक सिमिलैरिटी कर्नेल का लॉग है, तो यह नॉन-पैरामीट्रिक TD अपडेट्स के एक नॉर्मलाइज्ड रूप में बदल जाता है।

2. ट्रांसफॉर्मर कार्यान्वयन (Softmax ICTD)

यह पेपर एक डुअल-हेड ट्रांसफॉर्मर लेयर का निर्माण करता है जो अपने फॉरवर्ड पास में वेटेड सॉफ्टमैक्स TD अपडेट के एक सिंगल स्टेप को लागू करता है।

प्रॉम्प्ट कंस्ट्रक्शन: ट्राजेक्टरी को एक प्रॉम्प्ट मैट्रिक्स $Z_0$ में एनकोड किया जाता है जिसमें स्टेट फीचर्स, रिवार्ड्स और वैल्यू एस्टीमेट्स के लिए मेमोरी स्लॉट्स होते हैं।
डुअल-हेड मैकेनिज्म:
- करेंट-वैल्यू हेड (Current-Value Head): एक विशिष्ट वेट मैट्रिक्स $V_l$ और अटेंशन मैट्रिक्स $A_l$ का उपयोग करके प्रत्येक ट्रांजिशन के लिए TD एरर की गणना करता है।
- टारगेट-वैल्यू हेड (Target-Value Head): एक शिफ्ट मैट्रिक्स $\Pi$ के माध्यम से एकत्रित मात्राओं को पूर्ववर्ती (predecessor) कॉलम्स तक भेजता है और उन्हें डिस्काउंट फैक्टर $\gamma$ द्वारा स्केल करता है।
रिपैरामीट्राइजेशन: लेखक सिद्ध करते हैं कि यह डुअल-हेड ब्लॉक एक सिंगल-हेड अटेंशन लेयर और उसके बाद एक पैरामीटर-फ्री टेम्पोरल शिफ्ट मॉड्यूल (TSM) के गणितीय रूप से समकक्ष है। यह रिपैरामीट्राइजेशन इन्फरेंस-टाइम व्यवहार के विश्लेषण को सरल बनाता है।

3. अभिसरण विश्लेषण (Convergence Analysis)

लेखक परतों की संख्या $L$ (डेप्थ) और कॉन्टेक्स्ट लेंथ $n$ के बढ़ने के साथ ट्रांसफॉर्मर के फॉरवर्ड पास के अभिसरण का विश्लेषण करते हैं।

कॉन्ट्रैक्शन कंडीशन (Contraction Condition): वे एक असेम्पशन 5.1 (Assumption 5.1) पेश करते हैं, जो एक कर्नेल डायगोनैलिटी (kernel diagonality) शर्त है, जिसके लिए आवश्यक है कि पॉपुलेशन अटेंशन मैट्रिक्स $M_\pi$ में पर्याप्त बड़े डायगोनल एंट्रीज हों (सेल्फ-अटेंशन, क्रॉस-अटेंशन पर हावी हो)।
परिणाम: इस धारणा के तहत, पॉलिसी इवैल्यूएशन एरर परतों की संख्या $L$ के साथ ज्यामितीय रूप से (geometrically) कम होता जाता है। एरर बाउंड में एक टर्म शामिल है जो $L \to \infty$ होने पर लुप्त हो जाता है और एक स्टैटिस्टिकल फ्लोर है जो $n \to \infty$ होने पर लुप्त हो जाता है।

4. रिइन्फोर्समेंट प्रीट्रेनिंग के तहत उद्भव (Emergence)

ऐसे पैरामीटर्स कैसे उत्पन्न होते हैं, इसे संबोधित करने के लिए, लेखक नॉर्म ऑफ एक्सपेक्टेड अपडेट (NEU) लॉस का विश्लेषण करते हैं, जो TD मेथड्स में एक मानक ऑब्जेक्टिव है।

ग्लोबल ऑप्टिमैलिटी: वे सिद्ध करते हैं कि निर्मित पैरामीटर्स $\theta^*$ (जो वेटेड सॉफ्टमैक्स TD को लागू करते हैं) NEU लॉस के ग्लोबल मिनिमाइजर्स हैं, उस सीमा में जहाँ कॉन्टेक्स्ट लेंथ पहले बढ़ती है, और उसके बाद डेप्थ।
निहितार्थ: यह समझाता है कि ऐसे पैरामीटर्स रिइन्फोर्समेंट प्रीट्रेनिंग के दौरान स्वाभाविक रूप से क्यों उभरते हैं, क्योंकि ऑप्टिमाइजेशन ऑब्जेक्टिव मॉडल को इस विशिष्ट इन-कॉन्टेक्स्ट कंप्यूटेशन की ओर ले जाता है।

मुख्य परिणाम

सैद्धांतिक समानता: यह पेपर पहला प्रमाण प्रदान करता है कि एक मानक ट्रांसफॉर्मर जिसमें सॉफ्टमैस अटेंशन (लीनियर नहीं) है, वह अपने फॉरवर्ड पास में वेटेड सॉफ्टमैक्स TD एल्गोरिदम के इटरेटिव अपडेट्स को लागू कर सकता है।
अभिसरण गारंटी: यह स्थापित करता है कि इन-कॉन्टेक्स्ट पॉलिसी इवैल्यूएशन, डेप्थ और कॉन्टेक्स्ट लेंथ बढ़ने के साथ, वास्तविक वैल्यू फंक्शन $v_\pi$ की ओर अभिसरित होता है, बशर्ते अटेंशन मैकेनिज्म पर्याप्त सेल्फ-कंसंट्रेशन (डायगोनैलिटी) प्रदर्शित करे।
उद्भव का प्रमाण: वांछित पैरामीटर्स को एक रिइन्फोर्समेंट प्रीट्रेनिंग लॉस के ग्लोबल मिनिमाइजर्स के रूप में दिखाया गया है, जो उनके विशिष्ट इन-कॉन्टेक्स्ट एल्गोरिदम को लागू करने वाले पैरामीटर्स के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation):
- Boyan's chain के रैंडमाइज्ड इंस्टेंस पर प्रयोगों से पता चलता है कि रिइन्फोर्समेंट ऑब्जेक्टिव के साथ प्रशिक्षित एक ट्रांसफॉर्मर ऐसे पैरामीटर्स सीखता है जो सैद्धांतिक निर्माण के करीब होते हैं।
- सीखे गए अटेंशन मैट्रिक्स प्रशिक्षण के दौरान तेजी से डायगोनल (उच्च कर्नेल डायगोनैलिटी मीन) होते जाते हैं, जो कॉन्ट्रैक्शन कंडीशन को संतुष्ट करते हैं।
- सीखे गए वैल्यू-अपडेट वेट्स सही साइन पैटर्न $(+, +, -)$ प्रदर्शित करते हैं जो TD अपडेट नियम ( $R + \gamma v' - v$ ) के अनुरूप है।

महत्व और दावे

यह पेपर दावा करता है कि यह स्टैंडर्ड सॉफ्टमैक्स अटेंशन के तहत ICRL की पहली सैद्धांतिक समझ प्रदान करता है, जो पिछले कार्यों (जैसे, Wang et al. [2025a,b]) में प्रचलित लीनियर अटेंशन सरलीकरण की आवश्यकता को समाप्त करता है।

सिद्धांत और व्यवहार के बीच सेतु: सॉफ्टमैक्स नॉन-लिनियरिटी को बनाए रखकर, यह विश्लेषण उन आर्किटेक्चर के साथ अधिक निकटता से संरेखित होता है जिनका उपयोग व्यावहारिक लार्ज लैंग्वेज मॉडल्स और अडैप्टिव एजेंट्स में किया जाता है।
एल्गोरिद्मिक व्याख्या: यह पहचानता है कि वेटेड सॉफ्टमैक्स TD वह विशिष्ट एल्गोरिद्मिक प्रक्रिया है जो सॉफ्टमैक्स ट्रांसफॉर्मर के फॉरवर्ड पास में उभरती है, जो लीनियर TD और टैबुलर TD दोनों को विशेष मामलों के रूप में सामान्य बनाती है।
प्रीट्रेनिंग का औचित्य: यह कार्य बताता है कि रिइन्फोर्समेंट प्रीट्रेनिंग इन-कॉन्टेक्स्ट एडैप्टेशन की ओर क्यों ले जाती है: प्रीट्रेनिंग ऑब्जेक्टिव (TD एरर को कम करना) स्वाभाविक रूप से मॉडल को इस विशिष्ट, अभिसरण करने वाले RL एल्गोरिदम को लागू करने वाले पैरामीटर्स की ओर ले जाता है।

लेखक अपने दायरे के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि कॉन्ट्रैक्शन कंडीशन (असेम्पशन 5.1) उनके अभिसरण प्रमाण के लिए एक विशिष्ट आवश्यकता है और भविष्य के कार्यों की आवश्यकता है ताकि इस शर्त को शिथिल किया जा सके और सिद्धांत को निरंतर नियंत्रण (continuous control) सेटिंग्स और सैंपल्ड ट्राजेक्टरीज तक विस्तारित किया जा सके।