💬 NLP

MesaNet: Sequence Modeling by Locally Optimal Test-Time Training

मूल लेखक: Johannes von Oswald, Nino Scherrer, Seijin Kobayashi, Luca Versari, Songlin Yang, Sarthak Mittal, Maximilian Schlegel, Kaitlin Maile, Yanick Schimpf, Oliver Sieberling, Alexander Meulemans, Rif A. Sau

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Johannes von Oswald, Nino Scherrer, Seijin Kobayashi, Luca Versari, Songlin Yang, Sarthak Mittal, Maximilian Schlegel, Kaitlin Maile, Yanick Schimpf, Oliver Sieberling, Alexander Meulemans, Rif A. Saurous, Guillaume Lajoie, Charlotte Frenkel, Razvan Pascanu, Blaise Agüera y Arcas, João Sacramento

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ MesaNet पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।

बड़ी तस्वीर: वर्तमान AI के साथ समस्या

कल्पना कीजिए कि एक बहुत ही बुद्धिमान लाइब्रेरियन (एक Transformer, जो AI का वर्तमान मानक है) आपके प्रश्न का उत्तर देने के लिए एक किताब पढ़ रहा है।

अच्छी बात: यह लाइब्रेरियन किताब की शुरुआत से अंत तक के विवरणों को याद रखने में अविश्वसनीय रूप से कुशल है।
बुरी बात: ऐसा करने के लिए, लाइब्रेरियन को अपनी मेज पर इंडेक्स कार्डों का एक बढ़ता हुआ ढेर रखना पड़ता है। जैसे-जैसे किताब लंबी होती है, ढेर ऊँचा होता जाता है। अंततः, वह ढेर इतना बड़ा हो जाता है कि वह पूरे कमरे में जगह घेर लेता है, और लाइब्रेरियन उत्तर खोजने के लिए उन सभी कार्डों को पलटने में घबरा जाता है। यह लंबे टेक्स्ट के लिए उन्हें धीमा और महंगा बना देता है।

हाल ही में, वैज्ञानिकों ने एक अलग प्रकार का लाइब्रेरियन बनाने की कोशिश की (जिसे RNNs कहा जाता है जैसे Mamba या DeltaNet)। ये लाइब्रेरियन केवल एक छोटा, निश्चित आकार का नोटपैड रखते हैं। वे तेज़ हैं और उन्हें बड़े कमरे की आवश्यकता नहीं होती। हालाँकि, वे कभी-कभी एक लंबी कहानी की शुरुआत को याद रखने में संघर्ष करते हैं, या जब कहानी बहुत जटिल हो जाती है तो गलतियाँ कर देते हैं।

समाधान: MesaNet का आगमन

इस पेपर के लेखकों ने एक नया लाइब्रेरियन बनाया जिसे MesaNet कहा जाता है। वे छोटे नोटपैड वाले लाइब्रेरियन की गति और बड़े ढेर वाले लाइब्रेरियन की मेमोरी शक्ति, दोनों चाहते थे।

ऐसा करने के लिए, उन्होंने एक विशेष उपकरण पेश किया जिसे Mesa Layer कहा जाता है।

उपमा: "इंस्टेंट एक्सपर्ट" बनाम "स्लो लर्नर"

कल्पना कीजिए कि आप अभी देखी गई संख्याओं की एक सूची के आधार पर एक गणित की समस्या हल करने की कोशिश कर रहे हैं।

पुराने RNNs (द स्लो लर्नर): हर बार जब एक नई संख्या आती है, तो लाइब्रेरियन एक छोटा सा अनुमान लगाता है, जाँच करता है कि क्या वह गलत था, और अपने नोटपैड को थोड़ा समायोजित करता है। वे यह काम स्टेप-बाय-स्टेप करते हैं। यह कुशल है, लेकिन वे तुरंत परफेक्ट उत्तर नहीं दे पाते क्योंकि वे केवल "अनुमान और समायोजन" कर रहे होते हैं।
MesaNet (द इंस्टेंट एक्सपर्ट): जब एक नई संख्या आती है, तो MesaNet लाइब्रेरियन केवल अनुमान नहीं लगाता। वे तुरंत एक सुपर-फास्ट मानसिक गणना चलाते हैं ताकि यह पता लगाया जा सके कि अब तक देखी गई हर एक संख्या के आधार पर अपने नोटपैड को समायोजित करने का परफेक्ट तरीका क्या है। वे यह सुनिश्चित करने के लिए कि उत्तर वर्तमान संदर्भ के लिए सबसे अच्छा फिट है, एक ही बार में पूरी ऑप्टिमाइज़ेशन समस्या को हल करते हैं।

यह कैसे काम करता है ("टेस्ट-टाइम ट्रेनिंग")

पेपर इसे "Test-Time Training" कहता है।

आमतौर पर, AI मॉडल एक कारखाने में एक बार प्रशिक्षित किए जाते हैं, और फिर वे बस चलते हैं। वे वास्तव में आपसे बात करते समय कुछ भी नया नहीं सीखते हैं।

MesaNet की ट्रिक: हर बार जब MesaNet एक नया शब्द पढ़ता है, तो वह उस सटीक क्षण के लिए अपनी आंतरिक मेमोरी को "री-ट्रेन" करने के लिए एक सेकंड के छोटे से हिस्से के लिए रुकता है। वह पूछता है: "अब तक मैंने जो कुछ भी पढ़ा है, उसे देखते हुए, इस जानकारी को स्टोर करने का सबसे अच्छा तरीका क्या है?"
लागत: यह "री-ट्रेनिंग" पुराने तरीकों की तुलना में थोड़ा अधिक कंप्यूटिंग पावर (जैसे एक त्वरित गणित सॉल्वर चलाना) लेती है।
लाभ: क्योंकि यह हर बार ऑप्टिमल उत्तर के लिए हल करता है, इसलिए यह लंबे, जटिल कहानों को पुराने "स्लो लर्नर" RNNs की तुलना में बहुत बेहतर समझता है।

"चंकी" नवाचार (The "Chunky" Innovation)

इस विचार का मूल संस्करण (पिछले पेपर से) प्रशिक्षण के दौरान बहुत धीमा था क्योंकि इसे ये गणनाएँ एक-एक करके करनी पड़ती थीं, जैसे एक समय में एक पन्ना पढ़ना।

नया मोड़: लेखकों ने इन गणनाओं को चंक्स (chunks) में करने का तरीका खोज निकाला। कल्पना कीजिए कि एक समय में एक पन्ना पढ़ने के बजाय, लाइब्रेरियन एक पूरा अध्याय पकड़ लेता है, शक्तिशाली कंप्यूटर चिप्स का उपयोग करके एक ही बार में पूरे अध्याय के लिए गणित हल करता है, और फिर आगे बढ़ जाता है। यह इसे भारी मात्रा में डेटा पर प्रशिक्षित करने के लिए पर्याप्त तेज़ बनाता है।

उन्होंने क्या पाया

टीम ने अरबों शब्दों के विशाल डेटासेट पर MesaNet का परीक्षण किया और इसकी तुलना Transformers और अन्य तेज़ RNNs से की।

शुरुआत में बेहतर: MesaNet वाक्य या कहानी की शुरुआत को समझने में अद्भुत है। यह अक्सर पहले कुछ सौ शब्दों में विशाल Transformers को भी पीछे छोड़ देता है।
लंबे संदर्भ (Long Contexts) में बेहतर: जबकि अन्य तेज़ RNNs कहानी लंबी होने पर भूलने या भ्रमित होने लगते हैं, MesaNet अपना आधार बहुत बेहतर तरीके से बनाए रखता है। यह लंबे दस्तावेज़ों को अपने साथियों की तुलना में अधिक सटीकता से समझ सकता है।
समझौता (Trade-off): MesaNet "मुफ्त" नहीं है। यह उन गणितीय समस्याओं को हल करने के लिए पढ़ने की प्रक्रिया के दौरान अधिक कंप्यूटिंग पावर (FLOPs) का उपयोग करता है। हालाँकि, लेखकों ने पाया कि यह अतिरिक्त प्रयास बेहतर सटीकता के साथ काम आता है, विशेष रूप से लंबे संदर्भों की गहरी समझ वाले कार्यों पर।
डायनेमिक स्पीड: सिस्टम स्मार्ट है कि उसे कब कड़ी मेहनत करनी है। यदि वाक्य सरल है, तो यह कम गणितीय स्टेप्स कर सकता है। यदि वाक्य जटिल है, तो यह अधिक स्टेप्स करता है। यह कार्य की कठिनाई के आधार पर अपनी मेहनत को डायनेमिक रूप से आवंटित करता है।

सारांश

MesaNet एक नए प्रकार का AI आर्किटेक्चर है जो एक ऐसे लाइब्रेरियन की तरह काम करता है जो पढ़ते समय कहानी को याद रखने के परफेक्ट तरीके की लगातार पुनर्गणना (re-calculate) करता है। "सबसे अच्छे संभव मेमोरी" को खोजने के लिए हर स्टेप पर एक जटिल गणितीय समस्या को हल करके, यह अन्य तेज़, मेमोरी-कुशल मॉडलों की तुलना में बेहतर समझ प्राप्त करता है, विशेष रूप से लंबे और जटिल टेक्स्ट के मामले में। यह बेहतर बुद्धिमत्ता के लिए थोड़े अतिरिक्त कंप्यूटिंग पावर का उपयोग करता है।

तकनीकी सारांश: मेसानेट (MESANET): स्थानीय रूप से इष्टतम टेस्ट-टाइम ट्रेनिंग द्वारा अनुक्रम मॉडलिंग

समस्या विवरण

अनुक्रम मॉडलिंग (Sequence modeling) वर्तमान में कॉज़ल ट्रांसफॉर्मर आर्किटेक्चर द्वारा संचालित है जो सॉफ्टमैक्स सेल्फ-अटेंशन का उपयोग करते हैं। प्रभावी होने के बावजूद, ये मॉडल इन्फरेंस के दौरान अनुक्रम की लंबाई के सापेक्ष मेमोरी और कम्प्यूटेशनल आवश्यकताओं में रैखिक स्केलिंग (linear scaling) से ग्रस्त होते हैं। हाल के प्रयासों ने सॉफ्टमैक्स ऑपरेशन को लीनियर करने का प्रयास किया है, जिसके परिणामस्वरूप रिकरेंट न्यूरल नेटवर्क (RNN) मॉडल प्राप्त हुए हैं जिनमें स्थिर मेमोरी और कंप्यूट लागत होती है (जैसे, डेल्टानेट, मंबा, xLSTM)। इन मॉडलों को अक्सर इस दृष्टिकोण से एकीकृत किया जाता है कि उनकी रिकरेंट डायनेमिक्स एक इन-कॉन्टेक्स्ट रिग्रेशन ऑब्जेक्टिव से उत्पन्न होती है, जिसे ऑनलाइन लर्निंग रूल्स (जैसे, ग्रेडिएंट डिसेंट स्टेप्स) के माध्यम से लगभग अनुकूलित किया जाता है। हालांकि, मौजूदा दृष्टिकोण आमतौर पर इंक्रीमेंटल अपडेट (फर्स्ट-ऑर्डर मेथड्स) पर निर्भर करते हैं बजाय प्रत्येक टाइम स्टेप पर इष्टतम वेट्स (weights) को हल करने के, जो पिछले डेटा को बनाए रखते हुए नए साक्ष्य के प्रति तेजी से अनुकूलित होने की उनकी क्षमता को सीमित कर सकता है। इसके अलावा, पिछले इष्टतम टेस्ट-टाइम ट्रेनिंग लेयर्स (जैसे मूल मेसा लेयर) फॉगेट गेट्स (forget gates) के उपयोग के साथ संख्यात्मक अस्थिरता (numerical instability) और पैरेललिजेशन की कमी से सीमित थे, जो स्केलेबल ट्रेनिंग को रोकता था।

कार्यप्रणाली

लेखक मेसानेट (MesaNet) नामक एक भाषा मॉडल आर्किटेक्चर पेश करते हैं जो एक नवीन, संख्यात्मक रूप से स्थिर और चंक्वाइज पैरेललाइज़ेबल (chunkwise parallelizable) मेसा लेयर पर केंद्रित है। यह लेयर प्रत्येक टाइम पॉइंट पर स्थानीय रूप से इष्टतम टेस्ट-टाइम ट्रेनिंग करने के लिए डिज़ाइन की गई है।

मेसा लेयर (The Mesa Layer)

मानक लीनियर RNN के विपरीत, जो अपने स्टेट को एक सिंगल ग्रेडिएंट डिसेंट स्टेप के माध्यम से अपडेट करते हैं (जैसे, डेल्टानेट), मेसा लेयर लीनियर मैप $\Phi_t$ को एक टेस्ट-टाइम ऑप्टिमाइज़ेशन समस्या के समाधान के रूप में परिभाषित करती है। विशेष रूप से, यह अब तक देखे गए सभी डेटा ( $e_{1:t}$ ) पर एक संचयी, रेगुलराइज्ड स्क्वेर्ड-एरर लॉस को कम करती है:
$\hat{\Phi}^{mesa}_t = \arg \min_{\Phi} \left( \frac{1}{2} \sum_{t'=1}^t \zeta_{tt'} \|v_{t'} - \Phi k_{t'}\|^2 + \frac{1}{2} \text{Tr}(\Phi \Lambda \Phi^\top) \right)$
जहाँ $\zeta_{tt'}$ संचयी फॉगेट फैक्टर्स को दर्शाता है, और $\Lambda$ एक सिमेट्रिक पॉजिटिव डेफिनेट रेगुलराइज़र है।

आउटपुट को $\Delta^{mesa}_t = \hat{\Phi}^{mesa}_t q_t$ द्वारा कंप्यूट किया जाता है। महत्वपूर्ण रूप से, रिकर्सिव लीस्ट स्क्वायर्स (जो फॉगेट गेट्स के साथ संख्यात्मक अस्थिरता से ग्रस्त है और पैरेलल नहीं किया जा सकता) का उपयोग करने के बजाय, लेखक कंजुगेट ग्रेडिएंट (CG) मेथड का उपयोग करके इष्टतम क्वेरी रिस्पॉन्स $q^*_t = (H_t + \Lambda)^{-1} q_t$ के लिए समाधान निकालते हैं।

पैरेललाइजेशन: लेखक कई टाइम स्टेप्स पर CG मेथड और गेटेड लीनियर अटेंशन (GLA) के बीच समानता का लाभ उठाते हैं। स्टेट वेरिएबल्स $G_t$ और $H_t$ को बनाए रखकर और अनुक्रम के चंक्स (chunks) पर समानांतर रूप से लीनियर सिस्टम को हल करके, यह लेयर ट्रेनिंग के दौरान $O(T)$ कॉम्प्लेक्सिटी और इन्फरेंस के दौरान $O(1)$ कॉम्प्लेक्सिटी प्राप्त करती है।
डायनेमिक कंप्यूट: रुकने के मानदंड (stopping criterion) तक पहुँचने के लिए आवश्यक CG इटरेशन्स ( $k$ ) की संख्या अनुक्रम और टोकन के अनुसार भिन्न होती है। यह मॉडल को प्रदर्शन बनाम इन्फरेंस लागत के बीच ट्रेड-ऑफ करते हुए, डायनेमिक रूप से टेस्ट-टाइम कंप्यूट आवंटित करने की अनुमति देता है।

आर्किटेक्चर (MesaNet)

मेसानेट एक मानक डिकोडर-ओनली ट्रांसफॉर्मर बैकबोन (Llama 2 के समान) अपनाता है लेकिन अनुक्रम मिक्सिंग कंपोनेंट (आमतौर पर मल्टी-हेड अटेंशन) को मेसा लेयर से बदल देता है। इस आर्किटेक्चर में शामिल हैं:

रेसिडुअल ब्लॉक्स: $N$ ब्लॉक्स के स्टैक जिसमें एक सीक्वेंस मिक्सिंग लेयर (Mesa) और एक चैनल मिक्सिंग लेयर (SwiGLU MLP) होती है।
प्रीप्रोसेसिंग: कीज़ (Keys) और क्वेरीज (Queries) को नॉर्मलाइज़ किया जाता है और मेसा लेयर से पहले एक छोटे विंडो के साथ कन्वॉल्व किया जाता है।
हाइब्रिड वेरिएंट: एक "हॉक-मेसा" (Hawk-Mesa) मॉडल भी खोजा गया है, जो लघु-अनुक्रम और दीर्घ-अनुक्रम मॉडलिंग की शक्तियों को मिलाने के लिए LRU (Hawk) लेयर्स और मेसा लेयर्स के बीच बारी-बारी से काम करता है।

मुख्य योगदान

एक पैरेललाइज़ेबल, स्थिर मेसा लेयर: पेपर एक मेसा लेयर का संस्करण प्रस्तुत करता है जो मूल फॉर्मूलेशन की अनुक्रमिक बाधा (sequential bottleneck) और संख्यात्मक अस्थिरता को दूर करता है। यह कुशल ट्रेनिंग सक्षम करने के लिए एक CG सॉल्वर का उपयोग करता है, जिससे आधुनिक हार्डवेयर (GPUs/TPUs) पर कुशल प्रशिक्षण संभव होता है, जबकि इष्टतम टेस्ट-टाइम रिग्रेशन के सैद्धांतिक लाभों को बनाए रखा जाता है।
डायनेमिक टेस्ट-टाइम कंप्यूट एलोकेशन: लेयर स्पष्ट रूप से एक बाहरी सॉल्वर को कॉल करती है जहाँ इटरेशन्स की संख्या दिए गए अनुक्रम के लिए लीनियर सिस्टम की कठिनाई पर निर्भर करती है। यह इनपुट की जटिलता के आधार पर इन्फरेंस कंप्यूट को आवंटित करने के लिए एक सिद्धांत आधारित तंत्र प्रदान करता है।
व्यापक अनुभवजन्य मूल्यांकन: लेखकों ने SlimPajama डेटासेट पर 140M, 440M, और 1B पैरामीटर्स के स्केल पर मेसानेट्स को प्रशिक्षित किया है। वे आर्किटेक्चर, टोकनाइज़र और हाइपरपैरामीटर को नियंत्रित करते हुए Mamba2, xLSTM, DeltaNet, Gated DeltaNet, और Transformers के विरुद्ध एक कठोर, "एप्पल-टू-एप्पल" तुलना प्रदान करते हैं।

परिणाम

भाषा मॉडलिंग प्रदर्शन: मेसानेट्स सभी स्केल्स पर अन्य RNN बेसलाइन्स (Mamba2, xLSTM, DeltaNet) की तुलना में कम वैलिडेशन पर्प्लेक्सिटी (PPL) प्राप्त करते हैं। 1B पैरामीटर स्केल पर, मेसानेट समान आर्किटेक्चर वाले ट्रांसफॉर्मर बेसलाइन के प्रदर्शन के बराबर या उससे थोड़ा बेहतर प्रदर्शन करता है।
टोकन पोजीशन विश्लेषण: टोकन पोजीशन के सापेक्ष नेगेटिव लॉग-लाइक्लीहुड (NLL) का विस्तृत विश्लेषण एक विशिष्ट पैटर्न प्रकट करता है:
- प्रारंभिक टोकन: अधिकांश RNN, जिसमें मेसानेट भी शामिल है, अनुक्रम में शुरुआती टोकन पर ट्रांसफॉर्मर से बेहतर प्रदर्शन करते हैं।
- लंबे संदर्भ (Long Contexts): जबकि ट्रांसफॉर्मर बाद के टोकन पर उत्कृष्ट होते हैं, मेसानेट और हॉक-मेसा अन्य RNNों की तुलना में अपने लाभ को काफी आगे (512 टोकन से परे) तक बढ़ाते हैं, हालांकि वे बहुत लंबे डेप्थ पर अंततः ट्रांसफॉर्मर से पीछे रह जाते हैं।
डाउनस्ट्रीम बेंचमार्क:
- ग्लोबल रीजनिंग: मेसानेट उन बेंचमार्क पर सभी अन्य RNNों से बेहतर प्रदर्शन करता है जिनमें लॉन्ग-रेंज डिपेंडेंसी की आवश्यकता होती है (जैसे, Lambada, HellaSwag, RACE), हालांकि यह अभी भी ट्रांसफॉर्मर बेसलाइन से पीछे है।
- इन-कॉन्टेक्स्ट रिकॉल: मेसानेट अन्य RNNों और यहाँ तक कि 1024-टोकन विंडो वाले स्लाइडिंग विंडो अटेंशन (SWA) मॉडल से भी बेहतर प्रदर्शन करता है, लेकिन फुल-अटेंशन ट्रांसफॉर्मर से पीछे रहता है।
- फ्यू-शॉट लर्निंग: मेसानेट वर्ड स्कैम्बलिंग और ट्रांसलेशन कार्यों पर मजबूत प्रदर्शन प्रदर्शित करता है, जो अक्सर स्कैम्बलिंग कार्यों पर ट्रांसफॉर्मर से भी अधिक होता है।
दक्षता: इन्फरेंस के दौरान CG सॉल्वर के लिए अतिरिक्त FLOPs की आवश्यकता के बावजूद, मेसानेट मध्यम संख्या में CG स्टेप्स (जैसे, 10-30) का उपयोग करने पर H100 GPUs और TPUv5s पर प्रतिस्पर्धी टोकन थ्रूपुट बनाए रखता है।

महत्व और दावे

पेपर मेसानेट को न्यूरल नेटवर्क के भीतर इष्टतम टेस्ट-टाइम ट्रेनिंग की दिशा में एक महत्वपूर्ण कदम के रूप में स्थापित करता है। लेखक दावा करते हैं कि इन्फरेंस के समय क्रमिक अनुकूलन समस्याओं (विशेष रूप से, सर्वश्रेष्ठ लीनियर एसोसिएटिव मेमोरी वेट्स खोजने) को हल करके, मॉडल सरल ग्रेडिएंट अपडेट का उपयोग करने वाले मॉडलों की तुलना में नए साक्ष्य के प्रति अधिक प्रभावी ढंग से अनुकूलित हो सकता है।

यह कार्य एक ट्रेड-ऑफ को उजागर करता है: पर्प्लेक्सिटी और डाउनस्ट्रीम रीजनिंग में प्रदर्शन लाभ, इन्फरेंस कंप्यूट (FLOPs) की बढ़ी हुई लागत की कीमत पर आता है। लेखक सुझाव देते हैं कि यह प्रदर्शन सुधारने के लिए टेस्ट-टाइम कंप्यूट बढ़ाने के हालिया रुझानों के अनुरूप है। वे तर्क देते हैं कि मेसा लेयर इस कंप्यूट को गतिशील रूप से आवंटित करने के लिए एक लचीला तंत्र प्रदान करती है, जो संभावित रूप से नेटवर्क के भीतर ही जटिल क्रमिक समस्याओं को हल कर सकती है।

पेपर निष्कर्ष निकालता है कि हालांकि मेसानेट्स को वर्तमान में कंप्यूट ओवरहेड का सामना करना पड़ता है, लेकिन लॉन्ग-कॉन्टेक्स्ट अंडरस्टैंडिंग और ग्लोबल रीजनिंग कार्यों पर अन्य RNNों से बेहतर प्रदर्शन करने की उनकी क्षमता यह सुझाव देती है कि स्थानीय रूप रूप से इष्टतम टेस्ट-टाइम ट्रेनिंग कुशल अनुक्रम मॉडलिंग के लिए एक आशाजनक दिशा है, जो संभावित रूप से RNN की दक्षता और ट्रांसफॉर्मर के प्रदर्शन के बीच के अंतर को पाट सकती है। लेखक वर्तमान कार्यान्वयन की कंप्यूट लागत को एक कमी के रूप में स्वीकार करते हैं और सुझाव देते हैं कि भविष्य के कार्य वारम-स्टार्टिंग ऑप्टिमाइजेशन या हाइब्रिड इन्फरेंस रणनीतियों को शामिल कर सकते हैं ताकि इसे कम किया जा सके।