🤖 AI

Looped State-Space Language Models with Adaptive Exit-State Selection

यह शोधपत्र प्रदर्शित करता है कि माम्बा-आधारित स्टेट-स्पेस मॉडल्स पर लूप आर्किटेक्चर लागू करने से बढ़ी हुई कम्प्यूटेशनल गहराई के माध्यम से तर्क क्षमताओं और पैरामीटर दक्षता में वृद्धि होती है, जबकि यह प्रेडिक्शन डेप्थ को अनुकूलित करने के लिए एडेप्टिव एग्जिट-स्टेट चयन को भी पेश करता है, हालांकि यह नोट करता है कि वास्तविक इन्फरेंस-टाइम बचत के लिए आगे के स्टेट-हैंडलिंग तंत्रों की आवश्यकता है।

मूल लेखक: Zhenxuan Yu, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhenxuan Yu, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास मंबा (Mamba) नाम का एक शानदार, अत्यंत बुद्धिमान रोबोट शेफ है। यह शेफ अपनी अविश्वसनीय गति और मेमोरी-कुशलता के लिए प्रसिद्ध है, जो अलग-अलग औजारों से भरी एक विशाल रसोई की आवश्यकता के बिना ही पकवानों का अंबार लगा सकता है। लेकिन एक पेच है: जब इसे किसी बहुत कठिन रेसिपी का सामना करना पड़ता है—जैसे कि कोई जटिल गणितीय पहेली या "छिपे हुए घटक को खोजने" वाला खेल—तो मंबा कभी-कभी अटक जाता है। इसे गहराई से सोचने की आवश्यकता होती है, लेकिन इसके पास एक नया, विशाल किचन बनाने के बिना सोचने के लिए पर्याप्त "परतें" (layers) नहीं हैं (जिसकी कीमत बहुत अधिक होगी)।

यहाँ शोधकर्ता आए: रिक्क्यो यूनिवर्सिटी और द यूनिवर्सिटी ऑफ टोक्यो के शोधकर्ताओं ने एक सरल, साहसी प्रश्न पूछा: क्या होगा यदि हम एक बड़ा किचन न बनाएं, बल्कि मंबा को एक ही व्यंजन को बार-बार बनाने दें, हर एक बार के साथ उसके स्वाद को और बेहतर बनाते हुए?

"लूप वाला" किचन: एक शेफ, कई बार प्रयास

AI की दुनिया में, अधिकांश मॉडल एक फैक्ट्री असेंबली लाइन की तरह होते हैं। डेटा का एक टुकड़ा (जैसे वाक्य में एक शब्द) लाइन में आगे बढ़ता है, 24 अलग-अलग स्टेशनों (परतों) से गुजरता है, और फिर समाप्त हो जाता है। यदि आप चाहते हैं कि रोबोट अधिक गहराई से सोचे, तो आपको आमतौर पर बस और अधिक स्टेशन जोड़ने होते हैं।

लेखकों ने कुछ अलग करने की कोशिश की। उन्होंने एक लूप वाला मंबा (Looped Mamba) बनाया। कल्पना कीजिए कि मंबा एक एकल, अत्यंत प्रतिभाशाली स्टेशन है। डेटा को 24 अलग-अलग स्टेशनों की एक लंबी लाइन में भेजने के बजाय, वे उसे उसी स्टेशन पर 24 बार भेजते हैं।

जादू: रोबोट हर बार के लिए बिल्कुल उसी दिमाग (पैरामीटर्स) का उपयोग करता है। यह एक छात्र द्वारा एक पैराग्राफ को समझने के लिए उसे चार बार फिर से पढ़ने जैसा है, बजाय इसके कि वह चार अलग-अलग, भ्रमित करने वाले पैराग्राफ पढ़े।
परिणाम: जटिल तर्क पहेलियों जैसे कि मानो (Mano) (मॉड्यूलर अंकगणित) और p-hop इंडक्शन (छिपे हुए पैटर्न खोजना) पर, यह "पुनः पढ़ने" की रणनीति कमाल कर गई। एक मॉडल जिसमें केवल 4 परतें थीं लेकिन उसने उन्हें 6 बार लूप किया (4 ⊗ 6), उसने 24 अद्वितीय परतों वाले मानक मॉडल को पछाड़ दिया। यह सुझाव देता है कि तर्क करने के लिए, विचारों की गहराई, अद्वितीय औजारों की संख्या से अधिक महत्वपूर्ण है।

"एग्जिट गेट" (Exit Gate): सबसे अच्छा संस्करण चुनना

लेकिन रुकिए, क्या होगा यदि रोबलेट उस पैराग्राफ को अनंत काल तक पढ़ता रहे? यह समय की बर्बादी होगी। शोधकर्ताओं ने एग्जिट गेट (Exit Gate) नामक एक चतुर विशेषता जोड़ी।

इस गेट को एक स्मार्ट सेलेक्टर के रूप में सोचें। जैसे-जैसे मंबा डेटा को प्रोसेस करता है, गेट पूछता है, "क्या उत्तर स्पष्ट हो रहा है?"

यदि 2 लूप के बाद उत्तर पहले से ही स्पष्ट है, तो गेट कहता है, "रुक जाओ! हम इस पास (pass) के परिणाम का उपयोग करेंगे।"
यदि समस्या कठिन है, तो गेट कहता है, "जारी रखो!" और तीसरे या चौथे लूप के परिणाम को चुनता है।

इसे एडाप्टिव एग्जिट-स्टेट सिलेक्शन (Adaptive Exit-State Selection) कहा जाता है। शोधकर्ताओं ने पाया कि छोटे मॉडलों (लगभग 140 मिलियन पैरामीटर्स) के लिए, यह गेट एक गेम-चेंजर था। इसने मॉडल को प्रत्येक विशिष्ट शब्द के लिए सोचने के "ठीक सही" समय को चुनने की अनुमति दी, और अक्सर यह उस मॉडल से बेहतर प्रदर्शन करता था जिसे हमेशा अधिकतम लूपों के परिणाम का उपयोग करने के लिए मजबूर किया जाता है।

हालाँकि, एक मोड़ है। शोधकर्ता बहुत सावधानी से यह नोट करते हैं कि यह अभी तक कंप्यूटर पर बिजली या समय की बचत नहीं करता है। भले ही गेट एक पहले के परिणाम को चुनता है, लेकिन रोबोट बैकग्राउंड में सभी लूपों को भौतिक रूप से चलाता है। ऐसा इसलिए है क्योंकि मंबा की मेमोरी अवस्था निरंतर (continuous) है: लूप 3 का परिणाम लूप 2 द्वारा छोड़ी गई स्थिति पर निर्भर करता है, जो लूप 1 पर निर्भर करती है। आप बाद के सभी शब्दों के लिए श्रृंखला को तोड़े बिना रोबोट को बाद के लूपों से बस "छोड़" नहीं सकते। इसलिए, गेट प्रेडिक्शन डेप्थ (उत्तर का कौन सा संस्करण उपयोग करना है) को चुनता है, लेकिन वॉल-क्लॉक कंप्यूटेशन (वास्तविक समय की गणना) समान रहती है। समय बचाने के लिए, आपको रोबोट की मेमोरी स्थिति को संभालने के एक नए तरीके की आवश्यकता होगी, जो लेखकों के अनुसार भविष्य के काम के लिए है।

वास्तविकता की जाँच: क्या काम नहीं आया (और क्या अभी भी एक 'शायद' है)

यह पेपर ईमानदारी से उन चीजों के बारे में बताता है जिन्हें इसने हल नहीं किया।

बड़ा होना हमेशा बेहतर नहीं होता (इस ट्रिक के लिए): जब उन्होंने अपने लूप वाले मंबा की तुलना एक मानक, गैर-लूप वाले मॉडल से की जो उतना ही "महंगा" (समान गणनाओं या "iso-FLOPs" के साथ) था, तो मानक मॉडल अभी भी "मॉडल कितना भ्रमित है?" (परप्लेक्सिटी) के बुनियादी परीक्षण में जीत गया। लूप वाला मॉडल तर्क कार्यों में बहुत अच्छा था, लेकिन मानक गहरा मॉडल केवल वाक्य में अगला शब्द बताने के मामले में अभी भी थोड़ा बेहतर था।
आकार मायने रखता है: "एग्जिट गेट" 140-मिलियन-पैरामीटर वाले मॉडलों के लिए बहुत अच्छा काम कर गया। लेकिन जब उन्होंने इसे बड़े 370-मिलियन-पैरामीटर वाले मॉडलों पर आजमाया, तो गेट ने बहुत अधिक सुधार नहीं किया। बड़े मॉडल शायद सभी लूपों को चलाने को ही प्राथमिकता देते हैं। लेखक सुझाव देते हैं कि बड़े मॉडल शायद सोचने के अंतिम, गहरे दौर पर अधिक निर्भर करते हैं।
यह हर चीज़ के लिए जादुई समाधान नहीं है: शोधकर्ताओं ने इसका परीक्षण सिंथेटिक पहेलियों (जैसे गणितीय पेड़ और पैटर्न खोजना) पर किया। जबकि ये सिद्ध करते हैं कि अवधारणा काम करती है, वे स्वीकार करते हैं कि हमें अभी तक यह नहीं पता कि क्या यह "लूपिंग" ट्रिक उपन्यास लिखने या जटिल कानूनी मामला सुलझाने जैसे वास्तविक दुनिया के खुले तर्क पर भी उतनी ही अच्छी तरह काम करेगी।

निष्कर्ष

पेपर यह सुझाव देता है कि एक ही स्मार्ट दिमाग का बार-बार उपयोग करना एक बड़ा, अधिक महंगा दिमाग बनाए बिना AI को तर्क करने में स्मार्ट बनाने का एक शक्तिशाली तरीका है। यह एक "पैरामीटर-एफिशिएंट" स्केलिंग एक्सिस है।

सिद्ध: विशिष्ट तर्क पहेलियों पर, एक छोटे मंबा मॉडल को लूप करना, समान आकार के मानक मॉडल को हरा देता है और बहुत बड़े मॉडल के बराबर प्रदर्शन करता है।
सुझाया गया: यह दृष्टिकोण भविष्य के AI को अधिक कुशल बनाने की कुंजी हो सकता है, विशेष रूप से उन कार्यों के लिए जिनमें गहरी, चरण-दर-चरण सोच की आवश्यकता होती है।
अभी हल नहीं हुआ: हमें अभी यह भी समझना होगा कि "एग्जिट गेट" को वास्तव में कंप्यूटिंग समय बचाने के लिए कैसे उपयोग किया जाए (केवल आउटपुट चुनने के बजाय) और क्या यह उन विशाल, बिलियन-पैरामीटर वाले मॉडलों के लिए काम करेगा जो आज के सबसे बड़े AI को संचालित करते हैं।

संक्षेप में, लेखकों ने केवल एक बड़ा रोबोट नहीं बनाया; उन्होंने एक छोटे रोबोट को समस्या को दूसरी (या तीसरी, या चौथी) बार देखने की अनुमति देकर गहराई से सोचना सिखाया। और फिलहाल, वह दूसरी नज़र काफी आशाजनक दिख रही है।

तकनीकी सारांश: अनुकूली निकास-अवस्था चयन के साथ लूप्ड स्टेट-स्पेस लैंग्वेज मॉडल्स

समस्या विवरण

हाल के वर्षों में, लार्ज लैंग्वेज मॉडल्स (LLMs) की प्रगति मुख्य रूप से मॉडल के आकार, प्रशिक्षण डेटा और कंप्यूट-गहन अनुमान (inference) को स्केल करने से प्रेरित रही है। हालाँकि, यह स्केलिंग प्रतिमान महत्वपूर्ण परिनियोजन (deployment) चुनौतियाँ पेश करता है, जिसमें ट्रांसफॉर्मर-आधारित सेल्फ-अटेंशन तंत्रों में बड़े की-वैल्यू (key-value) कैश के रखरखाव के कारण मेमोरी खपत और तेजी से बढ़ती अनुमान लागत शामिल है। जबकि स्टेट स्पेस मॉडल्स (SSMs), विशेष रूप से मंबा-2 (Mamba-2), अनुकूल लंबी-संदर्भ स्केलिंग के साथ एक कुशल विकल्प प्रदान करते हैं, यह स्पष्ट नहीं है कि क्या "स्वतंत्र मापदंडों के बजाय कम्प्यूटेशनल गहराई" का सिद्धांत—जिसे हाल ही में लूप्ड ट्रांसफॉर्मर्स में प्रदर्शित किया गया है—SSMs पर भी लागू होता है। इसके अलावा, मौजूदा शोध लगभग विशेष रूप से ट्रांसफॉर्मर बैकबोन पर केंद्रित रहा है, जिससे यह समझने में एक अंतराल रह गया है कि रिकरेंट पैरामीटर शेयरिंग मंबा और हाइब्रिड मंबा-ट्रांसफॉर्मर आर्किटेक्चर के भीतर कैसे कार्य करती है।

कार्यप्रणाली

लेखक लूप्ड मंबा (Looped Mamba) और लूप्ड हाइब्रिड मंबा-ट्रांसफॉर्मर (Looped Hybrid Mamba–Transformer) आर्किटेक्चर प्रस्तावित करते हैं। मुख्य तंत्र एक एकल मंबा (या हाइब्रिड) ब्लॉक के मापदंडों को परतों के बीच साझा करना और इसे स्पष्ट परिमित-गहराई वाले लूप्स (finite-depth loops) के माध्यम से बार-बार लागू करना है।

आर्किटेक्चर

नोटेशन: एक मॉडल को $N \otimes R$ के रूप में दर्शाया जाता है, जहाँ $N$ स्वतंत्र रूप से पैरामीटराइज्ड परतों की संख्या है और $R$ रिकरेंट स्टेप्स की संख्या है। प्रभावी गहराई $NR$ है।
लूप्ड मंबा: एक साझा $N$ $N$ -परत मंबा बैकबोन $M_\theta$ $M_{θ}$ को बार-बार लागू करता है।
- $h^{(r)} = M_\theta(h^{(r-1)})$ जहाँ $r = 1, \dots, R$ ।
- अंतिम आउटपुट स्टेप $R$ के हिडन स्टेट से प्राप्त किया जाता है।
लूप्ड हाइब्रिड: यह उस बैकबोन तक विस्तार करता है जिसमें मंबा-2 परतें और सीज़ल सेल्फ-अटेंशन परतों का एक छोटा उपसमूह शामिल है। लूप पूरे हाइब्रिड ब्लॉक पर लागू होता है, जिससे स्टेट-स्पेस अपडेट और अटेंशन-आधारित इंटरैक्शन दोनों के माध्यम से हिडन रिप्रेजेंटेशन के इटरेटिव रिफाइनमेंट की अनुमति मिलती है।
प्रशिक्षण प्रोटोकॉल (Training Protocol):
1. प्री-ट्रेनिंग: इसे फाइनल-लूप ऑब्जेक्टिव (लॉस केवल स्टेप $R$ पर कैलकुलेट किया जाता है) का उपयोग करके अनुकूलित किया गया है।
2. एग्जिट-गेट स्टेज 1: सभी रिकरेंट स्टेप्स के आउटपुट का उपयोग करके, सभी रिकरेंट स्टेप्स से प्राप्त होने वाले टोकन-लेवल डिस्ट्रीब्यूशन को सीखने के लिए एक एंट्रॉपी-रेगुलराइज्ड एडेप्टिव कम्प्यूटेशन ऑब्जेक्टिव (ओरो/Ouro से अनुकूलित) पेश करता है।
3. एग्जिट-गेट स्टेज 2: बैकबोन और हेड को फ्रीज करता है, और केवल एग्जिट गेट को प्रशिक्षित करता है ताकि केवल तभी निरंतरता (continuation) को प्रोत्साहित किया जा सके जब अगला स्टेप प्रेडिक्शन लॉस में सुधार करता हो।

अनुकूली निकास-अवस्था चयन (Adaptive Exit-State Selection)

लेखक मंबा के लिए ओरो के दो-चरणीय एग्जिट गेट को अनुकूलित करते हैं। अनुमान (inference) के समय, एक थ्रेशोल्ड $q$ संचयी एग्जिट प्रोबेबिलिटी के आधार पर प्रत्येक टोकन के लिए एग्जिट स्टेप $z_i$ के चयन को नियंत्रित करता है।

सिमेंटिक नोट: लेखकों ने स्पष्ट किया है कि SSMs में, स्टेट निरंतरता बाधाओं (state continuity constraints) के कारण सभी $R$ स्टेप्स की स्टेट चेन को संरक्षित किया जाना चाहिए। इसलिए, "एग्जिट" यह चुनता है कि किस रिकरेंट स्टेप के हिडन स्टेट को लैंग्वेज मॉडलिंग हेड को पास किया जाए; यह स्वाभाविक रूप से अतिरिक्त स्टेट-हैंडलिंग मैकेनिज्म के बिना वॉल-क्लॉक कंप्यूटेशन या निष्पादित स्टेप्स की संख्या को कम नहीं करता है।

मुख्य योगदान

नियंत्रित अनुभवजन्य अध्ययन: लेखक गैर-लूप्ड मंबा और ट्रांसफॉर्मर बेसलाइन्स के विरुद्ध मैच किए गए आइसो-पैरामीटर (समान $N$ , भिन्न $R$ ) और आइसो-FLOPs (समान प्रभावी गहराई $NR$) प्रोटोकॉल के तहत एक कठोर तुलना प्रस्तुत करते हैं।
रीजनिंग टास्क इवैल्यूएशन: यह अध्ययन सिंथेटिक रीजनिंग टास्क (Mano और $p$ -hop induction) और डाउनस्ट्रीम बेंचमार्क के साथ लैंग्वेज मॉडल प्री-ट्रेनिंग पर दृष्टिकोण को मान्य करता है।
एडेप्टिव एग्जिट मैकेनिज्म: लूप्ड स्टेट-स्पेस मॉडल्स के लिए थ्रेशोल्ड-कंट्रोल्ड एडेप्टिव एग्जिट-स्टेट सिलेक्शन मैकेनिज्म का परिचय, जो मध्यवर्ती गहराइयों (intermediate depths) पर डाउनस्ट्रीम प्रदर्शन में सुधार करने की क्षमता प्रदर्शित करता है।

प्रयोगात्मक परिणाम

सिंथेटिक रीजनिंग टास्क

मानो टास्क (मॉड्यूलर अरिथमेटिक): लूप्ड मंबा लगातार पैरामीटर-मैच्ड नॉन-लूप्ड बेसलाइन्स से बेहतर प्रदर्शन करता है। कठिन सेटिंग ( $L=24$ ) में, एक $4 \otimes 6$ मॉडल ने 99.35% सटीकता प्राप्त की, जबकि $4 \otimes 1$ बेसलाइन के लिए यह 7.50% थी। आइसो-FLOPs स्थितियों (प्रभावी गहराई 24) के तहत, $4 \otimes 6$ मॉडल ने $24 \otimes 1$ नॉन-लूप्ड बेसलाइन (99.35% बनाम 37.45%) को काफी बेहतर प्रदर्शन किया, जो यह सुझाव देता है कि रिकरेंट पैरामीटर शेयरिंग, अनशेयर्ड लेयर्स को बढ़ाने की तुलना में कंपोजिशनल कंप्यूटेशन के लिए एक मजबूत इंडक्टिव बायस प्रदान करता है।
$p$ -hop इंडक्शन (रिकर्सिव रिट्रीवल): उथले नॉन-लूप्ड मंबा संघर्ष कर रहे थे (जैसे, $1 \otimes 1$ लगभग 38-41% पर), जबकि लूप जोड़ने से प्रदर्शन में नाटकीय सुधार हुआ। $1 \otimes 12$ मॉडल ने लगभग पूर्ण सटीकता (~99.89%) प्राप्त की, जो इंगित करता कि रिकर्सिव रिट्रीवल के लिए रिकर्सिव डेप्थ, विशिष्ट पैरामीटर काउंट की तुलना में अधिक महत्वपूर्ण है।

लैंग्वेज मॉडलिंग और डाउनस्ट्रीम बेंचमार्क

आइसो-पैरामीटर: रिकरेंट डेप्थ ने फिक्स्ड पैरामीटर बजट के तहत मंबा-2 और LLaMA-2 बैकबोन के लिए वैलिडेशन पर्सिप्लेक्सिटी (PPL) में सुधार किया।
आइसो-FLOPs: गहरे नॉन-लूप्ड मॉडल्स ( $24 \otimes 1$ ) ने मैच की गई प्रभावी गहराई वाले लूप्ड मॉडल्स की तुलना में वैलिडेशन पर्सिप्लेक्सिटी में बढ़त बनाए रखी। हालांकि, लूप्ड मॉडल्स डाउनस्ट्रीम बेंचमार्क पर प्रतिस्पर्धी बने रहे, और कभी-कभी गहरे नॉन-लूप्ड बेसलाइन्स से बेहतर प्रदर्शन किया।
एडेप्टिव एग्जिट:
- 140M स्केल: एडेप्टिव एग्जिट गेटिंग ने डाउनस्ट्रीम प्रदर्शन में सुधार किया। 140M मंबा-2 मॉडल के लिए, स्टेज 2 एग्जिट गेट ने औसत स्कोर 38.87 प्राप्त किया और औसत चयनित एग्जिट स्टेप 3.00 था, जो फिक्स्ड-लूप4 बेसलाइन (37.79) से बेहतर था।
- 370M स्केल: सर्वश्रेष्ठ डाउनस्ट्रीम प्रदर्शन फिक्स्ड लूप4 सेटिंग के करीब केंद्रित रहा। एग्जिट-गेटेड वेरिएंट्स ने पीक फिक्स्ड-लूप स्कोर को पार नहीं किया, जो बताता है कि बड़े मॉडल्स शायद अंतिम रिकरेंट स्टेप पर अधिक निर्भर करते हैं या उन्हें बेहतर गेट कैलिब्रेशन की आवश्यकता होती है।
- ट्रेड-ऑफ: एग्जिट गेटिंग चयनित डेप्थ और प्रदर्शन के बीच एक नियंत्रणीय फ्रंटियर प्रदान करता है, जिससे मॉडल को फिक्स्ड मैक्सिमम डेप्थ को मजबूर करने के बजाय मध्यवर्ती रिकरेंट स्टेट्स का प्रभावी ढंग से उपयोग करने की अनुमति मिलती है।

महत्व और दावे

यह पेपर दावा करता है कि रिकरेंट डेप्थ, मंबा और हाइब्रिड लैंग्वेज मॉडल्स के लिए एक आशाजनक, पैरामीटर-कुशल स्केलिंग एक्सिस प्रदान करती है। मुख्य निष्कर्षों में शामिल हैं:

डेप्थ बनाम पैरामीटर्स: कई रीजनिंग टास्क अतिरिक्त स्वतंत्र मापदंडों के बजाय अधिक कम्प्यूटेशनल डेप्थ से लाभान्वित होते हैं। रिकरेंटली मंबा लेयर्स का पुन: उपयोग करने से पैरामीटर काउंट बढ़ाए बिना कम्पोजिशनल और रिकर्सिव कंप्यूटेशन क्षमताओं में काफी सुधार होता है।
हाइब्रिड व्यवहार्यता: लूप्ड डेप्थ का सिद्धांत हाइब्रिड मंबा-ट्रांसफॉर्मर आर्किटेक्चर पर भी प्रभावी रूप से लागू होता है, जहाँ अटेंशन लेयर्स को मंबा लेयर्स के साथ संयुक्त रूप से लूप किया जाता है।
एडेप्टिव सिलेक्शन: जबकि वर्तमान SSM कार्यान्वयन के लिए पूर्ण स्टेट निष्पादन की आवश्यकता होती है, एडेप्टिव एग्जिट-स्टेट सिलेक्शन इष्टतम प्रेडिक्शन डेप्थ चुनने की अनुमति देता है, जिससे मध्यवर्ती गहराइयों (विशेष रूप से 140M स्केल पर) में डाउनस्ट्रीम प्रदर्शन में सुधार होता है।

लेखक अपने दावों के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि प्रयोग 370M पैरामीटर्स तक के मॉडल्स तक सीमित हैं और वास्तविक अनुमान-समय (inference-time) कंप्यूट बचत के लिए भविष्य के कार्य में स्टेट-हैंडलिंग मैकेनिज्म के माध्यम से रिकरेंट स्टेप्स को पूरी तरह से स्किप करना आवश्यक होगा। परिणाम पूर्ण लक्षण वर्णन के बजाय नियंत्रित अनुभवजन्य साक्ष्य के रूप में प्रस्तुत किए गए हैं।