💬 NLP

Rethinking State Tracking in Recurrent Models Through Error Control Dynamics

यह शोध पत्र यह तर्क देता है कि आवर्ती मॉडलों (recurrent models) में सुदृढ़ अवस्था ट्रैकिंग (robust state tracking) केवल सैद्धांतिक अभिव्यक्ति (theoretical expressivity) पर नहीं, बल्कि त्रुटि नियंत्रण गतिकी (error control dynamics) पर महत्वपूर्ण रूप से निर्भर करती है, जो यह प्रदर्शित करता है कि अफ़ाइन आवर्ती नेटवर्क (affine recurrent networks) दीर्घ-क्षितिज वाले कार्यों (long-horizon tasks) में अपरिहार्य रूप से विफल हो जाते हैं क्योंकि अवस्था-पृथक्करण त्रुटियों (state-separating errors) को सुधारने में उनकी अक्षमता, एक बार जब संचित इन-क्लास प्रसार (within-class spread) डिकोडर की पठनीयता सीमा (readability threshold) से अधिक हो जाता है, तो अनुमानित ट्रैकिंग पतन (tracking collapse) की ओर ले जाती है।

मूल लेखक: Jiwan Chung, Heechan Choi, Seon Joo Kim

प्रकाशित 2026-05-11

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiwan Chung, Heechan Choi, Seon Joo Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल खेल का मानसिक हिसाब रखने की कोशिश कर रहे हैं, जैसे कि एक बोर्ड गेम में यह ट्रैक करना कि वर्तमान में "कमान में" कौन है, जहाँ खिलाड़ी लगातार अपनी भूमिकाएँ बदलते रहते हैं। आपके पास एक नोटबुक है (आपका छिपा हुआ स्टेट/hidden state) जिसमें आप वर्तमान स्थिति लिख रहे हैं। हर बार जब कोई नई चाल चलती है, तो आप अपनी नोटबुक को अपडेट करते हैं।

लंबे समय तक, वैज्ञानिकों का मानना था कि कंप्यूटर को यह करने के लिए केवल एक्सप्रेसिविटी (expressivity) की आवश्यकता थी: "क्या इस कंप्यूटर के पास एक पर्याप्त बड़ी नोटबुक और एक पर्याप्त स्मार्ट पेन है जो सैद्धांतिक रूप से खेल के हर संभावित नियम को लिख सके?"

यह शोध पत्र तर्क देता है कि एक्सप्रेसिविटी केवल आधी कहानी है। दूसरा, अधिक महत्वपूर्ण आधा हिस्सा है एरर कंट्रोल (error control)। यह केवल सही नियम होने के बारे में नहीं है; यह इस बारे में भी है कि जब आप एक छोटी सी गलती करते हैं तो क्या होता है।

मुख्य समस्या: "ड्रिफ्टिंग" नोटबुक

कल्पना कीजिए कि आप एक रस्सी पर चल रहे हैं (tightrope)। यदि आप एक आदर्श कदम उठाते हैं, तो आप रेखा पर बने रहते हैं। लेकिन वास्तविक दुनिया में, आप थोड़ा डगमगा सकते हैं।

आदर्श ट्रैकर: यदि आप डगमगाते हैं, तो आपके पास एक अंतर्निहित तंत्र (जैसे संतुलन बनाने वाला पोल) होता है जो तुरंत आपके संतुलन को ठीक करता है और आपको वापस केंद्र में खींच लाता है।
दोषपूर्ण ट्रैकर: यदि आप डगमगाते हैं, तो आप बस डगमगाते रहते हैं। आप तुरंत नहीं गिरते, लेकिन हर कदम के साथ, आपका डगमगाना थोड़ा बढ़ता जाता है। अंततः आप रेखा से इतनी दूर चले जाते हैं कि आप यह भी नहीं बता पाते कि आप रस्सी के किस तरफ हैं।

लेखकों ने पाया कि कई आधुनिक AI मॉडल (जैसे Mamba और Linear Attention) दूसरे प्रकार के हैं। वे गणितीय रूप से नियमों को जानने में सक्षम हैं, लेकिन उनमें छोटी गलतियों को ठीक करने के लिए "बैलेंसिंग पोल" की कमी है।

द "एफाइन" ट्रैप (The "Affine" Trap)

यह शोध पत्र एफाइन रिकरेंट नेटवर्क्स (Affine Recurrent Networks) नामक मॉडलों के एक विशिष्ट वर्ग पर ध्यान केंद्रित करता है। इन्हें ऐसे समझें कि ये अपने मेमोरी को एक बहुत ही कठोर, सीधी-रेखा वाले फॉर्मूले का उपयोग करके अपडेट करते हैं।

नियम: यदि मॉडल एकदम सही है, तो इसे हर बार गेम चक्र (cycle) दोहराने पर ठीक उसी स्थान पर वापस आना चाहिए।
पकड़ (The Catch): क्योंकि फॉर्मूला इतना कठोर (affine) है, इसलिए यदि इसे बिल्कुल उसी स्थान पर वापस आने के लिए मजबूर किया जाता है, तो यह खुद को वापस खींचने की क्षमता खो देता है यदि यह भटक जाता है। यह एक ऐसी कार की तरह है जिसका स्टीयरिंग व्हील सीधा लॉक है। यदि कार पूरी तरह से केंद्र में है, तो यह ठीक चलती है। लेकिन यदि एक कंकड़ उसे केंद्र से थोड़ा सा धकेल देता है, तो कार वापस मुड़ नहीं सकती; वह बस एक सीधी रेखा में चलती रहती है, केंद्र से और दूर होती जाती है।

यह शोध पत्र सिद्ध करता है कि एक बार जब ये मॉडल नियमों को पूरी तरह से सीख लेते हैं, तो वे त्रुटियों के प्रति "न्यूट्रल" हो जाते हैं। वे स्टेट को सुरक्षित तो रखते हैं, लेकिन वे ड्रिफ्ट (भटकाव) को ठीक नहीं कर सकते।

"फाइनाइट होराइजन" प्रभाव (The "Finite Horizon" Effect)

तो, क्या ये मॉडल तुरंत विफल हो जाते हैं? नहीं।
एक लीकी बकेट (leaky bucket - टपकती बाल्टी) के बारे में सोचें।

यदि आप कम दूरी (टेक्स्ट के छोटे अनुक्रम) तक चल रहे हैं, तो रिसाव इतना धीमा है कि आप इसे नोटिस नहीं करते। बाल्टी अभी भी उत्तर बताने के लिए पर्याप्त पानी रखती है।
लेकिन जैसे-जैसे आप आगे बढ़ते हैं (लंबे अनुक्रम), पानी (सटीकता) धीरे-धीरे बहता जाता है।
अंततः बाल्टी इतनी खाली हो जाती है (या त्रुटियों से पानी इतना धुंधला हो जाता है) कि आप सही उत्तर और गलत उत्तर के बीच अंतर नहीं कर पाते।

शोध पत्र इसे फाइनाइट होराइजन (Finite Horizon) कहता है। ये मॉडल कुछ समय के लिए ठीक काम करते हैं, लेकिन उनकी एक कठिन सीमा होती है। एक बार जब संचित "शोर" (noise) या "ड्रिफ्ट" (भटकाव) सही उत्तर और गलत उत्तर के बीच के अंतर से बड़ा हो जाता है, तो मॉडल ढह जाता है।

समाधान: "बैलेंसिंग पोल" (स्टेट-डिपेंडेंस)

शोध पत्र इन कठोर मॉडलों की तुलना स्टेट-डिपेंडेंट मॉडल्स (State-Dependent Models) (जैसे मानक गैर-रेखीय एक्टिवेशन वाले RNNs) से करता है।

ये मॉडल एक बैलेंसिंग पोल वाले साइकिल चालक की तरह हैं। यदि वे डगमगाते हैं, तो साइकिल चालक सक्रिय रूप से वापस मुड़ने के लिए स्टीयर कर सकता है।
गणितीय रूप से, इसका अर्थ है कि उनके द्वारा मेमोरी को अपडेट करने का तरीका इस बात पर निर्भर करता है कि वे वर्तमान में कहाँ हैं। यदि वे भटक रहे हैं, तो अपडेट नियम उन्हें वापस खींचने के लिए बदल जाता है।
प्रयोग दिखाते हैं कि ये मॉडल चाहे अनुक्रम कितना भी लंबा क्यों न हो, रस्सी पर हमेशा के लिए चल सकते हैं क्योंकि वे सक्रिय रूप से अपनी गलतियों को ठीक करते हैं।

"रीडेबिलिटी" थ्रेशोल्ड (The "Readability" Threshold)

लेखकों ने एक तरीका विकसित किया जिससे यह भविष्यवाणी की जा सके कि कठोर मॉडल कब विफल होंगे।
कल्पना कीजिए कि सही उत्तर धुंधले समुद्र में अलग-अलग द्वीप हैं।

सेपरेशन (Separation): द्वीपों के बीच की दूरी।
स्प्रेड (Spread): प्रत्येक द्वीप के आसपास का धुंधलापन (त्रुटियों के कारण उत्पन्न हुआ)।
टिपिंग पॉइंट (The Tipping Point): जब तक कि धुंध (त्रुटि फैलाव) द्वीपों के बीच की दूरी से छोटी है, आप देख सकते हैं कि आप किस द्वीप पर हैं। लेकिन जैसे ही धुंध द्वीपों के बीच की दूरी से अधिक मोटी हो जाती है, आप यह नहीं बता सकते कि आप कहाँ हैं।

शोध पत्र दिखाता है कि कठोर मॉडलों के लिए यह धुंध अनुमानित रूप से बढ़ती है। वे गणना कर सकते हैं कि कितने चरणों के बाद धुंध इतनी मोटी हो जाएगी कि वे काम करना बंद कर देंगे, और यह भविष्यवाणी ठीक उसी समय से मेल खाती है जब वे व्यवहार में काम करना बंद कर देते हैं।

निष्कर्षों का सारांश

सिद्धांत पर्याप्त नहीं है: केवल इसलिए कि एक मॉडल सैद्धांतिक रूप से एक नियम को दर्शा सकता है, इसका मतलब यह नहीं है कि वह समय के साथ उस नियम का विश्वसनीय रूप से उपयोग कर सकता है।
कठोर मॉडल भटक जाते हैं: जो मॉडल सरल, सीधी-रेखा वाले अपडेट का उपयोग करते हैं (Affine), वे अपनी छोटी गलतियों को खुद ठीक नहीं कर सकते। वे स्टेट को तभी पूरी तरह सुरक्षित रखते हैं जब वे शुरुआत में एकदम सटीक हों।
सीमा अनुमानित है: ये मॉडल बेतरतीब ढंग से विफल नहीं होते; वे तब विफल होते हैं जब संचित त्रुटि सही उत्तरों के बीच की दूरी को पार कर जाती है।
लचीलापन जीतता है: जो मॉडल अपने वर्तमान स्टेट के आधार पर अपने अपडेट नियमों को बदल सकते हैं (State-Dependent), वे त्रुटियों को सक्रिय रूप से ठीक कर सकते हैं, जिससे वे अनिश्चित काल तक जानकारी को ट्रैक करने में सक्षम होते हैं।

संक्षेप में: मजबूती (Robustness) इस बारे में नहीं है कि आपका नक्शा कितना स्मार्ट है; यह इस बारे में है कि आपका कंपास आपको तब कितनी अच्छी तरह सुधारता है जब आप एक गलत कदम लेते हैं।

तकनीकी सारांश: एरर कंट्रोल डायनेमिक्स के माध्यम से रिकरेंट मॉडल्स में स्टेट ट्रैकिंग का पुनर्विचार

समस्या विवरण

रिकरेंट आर्किटेक्चर में स्टेट ट्रैकिंग के प्रचलित सैद्धांतिक ढांचे ने लगभग विशेष रूप से एक्सप्रेसिविटी (अभिव्यक्ति क्षमता) पर ध्यान केंद्रित किया है: यह निर्धारित करना कि क्या एक निश्चित आर्किटेक्चर सैद्धांतिक रूप से प्रतीकात्मक ट्रांज़िशन नियमों (symbolic transition rules) के एक सेट को साकार कर सकता है। जबकि हाल के कार्यों ने विभिन्न मॉडल्स (जैसे, स्टेट-स्पेस मॉडल्स, लीनियर अटेंशन) की विशिष्ट प्रतीकात्मक ट्रांज़िशन को दर्शाने की सैद्धांतिक क्षमता स्थापित की है, अनुभवजन्य परिणाम (empirical results) सैद्धांतिक अभिव्यक्ति क्षमता और व्यावहारिक मजबूती (practical robustness) के बीच एक महत्वपूर्ण अंतर दिखाते हैं। मॉडल्स अक्सर लेंथ एक्सट्रपलेशन या बार-बार रोलआउट के तहत स्टेट्स को स्थिर रूप से ट्रैक करने में विफल रहते हैं, भले ही उनके पास ऐसा करने की सैद्धांतिक क्षमता हो।

यह शोध पत्र तर्क देता है कि एरर कंट्रोल (त्रुटि नियंत्रण)—उन दिशाओं में हिडन-स्टेट ड्रिफ्ट (छिपी हुई अवस्था का विचलन) को नियंत्रित करने वाली गतिशीलता जो प्रतीकात्मक अवस्थाओं को अलग करती हैं—एक समान रूप से महत्वपूर्ण, फिर भी अनदेखा किया गया विश्लेषण अक्ष है। केंद्रीय समस्या यह है कि सैद्धांतिक अभिव्यक्ति क्षमता यह गारंटी नहीं देती है कि मॉडल उन संचित त्रुटियों को सुधार सके जो एक हिडन स्टेट को गलत प्रतीकात्मक प्रतिनिधित्व की ओर धकेल देती हैं।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा

लेखक एक रिकर्सिव लेयर द्वारा परिभाषित रिकरेंट मॉडल्स के वर्गीकरण का उपयोग करके स्टेट ट्रैकिंग को औपचारिक रूप देते हैं:
$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$
वे स्टेट जैकोबियन (Jacobian) के आधार पर मॉडल्स को दो प्राथमिक वर्गों में वर्गीकृत करते हैं:

एफाइन मॉडल्स (Affine Models): स्टेट ट्रांज़िशन $h_{t-1}$ में एफाइन है (अर्थात जैकोबियन $\partial h_t / \partial h_{t-1}$ $h_{t-1}$ पर निर्भर नहीं करता है)। इस वर्ग में स्टेट-स्पेस मॉडल्स (SSMs) जैसे मम्बा (Mamba), AUSSM, और लीनियर RNN शामिल हैं।
स्टेट-डिपेंडेंट मॉडल्स (State-Dependent Models): ट्रांज़िशन वर्तमान स्टेट पर गैर-रेखीय (non-linear) रूप से निर्भर करता है (जैसे, गेटेड RNN, tanh RNN)।

लेखक एक प्रतीकात्मक उप-स्थान (symbolic subspace) $U$ को परिभाषित करते हैं, जो विभिन्न प्रतीकात्मक अवस्थाओं के हिडन-स्टेट प्रतिनिधित्वों के बीच के अंतर से बना है ( $U := \text{span}\{c_g - c_{g'}\}$ )। वे सिद्ध करते हैं कि किसी भी स्टेट-प्रिजर्विंग सीक्वेंस (जहाँ प्रतीकात्मक क्रिया 'identity' है) के लिए, एक सटीक एफाइन रिटर्न मैप $U$ पर 'identity' के रूप में कार्य करना चाहिए। फलस्वरूप, एफाइन मॉडल्स $U$ के साथ त्रुटियों को संकुचित (contract) नहीं कर सकते; वे स्टेट प्रतिनिधित्व को सटीक रूप से सुरक्षित रखते हैं लेकिन विक्षेपित (perturbed) स्टेट को उसके सही सेंट्रॉइड की ओर वापस खींचने के लिए कोई तंत्र प्रदान नहीं करते हैं।

विश्लेषणात्मक मेट्रिक्स

एफाइन ट्रैकर्स की विफलता को मापने के लिए, लेखक एक डिस्टिंग्विशेबिलिटी रेश्यो (विभेद्यता अनुपात) $q(t)$ को परिभाषित करते हैं:
$q(t) = \frac{R(t)}{M(t)}$
जहाँ:

$R(t)$ क्लास-विथिन स्प्रेड (क्लास सेंट्रॉइड के आसपास हिडन स्टेट्स का विचरण/variance) है।
$M(t)$ क्लास-बिटवीन सेपरेशन (क्लास सेंट्रॉइड्स के बीच न्यूनतम दूरी) है।
$q(t)$ मार्जिन के सापेक्ष प्रसार को मापता है।

वे स्थापित करते हैं कि ट्रैकिंग केवल तभी तक "रीडेबल" रहती है जब तक $q(t)$ एक थ्रेशोल्ड $\tau$ (विशेष रूप से निकटतम-सेंट्रॉइड डिकोडर के लिए $0.5$) से नीचे रहता है।

प्रयोगात्मक सेटअप

लेखक एक स्पेक्ट्रम वाले रिकरेंट आर्किटेक्चर का मूल्यांकन ग्रुप स्टेट-ट्रैकिंग कार्यों पर करते हैं, जिसमें ग्रुप एलिमेंट्स का रनिंग प्रोडक्ट बनाए रखना आवश्यक होता है:

कार्य: पैरिटी ( $C_2$ ), साइक्लिक ग्रुप ( $C_6$ ), और सिमेट्रिक ग्रुप ( $S_3$ )। $S_3$ एक नॉन-अबेलियन (non-Abelian) समूह है, जिससे क्रम-संवेदनशील संरचना (order-sensitive composition) अपरिहार्य हो जाती है।
मॉडल्स: मम्बा (Mamba), मम्बा-3, AUSSM, नेगेटिव मम्बा, लीनियर RNN, टोकन-गेटेड RNN, tanh RNN, और स्टेट-गेटेड RNN सहित एक विविध सेट।
प्रोटोकॉल: मॉडल्स को लंबाई 60 तक करिकुलम लर्निंग के साथ प्रशिक्षित किया जाता है और लंबाई 1000 तक एक्सट्रपलेशन के लिए मूल्यांकन किया जाता है। वे त्रुटि रिकवरी डायनेमिक्स को मापने के लिए पर्टरबेशन इंजेक्शन प्रयोग भी करते हैं।

मुख्य योगदान

1. एफाइन न्यूट्रैलिटी का सैद्धांतिक प्रमाण

यह शोध पत्र थ्योरम 1 को सिद्ध करता है: यदि एक एफाइन रिकरेंट नेटवर्क प्रतीकात्मक अवस्थाओं को सटीक रूप से सुरक्षित रखता है, तो उसका रिटर्न मैप $U$ पर 'identity' के रूप में कार्य करता है। इसका तात्पर्य यह है कि एफाइन मॉडल्स उन दिशाओं में त्रुटियों को चुनिलेक्टिवली (चयनात्मक रूप से) संकुचित नहीं कर सकते जो प्रतीकात्मक अवस्थाओं को अलग करती हैं। एक बार जब एक स्टेट-प्रिजर्विंग एफाइन मैप फिक्स हो जाता है, तो उसके पास ड्रिफ्ट को ठीक करने के लिए कोई "डिग्री ऑफ फ्रीडम" नहीं बचती।

2. परिमित-क्षितिज विफलता (Finite-Horizon Failure) का लक्षण वर्णन

लेखक प्रदर्शित करते हैं कि जबकि एफाइन मॉडल्स त्रुटियों को ठीक नहीं कर सकते, वे संचित त्रुटि द्वारा शासित एक परिमित क्षितिज (finite horizon) तक ट्रैकिंग बनाए रख सकते हैं।

कोरोलरी 1 दिखाता है कि अनुमानित एफाइन ट्रैकर्स के लिए, $U$ के साथ त्रुटि समय के साथ रैखिक रूप से बढ़ती है ( $e_U(t) \approx e_U(0) + t\bar{\eta}$ )।
ट्रैकिंग तब विफल होती है जब $q(t)$ डिस्टिंग्विशेबिलिटी रेश्यो थ्रेशोल्ड को पार कर जाता है। यह क्रॉसिंग समय, $T_{cross}$ , मॉडल के अधिकतम पासिंग लेंथ ($mp$) की मात्रात्मक भविष्यवाणी करता है।
दो विफलता मोड पहचाने गए हैं: सैचुरेशन (Saturation) (जहाँ $q(t)$ थ्रेशोल्ड से ऊपर शुरू होता है) और क्लाइंब (Climb) (जहाँ $q(t)$ थ्रेशोल्ड को पार करने तक रैखिक रूप से बढ़ता है)।

3. एरर कंट्रोल डायनेमिक्स का प्रयोगात्मक सत्यापन

व्यापक प्रयोगों के माध्यम से, यह शोध पत्र एक द्वैत (dichotomy) स्थापित करता है:

स्टेट-डिपेंडेंट मॉडल्स (जैसे, tanh RNN, स्टेट-गेटेड RNN) कंडीशनल एरर कॉन्ट्रैक्शन प्रदर्शित करते हैं। वे $U$ के साथ पर्टर्बेशन को चुनिलेक्टिवली सिकोड़ सकते हैं, जिससे $q(t) < 0.5$ अनिश्चित काल तक बना रहता है और परीक्षण की गई अधिकतम लंबाई (1000) तक मजबूत ट्रैकिंग प्राप्त होती है।
एफाइन मॉडल्स में इस चुनिलेक्टिव कॉन्ट्रैक्शन का अभाव है। वे या तो तुरंत विफल हो जाते हैं (सैचुरेशन) या एक अनुमानित क्षितिज (क्लाइंब) के बाद विफल हो जाते हैं क्योंकि संचित क्लास-विथिन स्प्रेड सेपरेशन मार्जिन को कम कर देता है।

4. उप-स्थान अपघटन (Subspace Decomposition)

विथ-इन-क्लास स्प्रेड को $U$ के समानांतर (parallel) और $U^\perp$ के लंबवत (orthogonal) घटकों में विभाजित करके, लेखक दिखाते हैं कि एफाइन मॉडल की विफलता विशेष रूप से $U$ के भीतर प्रसार के विकास से प्रेरित है। स्टेट-डिपेंडेंट मॉडल्स $U$ में प्रसार को सफलतापूर्वक दबाते हैं, जिससे त्रुटियां लंबवत उप-स्थान में रहती हैं जहाँ वे प्रतीकात्मक भेदभाव को प्रभावित नहीं करती हैं।

परिणाम

मजबूती का अंतर (Robustness Gap): स्टेट-डिपेंडेंट मॉडल्स सभी कार्यों ( $C_2, C_6, S_3$ ) के लिए लंबाई 1000 तक लगातार प्रतीकात्मक अवस्थाओं को ट्रैक करते हैं। इसके विपरीत, एफाइन मॉडल्स अस्थिरता के विभिन्न स्तर दिखाते हैं। उदाहरण के लिए, मम्बा और मम्बा-3 $S_3$ पर कम लंबाई पर भी विफल हो जाते हैं, जबकि नेगेटिव मम्बा और टोकन-गेटेड RNN $C_2$ और $S_3$ पर विस्तारित क्षितिज दिखाते हैं लेकिन अंततः विफल हो जाते हैं।
भविष्यवाणी शक्ति: वह बिंदु जिस पर डिस्टिंग्विशेबिलिटी रेश्यो $q(t)$ रीडेबिलिटी थ्रेशोल्ड को पार करता है ( $T_{cross}$ ), 113 प्रशिक्षित मॉडल्स में डाउनस्ट्रीम मैक्सिमम पासिंग लेंथ ($mp $) के साथ उच्च सहसंबंध ($ r \approx 0.87$) दिखाता है।
नॉन-लिनियरिटी का महत्व: मजबूत ट्रैकिंग करने की क्षमता इस बात पर निर्भर करती है कि एक्टिवेशन फंक्शन का जैकोबियन स्टेट-डिपेंडेंट है या नहीं। पॉइंटवाइज नॉन-लिनियरिटीज (tanh, ReLU) और पेयर ऑपरेटर्स (max/min, GroupSort) मजबूत ट्रैकिंग सक्षम करते हैं, जबकि पूरे-वेक्टर नॉर्मलाइजेशन (LayerNorm, स्फीयर प्रोजेक्शन) विफल हो जाते हैं, क्योंकि वे प्रतीकात्मक उप-स्थान पर प्रभावी रूप से एफाइन मैप की तरह व्यवहार करते हैं।
$C_2$ एज केस: शोध पत्र नोट करता है कि कुछ एफाइन मॉडल्स पैरिटी कार्य ( $C_2$ ) पर इसलिए सफल होते हैं क्योंकि वे त्रुटि सुधारते नहीं हैं, बल्कि इसलिए क्योंकि बाइनरी मार्जिन इतना बड़ा है कि वह "न्यूट्रल ऑसिलेशन" (त्रुटियां साइन बदलती हैं लेकिन मार्जिन के भीतर रहती हैं) को सहन कर सके। यह सहनशीलता बढ़ते ग्रुप ऑर्डर के साथ कम हो जाती है, जो यह समझाता है कि एफाइन मॉडल्स $C_6$ और $S_3$ पर क्यों विफल होते हैं।

महत्व और दावे

यह शोध पत्र स्टेट ट्रैकिंग के प्रतिमान को एक्सप्रेसिविटी के सिद्धांत से बदलकर एरर कंट्रोल के सिद्धांत की ओर ले जाने का दावा करता है।

सैद्धांतिक सीमा: लेखक दावा करते हैं कि मजबूत स्टेट ट्रैकिंग केवल एक आर्किटेक्चर की प्रतीकात्मक नियमों को दर्शाने की क्षमता (एक्सप्रेसिविटी) द्वारा निर्धारित नहीं होती है, बल्कि महत्वपूर्ण रूप से त्रुटि गतिशीलता (error dynamics) को नियंत्रित करने की उसकी क्षमता द्वारा निर्धारित होती है। एफाइन मॉडल्स मौलिक रूप रूप से सीमित हैं क्योंकि स्टेट रिप्रेजेंटेशन को सुरक्षित रखने के लिए उन्हें उन्हीं दिशाओं पर न्यूट्रल होना पड़ता है जहाँ त्रुटि सुधार की आवश्यकता होती है।
व्यावहारिक निहितार्थ: एफिफाइन मॉडल्स (जैसे SSMs) की लेंथ एक्सट्रपलेशन में विफलता एक प्रशिक्षण कमी नहीं बल्कि एक संरचनात्मक सीमा है। वे संचित त्रुटि द्वारा नियंत्रित "फाइनाइट होराइजन सॉल्यूशंस" सीखते हैं, न कि मजबूत, अनंत-क्षितिज स्टेट ट्रैकिंग।
डिजाइन मार्गदर्शन: मजबूत ट्रैकिंग प्राप्त करने के लिए, आर्किटेक्चर में स्टेट-डिपेंडेंट ट्रांज़िशन शामिल होने चाहिए जो जैकोबियन को प्रतीकात्मक उप-स्थान के साथ त्रुटियों को संकुचित करने की अनुमति दे। शोध पत्र सुझाव देता है कि विशिष्ट नॉन-लिनियरिटी का रूप उतना महत्वपूर्ण नहीं है जितना कि यह कि क्या वह प्रतीकात्मक दिशाओं के स्टेट-डिपेंडेंट मॉड्यूलेशन को सक्षम करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि एफाइन मॉडल्स इन-डोमेन कार्यों या छोटे क्षितिज के लिए पर्याप्त हो सकते हैं, वे स्टेट-डिपेंडेंट एरर करेक्शन मैकेनिज्म के बिना जटिल प्रतीकात्मक तर्क के लिए आवश्यक मजबूत, लंबे-क्षितिज स्टेट ट्रैकिंग के लिए संरचनात्मक रूप से अक्षम हैं।