Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models

तकनीकी सारांश: घातांकीय क्षय से परे (Beyond Exponential Decay)

समस्या विवरण
ऑटोरिग्रेसिव लैंग्वेज मॉडलिंग में एक प्रचलित निराशावादी दृष्टिकोण यह मानता है कि आउटपुट की लंबाई के साथ शुद्धता (correctness) घातांकीय रूप से कम होती है। यह तर्क मानता है कि यदि प्रत्येक टोकन की त्रुटि प्रायिकता $e$ स्वतंत्र है, तो लंबाई $n$ वाले अनुक्रम के सही होने की प्रायिकता $(1-e)^n$ का अनुसरण करती है, जो $n$ के बढ़ने के साथ शून्य की ओर अग्रसर होती है। यह मॉडल लंबे संदर्भ (long-context) के निर्माण में विश्वसनीयता की एक कठिन सीमा (hard ceiling) का सुझाव देता है। हालाँकि, यह "स्वतंत्र-त्रुटि" (independent-error) परिकल्पना उन अनुभवजन्य अवलोकनों को समझाने में विफल रहती है जहाँ मॉडल लंबे आउटपुट पर सामंजस्य बनाए रखते हैं, मध्य-उत्पादन में स्व-सुधार (self-correction) प्रदर्शित करते हैं, और यह दिखाते हैं कि अटेंशन वेट्स (attention weights) संदर्भ के एक छोटे उपसमुच्चय पर केंद्रित होते हैं।

कार्यप्रणाली और सैद्धांतिक ढांचा
यह शोध पत्र एक दो-दर त्रुटि मॉडल (two-rate error model) प्रस्तावित करता है जो समान प्रति-टोकन त्रुटि की धारणा को खारिज करता है। इसके बजाय, यह टोकनों को दो विशिष्ट श्रेणियों में विभाजित करता है:

1. प्रमुख टोकन (Key Tokens - $k$): प्रमुख टोकनों का एक छोटा उपसमुच्चय (अनुभवजन्य रूप से 5%–10% अनुमानित) जो दीर्घ-रेंज निर्भरता, वैश्विक सामंजस्य, तथ्यात्मक दावे और तार्किक संक्रमण (logical transitions) वहन करता है। इन टोकनों में उच्च त्रुटि दर ($e_{key}$) होती है।
2. गैर-प्रमुख टोकन (Non-Key Tokens - $n-k$): अधिकांश टोकन, जो स्थानीय वाक्य रचना (local syntax), सामान्य सह-स्थान (frequent collocations) और संचित संदर्भ द्वारा नियंत्रित होते हैं। इनकी त्रुटि दर ($e_{non}$) काफी कम है और संदर्भ के संचय होने पर शून्य के करीब पहुँच जाती है।

मॉडल यह प्रतिपादित करता है कि एक सही अनुक्रम की प्रायिकता को इस प्रकार अनुमानित किया जा सकता है:
$$P(\text{correct}) \approx (1 - e_{key})^k \cdot (1 - e_{non})^{n-k}$$

महत्वपूर्ण रूप से, प्रमुख टोकनों की संख्या $k$, अनुक्रम की लंबाई $n$ के साथ उप-रैखिक (sublinearly) रूप से बढ़ती है (लॉगारिदमिक रूप से, एक भिन्नात्मक घात के रूप में, या एक कार्य-विशिष्ट अधिकतम $k_{max}$ पर संतृप्त होती है)। इसके अतिरिक्त, यह ढांचा स्तरीकृत मैनिफोल्ड डायनेमिक्स (stratified manifold dynamics) को शामिल करता है, जो बताता है कि एम्बेडिंग्स (embeddings) निम्न-आयामी अर्थपूर्ण मैनिफोल्ड्स (semantic manifolds) में व्यवस्थित होती हैं। मामूली त्रुटियाँ (गैर-प्रमुख) अक्सर सही मैनिफोल्ड के भीतर ही रहती हैं, जबकि केवल प्रमुख टोकनों पर होने वाली त्रुटियाँ एक अलग मैनिफोल्ड की ओर प्रक्षेपवक्र (trajectory) को बदल देती हैं। अंततः, यह ढांचा एन्सेम्बल कन्वर्जेंस (ensemble convergence) को ध्यान में रखता है, यह देखते हुए कि तर्क संबंधी त्रुटियाँ अक्सर विशिष्ट (idiosyncratic) होती हैं (विभिन्न नमूनों में भिन्न होती हैं), जिससे बहुमत-मत (majority-vote) विधियाँ सटीकता को पुनः प्राप्त करने में सक्षम होती हैं।

मुख्य योगदान
शोध पत्र के तीन प्राथमिक योगदान हैं:

1. एक परिष्कृत त्रुटि मॉडल: यह दो-दर मॉडल (समीकरण 1) प्रस्तुत करता है, जो स्पष्ट रूप से प्रमुख और गैर-प्रमुख टोकनों के बीच अंतर करता है और $k(n)$ के उप-रैखिक स्केलिंग पर निर्भरता को मॉडल करता है।
2. अनुभवजन्य साक्ष्यों का संश्लेषण: यह मॉडल के घटकों का समर्थन करने के लिए हालिया शोध की तीन अलग-अलग रेखाओं को एकीकृत करता है:
   • अटेंशन स्पर्सिटी (Attention Sparsity): प्रमाण कि केवल ~9% टोकनों को दीर्घ-रेंज संदर्भ की आवश्यकता होती है (Fang et al., 2024) और अटेंशन अनुक्रम के एक बहुत छोटे अंश पर केंद्रित होता है (Liu et al., 2024)।
   • एम्बेडिंग ज्योमेट्री (Embedding Geometry): निष्कर्ष कि LLM एम्बेडिंग्स स्तरीकृत निम्न-आयामी मैनिफोल्ड्स बनाती हैं जहाँ 'नॉइज़' आयामों में विचलन भी अर्थपूर्ण प्रक्षेपवक्र को नहीं बदलता है (Li and Sarwate, 2025; Robinson et al., 2025)।
   • एन्सेम्बल कन्वर्जेंस (Ensemble Convergence): डेटा जो दिखाता है कि सेल्फ-कंसिस्टेंसी और ट्री-सर्च विधियाँ सटीकता में सुधार करती हैं क्योंकि सही तर्क पथ एक मैनिफोल्ड पर अभिसरित (converge) होते हैं जबकि गलत पथ विचलित (diverge) हो जाते हैं (Wang et al., 2023)।
3. सिस्टम-स्तरीय परिणामों का पुनर्निर्धारण: यह हालिया इंजीनियरिंग सफलताओं—जैसे एंकर कम्प्रेशन, रिट्रीवल-ऑगमेंटेड अटेंशन और सेल्फ-कंसिस्टेंसी—को स्वतंत्र जीत के रूप में नहीं, बल्कि इस संरचनात्मक तथ्य के स्वाभाविक परिणाम के रूप में व्याख्या करता है कि लंबे-संदर्भ की विश्वसनीयता कुछ चुनिंद निर्णय बिंदुओं पर टिकी होती है।

परिणाम और अनुमानित क्षय शासन (Decay Regimes)
$k$ और $e_{non}$ के व्यवहार के आधार पर, शोध पत्र तीन क्षय शासन (decay regimes) की भविष्यवाणी करता है जो घातांकीय क्षय की तुलना में काफी सौम्य हैं:

• लॉगारिदमिक वृद्धि ($k \sim \log n$): इसके परिणामस्वरूप बहुपद क्षय (polynomial decay, $n^{-c}$) होता है।
• भिन्नात्मक-घात वृद्धि ($k \sim \sqrt{n}$): इसके परिणामस्वरूप स्ट्रेच्ड-एक्सपोनेंशियल (stretched-exponential) क्षय होता है।
• संतृप्ति ($k \to k_{max}$): एक बार जब महत्वपूर्ण संख्या में प्रमुख तथ्यों को प्रतिबद्ध कर दिया जाता है, तो विश्वसनीयता $n$ के संबंध में स्थिर हो जाती है।

शोध पत्र इस बात पर प्रकाश डालता है कि तीसरा शासन यह समझाता है कि क्यों सिस्टम न्यूनतम सटीकता हानि के साथ 99% संदर्भ कमी प्राप्त कर सकते हैं (Pang et al., 2024) और क्यों उपभोक्ता GPU पर 128K-टोकन संदर्भ संभव हैं (Liu et al., 2024)।

महत्व और निहितार्थ
शोध पत्र का तर्क है कि स्वतंत्र-त्रुटि मॉडल मौलिक रूप से त्रुटिपूर्ण है क्योंकि यह एक विषम जनसंख्या पर औसत निकालता है और त्रुटि सहसंबंध (error correlation) की अनदेखी करता है। इस कार्य का महत्व "प्रति-टोकन एकरूपता" से ध्यान हटाकर "प्रमुख निर्णय बिंदुओं की पहचान और सुरक्षा" पर केंद्रित करने में निहित है।

व्यावहारिक रूप से, यह ढांचा सुझाव देता है:

• स्पार्स अटेंशन (Sparse Attention): सघन अटेंशन (Dense attention) अनावश्यक है; गणना को प्रमुख टोकनों के स्पार्स सिग्नल पर केंद्रित होना चाहिए।
• लक्षित कंप्यूट (Targeted Compute): संसाधन समान रूप से वितरित होने के बजाय "मैनिफोल्ड ट्रांजिशन" (उच्च-अनिश्चितता वाले बिंदुओं) के लिए आवंटित किए जाने चाहिए।
• रणनीतिक एन्सेम्बल (Strategic Ensembles): तर्क कार्यों के लिए बहुमत मतदान प्रभावी है (जहाँ त्रुटियाँ विशिष्ट होती हैं), लेकिन ज्ञान प्राप्ति (knowledge retrieval) के लिए नहीं (जहाँ त्रुटियाँ व्यवस्थित होती हैं)।
• मूल्यांकन (Evaluation): मानक पर्प्लेक्सिटी (perplexity) डाउनस्ट्रीम प्रदर्शन का एक खराब भविष्यवक्ता है; प्रमुख टोकनों तक सीमित मेट्रिक्स (जैसे LongPPL) कार्य की सफलता के साथ बहुत अधिक सहसंबंध रखते हैं।

सीमाएँ
लेखक नोट करते हैं कि यह ढांचा प्रथम सिद्धांतों (first principles) से प्राप्त व्युत्पत्ति के बजाय मौजूदा साक्ष्यों का एक संश्लेषण है। पैरामीटर $k$, $e_{key}$, और $e_{non}$ को अभी तक एक एकल बेंचमार्क पर संयुक्त रूप से मापा नहीं गया है। इसके अतिरिक्त, विशिष्ट (idiosyncratic) और व्यवस्थित (systematic) त्रुटियों के बीच का अंतर वर्तमान में मात्रात्मक पूर्व-हॉक मानदंड के बजाय उत्तर-घटना (post-hoc) अवलोकन पर निर्भर करता है।

निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि आधुनिक LLMs लंबे आउटपुट पर सामंजस्य बनाए रखते हैं क्योंकि इंजीनियरिंग ने घातांकीय क्षय बाधा को पार नहीं किया है, बल्कि वह बाधा स्वयं समस्या का एक गलत चित्रण थी। विश्वसनीयता एक सीमित या उप-रैखिक रूप से बढ़ते प्रमुख निर्णयों की संख्या पर निर्भर करती है, न कि प्रत्येक टोकन की समान सटीकता पर।