Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

तकनीकी सारांश: बार-बार आने वाले अनुक्रम (Repeated Sequences) बड़े भाषा मॉडलों और प्राकृतिक भाषा के बीच के अंतर को प्रकट करते हैं

समस्या विवरण
यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) स्थानीय संदर्भों में उच्च प्रवाह (fluency) और सामंजस्य (coherence) प्रदर्शित करते हैं, यह निर्धारित करना अभी भी एक खुला प्रश्न है कि क्या वे प्राकृतिक भाषा के दीर्घकालिक सांख्यिकीय संगठन (long-range statistical organization) को पकड़ पाते हैं। मौजूदा मूल्यांकन विधियाँ, जो मुख्य रूप से कार्य-आधारित बेंचमार्क या लघु-संदर्भ विश्लेषणों पर निर्भर करती हैं, केवल उत्पन्न पाठ की वैश्विक संरचना के बारे में अप्रत्यक्ष साक्ष्य प्रदान करती हैं। पूर्व के कार्यों ने अत्यधिक पुनरावृत्ति और कम विविधता जैसी समस्याओं की पहचान की है, जो यह सुझाव देती हैं कि उच्च कार्य प्रदर्शन (high task performance) मानव-समान दीर्घकालिक संरचना की गारंटी नहीं देता है। विशेष रूप से, ऐसे मात्रात्मक निदानों (quantitative diagnostics) का अभाव है जो यह अंतर कर सकें कि प्राकृतिक भाषा और LLMs लंबे अंतराल में स्थापित संरचनात्मक तत्वों का पुन: उपयोग कैसे करते हैं।

कार्यप्रणाली (Methodology)
लेखक विभिन्न पैमानों पर बार-बार आने वाले उप-अनुक्रमों (subsequences) के वितरण पर आधारित एक पूरक मूल्यांकन ढांचे का प्रस्ताव करते हैं, जो इन सांख्यिकी को उच्च-क्रम रेनी एंट्रॉपी (higher-order Rényi entropies) से जोड़ता है।

1. बार-बार आने वाले उप-अनुक्रमों की गणना: यह विधि लंबाई $n$ के अनुक्रम के भीतर लंबाई $m$ के बार-बार आने वाले ब्लॉकों ($D_m$) की संख्या को परिभाषित करती है। अधिकतम पुनरावृत्तियों (maximal repetitions) पर ध्यान केंद्रित करने वाले विश्लेषणों (जो संख्यात्मक रूप से अस्थिर हो सकते हैं) के विपरीत, यह दृष्टिकोण सभी बार-बार आने वाले उप-अनुक्रमों के वितरण का परीक्षण करता है।
2. उच्च-क्रम रेनी एंट्रॉपी: लेखक $\alpha \ge 2$ क्रम की रेनी एंट्रॉपी ($H_\alpha$) के माध्यम से बार-बार आने वाले ब्लॉकों के स्पेक्ट्रम को जोड़ते हैं। यह एंट्रॉपी वृद्धि का एक परिमित-लंबाई वाला लक्षण वर्णन (finite-length characterization) करने की अनुमति देता है। देखे गए ब्लॉक प्रकारों की आवृत्ति के आधार पर अनुभवजन्य एंट्रॉपी $\hat{H}_\alpha(m)$ की गणना की जाती है।
3. कार्यात्मक लक्षण वर्णन (Functional Characterization): शोध पत्र विशिष्ट योग्य ब्लॉकों के प्रभावी संख्या ($\log_2 S_m$) के विकास को दो उप-रैखिक रूपों (sublinear forms) का उपयोग करके मॉडल करता है:
   • पावर-लॉ एंसेट (Power-law ansatz): $\log_2 S_m \propto m^\beta$, जो विस्तारित संरचनात्मक स्वतंत्रता की डिग्री (expanding structural degrees of freedom) से जुड़ा है।
   • लॉग-पावर एंसेट (Logarithmic–power ansatz): $\log_2 S_m \propto (\log_2 m)^\gamma$, जो मजबूत संरचनात्मक पुन: उपयोग (strong structural reuse) से जुड़ा है जहाँ विवरण की लंबाई (description length) अनुक्रम की लंबाई के सापेक्ष धीमी गति से बढ़ती है।
4. अनुमान प्रक्रिया (Estimation Procedure): परिमित-आकार प्रभावों (finite-size effects) को संभालने के लिए एक द्वि-चरणीय अनुमान का उपयोग किया जाता है। पहले, कुल ब्लॉकों और विशिष्ट ब्लॉकों के अनुपात के आधार पर टचर्ड बहुपदों (Touchard polynomials) से प्राप्त एक सुधार पद ($\Delta_\alpha$) का अनुमान लगाया जाता है। दूसरा, सुधारा गया अनुभवजन्य एंट्रॉपी मानों पर $\beta$ और $\gamma$ घातांकों (exponents) को फिट किया जाता है।

प्रायोगिक सेटअप (Experimental Setup)
यह अध्ययन चार मॉडल पीढ़ियों के विरुद्ध GPT-जनित पाठों की तुलना प्राकृतिक भाषा ग्रंथों से करता है: gpt-3.5turbo, gpt-4o-mini, gpt-5-mini, और gpt-5|

• डेटासेट: प्राकृतिक भाषा के ग्रंथों को प्रोजेक्ट गुटेनबर्ग (उपन्यास) से लिया गया था ताकि GPT आउटपुट की लंबाई वितरण के साथ मेल खा सके। मेटाडेटा और गैर-अल्फाबेटिक वर्णों को हटाने के लिए सभी ग्रंथों को प्रीप्रोसेस किया गया था।
• नियंत्रण (Controls): प्रयोग प्रत्येक श्रेणी के लिए 100 ग्रंथों पर किए गए, जिसमें अनुक्रम लंबाई के प्रभावों को नियंत्रित करने के लिए लंबाई-मिलान वितरण का उपयोग किया गया। निबंधों और वैज्ञानिक लेखन पर अतिरिक्त परीक्षणों ने पुष्टि की कि नैरेटिव्स में देखे गए रुझान विभिन्न शैलियों में सुसंगत थे।

मुख्य परिणाम

1. मॉडल फिट: सभी डेटासेट्स में, पावर-लॉ मॉडल की तुलना में लॉग-पावर मॉडल ने प्राकृतिक भाषा के लिए बेहतर फिट ($R^2 > 0.97$) प्रदान किया, विशेष रूप से लंबे ग्रंथों के लिए। यह सुझाव देता है कि प्राकृतिक भाषा की एंट्रॉपी वृद्धि संरचनात्मक पुन: उपयोग द्वारा संचालित होती है, न कि नई संरचनात्मक स्वतंत्रता के निरंतर विस्तार द्वारा।
2. प्राकृतिक भाषा में स्थिरता: व्यक्तिगत ग्रंथों के बीच परिवर्तनशीलता के बावजूद, प्राकृतिक भाषा ने विभिन्न डेटासेट्स और पाठ की लंबाई के बीच स्थिर एंट्रॉपी-वृद्धि पैटर्न (औसत घातांक $\beta$ और $\gamma$) प्रदर्शित किए। यह जनसंख्या स्तर पर "कमजोर सार्वभौमिकता" (weak universality) के एक रूप को इंगित करता है।
3. LLMs में व्यवस्थित बदलाव: इसके विपरीत, GPT-जनित पाठों ने मॉडल के आकार के बढ़ने के साथ अनुमानित घातांकों में व्यवस्थित, सांख्यिकीय रूप से महत्वपूर्ण बदलाव दिखाए।
   • छोटे मॉडलों (जैसे, gpt-3.5turbo) ने लॉग-पावर मॉडल के प्रति मजबूत प्राथमिकता दिखाई लेकिन अलग घातांक विशेषताओं के साथ।
   • जैसे-जैसे मॉडल का आकार बढ़कर gpt-5 हुआ, $\beta$ और $\gamma$ दोनों में निरंतर वृद्धि हुई, जो प्राकृतिक भाषा के स्थिर पैटर्न से दूर चली गई।
   • वेलच टू-सैंपल टी-टेस्ट (Welch two-sample t-tests) ने प्राकृतिक भाषा और GPT-5 आउटपुट के बीच स्पष्ट अलगाव की पुष्टि की ($p \approx 0$)।
4. अधिकतम पुनरावृत्ति के साथ तुलना: जबकि अधिकतम बार-बार आने वाले उप-अनुक्रमों के विकास (घातांक $\eta$) ने प्राकृतिक भाषा और gpt-5 के बीच कुछ अभिसरण (convergence) दिखाया, प्रस्तावित वितरण-आधारित पद्धति ने दीर्घकालिक संगठन में अधिक स्पष्ट और व्यवस्थित अंतर प्रकट किया।

मुख्य योगदान

1. वितरणात्मक सूत्रीकरण (Distributional Formulation): यह शोध पत्र पुनरावृत्ति के एक वितरणात्मक सूत्रीकरण का प्रस्ताव करता है जो उच्च-क्रम रेनी एंट्रॉपी के माध्यम से एंट्रॉपी वृद्धि के परिमित-लंबाई वाले लक्षण वर्णन को सक्षम बनाता है, जो अधिकतम पुनरावृत्ति सांख्यिकी की अस्थिरता से आगे बढ़ता है।
2. संरचनात्मक नैदानिक (Structural Diagnostic): यह एंट्रॉपी वृद्धि व्यवहार में प्राकृतिक भाषा और LLM-जनित पाठ के बीच व्यवस्थित अंतर प्रदर्शित करता है। विशेष रूप से, यह प्रकट करता है कि जहाँ प्राकृतिक भाषा स्थिर, पुन: उपयोग-प्रधान पैटर्न प्रदर्शित करती है, वहीं LLMs मॉडल के आकार के साथ सह-संबंधित संरचनात्मक संगठन में व्यवस्थित बदलाव प्रदर्शित करते हैं।

महत्व और दावे
शोध पत्र का दावा है कि बार-बार आने वाले उप-अनुक्रमों की एंट्रॉमी एक मात्रात्मक संरचनात्मक नैदानिक के रूप में कार्य करती है जो दीर्घकालिक संगठन में व्यवस्थित अंतर को प्रकट करने में सक्षम है, जो सतही प्रवाह या कार्य-आधारित मूल्यांकन में अदृश्य होते हैं।

लेखक प्राकृतिक भाषा में लॉग-पावर स्केलिंग की व्याख्या "मजबूत संरचनात्मक पुन: उपयोग" के प्रमाण के रूप में करते हैं, जहाँ पाठ साझा भाषिक संसाधनों के पुनर्संयोजन और पुन: अनुक्रमण (re-indexing) के माध्यम से उत्पन्न होते हैं। इसके विपरीत, LLMs में बदलते घातांक इस "संरचना-के-संदर्भ" (structure-as-reference) संगठन के कमजोर प्रकटीकरण का सुझाव देते हैं, जो संभावित रूप से नेक्स्ट-टोकन प्रेडिक्शन ऑब्जेक्टिव और सीमित संदर्भ उपयोग के कारण है। यह कार्य स्थापित करता है कि वर्तमान अत्याधुनिक LLMs, अपनी प्रवाह क्षमता के बावजूद, प्राकृतिक भाषा के दीर्घकालिक सांख्यिकीय संगठन को पूरी तरह से दोहराने में विफल रहते हैं, जिससे उत्पन्न पाठ की संरचनात्मक निष्ठा (structural fidelity) का आकलन करने के लिए एक नया मीट्रिक प्राप्त होता है।