Additive Multi-Step Markov Chains and the Curse of Dimensionality in Large Language Models

यहाँ उसातेन्को, मेलनिक और प्रितुला के शोध पत्र "Additive Multi-Step Markov Chains and the Curse of Dimensionality in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की आंतरिक सांख्यिकीय गतिशीलता (statistical dynamics) को मॉडल करने की चुनौती को संबोधित करता है। LLMs अत्यंत उच्च-आयामी अवस्था स्थानों (high-dimensional state spaces) में कार्य करते हैं जिनमें जटिल निर्भरताएँ होती हैं जिन्हें शास्त्रीय संभावabilistic मॉडलों का उपयोग करके पकड़ना कठिन होता है।

• आयामीता का अभिशाप (The Curse of Dimensionality): शास्त्रीय $N$-ऑर्डर मार्कोव चेन, जो पिछले $N$ टोकन पर निर्भरता को मॉडल करते हैं, मापदंडों के घातीय विस्फोट ($O(|A|^N)$, जहाँ $|A|$ वर्णमाला का आकार है) से ग्रस्त होते हैं। यह उच्च-क्रम मॉडलों का अनुमान लगाना या उन्हें संग्रहीत करना असंभव बना देता है।
• LLMs की ब्लैक बॉक्स प्रकृति: जबकि LLMs (सेल्फ-अटेंशन के माध्यम से) दीर्घ-रेंज निर्भरताओं को प्रभावी ढंग से लागू करते हैं, उनकी आंतरिक तंत्र अपारदर्शी है। स्थापित स्टोकेस्टिक प्रक्रियाओं (stochastic processes) के साथ LLM जनरेटिव व्यवहार को जोड़ने वाले एक गणितीय रूप से पारदर्शी ढांचे का अभाव है।
• सैद्धांतिक अंतराल (Theoretical Gap): यह स्पष्ट नहीं है कि LLMs द्वारा उत्पन्न जटिल प्रतीकात्मक अनुक्रमों (symbolic sequences) के लिए मैक्रोस्कोपिक मापदंडों (जैसे "तापमान") को सांख्यिकीय भौतिकी और सूचना सिद्धांत के बीच सेतु बनाने के तरीके से कैसे परिभाषित किया जाए।

2. कार्यप्रणाली (Methodology)

लेखक आयामीता के अभिशाप से बचने के लिए LLM गतिशीलता को अनुमानित करने हेतु एडिटिव $N$-ऑर्डर मार्कोव चेन (Additive $N$-order Markov Chains) पर आधारित एक सैद्धांतिक ढांचा प्रस्तावित करते हैं।

• एडिटिव मार्कोव चेन (Additive Markov Chains): एक पूर्ण ट्रांजिशन टेबल के बजाय, ये मॉडल पिछले ऐतिहासिक गहराई से विभिन्न योगदानों के सुपरपोजिशन (योग) के रूप में अगले टोकन की सशर्त संभावना (conditional probability) को विघटित करते हैं।
  • सशर्त संभावना $P(a_i | a_{i-1}, \dots, a_{i-N})$ को पिछले प्रतीकों पर कार्य करने वाले मेमोरी फंक्शन $F(r)$ के रैखिक योग के रूप में परिभाषित किया जाता है।
  • यह मापदंडों की संख्या को मेमोरी ऑर्डर $N$ के सापेक्ष घातीय से रैखिक (linear) में बदल देता है।
• बाइनरी प्रतिबंध (Binary Restriction/Dichotomy): विश्लेषणात्मक परिणाम प्राप्त करने के लिए, लेखक अपने विश्लेषण को बाइनरी अनुक्रमों ($A=\{0, 1\}$) तक सीमित करते हैं। उनका तर्क है कि मुख्य जटिलता वर्णमाला के आकार में नहीं बल्कि मेमोरी संरचना में निहित है, और बाइनरी मॉडल एक सार्वभौमिक न्यूनतम ढांचे के रूप में कार्य करते हैं।
• तुल्यता मानचित्रण (Equivalence Mapping): मुख्य पद्धतिगत चरण निम्नलिखित के बीच एक कठोर पत्राचार स्थापित करना है:
  1. एडिटिव चेन: जो एक मेमोरी फंक्शन $F(r)$ द्वारा परिभाषित है।
  2. स्टेप-वाइज चेन: जिसकी सशर्त संभावना केवल पिछले $N$ चरणों में विशिष्ट प्रतीकों की गणना (जैसे 1s की संख्या) पर निर्भर करती है, जिसे मापदंड $\mu$ (सहसंबंध शक्ति) और $\nu$ (बायस) द्वारा पहचाना जाता है।
• अनुकूलन (Optimization): लेखक एडिटिव चेन और स्टेप-वाइज चेन की सशर्त संभावनाओं के बीच "दूरी" (माध्य वर्ग त्रुटि) को कम करते हैं ताकि एडिटिव मेमोरी फंक्शनों के संदर्भ में स्टेप-वाइज मापदंडों $\mu$ और $\nu$ के लिए विश्लेषणात्मक अभिव्यक्तियाँ प्राप्त की जा सकें।
• सूचना तापमान (Information Temperature): स्थापित तुल्यता का उपयोग करते हुए, लेखक सूचना तापमान ($\tau$) की अवधारणा पेश करते हैं। वे दो विधियों का उपयोग करते हैं:
  1. इज़िंग तुल्यता (Ising Equivalence): मार्कोव चेन को बोल्ट्ज़मैन वितरण के साथ एक टू-साइडेड इज़िंग मॉडल में मैप करना।
  2. एन्ट्रॉपी-ऊर्जा संबंध: ब्लॉक एन्ट्रॉपी की गणना करना और थर्मोडायनामिक संबंधों ($1/\tau = \partial S / \partial E$) के माध्यम से एक काल्पनिक ऊर्जा को परिभाषित करना।

3. प्रमुख योगदान (Key Contributions)

• सैद्धांतिक तुल्यता: यह शोध पत्र सिद्ध करता है कि एक एडिटिव $N$-ऑर्डर मार्कोव चेन को एक विशिष्ट मेमोरी फंक्शन वाले स्टेप-वाइज मार्कोव चेन द्वारा प्रभावी ढंग से अनुमानित किया जा सकता है। यह एक जटिल, उच्च-आयामी निर्भरता संरचना को एक मैक्रोस्कोपिक मापदंड ($\mu$) में बदलने की अनुमति देता है।
• एडिटिव चेन के लिए सूचना तापमान की परिभाषा: एडिटिव चेन को स्टेप-वाइज चेन में मैप करके, लेखक एडिटिव मॉडलों के लिए सूचना तापमान की अवधारणा का सामान्यीकरण करते हैं। वे एक एकीकृत सूत्र (Eq. 37) प्रदान करते हैं जो $N$-ऑर्डर चेन के लिए तापमान को परिभाषित करता है:
  $$\frac{1}{\tau} = \frac{1}{2N} \ln \left( \frac{1 + 2\mu}{1 - 2\mu} \right)$$
  जहाँ $\mu$ को एडिटिव चेन के सहसंबंध गुणों से प्राप्त किया जाता है।
• कोर्स-ग्रैनिंग समानता (Coarse-Graining Analogy): यह कार्य एक एडिटिव चेन को स्टेप-वाइज चेन में घटाने को "सांख्यिकीय औसत के सूचना-सैद्धांतिक एनालॉग" के रूप में प्रस्तुत करता है। जिस प्रकार ऊष्मागतिकी सूक्ष्म कण अवस्थाओं को औसत करके मैक्रोस्कोपिक तापमान को परिभाषित करती है, यह ढांचा सूक्ष्म मेमोरी निर्भरताओं को औसत करके एक प्रतीकात्मक अनुक्रम की जटिलता को परिभाषित करता है।
• संख्यात्मक सत्यापन (Numerical Validation): लेखक संख्यात्मक सिमुलेशन (चित्र 1-3) प्रदान करते हैं जो प्रदर्शित करते हैं कि सहसंबंध कार्यों और व्युत्क्रम तापमान ($1/\tau$) के लिए विश्लेषणात्मक सूत्र, रैखिक रूप से घटते मेमोरी फंक्शन वाले एडिटिव चेन के व्यवहार का सटीक वर्णन करते हैं।

4. मुख्य परिणाम (Key Results)

• मापदंड व्युत्पत्ति (Parameter Derivation): एडिटिव मेमोरी फंक्शन $F(r)$ और सहसंबंध फंक्शन $K(r)$ के आधार पर स्टेप-वाइज मापदंडों $\mu$ और $\nu$ के लिए स्पष्ट सूत्र निकाले गए।
  • दिखाया गया है कि $\mu$, विंडो में प्रतीक गणना के विचरण (variance) के अनुपात के फलन के रूप में एक फलन है।
• तापमान व्यवहार:
  • जैसे-जैसे सहसंबंध शक्ति बढ़ती है (पूर्ण व्यवस्था के करीब पहुँचती है), व्युत्क्रम तापमान $1/\tau$ अपसारी (diverge) हो जाता है (तापमान शून्य की ओर जाता है)।
  • जैसे-जैसे सहसंबंध लुप्त होते हैं (यादृच्छिकता), $1/\tau$ शून्य के करीब पहुँच जाता है (तापमान अनंत की ओर जाता है)।
  • व्युत्पन्न तापमान सूत्र बड़े $N$ और छोटे $\mu$ के लिए स्पर्शोन्मुख रूप से (asymptotically) मान्य है, जो स्टेप-वाइज चेन के पिछले परिणामों के अनुरूप है।
• एन्ट्रॉपी विश्लेषण: अध्ययन दिखाता है कि जबकि स्टेप-वाइज सन्निकटन एक "कोर्स-ग्रेन्ड" विवरण है (जो कुछ सूचना खो देता है और सटीक एडिटिव चेन की तुलना में स्रोत एन्ट्रॉपी को बढ़ाता है), दोनों प्रणालियों को उनके स्रोत एन्ट्रॉपी से मेल खाने के लिए मापदंडों को समायोजित करके समकक्ष बनाया जा सकता है।

5. महत्व और निहितार्थ (Significance and Implications)

• LLMs और सांख्यिकीय भौतिकी को जोड़ना: यह शोध पत्र LLM सैंपलिंग में उपयोग किए जाने वाले "तापमान" पैरामीटर (जो यादृच्छिकता को नियंत्रित करता है) को सूचनात्मक जटिलता के एक मैक्रोस्कोपिक माप के रूप में व्याख्या करने के लिए एक कठोर गणितीय आधार प्रदान करता है। यह सुझाव देता है कि LLM तापमान केवल एक ह्यूरिस्टिक नहीं है, बल्कि अंतर्निहित जनरेटिव प्रक्रिया में व्यवस्था बनाम यादृच्छिकता की डिग्री के अनुरूप है।
• आयामीता के अभिशाप को कम करना: एडिटिव मार्कोव ढांचा एक संक्षिप्त, रैखिक-पैरामीटर मॉडल प्रदान करता है जो दीर्घ-रेंज निर्भरताओं को कैप्चर करता है, जो इस बात को दर्शाता है कि कैसे LLM आर्किटेक्चर (जैसे सेल्फ-अटेंशन) उच्च आयामों में काम करने के बावजूद घातीय मेमोरी विस्फोट से बचने में सक्षम होते हैं।
• नए विश्लेषणात्मक उपकरण: एडिटिव चेन के लिए सूचना तापमान की शुरूआत एक नया नैदानिक उपकरण (diagnostic tool) प्रदान करती है। इसका उपयोग संभावित रूप से किया जा सकता है:
  • पाठ की जटिलता को मापने के लिए (जैसे अकादमिक बनाम सामान्य पाठ के बीच अंतर करना)।
  • उत्पन्न अनुक्रमों की "संज्ञानात्मक गतिविधि" या संरचनात्मक समृद्धि का विश्लेषण करने के लिए।
  • न्यूरल नेटवर्क की आंतरिक गतिशीलता के लिए एक भौतिक व्याख्या प्रदान करने के लिए।
• भावी दिशाएँ: लेखक इन अवधारणाओं को बहु-प्रतीक वर्णमाला (वास्तविक भाषा) तक विस्तारित करने और सैद्धांतिक भविष्यवाणियों के विरुद्ध अनुभवजन्य LLM आउटपुट की तुलना करने के लिए सूचना तापमान का उपयोग करने का प्रस्ताव करते हैं, जिससे अधिक व्याख्या योग्य AI मॉडल विकसित हो सकते हैं।

संक्षेप में, यह कार्य आधुनिक भाषा मॉडलों की जटिल, उच्च-आयामी गतिशीलता को सांख्यिकीय यांत्रिकी की भाषा में सफलतापूर्वक अनुवादित करता है, जिससे एक एकीकृत ढांचा मिलता है जहाँ "तापमान" अनुक्रम की जटिलता और स्मृति के मूलभूत वर्णनकर्ता के रूप में कार्य करता है।