Task Ecologies and the Evolution of World-Tracking Representations in Large Language Models

यहाँ गिउलियो वेलेंटिनो डल्ला रीवा के शोध पत्र "Task Ecologies and the Evolution of World-Tracking Representations in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के सिद्धांत में एक मौलिक प्रश्न को संबोधित करता है: क्या ऑटो-रिग्रेसिव नेक्स्ट-टोकन ट्रेनिंग मॉडल्स को अंतर्निहित "विश्व" (लेटेंट स्टेट्स) को सटीक रूप से ट्रैक करने वाले आंतरिक प्रतिनिधित्व विकसित करने के लिए प्रेरित करती है, या वे केवल उन भेदों को सीखते हैं जो स्थानीय स्तर पर भविष्यवाणी के लिए उपयोगी हैं?

जबकि हालिया बहसें (जैसे, "प्लेटोनिक रिप्रेजेंटेशन हाइपोथेसिस") यह सुझाव देती हैं कि मॉडल्स वास्तविकता के एक साझा सांख्यिकीय मॉडल की ओर अभिसरित (converge) होते हैं, अन्य का तर्क है कि यह एक स्केल आर्टिफैक्ट है या मॉडल्स केवल स्थानीय पड़ोस (local neighborhoods) ही सीखते हैं। लेखक यह अलग करने और गणितीय रूप से परिभाषित करने का प्रयास करते हैं कि किन स्थितियों में एक LLM का विश्व अवस्थाओं का आंतरिक एनकोडिंग पारिस्थितिक रूप से सत्यनिष्ठ (ecologically veridical) होता है (अर्थात, यह प्रशिक्षण कार्य पारिस्थितिकी द्वारा आवश्यक विभाजनों को सटीक रूप से संरक्षित करता है और केवल उन्हीं को मिलाता है जो अप्रासंगिक हैं)।

2. कार्यप्रणाली: "मॉडल ऑर्गेनिज्म" दृष्टिकोण (Methodology: The "Model Organism" Approach)

विशाल, अपारदर्शी फ्रंटियर मॉडल्स का विश्लेषण करने के बजाय, लेखक एक मॉडल ऑर्गेनिज्म कार्यप्रणाली का उपयोग करते हैं, जिसमें छोटे, फ्रोजन ऑटो-रिग्रेसिव ट्रांसफॉर्मर्स (Karpathy के microgpt से प्रेरित) का उपयोग किया गया है।

• प्रायोगिक सेटअप: "विश्व" परिमित लेटेंट स्टेट्स (जैसे, भाषाएँ, टेक्स्ट कॉर्पोरा जैसे Alice in Wonderland, Dante's Commedia, और Communist Manifesto) से बना है।
• अवलोकन क्षमता (Observability): क्योंकि मॉडल्स और पारिस्थितिकी (ecologies) छोटे और परिमित हैं, लेखक सीधे निम्नलिखित का अवलोकन और गणना कर सकते हैं:
  • प्रेरित विभाजन (induced partitions) (कौन सी अवस्थाएँ मॉडल को मिलाती हैं बनाम कौन सी अलग करती हैं)।
  • सटीक परिमित-पारिस्थितिकी मात्राएँ (एन्ट्रॉपी, जेन्सन-शैनन डाइवर्जेंस)।
  • जनसंख्या-स्तर के चयन प्रक्षेपवक्र (selection trajectories)।
• सैद्धांतिक ढांचा: यह शोध पत्र विकासवादी धारणा (evolutionary perception) (Dalla Riva, 2026) से पारिस्थितिक सत्यनिष्ठा (Ecological Veridicality) ढांचे को ऑटो-रिग्रेसिव सेटिंग में अनुकूलित करता है। यह प्रशिक्षण कॉर्पस को एक "टास्क इकोलॉजी" $\mu$ के रूप में मानता है जो विश्व अवस्थाओं के तुल्यता वर्गों (equivalence classes) को परिभाषित करता है।

3. मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions and Theoretical Results)

A. स्थिर इष्टतमता: अपघटन प्रमेय (Static Optimality: The Decomposition Theorem)

यह शोध पत्र सिद्ध करता है कि लेटेंट वर्ल्ड स्टेट्स के किसी भी एनकोडिंग $p$ के लिए, बेयस-इष्टतम नेक्स्ट-टोकन क्रॉस-एन्ट्रॉपी लॉस ($L^*_D$) सटीक रूप से दो पदों में विभाजित होता है:
$$L^*_D(p) = H(Y | C, W) + \text{Excess}(p)$$

• अपरिहार्य पद (Irreducible Term): $H(Y | C, W)$ संदर्भ और वास्तविक विश्व अवस्था के दिए होने पर अगले टोकन की कंडीशनल एन्ट्रॉपी है (सैद्धांतिक निचला स्तर)।
• जेन्सन-शैनन अतिरिक्त (Jensen–Shannon Excess): दूसरा पद एनकोडिंग पार्टीशन के भीतर जेन्सन-शैनन (JS) डाइवर्जेंस का एक भारित योग (weighted sum) है।
• मुख्य अंतर्दृष्टि: अतिरिक्त लॉस (excess loss) तभी शून्य होता है जब एनकोडिंग प्रशिक्षण पारिस्थितिकी के तुल्यता वर्गों को संरक्षित करती है। यदि मॉडल दो अवस्थाओं को मिला देता है जिन्हें पारिस्थितिकी अलग करती है, तो वह एक सकारात्मक अतिरिक्त लॉस (excess loss) का सामना करता है।

B. आर्किटेक्चरल प्रयोज्यता (Architectural Applicability)

यह शोध पत्र निर्धारित करता है कि यह "फिक्स्ड-एनकोडिंग" विश्लेषण विशिष्ट ट्रांसफार्मर आर्किटेक्चर पर कब लागू होता है:

• फ्रोजन डेंस और MoE ट्रांसफॉर्मर्स: ये "कॉग्निटिव इमपेनेट्रेबिलिटी" (cognitive impenetrability) की स्थिति को पूरा करते हैं। उनके वेट्स (weights) स्थिर हैं, इसलिए प्रेरित एनकोडिंग विभिन्न कार्यों (contexts) के बीच अपरिवर्तित रहती है।
• इन-कॉन्टेक्स्ट लर्निंग (ICL): यह मॉडल के सेपरेशन सेट (separation set) को बड़ा नहीं करता है। ICL यह चुनता है कि किस संदर्भ का उपयोग करना है, लेकिन यह नए भेद उत्पन्न नहीं कर सकता जो फ्रोजन वेट्स पहले से ही नहीं बना सकते।
• प्रति-कार्य अनुकूलन (Per-Task Adaptation): यह पूर्वधारणा को तोड़ता है। फाइन-ट्यूनिंग या LoRA प्रत्येक कार्य के लिए वेट्स को बदल देता है, जिसका अर्थ है कि एनकोडिंग अब स्थिर नहीं है, जिससे उस विशिष्ट वंशावली (lineage) के लिए स्टैटिक इकोलॉजिकल वेरिडिटी प्रमेय अमान्य हो जाता है।

C. न्यूनतम-जटिलता सत्यनिष्ठा (Minimum-Complexity Veridicality)

उन सभी एनकोडिंगों में से जो शून्य अतिरिक्त लॉस प्राप्त करते हैं (अर्थात, पारिस्थितिक रूप से सत्यनिष्ठ हैं), यह शोध पत्र न्यूनतम-जटिलता समाधान की पहचान करता है:

• इष्टतम एनकोडिंग क्वोटिएंट पार्टीशन (quotient partition) $W / \sim_\mu$ है।
• यह विभाजन उन सभी और केवल उन अवस्थाओं को मिलाता है जो प्रशिक्षण पारिस्थितिकी के तहत समान हैं।
• कोई भी सूक्ष्म एनकोडिंग (जो अनावश्यक भेदों को संरक्षित करती है) बिना अतिरिक्त बेयस-इष्टतम लॉस में सुधार किए, उच्च प्रतिनिधित्व जटिलता (entropy) का बोझ डालती है।
• सरलता का दबाव (Simplicity Pressure): एक नियमितीकृत उद्देश्य (Loss + $\beta \times$ Complexity) के तहत, वे भेद जिनका भविष्य कहने वाला लाभ (predictive gain) कम है (कम JS डाइवर्जेंस), उन्हें प्राथमिकता के आधार पर मिला दिया जाता है। यह एक विशिष्ट विफलता मोड की भविष्यवाणी करता: मॉडल कम लाभ वाले भेदों को सबसे पहले त्याग देते हैं।

D. गतिशील विकास और टू-इकोलॉजी विस्तार (Dynamic Evolution and Two-Ecology Extension)

यह शोध पत्र LLM पारिस्थितिकी तंत्र को एक डार्विनियन जनसंख्या के रूप में मॉडल करता है जहाँ:

• चयन की इकाइयाँ (Units of Selection): पूरे प्रशिक्षित मॉडल (वंशावलियाँ) स्वयं प्रतिकृति बनाने वाले (replicators) हैं।
• चयन दबाव (Selection Pressure): वंशावलियों का चयन एक परिनियोजन पारिस्थितिकी (deployment ecology) में प्रदर्शन के आधार पर किया जाता है।
• टू-इकोलोजी गैप (Two-Ecology Gap): अक्सर टोकन पारिस्थितिकी (नेक्स्ट-टोकन प्रेडिक्शन) और मूल्यांकन पारिस्थितिकी (बेंचमार्क, उपयोगकर्ता प्राथमिकताएं) के बीच एक बेमेल (mismatch) होता है।
  • कुछ भेद (जैसे, कोड की शुद्धता, तार्किक निरंतरता) के कमजोर टोकन-स्तर के संकेत होते हैं लेकिन मूल्यांकन में उन्हें बहुत अधिक महत्व दिया जाता है।
  • इकोलॉजी इंजेक्शन (Ecology Injection): पोस्ट-ट्रेनिंग (फाइन-ट्यूनिंग, RLHF) मूल्यांकन पारिस्थितिकी को टोकन उद्देश्य में इंजेक्ट करने के एक तंत्र के रूप में कार्य करता है। शोध पत्र एक थ्रेशोल्ड ($\alpha^*$) को व्युत्पन्न करता है जो यह दिखाता है कि उस भेद को "बचाने" के लिए कितने इंजेक्शन की आवश्यकता है जिसे मूल टोकन पारिस्थितिकी अन्यथा मिला देगी।

4. प्रायोगिक परिणाम (Empirical Results)

microgpt मॉडल ऑर्गेनिज्म का उपयोग करके, लेखक सटीक परिमित-पारिस्थितिकी जाँचों के साथ सिद्धांत को सत्यापित करते हैं:

1. स्थिर अपघटन (Static Decomposition): सत्यापित किया गया कि मापा गया अतिरिक्त लॉस (excess loss) गणना किए गए जेन्सन-शैनन अतिरिक्त पद से पूरी तरह मेल खाता है।
2. स्प्लिट-मर्ज थ्रेशोल्ड (Split-Merge Threshold): पुष्टि की गई कि जैसे-जैसे जटिलता दंड ($\beta$) बढ़ता है, मॉडल ठीक उसी समय भेदों को मिला देता है जब उनका भविष्य कहने वाला लाभ (predictive gain) थ्योरम 55 द्वारा प्राप्त सैद्धांतिक सीमा से नीचे गिर जाता है।
3. ऑफ-इकोलॉजी विफलता (Off-Ecology Failure): विशिष्ट भाषाओं (जैसे, अंग्रेजी, फ्रेंच) पर प्रशिक्षित मॉडल अनदेखी भाषाओं (जैसे, वॉयनिच पांडुलिपि) के साथ परीक्षण करने पर बढ़े हुए त्रुटि और विचलन व्यवहार दिखाते हैं, जो इस भविष्यवाणी को मान्य करता है कि विलय किए गए भेद परिष्कृत पारिस्थितिकी पर सकारात्मक अतिरिक्त लॉस का कारण बनते हैं।
4. टू-इकोलोजी रेस्क्यू (Two-Ecology Rescue): Lisp कोड में ब्रैकेट बैलेंसिंग पर प्रयोगों ने दिखाया कि जबकि मूल टोकन पारिस्थितिकी संरचना को सीखने में विफल रही, मूल्यांकन सिग्नल को इंजेक्ट करने (पोस्ट-ट्रेनिंग या विशिष्ट डेटा मिश्रण के माध्यम से) ने उस भेद को सफलतापूर्वक "बचा लिया", जिससे जनसंख्या इंजेक्ट की गई पारिस्थितिकी की आवश्यकताओं की ओर अभिसरित हुई।

5. महत्व और निहितार्थ (Significance and Implications)

• सैद्धांतिक सटीकता: यह शोध पत्र अस्पष्ट "वर्ल्ड मॉडल्स" के दावों से आगे बढ़कर यह प्रदान करने के लिए एक सटीक, सूचना-सैद्धांतिक परिभाषा देता है कि मॉडल कब और क्यों विश्व का पता लगाते हैं। यह सिद्ध करता है कि टोपोलॉजिकल कन्वर्जेंस (यह सहमत होना कि कौन सी अवस्थाएँ भिन्न हैं) विशिष्ट स्थितियों के तहत गारंटीकृत है, भले ही ज्यामितीय कन्वर्जेंस (वेक्टर स्पेस में वे अवस्थाएँ कितनी दूर हैं) न हो।
• विफलता मोड (Failure Modes): यह उन भेदों की भविष्यवाणी करता जो हैं:
  1. टोकन उद्देश्य के लिए कम लाभ वाले (सरलता का दबाव उन्हें मिला देता है)।
  2. जो प्रशिक्षण पारिस्थितिकी द्वारा अलग नहीं किए गए हैं लेकिन परिनियोजन पारिस्थितिकी द्वारा आवश्यक हैं ("गैप" की समस्या)।
• कार्यप्रणाली में बदलाव: यह अपारदर्शी प्रणालियों के स्केलिंग लॉ के बजाय "प्रयोगशाला जीवों" के रूप में छोटे, अवलोकन योग्य मॉडल्स का उपयोग करने की वकालत करता है।
• निश निर्माण (Niche Construction): यह शोध पत्र रेखांकित करता है कि LLMs केवल निष्क्रिय पर्यवेक्षक नहीं हैं; वे दुनिया को नया आकार देते हैं (प्रशिक्षण डेटा में उत्पन्न पाठ के माध्यम से), जिससे एक फीडबैक लूप बनता है जहाँ वे जिस "सत्य" को ट्रैक करते हैं, वह आंशिक रूप से उनके अपने आउटपुट द्वारा निर्मित होता है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि ऑटो-रिग्रेसिव ट्रेनिंग मॉडल की क्षमता और सरलता के दबाव की सीमाओं तक पारिस्थितिक रूप से सत्यनिष्ठ प्रतिनिधित्व के लिए चयन करती है, और कि उन भेदों को पुनः प्राप्त करने के लिए अंतर-मॉडल चयन और पोस्ट-ट्रेनिंग आवश्यक है जिन्हें कच्चा टोकन उद्देश्य छोड़ देता है।