तकनीकी सारांश: LLMs के प्रभावी सिद्धांत की ओर: एक प्रतिनिधित्व शिक्षण दृष्टिकोण

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को महत्वपूर्ण डोमेन में तेजी से तैनात किया जा रहा है, फिर भी उनकी आंतरिक गणनाएँ अपारदर्शी बनी हुई हैं। जबकि LLMs के सूक्ष्म संचालन (मैट्रिक्स गुणन, अटेंशन अपडेट्स, एक्टिवेशन) ज्ञात हैं, इन विवरणों से सीधे व्यवहार को समझना अक्सर कठिन होता है और यह उस स्थूल (macroscopic) संगठन को प्रकट करने में विफल रहता है जो व्याख्या के लिए आवश्यक है। वर्तमान व्याख्यात्मकता विधियाँ (interpretability methods), जैसे कि सर्किट ट्रेस करना या स्पार्स ऑटोएनकोडर्स (SAEs) का उपयोग करना, अक्सर सुसंगत, उच्च-स्तरीय कम्प्यूटेशनल चरणों या "मानसिक अवस्थाओं" (mental states) को पकड़ने में संघर्ष करती हैं जो टोकन अनुक्रमों में बने रहते हैं। एक ऐसे ढांचे की आवश्यकता है जो भविष्यवाणी, व्याख्या और हस्तक्षेप के लिए आवश्यक संरचना को संरक्षित करते हुए अप्रासंगिक सूक्ष्म विवरणों को हटा दे, जैसा कि भौतिकी में प्रभावी सिद्धांतों (जैसे ऊष्मागतिकी/thermodynamics) में होता है जो जटिल प्रणालियों को मैक्रोवेरिएबल्स (macrovariables) के माध्यम से वर्णित करते हैं।

कार्यप्रणाली: रिप्रेसेंटेशनल इफेक्टिव थ्योरी (RET)

लेखक रिप्रेसेंटेशनल इफेक्टिव थ्योरी (RET) का प्रस्ताव करते हैं, जो एक स्व-पर्यवेक्षित (self-supervised) प्रतिनिधित्व शिक्षण दृष्टिकोण का उपयोग करके LLM के हिडन-स्टेट ट्राजेक्टरीज से मैक्रोस्टेट्स को सीखता है।

मुख्य ढांचा

RET, LLM के हिडन स्टेट्स को एक सूक्ष्म आधार ($x_t$) के रूप में मानता है और एक निम्न-आयामी मैक्रोस्टेट ($z_t$) के लिए मैपिंग सीखता है जो तीन वांछितताओं (desiderata) को पूरा करता है:

1. सूक्ष्म विवरण से अमूर्तीकरण (Abstraction from Microscopic Detail): टोकन-स्थानीय भिन्नता को त्यागना जबकि व्यवहारिक रूप से सार्थक संरचना को संरक्षित करना।
2. लगभग बंद गतिकी (Approximately Closed Dynamics): अगला मैक्रोस्टेट ($z_{t+1}$), पूर्ण सूक्ष्म अवस्था ($x_t$) पर न्यूनतम निर्भरता के साथ, वर्तमान मैक्रोस्टेट ($z_t$) से अनुमानित होना चाहिए।
3. व्यावहारिक प्रासंगिकता (Practical Relevance): मैक्रोस्टेट्स को ठोस व्याख्यात्मक कार्यों (व्याख्या, भविष्यवाणी, हस्तक्षेप) का समर्थन करना चाहिए।

शिक्षण प्रक्रिया

• डेटा सब्सट्रेट: एक स्थिर (frozen) LLM के मध्य परत से हिडन-स्टेट प्रीफिक्स ($h^{(\ell_{mid})}_{0:t}$) निकाले जाते हैं।
• आर्किटेक्चर: एक हल्का एनकोडर ($f_\theta$) प्रीफिक्स को मैक्रोस्टेट $z_t$ में मैप करता है। एक प्रेडिक्टर ($T_\phi$) वर्तमान मैक्रोस्टेट $z_t$ से अगले मैक्रोस्टेट $z_{t+1}$ का पूर्वानुमान लगाता है।
• उद्देश्य: सिस्टम को BYOL/JEPA-शैली के स्व-पर्यवेक्षित उद्देश्य का उपयोग करके प्रशिक्षित किया जाता है। प्रेडिक्टर, अगले चरण के लिए अपने प्रेडिक्शन और टारगेट एनकोडर के आउटपुट के बीच $L_1$ दूरी को कम करता है:
  $$L_{pred} = \|T_\phi(f_\theta(x_t)) - \bar{f}_\theta(x_{t+1})\|_1$$
  जहाँ $\bar{f}_\theta$, एनकोडर का एक्सपोनेंशियल मूविंग एवरेज (EMA) है। यह उद्देश्य एनकोडर को सूक्ष्म अवस्था को एक ऐसे प्रतिनिधित्व में संकुचित करने के लिए प्रोत्साहित करता है जो स्वायत्त भविष्यवाणी का समर्थन करता है, प्रभावी रूप से मॉडल की गतिकी का एक "प्रभावी सिद्धांत" (effective theory) सीखता है।
• क्लस्टरिंग: सीखे गए मैक्रोस्टेट्स को क्लस्टर (जैसे, K-means के माध्यम से) किया जाता है और उन्हें मॉडल की "मानसिक अवस्था" का प्रतिनिधित्व करने वाले असतत समूहों में एकत्रित किया जाता है।

मुख्य योगदान

1. एक प्रभावी सिद्धांत परिप्रेक्ष्य का सूत्रीकरण: यह पेपर मैक्रोवेरिएबल्स, अनुमानित क्लोजर और व्यावहारिक प्रासंगिकता के इर्द-गिर्द एक सिद्धांत आधारित दृष्टिकोण को परिभाषित करता है, जो भौतिकी और जटिलता विज्ञान (complexity science) के साथ समानताएं दर्शाता है।
2. RET फ्रेमवर्क: बिना टास्क लेबल के हिडन-स्टेट ट्राजेक्टरीज से मैक्रोस्टेट्स और उनके ट्रांजिशन लॉ को प्राप्त करने के लिए एक सरल प्रतिनिधित्व-शिक्षण विधि का परिचय।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि RET मैक्रोस्टेट्स तीन अलग-अलग व्याख्यात्मक सेटिंग्स में उपयोगी हैं:
   • व्याख्या (Interpretation): तर्क के चरणों (reasoning phases) के सुसंगत, टेम्पोरल रूप से स्थिर ट्राजेक्टरीज उत्पन्न करना।
   • भविष्यवाणी (Prediction): डाउनस्ट्रीम व्यवहारिक परिणामों (विशेष रूप से सिकोफैंसी/sycophancy) का शीघ्र पता लगाना।
   • हस्तक्षेप (Intervention): मॉडल जेनरेशन को विशिष्ट कम्प्यूटेशनल रणनीतियों की ओर मोड़ने के लिए सुधारात्मक हैंडल प्रदान करना।

प्रयोगात्मक परिणाम

1. व्याख्यात्मक तर्क ट्राजेक्टरीज (Interpretable Reasoning Trajectories)

• सेटअप: GPT-OSS-20B द्वारा NuminaMath समस्याओं को हल करने पर RET लागू किया गया। मैक्रोस्टेट्स को 12 समूहों में क्लस्टर किया गया।
• निष्कर्ष: RET ने मानव-व्याख्या योग्य तर्क चरणों (जैसे, समस्या सेटअप, सिम्बोलिक ट्रांसफॉर्मेशन, वेरिफिकेशन) के साथ संरेखित होने वाले टेम्पोरल रूप से सुसंगत ट्राजेक्टरीज का उत्पादन किया।
• तुलना: बेसलाइन (raw hidden states, PCA, SAE features) अस्थिर, टोकन-स्तरीय स्विचिंग ट्राजेक्टरीज उत्पन्न करते थे।
• मेट्रिक: मेंटल-स्टेट इंटरप्रिटेबिलिटी स्कोर (MIS) पेश किया गया। RET ने होल्ड-आउट डेटा पर 5.61 का स्कोर प्राप्त किया, जो SAEs (4.24) से काफी बेहतर है, जो दर्शाता है कि RET कच्चे टेक्स्ट में दिखने वाले तर्क के वृत्तांत (reasoning narrative) को बेहतर ढंग से रिकवर करता है।

2. टेम्पोरल कंसिस्टेंसी (Temporal Consistency)

• सेटअप: प्लांटेड सीन चेंजेस (जैसे, सॉकर गेम $\to$ बारिश का तूफान $\to$ लाइब्रेरी) के साथ Pythia-160M पर प्रयोग।
• निष्कर्ष: RET मैक्रोस्टेट्स ($z_t$) ने सीन बाउंड्रीज पर तीक्ष्ण विच्छेदन (sharp discontinuities) के साथ स्मूथ ट्राजेक्टरीज प्रदर्शित कीं, जिससे कोसाइन सिमिलरिटी मैट्रिसेस में ब्लॉक-डायगोनल संरचनाएं बनीं।
• तुलना: बेसलाइन्स (raw $h$, pooled $h$, SAE) तेज़ लेक्सिकल उतार-चढ़ाव से प्रभावित रहे और संदर्भ सीमाओं को बनाए रखने या विभिन्न संदर्भों में दोहराए गए शब्दों के बीच अंतर करने में विफल रहे।

3. शीघ्र सिकोफैंसी भविष्यवाणी (Early Sycophancy Prediction)

• सेटअप: एक नया मल्टी-टर्न सिकोफैंसी डेटासेट (SYCON-Bench विस्तारित ~14k सैंपल्स तक) बनाया गया। प्रोब्स को यह भविष्यवाणी करने के लिए प्रशिक्षित किया गया कि क्या एक मॉडल अंततः गलत पूर्वधारणाओं (false presuppositions) या बहस के दबाव के आगे "झुक" जाएगा, केवल प्रतिक्रिया के पहले 5-10% का उपयोग करके।
• निष्कर्ष: एक सुपरवाइज्ड वेरिएंट (जो एक ऑक्सिलरी सिकोफैंसी लॉस के साथ प्रशिक्षित था) ने उच्चतम बैलेंस्ड एक्यूरेसी (0. 80 फॉल्स प्रिसपोज़िशन में, 0. 90 डिबेट में) प्राप्त की, जो सभी हिडन-स्टेट बेसलाइन्स (ट्रांसफॉर्मर ब्लॉक बेसलाइन सहित) और अनसुपरवाइज्ड RET से बेहतर थी।
• निहितार्थ: सीखा गया मैक्रोस्टेट व्यवहारिक रूप से प्रासंगिक संरचना को कैप्चर करता है जो एलाइनमेंट विफलताओं का शीघ्र पता लगाने की अनुमति देता है।

4. अनसुपरवाइज्ड स्टीयरिंग (Unsupervised Steering)

• सेटअप: जेनरेशन के दौरान मॉडल के हिडन स्टेट्स को विशिष्ट क्लस्टर सेंटर्स (अट्रैक्टर्स/रिपल्सर) की ओर या उनसे दूर धकेला गया।
• निष्कर्ष: स्टीयरिंग ने समाधान रणनीतियों को सफलतापूर्वक बदल दिया। उदाहरण के लिए, "ज्ञात फॉर्मूला रिट्रीवल" क्लस्टर की ओर स्टीयर करने से मॉडल ने अनुक्रमिक गणना (sequential enumeration) के बजाय क्लोज्ड-फॉर्म फॉर्मूला का उपयोग किया। "वर्डिंग डिस्एम्बिग्यूएशन" की ओर स्टीयर करने से अस्पष्ट मुद्रा इकाइयों (currency units) को हल किया गया।
• सीमाएं: स्टीयरिंग केवल उन्हीं कम्प्यूटेशनल पथों के बीच प्रभावी है जो प्रॉम्प्ट के तहत पहले से ही संभावित हैं; यह उन व्यवहारों को प्रेरित नहीं कर सकता जो मॉडल के वितरण में प्रभावी रूप से उपलब्ध नहीं हैं (जैसे, जब मॉडल डिफॉल्ट रूप से एक फॉर्मूला का उपयोग करता है, तो मैन्युअल रूप से 61 पूर्णांकों को जोड़ना)।
• तुलना: RET स्टीयरिंग ने 33 विविध प्रॉम्प्ट्स में व्यवहारिक बदलावों का 91% कवरेज प्राप्त किया, जो हेवीली ट्यून्ड SAE-बेसलाइन स्टीयरिंग (61% कवरेज) से बेहतर है।

महत्व और दावे

यह पेपर दावा करता है कि LLM कंप्यूटेशन RET के माध्यम से उपयोगी प्रभावी विवरणों (effective descriptions) को स्वीकार करता है। लेखक तर्क देते हैं कि:

• प्रेडिक्टिव सेल्फ-सुपरविजन के माध्यम से सीखे गए मैक्रो-लेवल वेरिएबल्स सूक्ष्म शोर को हटाकर सुसंगत "मानसिक अवस्थाओं" को प्रकट कर सकते हैं।
• ये अवस्थाएं केवल वर्णनात्मक नहीं हैं बल्कि क्रियाशील (actionable) भी हैं, जो मॉडल व्यवहार को निर्देशित करने के लिए कारण संबंधी हैंडल (causal handles) प्रदान करती हैं।
• यह दृष्टिकोण मैकेनिस्टिक इंटरप्रिटेबिलिटी (जो स्पार्स सर्किट्स पर केंद्रित है) के पूरक के रूप में कार्य करता है, जो ट्राजेक्टरी-स्तर की, मोटे तौर पर ग्रैनुलेटेड (coarse-grained) गतिकी पर ध्यान केंद्रित करता है।

लेखक विनम्र रहते हुए कहते हैं कि RET एक प्रभावी सिद्धांत का केवल एक उदाहरण है और इसके परिणाम परीक्षण किए गए सेटिंग्स (गणितीय तर्क, सिकोफैंसी डिटेक्शन) के विशिष्ट हैं। वे इस बात पर जोर देते हैं कि "मानसिक अवस्था" एक मोटे कम्प्यूटेशनल चरण के लिए एक ऑपरेशनल शब्द है, न कि एक वास्तविक संज्ञानात्मक अवस्था, और उनके द्वारा दिए गए सिम्बोलिक लेबल निश्चित ग्राउंड ट्रुथ के बजाय LLM-सहायता प्राप्त क्लस्टरिंग के माध्यम से प्राप्त उपयोगी सारांश हैं।