तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) में सीमित अनुमान मैनिफोल्ड्स से उभरता तर्क (Reasoning)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में तर्क (reasoning) के मूल्यांकन के लिए वर्तमान पद्धतियाँ मुख्य रूप से लेबल किए गए बेंचमार्क और कार्य सटीकता (task accuracy) पर निर्भर करती हैं। यह दृष्टिकोण आंतरिक अनुमान की गुणवत्ता और डेटासेट संरेखण (dataset alignment) तथा प्रॉम्प्टिंग रणनीतियों के बीच भ्रम पैदा करता है, जिससे तर्क को एक अस्पष्ट इनपुट-आउटपुट मैपिंग के रूप में माना जाता है। फलस्वरूप, यह इस बात की सीमित अंतर्दृष्टि प्रदान करता है कि तर्क आंतरिक रूप से कैसे साकार होता है, समान सटीकता वाले मॉडल मजबूती (robustness) में क्यों भिन्न होते हैं, और कौन से संरचनात्मक गुण स्वस्थ तर्क को रोगजनक गतिकी (pathological dynamics) से अलग करते हैं। यह कार्य तर्क को कार्य-विशिष्ट पर्यवेक्षण (supervision) से स्वतंत्र, प्रतिनिधित्व स्थान (representation space) के भीतर विकसित होने वाली एक अंतर्निहित गतिक प्रक्रिया के रूप में अध्ययन करने की आवश्यकता को संबोधित करता है।

कार्यप्रणाली (Methodology)

लेखक समकालीन ऑटो-रिग्रेसिव LLMs (Qwen2.5, Qwen3, Gemma 3, और DeepSeek-R1-Distill-Qwen परिवार, जो 0.5B से 72B पैरामीटर्स तक विस्तृत हैं) के माध्यम से प्रेरित जेनेरिक संज्ञानात्मक उद्दीपनों (MMLU के "Other" सबसेट से प्राप्त) के विश्लेषण द्वारा इन्फरेंस-टाइम प्रतिनिधित्व प्रक्षेपवक्र (inference-time representation trajectories) का विश्लेषण करते हैं।

मुख्य कार्यप्रणाली में शामिल है:

1. प्रक्षेपवक्र निष्कर्षण (Trajectory Extraction): प्रत्येक उद्दीपन (stimulus) के लिए, उच्च-आयामी प्रतिनिधित्व स्थान में प्रत्येक ट्रांसफॉर्मर लेयर और इन्फरेंस स्टेप पर अंतिम टोकन के हिडन स्टेट को रिकॉर्ड किया जाता है, जो एक विविक्त प्रक्षेपवक्र $T_\ell(x)$ बनाता है।
2. ज्यामितीय विश्लेषण (Geometric Analysis):
   • आंतरिक आयामनता (Intrinsic Dimensionality - ID): प्रक्षेपवक्रों के प्रभावी स्वतंत्रता स्तरों (degrees of freedom) को मापने के लिए 'टाइट लोकल इंट्रिन्सिक डायमेंशनैलिटी' (TLE) एस्टिमेटर का उपयोग करके अनुमान लगाया जाता है। दो अलग-अलग ID मापे जाते हैं: $D_{world}$ (स्थिर शब्दावली एम्बेडिंग्स से) और $D_{stim}$ (इन्फरेंस-टाइम प्रक्षेपवक्रों से)।
   • सूचना आयतन (Information Volume - $V$): केंद्रित प्रक्षेपवक्र बिंदुओं के कोवेरिएंस मैट्रिक्स के लॉग-डिटरमिनेंट के माध्यम से गणना की जाती है ताकि मैनिफोल्ड के भीतर संरक्षित संरचित भिन्नता की मात्रा को मापा जा सके।
3. उद्दीपन विस्तार (Stimulus Expansion): स्थिरता का परीक्षण करने के लिए, MMLU-Other से विविक्त प्रश्न प्रकारों को संचयी रूप से जोड़कर उद्दीपन सेट का क्रमिक विस्तार किया जाता है, और बढ़ती वैचारिक विविधता के साथ $D_{stim}$ के विकास को ट्रैक किया जाता है।
4. एकीकृत नैदानिक (Unified Diagnostic): एक स्केलर मीट्रिक, 'रीजनिंग हेल्थ स्कोर' ($H$), तैयार किया जाता है जो कार्य लेबल या शुद्धता संकेतों का उपयोग किए बिना ज्यामितीय संगठन, सूचना सामग्री और अभिव्यंजक क्षमता को एकीकृत करता है।

मुख्य योगदान

यह शोध तीन संरचनात्मक बाधाओं की पहचान करता है जो संयुक्त रूप से स्वस्थ तर्क गतिकी को नियंत्रित करती हैं और इन बाधाओं पर आधारित एक लेबल-मुक्त नैदानिक पेश करता है:

1. स्वतः मैनिफोल्ड संपीड़न (Spontaneous Manifold Compression): इन्फरेंस-टाइम प्रतिनिधित्व स्वतः ही उच्च-आयामी स्थानों में अंतर्निहित निम्न-आयामी मैनिफोल्ड्स पर सिमट जाते हैं। यह आयामी पतन (dimensional collapse) उद्दीपन-प्रेरित, पुनरुत्पादनीय और स्थिर शब्दावली एम्बेडिंग्स की उच्च अभिव्यंजना क्षमता से भिन्न है।
2. गैर-अपभ्रंश सूचना प्रवाह (Non-Degenerate Information Flow): निम्न आयामनता अकेले पर्याप्त नहीं है। प्रभावी तर्क के लिए, संकुचित मैनिफोल्ड को उच्च सूचना आयतन बनाए रखना आवश्यक है। लेखक देखते हैं कि जबकि नेटवर्क की गहराई के साथ ID कम होता है, सूचना आयतन बढ़ता है, जो एक ऐसे फोकसिंग तंत्र को दर्शाता है जो शोर को दबाते हुए कार्य-प्रासंगिक विविधताओं को बढ़ाता है।
3. स्थिरीकरण के रूप में अभिव्यंजक क्षमता (Expressive Capacity as a Stabilizer): स्थिर शब्दावली एम्बेडिंग्स की आंतरिक आयामनता ($D_{world}$) एक पृष्ठभूमि संरचनात्मक स्थिति के रूप में कार्य करती है। उच्च अभिव्यंजक क्षमता वाले मॉडल बढ़ती वैचारिक विविधता को बिना इन्फरेंस-टाइम स्वतंत्रता स्तरों में पर्याप्त विस्तार की आवश्यकता के समायोजित कर सकते हैं, जिससे विषम उद्दीपनों के तहत निम्न-आयामी तर्क को स्थिर किया जा सकता है।

परिणाम

• आयामी पतन (Dimensional Collapse): सभी मॉडल परिवारों और पैमानों में, तर्क प्रक्षेपवक्र लगातार परिवेशी एम्बेडिंग आयाम (ambient embedding dimension) से बहुत कम आंतरिक आयामनता पर स्थिर होते हैं (अक्सर दस से कम स्वतंत्रता स्तरों पर अभिसरण करते हैं)।
• संपीड़न और प्रदर्शन का अलगाव (Decoupling of Compression and Performance): मजबूत ज्यामितीय संपीड़न (कम ID) बेहतर तर्क प्रदर्शन के साथ रैखिक रूप से सह-संबंधित नहीं है। समान कम ID वाले मॉडल काफी भिन्न इन्फरेंस व्यवहार प्रदर्शित कर सकते हैं, जिसमें भंगुर (brittle) या सूचना-हीन गतिकी शामिल है।
• अनुमेय क्षेत्र (The Admissible Regime): उच्च-प्रदर्शन वाले मॉडल एक तीन-आयामी स्थान के एक संकीर्ण क्षेत्र में केंद्रित होते हैं जो निम्न $D_{stim}$, उच्च $V$, और पर्याप्त $D_{world}$ द्वारा परिभाषित होता है। इस क्षेत्र से बाहर के मॉडल विसरित अन्वेषण (diffuse exploration), प्रतिनिधित्व भीड़भाड़ (representational crowding), या अपभ्रंश पतन (degenerate collapse) जैसी रोगजनक गतिकी प्रदर्शित करते हैं।
• नैदानिक प्रदर्शन (Diagnostic Performance): एकीकृत रीजनिंग हेल्थ स्कोर ($H$), विविध बेंचमार्क (जैसे AIME, GPQA, LiveBench) में डाउनस्ट्रीम रीजनिंग प्रदर्शन के साथ मजबूत एकदिष्ट समझौता (Spearman correlation coefficients > 0.9) दिखाता है। यह सहसंबंध इस तथ्य के बावजूद बना रहता है कि $H$ पूरी तरह से कार्य-अज्ञेय (task-agnostic) है और केवल आंतरिक गतिकी से गणना की गई है।

महत्व और दावे

यह शोध तर्क के परिणामों से ध्यान हटाकर इन्फरेंस डायनेमिक्स के आंतरिक ज्यामिति और सूचना प्रवाह पर ध्यान केंद्रित करके तर्क मूल्यांकन को पुनर्परिभाषित करता है। लेखक दावा करते हैं कि LLMs में तर्क मौलिक रूप से ज्यामितीय और सूचनात्मक बाधाओं द्वारा शासित होता है।

• पूरक ढांचा (Complementary Framework): प्रस्तावित संरचनात्मक नैदानिक बेंचमार्क-केंद्रित मूल्यांकन का स्थान नहीं लेता है, बल्कि एक पूरक लेंस प्रदान करता है। यह डेटासेट-विशिष्ट प्रभावों से अलग, इन्फरेंस डायनेमिक्स के अंतर्निहित गुणों को अलग करता है, जिससे लेबल वाले डेटा पर निर्भरता के बिना विभिन्न मॉडलों और आर्किटेक्चर के बीच तर्क व्यवहार की तुलना करना संभव होता है।
• यांत्रिक अंतर्दृष्टि (Mechanistic Insight): निष्कर्ष बताते हैं कि मजबूत तर्क केवल एक तंत्र से नहीं, बल्कि निम्न-आयामी संगठन, पर्याप्त सूचना संरक्षण और एक समृद्ध प्रतिनिधित्व आधार के समन्वित परस्पर क्रिया से उभरता है।
• नैदानिक उपयोगिता (Diagnostic Utility): यह कार्य रोगजनक क्षेत्रों (जैसे, अति-संपीड़न या सूचना भुखमरी) की पहचान करने के लिए एक सिद्धांतपूर्ण साधन प्रदान करता है और भविष्य के प्रशिक्षण दृष्टिकोणों या संरेखण तकनीकों के प्रभाव का मूल्यांकन करने के लिए एक संरचनात्मक संदर्भ प्रदान करता है।

लेखक स्पष्ट रूप से सीमाओं को नोट करते हैं: नैदानिक वर्णनात्मक और सहसंबंधी (correlational) है, यह कारणत्मक तंत्र (causal mechanisms) स्थापित नहीं करता है, और वितरित गणना के प्रॉक्सी के रूप में अंतिम-टोकन हिडन स्टेट्स पर निर्भर करता है। इसके अलावा, गैर-ऑटो-रिग्रेसिव, मल्टीमॉडल, या एम्बॉडीड सिस्टम के लिए इस अनुमेय क्षेत्र की प्रयोज्यता एक खुला प्रश्न है।