तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स में सीमित अनुमान मैनिफोल्ड्स (Constrained Inference Manifolds) से उभरता तर्क (Reasoning)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में तर्क (reasoning) का वर्तमान मूल्यांकन मुख्य रूप से लेबल किए गए बेंचमार्क और कार्य सटीकता (task accuracy) पर निर्भर करता है। यह दृष्टिकोण आंतरिक अनुमान की गुणवत्ता और डेटासेट संरेखण (dataset alignment) तथा प्रॉम्प्टिंग रणनीतियों के बीच भ्रम पैदा करता है, जिससे तर्क को एक अपारदर्शी इनपुट-आउटपुट मैपिंग के रूप में माना जाता है। फलस्वरूप, ये मेट्रिक्स इस बारे में सीमित अंतर्दृष्टि प्रदान करते हैं कि तर्क आंतरिक रूप से कैसे साकार होता है, समान सटीकता वाले मॉडल मजबूती (robustness) में भिन्न क्यों होते हैं, या वे विशिष्ट गतिशील प्रक्रियाएं (dynamical processes) क्या हैं जो सफल अनुमान का आधार बनती हैं। एक ऐसे ढांचे की आवश्यकता है जो तर्क को कार्य-विशिष्ट पर्यवेक्षण (task-specific supervision) से स्वतंत्र होकर, मॉडल के प्रतिनिधित्व स्थान (representation space) के भीतर विकसित होने वाली एक अंतर्निहित गतिशील प्रक्रिया के रूप में वर्णित करे।

कार्यप्रणाली

लेखक अनुमान के दौरान आंतरिक प्रतिनिधित्व के विकास का परीक्षण करके तर्क का विश्लेषण एक गतिशील प्रक्रिया के रूप में करते हैं। यह अध्ययन विविध प्रकार के समकालीन ऑटोरेग्रेसिव LLMs (Qwen2.5, Qwen3, Gemma 3, और DeepSeek-R1-Distill-Qwen) का उपयोग करता है, जो 0.6B से 72B पैरामीटर्स तक विस्तृत हैं।

डेटा संग्रह और उद्दीपन (Stimuli):

• उद्दीपन (Stimuli): सामान्य संज्ञानात्मक उद्दीपन (generic cognitive stimuli) MMLU बेंचमार्क के "Other" उपसमुच्चय से लिए गए हैं, जो विविध डोमेन (जैसे नैतिकता, कानून, विज्ञान) को कवर करते हैं, बिना विश्लेषण के दौरान किसी विशिष्ट कार्य लेबल या शुद्धता संकेतों पर निर्भर रहे।
• ट्रैजेक्टरी निष्कर्षण (Trajectory Extraction): प्रत्येक उद्दीपन के लिए, अंतिम टोकन के हिडन स्टेट (hidden state) को प्रत्येक ट्रांसफार्मर लेयर और अनुमान चरण (inference step) पर रिकॉर्ड किया जाता है। ये अनुक्रम उच्च-आयामी प्रतिनिधित्व स्थान में सन्निहित विविक्त प्रक्षेप पथ (discrete trajectories) बनाते हैं।

ज्यामितीय और सूचना-सैद्धांतिक मेट्रिक्स:

1. आंतरिक आयामन (Intrinsic Dimensionality - ID): TLE (Tight Local Intrinsic Dimensionality) एस्टिमेटर का उपयोग करके अनुमानित किया गया। दो अलग-अलग ID मापे गए हैं:
   • $D_{stim}$: उद्दीपन-प्रेरित अनुमान प्रक्षेप पथों का ID (ज्यामितीय संगठन)।
   • $D_{world}$: स्थिर शब्दावली एम्बेडिंग का ID (प्रतिनिधित्व अभिव्यक्ति)।
2. सूचना आयतन (Information Volume - $V$): एक मीट्रिक जो तर्क मैनिफोल्ड के भीतर संरक्षित संरचित भिन्नता को मापता है, जिसकी गणना केंद्रित प्रक्षेप पथ अवस्थाओं (centered trajectory states) के कोवेरिएंस मैट्रिक्स के डिटरमिनेंट के माध्यम से की जाती है।
3. उद्दीपन विस्तार (Stimulus Expansion): स्थिरता का परीक्षण करने के लिए, उद्दीपन सेट को MMLU-Other से विलगित प्रश्न प्रकारों को संचयी रूप से जोड़कर क्रमिक रूप से विस्तारित किया जाता है, जिससे बढ़ती वैचारिक विविधता के साथ $D_{stim}$ के विकास को ट्रैक किया जाता है।

एकीकृत नैदानिक (Unified Diagnostic):
एक लेबल-मुक्त तर्क स्वास्थ्य स्कोर ($H$) तैयार किया गया है जो इन संरचनात्मक बाधाओं को एकीकृत करता है:
$$H = \log(D_{world}) \cdot \frac{V}{\exp(\varepsilon D_{stim})}$$
जहाँ $\varepsilon$ एक निश्चित दंड पैरामीटर (penalty parameter) है। यह स्कोर केवल आंतरिक गतिकी से संगणना किया जाता है और स्पियरमैन रैंक सहसंबंध (Spearman rank correlation) के माध्यम से डाउनस्ट्रीम बेंचमार्क प्रदर्शन के विरुद्ध तुलना किया जाता है।

प्रमुख योगदान और परिणाम

1. निम्न-आयामी मैनिफोल्ड्स में स्व-संगठन

अध्ययन पाता है कि अनुमान-समय तर्क गतिकी लगातार अत्यंत निम्न-आयामी मैनिफोल्ड्स में स्व-संगठित होती है, भले ही वे उच्च-आयामी एम्बेडिंग स्पेस में स्थित हों।

• अवलोकन: जैसे-जैसे नेटवर्क लेयर्स के माध्यम से अनुमान आगे बढ़ता है, प्रतिनिधित्वों की आंतरिक आयामनता तेजी से घटती है, और अक्सर दस से कम डिग्री ऑफ फ्रीडम पर स्थिर हो जाती है।
• भेद: यह संपीड़न (compression) उद्दीपन-प्रेरित और गतिशील है; स्थिर शब्दावली एम्बेडिंग पूर्ण आयामनता बनाए रखती है, जो यह दर्शाता है कि मॉडल्स के पास उच्च प्रतिनिधित्व क्षमता है, लेकिन तर्क विशेष रूप से इस स्थान को सीमित करता है।

2. केवल आयामनता की अपर्याप्तता

मजबूत तर्क के लिए निम्न-आयामनता आवश्यक है लेकिन पर्याप्त नहीं है।

• निष्कर्ष: समान रूप से संकुचित प्रक्षेप पथ वाले मॉडल भी स्पष्ट रूप से भिन्न अनुमान व्यवहार प्रदर्शित करते हैं। अत्यधिक आक्रामक संपीड़न भंगुर (brittle) या सूचना-हीन गतिकी की ओर ले जा सकता है।
• सूचना-ज्यामिति ट्रेड-ऑफ: प्रभावी तर्क के लिए एक विशिष्ट शासन (regime) की आवश्यकता होती है जहाँ ज्यामितीय संपीड़न के साथ गहराई बढ़ने पर सूचना आयतन ($V$) में वृद्धि होती है। गहरी परतें शोर को दबाती हैं (ID कम करती हैं) जबकि कार्य-प्रासंगिक वैचारिक विविधताओं को बढ़ाती हैं (V को बढ़ाती हैं)।

3. अभिव्यंजक क्षमता की भूमिका

विषम इनपुट के तहत मजबूती मॉडल की अभिव्यंजक क्षमता ($D_{world}$) पर निर्भर करती है, जिसे इसके स्थिर शब्दावली की आंतरिक आयामनता के रूप में परिभाषित किया गया है।

• स्थिरता तंत्र: उच्च अभिव्यंजक क्षमता वाले मॉडल वैचारिक विविधता बढ़ने पर उद्दीपन-प्रेरित आयामनता ($D_{stim}$) में धीमी वृद्धि प्रदर्शित करते हैं।
• बाधा: अपर्याप्त अभिव्यंजक क्षमता वाले मॉडल्स को विविध अवधारणाओं को एनकोड करने के लिए अतिरिक्त आयामों को नियुक्त करना पड़ता है, जिससे प्रक्षेप पथ का प्रसार (dispersion) और संरचनात्मक अस्थिरता उत्पन्न होती है।

4. एकीकृत संरचनात्मक नैदानिक ($H$)

लेखक तर्क स्वास्थ्य स्कोर $H$ पेश करते हैं, जो ज्यामितीय संगठन ($D_{stim}$), सूचना सामग्री ($V$), और अभिव्यंजक क्षमता ($D_{world}$) को एकीकृत करता है।

• प्रदर्शन: $H$ कई स्वतंत्र बेंचमार्क (जैसे AIME, GPQA, LiveBench) के माध्यम से डाउनस्ट्रीम तर्क प्रदर्शन के साथ मजबूत मोनोटोनिक समझौता (Spearman $\rho > 0.9$) दिखाता है।
• लेबल-मुक्त प्रकृति: महत्वपूर्ण रूप से, $H$ को कार्य लेबल, शुद्धता संकेतों, या मूल्यांकन डेटासेट तक पहुंच के बिना संगणित किया जाता है, फिर भी यह मजबूती और सामान्यीकरण (generalization) की सफलतापूर्वक भविष्यवाणी करता है।

महत्व और दावे

यह शोध पत्र तर्क के मूल्यांकन को कार्य सटीकता से हटाकर अनुमान गतिकी के आंतरिक ज्यामिति और सूचना प्रवाह पर ध्यान केंद्रित करके पुनर्गठित करता है।

• अनुमेय शासन (Admissible Regime): लेखक प्रस्तावित करते हैं कि स्वस्थ तर्क एक संकीर्ण "अनुमेय शासन" में रहता है जो तीन शर्तों द्वारा परिभाषित है:
  1. पर्याप्त प्रतिनिधित्व अभिव्यक्ति: विविध अवधारणाओं का समर्थन करने के लिए एक उच्च-क्षमता वाला आधार ($D_{world}$)।
  2. स्वतःस्फूर्त मैनिफोल्ड संपीड़न: निम्न-आयामी संरचनाओं में अनुमान प्रक्षेप पथों का स्व-संगठन ($D_{stim}$)।
  3. गैर-अपभ्रष्ट सूचना आयतन: संकुचित मैनिफोल्ड के भीतर संरचित भिन्नता ($V$) का संरक्षण।
• पैथोलॉजिकल गतिकी (Pathological Dynamics): इन बाधाओं का उल्लंघन करने वाले मॉडल विशिष्ट विफलता मोड प्रदर्शित करते हैं, जैसे कि विसरित अन्वेषण (diffuse exploration), प्रतिनिधित्व भीड़ (representational crowding), या अपभ्रष्ट पतन (degenerate collapse)।
• पूरक ढांचा: प्रस्तावित नैदानिक (diagnostic) बेंचमार्क-केंद्रित मूल्यांकन को प्रतिस्थापित नहीं करता है, बल्कि डेटासेट-विशिष्ट प्रभावों से तर्क के अंतर्निहित गुणों को अलग करने के लिए एक पूरक, सिद्धांत आधारित लेंस प्रदान करता है। यह सुझाव देता है कि तर्क मौलिक रूप से ज्यामितीय और सूचनात्मक बाधाओं द्वारा शासित होता है, जो मॉडल स्वास्थ्य को निदान करने और मजबूत अनुमान को सक्षम करने वाली संरचनात्मक स्थितियों को समझने के लिए एक आधार प्रदान करता है।

लेखक बनाए रखते हैं कि हालांकि यह ढांचा मजबूत तर्क के लिए एक संरचनात्मक खिड़की को रेखांकित करता है, यह मोनोटोनिक स्केलिंग लॉ (scaling laws) की भविष्यवाणी नहीं करता है, और गैर-ऑटोरेग्रेसिव या मल्टीमॉडल सिस्टम पर इसकी प्रयोज्यता एक खुला प्रश्न बना हुआ है।