The Geometry of Reasoning: Flowing Logics in Representation Space

यहाँ शोध पत्र "The Geometry of Reasoning: Flowing Logics in Representation Space" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) की व्याख्यात्मकता (interpretability) के एक मौलिक प्रश्न को संबोधित करता है: क्या LLMs वास्तव में तार्किक संरचनाओं (logical structures) को आत्मसात करते हैं, या वे केवल सतही स्तर के सांख्यिकीय पैटर्न की नकल करने वाले "स्टोकेस्टिक पैरट्स" (stochastic parrots) मात्र हैं?

वर्तमान व्याख्यात्मक अनुसंधान अक्सर तर्क को एक ग्राफ पर रैंडम वॉक (random walk) या अवधारणाओं के एक स्थिर संरेखण (static alignment) के रूप में देखता है। हालाँकि, ये दृष्टिकोण इस बात को पकड़ने में विफल रहते हैं कि कैसे LLMs चेन-ऑफ-थॉट (CoT) तर्क के दौरान अपनी आंतरिक अवस्थाओं (internal states) को गतिशील और निरंतर रूप से विकसित करते हैं। लेखक तर्क देते हैं कि यदि LLMs वास्तव में तर्क को समझते हैं, तो उनकी तर्क प्रक्रिया को केवल अर्थ संबंधी सामग्री (विषय या भाषा) के बजाय तार्किक अपरिवर्तनीयताओं (logical invariants) द्वारा नियंत्रित, प्रतिनिधित्व स्थान (representation space) में एक संरचित, सुचारू प्रवाह (smooth flow) के रूप में प्रकट होना चाहिए।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन ज्यामितीय ढांचे (Geometric Framework) का प्रस्ताव करते हैं जो LLM तर्क को उच्च-आयामी प्रतिनिधित्व स्थान में निरंतर प्रवाह (trajectories) के रूप में मॉडल करता है।

A. सैद्धांतिक ढांचा (Theoretical Framework)

शोध पत्र विभेदक ज्यामिति (differential geometry) के उपकरणों का उपयोग करके तर्क को औपचारिक रूप देता है:

• स्थान (Spaces):
  • अवधारणा स्थान (Concept Space - $C$): एक अमूर्त अर्थ संबंधी मैनिफोल्ड (semantic manifold) जहाँ मानवीय संज्ञान प्रवाहित होता है।
  • प्रतिनिधित्व स्थान (Representation Space - $R$): LLM का एम्बेडिंग स्पेस ($\mathbb{R}^d$)।
  • तार्किक स्थान (Logical Space - $L$): प्राकृतिक अपाटन नियमों (natural deduction rules) का एक औपचारिक स्थान।
• प्रवाह के रूप में तर्क (Reasoning as Flow): विविक्त टोकन (discrete tokens) के बजाय, तर्क को एक संदर्भ-संचयी प्रवाह (context-cumulative flow) के रूप में मॉडल किया जाता है। जैसे-जैसे एक मॉडल CoT अनुक्रम उत्पन्न करता है, उसकी हिडन स्टेट्स एक प्रक्षेपवक्र (trajectory) $Y = [y_1, \dots, y_T]$ बनाती हैं।
• ज्यामितीय मात्राएँ (Geometric Quantities):
  • वेग (Velocity - $v$): प्रथम-क्रम अंतर ($\Delta y_t = y_t - y_{t-1}$), जो तात्कालिक अर्थ संबंधी परिवर्तन की दर का प्रतिनिधित्व करता है।
  • वक्रता (Curvature - $\kappa$): द्वितीय-क्रम ज्यामितीय गुण (विशेष रूप से मेंजर कर्वेचर - Menger Curvature), जो यह मापता है कि प्रक्षेपवक्र कितनी तीव्रता से मुड़ता है।
• मुख्य परिकल्पना (Core Hypothesis): तार्किक संरचना इन प्रवाहों पर एक विभेदक बाधा (differential constraint) के रूप में कार्य करती है। जबकि अर्थ संबंधी सामग्री (विषय/भाषा) स्थान में स्थिति निर्धारित करती है, तार्किक कंकाल (logical skeleton) प्रवाह के वेग और वक्रता को निर्धारित करता है।

B. प्रयोगात्मक डिजाइन: तर्क को अर्थ विज्ञान से अलग करना (Disentangling Logic from Semantics)

इस परिकल्पना का परीक्षण करने के लिए, लेखकों ने एक नियंत्रित डेटासेट बनाया जो तार्किक संरचना को अर्थ संबंधी वाहकों (semantic carriers) से अलग करता है:

1. तार्किक ढांचा (Logical Scaffolding): उन्होंने 8 से 16 चरणों तक के 30 विशिष्ट प्राकृतिक अपाटन प्रमाणों (अमूर्त तार्किक कंकाल) को उत्पन्न किया।
2. अर्थ संबंधी भिन्नता (Semantic Variation): प्रत्येक तार्किक कंकाल को निम्नलिखित के माध्यम से स्थापित किया गया:
   • 20 विभिन्न विषय (जैसे, मौसम, वित्त, खेल, नेटवर्क सुरक्षा)।
   • 4 भाषाएँ (अंग्रेजी, चीनी, जर्मन, जापानी)।
     इसके परिणामस्वरूप 2,430 तर्क अनुक्रम प्राप्त हुए जहाँ तर्क समान है, लेकिन सतही रूप पूरी तरह से भिन्न है।
3. बेसलाइन (Baseline): एक "रैंडम शफल" (Random Shuffle) बेसलाइन जहाँ तार्किक चरणों के क्रम को क्रमपरिवर्तित (permuted) किया गया ताकि यह परीक्षण किया जा सके कि क्या अनुक्रम का क्रम ज्यामितीय गुणों के लिए महत्वपूर्ण है।

C. मूल्यांकन मेट्रिक्स (Evaluation Metrics)

लेखकों ने विभिन्न मॉडलों (Qwen3 परिवार और LLaMA3) से हिडन स्टेट्स निकाले और निम्नलिखित की गणना की:

• स्थिति समानता (Position Similarity): कच्चे एम्बेडिंग्स के बीच कोसाइन समानता (cosine similarity)।
• वेग समानता (Velocity Similarity): प्रथम-क्रम अंतर ($\Delta y$) के बीच कोसाइन समानता।
• वक्रता समानता (Curvature Similarity): मेंजर कर्वेचर मानों का पियर्सन सहसंबंध (Pearson correlation)।
• समूहीकरण मानदंड (Grouping Criteria): उन्होंने तर्क (समान कंकाल, भिन्न विषय/भाषा), विषय (समान विषय, भिन्न तर्क), और भाषा द्वारा समूहीकृत प्रवाहों की तुलना की।

3. मुख्य योगदान (Key Contributions)

1. तर्क का ज्यामितीय औपचारिकीकरण (Geometric Formalization of Reasoning): यह शोध पत्र प्रतिनिधित्व स्थान में LLM तर्क को सुचारू प्रवाह के रूप में मॉडल करने वाला पहला ढांचा प्रस्तुत करता है, जो तर्क को प्रवाह वेग और वक्रता के नियंत्रक के रूप में परिभाषित करता है।
2. पृथक डेटासेट (Disentangled Dataset): एक अद्वितीय डेटासेट का निर्माण जो तार्किक संरचना को अर्थ संबंधी सामग्री से कठोरता से अलग करता है, जिससे यह सीधे परीक्षण किया जा सके कि क्या LLMs सतही रूपों से परे तर्क को आत्मसात करते हैं।
3. तार्किक अपरिवर्तनीयताओं का अनुभवजन्य सत्यापन (Empirical Validation of Logical Invariants): यह प्रदर्शित करना कि जबकि कच्चे एम्बेडिंग्स अर्थ संबंधी विषयों (semantics) द्वारा हावी होते हैं, उच्च-क्रम की ज्यामितीय मात्राएँ (वेग और वक्रता) तार्किक संरचना द्वारा हावी होती हैं।
4. "स्टोकेस्टिक पैरट" सिद्धांत को चुनौती (Challenge to "Stochastic Parrot" Theory): यह प्रमाण प्रदान करना कि अगला-टोकन प्रेडिक्शन (next-token prediction), मानक प्रशिक्षण के साथ मिलकर, LLMs के लिए सार्वभौमिक तार्किक अपरिवर्तनीयताओं को आत्मसात करने के लिए पर्याप्त है, जो एक "प्लेटोनिक प्रतिनिधित्व" (Platonic Representation) का सुझाव देता है जहाँ तर्क को एक ज्यामितीय बाधा के रूप में सीखा जाता है।

4. मुख्य परिणाम (Key Results)

Qwen (0.5B से 4B) और LLaMA3 (8B) मॉडलों के माध्यम से किए गए प्रयोगों से निम्नलिखित निष्कर्ष प्राप्त हुए:

• स्थिति (0-क्रम) अर्थ संबंधी है (Position is Semantic): कच्चे एम्बेडिंग स्थान विषय और भाषा के आधार पर दृढ़ता से क्लस्टर होते हैं (समान विषय/भाषा के लिए समानता $\approx$ 0.80–0.89), लेकिन विभिन्न विषयों में समान तर्क के लिए कम समानता दिखाते हैं (समानता $\approx$ 0.21–0.44)। यह पुष्टि करता है कि सतही अर्थ विज्ञान (semantics) स्थिर प्रतिनिधित्व पर हावी रहता है।
• वेग (1-क्रम) तार्किक है (Velocity is Logical): जब प्रतिनिधित्व में परिवर्तन (वेग) का विश्लेषण किया जाता है, तो पैटर्न बदल जाता है। समान तार्किक कंकाल वाले प्रवाह, विभिन्न विषयों और भाषाओं के बावजूद, उच्च वेग समानता ($\approx$ 0.52–0.58) प्रदर्शित करते हैं। भिन्न तर्क लेकिन समान विषय वाले प्रवाह शून्य के करीब समानता दिखाते हैं।
• वक्रता (2-क्रम) सुदृढ़ है (Curvature is Robust): मेंजर कर्वेचर समानता वेग के रुझान का अनुसरण करती है, जो यह दर्शाती है कि तर्क पथ का आकार अर्थ संबंधी परिवर्तनों के प्रति अपरिवर्तनीय है।
• शफल बेसलाइन (The Shuffle Baseline): तार्किक चरणों के क्रम को यादृच्छिक रूप से बदलने से वेग और वक्रता समानता लगभग शून्य तक गिर गई, जबकि स्थिति समानता उच्च बनी रही। यह सिद्ध करता है कि ज्यामितीय संरचना अनुक्रमिक तार्किक निर्भरता पर निर्भर करती है, न कि केवल विशिष्ट शब्दों की उपस्थिति पर।
• मॉडल तटस्थता (Model Agnosticism): परिणाम विभिन्न मॉडल आकारों (0.6B से 4B) और आर्किटेक्चर (Qwen बनाम LLaMA) में सुसंगत थे, जो मशीन समझ के अंतर्निहित एक सार्वभौमिक नियम का सुझाव देते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• सतही रूप से परे (Beyond Surface Form): निष्कर्ष इस विचार को चुनौती देते हैं कि LLMs में वास्तविक समझ की कमी है। तथ्य यह है कि तार्किक संरचना, विषय/भाषा (सामग्री) से स्वतंत्र होकर, तर्क की गतिशीलता (वेग/वक्रता) को निर्देशित करती है, यह सुझाव देता है कि LLMs ने अमूर्त तार्किक नियमों को आत्मसात कर लिया है।
• प्लेटोनिक प्रतिनिधित्व परिकल्पना (Platonic Representation Hypothesis): परिणाम इस विचार का समर्थन करते हैं कि विविध डेटा पर प्रशिक्षित न्यूरल नेटवर्क तर्क के साझा, अंतर्निहित ज्यामितीय प्रतिनिधित्वों पर अभिसरित (converge) होते हैं, जो काफी हद तक प्रशिक्षण रेसिपी से स्वतंत्र होते हैं।
• व्याख्यात्मकता के लिए नए उपकरण (New Tools for Interpretability): यह ढांचा तर्क का विश्लेषण करने के लिए मात्रात्मक उपकरण (वेग, वल्चर) प्रदान करता है। यह स्थिर "कॉन्सेप्ट वेक्टर्स" से आगे बढ़कर गतिशील "रीजनिंग फ्लो" की ओर बढ़ता है।
• व्यावहारिक अनुप्रयोग (Practical Applications):
  • स्टीयरिंग और सुरक्षा (Steering & Safety): तर्क को एक प्रवाह के रूप में समझने से "मैनिफोल्ड स्टीयरिंग" (manifold steering) संभव होती है, जिससे मॉडलों को सही तार्किक पथों की ओर निर्देशित किया जा सकता है या "ओवरथिंकिंग" को रोका जा सकता है।
  • RAG और रिट्रीवल (RAG & Retrieval): रिट्रीवल सिस्टम को केवल अर्थ संबंधी समानता के बजाय तर्क प्रवाह (reasoning flow) को मैच करके बेहतर बनाया जा सकता है।
  • आर्किटेक्चर डिज़ाइन (Architecture Design): भविष्य के मॉडलों को अधिक कुशल तर्क के लिए लेटेंट फ्लो (latent flows) को सीधे पैरामीट्राइज़ करने के लिए डिज़ाइन किया जा सकता है।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि तर्क LLM प्रतिनिधित्व स्थानों की उच्च-क्रम ज्यामिति में एनकोड किया गया है। तर्क एक रैंडम वॉक नहीं है बल्कि एक संरचित प्रवाह है जहाँ तार्किक नियम विभेदक बाधाओं (differential constraints) के रूप में कार्य करते हैं, जो मॉडल के प्रक्षेपवक्र को अर्थ संबंधी स्थान (semantic space) के माध्यम से निर्देशित करते हैं।