तकनीकी सारांश: तर्क की ज्यामितीय हस्ताक्षर (Geometric Signatures of Reasoning)

समस्या विवरण

यद्यपि चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग ने बड़े भाषा मॉडलों (LLMs) को मध्यवर्ती तर्क चरणों को उत्पन्न करके जटिल समस्याओं को हल करने में सक्षम बनाया है, फिर भी इस प्रक्रिया के आंतरिक तंत्र के संबंध में मौलिक प्रश्न बने हुए हैं। विशेष रूप से, यह स्पष्ट नहीं है कि क्या चीज़ किसी कार्य को LLM के लिए "कठिन" बनाती है, कार्य की कठिनाई मॉडल के आंतरिक प्रतिनिधित्व (internal representations) में कैसे प्रकट होती है, और क्या समाधान की शुद्धता को जनरेशन पूरा होने से पहले ही अनुमानित किया जा सकता है। मौजूदा साहित्य तर्क श्रृंखलाओं की लंबाई और पाठ्य सामग्री या टेस्ट-टाइम कंप्यूट के स्केलिंग पर केंद्रित रहा है, जो अक्सर "ओवरथिंकिंग" जैसी घटनाओं को देखता है जहाँ बढ़ी हुई गणना प्रदर्शन को कम कर देती है। यह शोध पत्र यह प्रतिपादित करता है कि ट्रांसफॉर्मर मॉडल के हिडन स्टेट स्पेस में तर्क प्रक्षेपवक्र (reasoning trajectories) की आंतरिक ज्यामिति (internal geometry), कार्य की कठिनाई और समाधान की गुणवत्ता दोनों के बारे में महत्वपूर्ण जानकारी को एनकोड करती है, जो उत्पन्न पाठ से स्वतंत्र होकर इन घटनाओं के लिए एक सिद्धांतपूर्ण दृष्टिकोण प्रदान करती है।

कार्यप्रणाली (Methodology)

औपचारिक ढांचा (Formal Framework)

लेखक CoT तर्क को $d$-आयामी हिडन स्टेट स्पेस $\mathbb{R}^d$ में एक असतत वक्र (discrete curve) $\gamma = (h_1, \dots, h_n)$ के रूप में औपचारिक रूप देते हैं, जहाँ प्रत्येक $h_t$ टोकन स्थिति $t$ पर हिडन स्टेट का प्रतिनिधित्व करता है। वे इन वक्रों से गुण निकालने के लिए ज्यामितीय फलन (Geometric Functionals) पेश करते हैं, जिन्हें निम्नलिखित श्रेणियों में विभाजित किया गया है:

1. स्पेक्ट्रल फलन (Spectral Functionals): वक्र की सहप्रसरण आव्रति (covariance matrix) का विश्लेषण करना ताकि इसकी अंतर्निहित विमा (intrinsic dimensionality) निर्धारित की जा सके।
2. स्थितिगत और गतिक फलन (Positional and Kinematic Functionals): माध्य स्थिति (mean position), स्थितिगत प्रसार (positional dispersion), प्रारंभिक/अंतिम हिडन स्टेट्स, माध्य वेग (mean velocity), माध्य गति (mean speed), और गति प्रसार जैसे फीचर्स निकालना।

मुख्य मीट्रिक: प्रभावी विमा ($d_\rho$)

एक केंद्रीय योगदान प्रभावी विमा ($d_\text{eff}$ या $d_\rho$) की परिभाषा है, जो प्रक्षेपवक्र जटिलता के माप के रूप में कार्य करती है। एक प्रक्षेपवक्र $\gamma$ के लिए जिसकी सहप्रसरण आव्रति $C(\gamma)$ और आइगेनवैल्यू $\nu_1 \ge \dots \ge \nu_d \ge 0$ है, $d_\rho$ को इस प्रकार परिभाषित किया गया है:
$$d_\rho(\gamma) := \min \left\{ k \in \{1, \dots, d\} : \frac{\sum_{i=1}^k \nu_i}{\text{tr}(C(\gamma))} \ge \rho \right\}$$
लेखक सैद्धांतिक रूप से स्थापित करते हैं कि "सपाट" आइगेनवैल्यू स्पेक्ट्रा (जहाँ भिन्नता (variance) विभिन्न आयामों में समान रूप से फैली होती है) उच्च प्रभावी विमाओं के अनुरूप होते हैं। वे मेजरेशन (majorization) तर्कों के माध्यम से सिद्ध करते हैं कि एक सपाट स्पेक्ट्रम $d_\rho$ को अधिकतम करता है, जो यह सुझाव देता है कि कठिन कार्य ऐसे प्रक्षेपवपथ प्रेरित करते हैं जो हिडन स्टेट स्पेस के एक व्यापक उप-स्थान (subspace) का अन्वेषण करते हैं।

प्रयोगात्मक सेटअप (Experimental Setup)

• मॉडल: Qwen2.5-0.5B-Instruct (24 लेयर्स, हिडन डायमेंशन 896)।
• डेटासेट: MATH500, विशेष रूप से बीजगणित (Algebra), गणना और प्रायिकता (Counting & Probability), और प्री-कैलकुलस (Precalculus) समस्याओं का चयन किया गया जिन्हें "आसान" (कठिनाई 1) और "कठिन" (कठिनाई 5) के रूप में लेबल किया गया है।
• डेटा जनरेशन: प्रति समस्या 10 रीजनिंग प्रक्षेपवक्र, तापमान $T=0.7$ पर, सभी लेयर्स के लिए प्रत्येक टोकन पर हिडन स्टेट्स निकालकर।
• मूल्यांकन:
  • कठिनाई भविष्यवाणी (Hardness Prediction): आसान बनाम कठिन गणितीय समस्याओं को वर्गीकृत करने के लिए $d_\rho$ का उपयोग करना (leave-one-question-out क्रॉस-वैलिडेशन के माध्यम से)।
  • शुद्धता भविष्यवाणी (Correctness Prediction): प्रक्षेपवक्र के पहले $\alpha$ अंश से निकाले गए गतिक (kinematic) और स्थितिगत (positional) फीचर्स का उपयोग करके यह अनुमान लगाना कि अंतिम उत्तर सही होगा या नहीं। परीक्षण किए गए क्लासिफायर में लॉजिस्टिक रिग्रेशन (LR), MLP, और GRU शामिल हैं।

मुख्य परिणाम (Key Results)

1. कार्य की कठिनाई के माप के रूप में प्रभावी विमा

यह अध्ययन तर्क प्रक्षेपवक्र की प्रभावी विमा और कार्य की कठिनाई के बीच एक मजबूत सहसंबंध प्रदर्शित करता है।

• भविष्यवाणी शक्ति: केवल प्रभावी विमा फीचर का उपयोग करके, मॉडल आसान और कठिन गणितीय समस्याओं के बीच अंतर करने में AUC > 0.93 प्राप्त करता है।
• लेयर डायनेमिक्स: सिग्नल सभी लेयर्स में मौजूद है लेकिन अंतिम लेयर्स की ओर मजबूत होता है, जो लेयर 21 (AUC = 0.93) पर चरम पर पहुँचता है।
• मात्रात्मक अंतर: कठिन समस्याएं $\approx 170$ के औसत प्रभावी विमा वाले प्रक्षेपवक्र प्रेरित करती हैं, जबकि आसान समस्याओं का औसत $\approx 122$ होता है (एक 40% का अंतर), जिसका $p$-वैल्यू $5.79 \times 10^{-166}$ सांख्यिकीय रूप से महत्वपूर्ण है। यह सैद्धांतिक दावे का समर्थन करता है कि कठिन कार्यों के लिए मॉडल को उच्च-आयामी उप-स्थानों का अन्वेषण करने की आवश्यकता होती है।

2. गतिक फीचर्स के माध्यम से प्रारंभिक शुद्धता भविष्यवाणी

प्रारंभिक प्रक्षेपवक्र की ज्यामिति में जनरेशन पूरा होने से पहले समाधान की शुद्धता की भविष्यवाणी करने के लिए पर्याप्त जानकारी होती है।

• प्रदर्शन: केवल पहले 20% उत्पन्न टोकन से निकाले गए सात गतिक और स्थितिगत फीचर्स एक लॉजिस्टिक रिग्रेशन क्लासिफायर को क्रॉस-क्वेश्चन सेटिंग में शुद्धता की भविष्यवाणी करने के लिए 0.806 का AUC (और AUPRC $\approx 0.868$) प्रदान करते हैं।
• सिग्नल संतृप्ति (Signal Saturation): एक 'विदिन-क्वेश्चन' सेटिंग में (जहाँ मॉडल प्रशिक्षण के दौरान एक ही प्रश्न देखता है), प्रदर्शन जल्दी संतृप्त हो जाता है (20% अवलोकन पर AUC $\approx 0.90$), जो इंगित करता है कि शुद्धता के लिए ज्यामितीय सिग्नल बहुत जल्दी उभर आता है और अधिक टोकन के साथ महत्वपूर्ण रूप से नहीं सुधरता है।
• मॉडल तुलना: पूर्ण अनुक्रम (full sequence) पर सरल रैखिक मॉडल (LR) ने अधिक जटिल आर्किटेक्चर (GRU) की तुलना में बेहतर प्रदर्शन किया, जिससे पता चलता है कि मोटा ज्यामितीय ढांचा (coarse geometric structure) ही सिग्नल का प्राथमिक चालक है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि एक मॉडल के आंतरिक तर्क प्रक्षेपवपथ का आकार कार्य की कठिनाई और समाधान की गुणवत्ता दोनों का एक सिद्धांतपूर्ण संकेतक है।

• सैद्धांतिक अंतर्दृष्टि: यह स्पेक्ट्रल फ्लैटनेस और कार्य की कठिनाई के बीच एक सैद्धांतिक लिंक प्रदान करता है, यह तर्क देते हुए कि कठिन कार्यों के लिए उच्च-आयामी प्रक्षेपवपथों की आवश्यकता होती है क्योंकि उन्हें समस्या को हल करने के लिए अधिक लेटेंट आयामों (latent dimensions) का उपयोग करने की आवश्यकता होती है।
• व्यावहारिक उपयोगिता: निष्कर्षों से पता चलता है कि प्रक्षेपवक्र ज्यामिति का उपयोग अर्ली-स्टॉपिंग रणनीतियों (जब प्रक्षेपवक्र ज्यामिति निम्न शुद्धता की संभावना दर्शाती है तो जनरेशन रोकना) और बेस्ट-ऑफ-एन रैंकिंग (पूर्ण जनरेशन की प्रतीक्षा किए बिना प्रारंभिक प्रक्षेपवपथों के ज्यामितीय गुणों के आधार पर उम्मीदवारों को प्राथमिकता देना) के लिए किया जा सकता है।
• पूरकता: CoT के पाठ्य सामग्री की निगरानी करने वाले पिछले कार्यों के विपरीत, यह दृष्टिकोण हिडन स्टेट्स के स्तर पर कार्य करता है, जो एक मॉडल-आंतरिक सिग्नल प्रदान करता है जो प्राकृतिक भाषा आउटपुट की पठनीयता पर निर्भर नहीं है।

सीमाएं (Limitations)

लेखक स्वीकार करते हैं कि उनके प्रयोग एक एकल छोटे मॉडल (0.5B पैरामीटर) और MATH500 डेटासेट की तीन विशिष्ट श्रेणियों तक सीमित हैं, जिससे बड़े मॉडलों और अन्य डोमेन में सामान्यीकरण एक खुला प्रश्न बना हुआ है। इसके अलावा, हालांकि सैद्धांतिक विश्लेषण स्पेक्ट्रल फ्लैटनेस को प्रभावी विमा से जोड़ता है, यह पूरी तरह से इस यांत्रिक कारण की व्याख्या नहीं करता है कि क्यों कार्य की कठिनाई इस विशिष्ट स्पेक्ट्रल संरचना को प्रेरित करती है। अंत में, हालांकि AUC परिणाम आशाजनक हैं, शोध पत्र नोट करता है कि इन ज्यामितीय हस्ताक्षरों को अर्ली-स्टॉपिंग या बेस्ट-ऑफ-एन दक्षता में ठोस लाभ में अनुवादित करना भविष्य के कार्य के लिए छोड़ दिया गया है।