Large Language Models Decide Early and Explain Later

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स (LLMs) जल्दी निर्णय लेते हैं और बाद में स्पष्टीकरण देते हैं

1. समस्या विवरण (Problem Statement)

चेन-ऑफ-थॉट (CoT) रीजनिंग का उपयोग करने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) अंतिम उत्तर देने से पहले अक्सर विस्तृत मध्यवर्ती रीजनिंग ट्रेसेस (intermediate reasoning traces) उत्पन्न करते हैं। हालांकि लंबी रीजनिंग को अनुभवजन्य रूप से उच्च सटीकता से जोड़ा जाता है, लेकिन यह स्पष्ट नहीं है कि क्या प्रत्येक उत्पन्न टोकन निर्णय लेने की प्रक्रिया में योगदान देता है। लेखक परिकल्पना करते हैं कि CoT जनरेशन का एक बड़ा हिस्सा अनावश्यक (redundant) हो सकता है, जो सक्रिय गणना के बजाय "निर्णय के बाद के स्पष्टीकरण" (post-decision explanations) के रूप में कार्य करता है। यह अनावश्यकता शुद्धता में सुधार किए बिना इन्फरेंस लेटेंसी (inference latency), कम्प्यूटेशनल लागत और ऊर्जा की खपत को बढ़ाती है।

2. कार्यप्रणाली (Methodology)

शोधकर्ता इस बात की जांच करते हैं कि एक रीजनिंग ट्रेस के जनरेशन के दौरान LLM का अनुमानित उत्तर कैसे विकसित होता है।

• जबरन उत्तर पूर्णता (Forced Answer Completion): किसी भी बिंदु पर मॉडल के "आंतरिक विश्वास" को ट्रैक करने के लिए, लेखक जनरेशन प्रक्रिया में हस्तक्षेप करते हैं। प्रत्येक रीजनिंग स्टेप $i$ पर, वे रीजनिंग को रोक देते हैं और एक उत्तर प्रीफिक्स (जैसे, MCQ के लिए {"answer": या गणित के लिए \boxed{) जोड़ देते हैं ताकि मॉडल को अपना वर्तमान अनुमानित उत्तर $A_i$ निकालने के लिए मजबूर किया जा सके। यह एक उत्तर प्रक्षेपवक्र (Answer Trajectory) $T = (A_0, A_1, \dots, A_n)$ बनाता है।
• मुख्य मेट्रिक्स (Key Metrics):
  • अंतिम उत्तर स्विच इंडेक्स ($t^*$): वह अंतिम चरण जहाँ अनुमानित उत्तर बदलता है।
  • क्षणिक उत्तर परिवर्तन (Transient Answer Flips - TAFs): अल्पकालिक विचलन जहाँ मॉडल अस्थायी रूप से एक अलग उत्तर पर स्विच करता है और फिर मूल उत्तर पर वापस आ जाता है (स्थानीय अस्थिरता)।
  • अंतिम उत्तर स्विच के बाद के टोकन ($T_{after}$): निर्णय स्थिर होने के बाद उत्पन्न किए गए रीजनिंग टोकन की संख्या।
• उत्तर प्रक्षेपवक्र डीनोइजिंग (Answer Trajectory Denoising): सार्थक निर्णय परिवर्तनों को शोर (noise) से अलग करने के लिए, वे एक "Hold-for-k" स्मूथिंग ऑपरेटर का उपयोग करते हैं। यह एक कारण संबंधी (causal) ऑपरेटर है जिसके लिए किसी उत्तर को वास्तविक स्विच के रूप में पहचाने जाने से पहले $k$ लगातार चरणों तक अपरिवर्तित रहना आवश्यक है।
• अर्ली स्टॉपिंग रणनीतियाँ (Early Stopping Strategies): वे जनरेशन को रोकने के लिए दो "गेट्स" प्रस्तावित करते हैं:
  1. रैंडम गेटिंग (Random Gating): यूनिफॉर्म रैंडम स्कोर का उपयोग करने वाला एक बेसलाइन।
  2. प्रोब-आधारित गेटिंग (Probe-Based Gating): मॉडल के मध्यवर्ती हिडन स्टेट्स (hidden states) पर लागू एक सीखा गया लीनियर ट्रांसफॉर्मेशन, जो यह भविष्यवाणी करता है कि क्या वर्तमान रीजनिंग स्टेप अंततः मिलने वाले अंतिम उत्तर से मेल खाता है।

3. मुख्य योगदान (Key Contributions)

• निर्णय गतिशीलता का लक्षण वर्णन (Characterization of Decision Dynamics): यह पेपर एक व्यवस्थित अनुभवजन्य अध्ययन प्रदान करता है जो दिखाता है कि LLMs अक्सर रीजनिंग ट्रेस पूरा होने से बहुत पहले ही निर्णय ले लेते हैं।
• अनावश्यकता की पहचान (Identification of Redundancy): वे निर्णय निर्माण और रीजनिंग ट्रेस के अंत के बीच के "टेम्पोरल गैप" (temporal gap) को मापते हैं।
• प्रभावी अर्ली स्टॉपिंग (Effective Early Stopping): वे प्रदर्शित करते हैं कि सरल, हल्के प्रोब्स (probes) निर्णय स्थिरता के बिंदु की पहचान कर सकते हैं, जिससे महत्वपूर्ण टोकन बचत संभव है।
• सार्वभौमिक सिग्नल की खोज (Universal Signal Discovery): वे दिखाते हैं कि एक जेनेरिक प्रोब (कई कार्यों पर प्रशिक्षित) कार्य-विशिष्ट प्रोब्स की तुलना में लगभग उतना ही अच्छा प्रदर्शन करता है, जो यह सुझाव देता है कि "निर्णय स्थिरता" का सिग्नल LLM के आंतरिक प्रतिनिधित्व का एक सार्वभौमिक गुण है।

4. परिणाम (Results)

यह अध्ययन कई कार्यों (MCQ, न्यूमेरिक, सर्च-क्वेरी, और टूल-सिलेक्शन) में Qwen3 परिवार के मॉडल्स का उपयोग करके किया गया था।

• जल्दी निर्णय लेना (Early Decision-Making): कई मामलों में, अनुमानित उत्तर शुरुआती चरणों से ही स्थिर हो जाता है। उदाहरण के लिए, MCQ कार्यों में, उत्तर लगभग 50%–68% क्वेरीज में अपरिवर्तित रहता है।
• भारी अनावश्यकता (Massive Redundancy): औसतन, मॉडल अंतिम उत्तर स्विच के बाद 760 अतिरिक्त रीजनिंग टोकन उत्पन्न करते हैं। ये टोकन कुल रीजनिंग बजट का एक बड़ा हिस्सा (अक्सर $\approx 50\%$) बनाते हैं।
• प्रदर्शन बनाम दक्षता का ट्रेड-ऑफ (Performance vs. Efficiency Trade-off):
  • प्रोब-आधारित स्टॉपिंग केवल न्यूनतम ($\approx 2\%$) सटीकता की गिरावट के साथ प्रति क्वेरी लगभग 500 टोकन की बचत कर सकता है।
  • सर्च-क्वेरी (Search-query) कार्यों में, जेनेरिक प्रोब महत्वपूर्ण टोकन बचाने के बावजूद पूर्ण क्वेरी के साथ उच्च सिमेंटिक समानता ($\approx 0.98$) बनाए रखता है।
• कठिनाई के प्रति मजबूती (Robustness to Difficulty): यह घटना कठिन बेंचमार्क (जैसे, GPQA-Diamond, AIME 2026) में भी बनी रहती है, जहाँ $32\%–67\%$ टोकन अभी भी निर्णय के बाद उत्पन्न होते हैं।

5. महत्व (Significance)

यह शोध इस धारणा को चुनौती देता है कि कम्प्यूटेशनल प्रक्रिया के लिए "अधिक रीजनिंग हमेशा बेहतर होती है"। यह प्रकट करता है कि CoT अक्सर एक मोनोलिथिक प्रक्रिया है जहाँ "सोचना" (thinking) और "समझाना" (explaining) अस्थायी रूप से अलग-अलग (decoupled) होते हैं।

रीजनिंग-सक्षम मॉडल्स की तैनाती के लिए इसके व्यावहारिक निहितार्थ महत्वपूर्ण हैं: अर्ली-स्टॉपिंग ह्यूरिस्टिक्स (early-stopping heuristics) को लागू करके, डेवलपर्स मॉडल की सटीकता पर नगण्य प्रभाव के साथ इन्फरेंस लेटेंसी और परिचालन लागत को काफी कम कर सकते हैं। यह अधिक कुशल, स्केलेबल और पर्यावरण के अनुकूल एजेंटिक सिस्टमों की ओर एक मार्ग प्रदान करता है।