🤖 AI

Reasoning Can Be Restored by Correcting a Few Decision Tokens

यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों (large language models) की तर्क करने की क्षमताओं को उन शुरुआती, उच्च-अनिश्चितता वाले नियोजन टोकन (planning tokens) के एक विरल सेट की पहचान करके और उनमें हस्तक्षेप करके कुशलतापूर्वक बहाल किया जा सकता है जहाँ आधार मॉडल (base models) अधिक सक्षम तर्क मॉडलों से असहमत होते हैं, जो एक हल्के अनुमान-समय प्रतिनिधि रणनीति (lightweight inference-time delegation strategy) का उपयोग करता है जो प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "जीपीएस बनाम ड्राइवर" की समस्या

कल्पte है कि आपके पास दो ड्राइवर हैं जो एक ही मंजिल (एक कठिन गणित की समस्या हल करना) तक पहुँचने की कोशिश कर रहे हैं।

ड्राइवर A (बेस मॉडल): यह ड्राइवर तेज़, कुशल और स्थानीय सड़कों को अच्छी तरह जानता है। हालाँकि, जब इसे किसी जटिल, अपरिचित रास्ते का सामना करना पड़ता है, तो यह शुरुआत में कुछ महत्वपूर्ण गलतियाँ कर देता है—जैसे कि पहले चौराहे पर दाएं मुड़ने के बजाय बाएं मुड़ जाना। एक बार जब यह गलत मोड़ ले लेता है, तो यह आत्मविश्वास के साथ गलत रास्ते पर चलता रहता है, और रास्ता भटकता चला जाता है।
ड्राइवर B (रीज़निंग मॉडल): यह ड्राइवर एक धीमा, व्यवस्थित विशेषज्ञ है। वह हर मोड़ की दोबारा जाँच करता है, पूरे रास्ते की सावधानीपूर्वक योजना बनाता है, और लगभग कभी नहीं भटकता। लेकिन वह हर यात्रा के लिए बहुत धीमा और महंगा है।

समस्या: हम चाहते हैं कि ड्राइवर A, ड्राइवर B जितना ही अच्छा हो, लेकिन हम हर यात्रा के लिए ड्राइवर B का उपयोग करने की उच्च लागत नहीं उठाना चाहते।

खोज: शोधकर्ताओं ने पाया कि ड्राइवर A वास्तव में पूरा समय विफल नहीं होता है। वह यात्रा के 90% हिस्से में बिल्कुल सही ड्राइविंग करता है। वह केवल कुछ विशिष्ट क्षणों पर विफल होता है—आमतौर पर शुरुआत में—जहाँ रास्ता कठिन हो जाता है। ये "डिसीजन टोकन्स" (निर्णय लेने वाले शब्द) हैं।

मुख्य निष्कर्ष: यह सब शुरुआती कुछ मोड़ों के बारे में है

पेपर ने उन लाखों चरणों का विश्लेषण किया जहाँ दोनों ड्राइवरों के बीच असहमति थी। उन्होंने तीन आश्चर्यजनक बातें पाईं:

गलतियाँ दुर्लभ हैं: तेज़ ड्राइवर द्वारा उत्पन्न किए गए शब्दों (टोकन्स) में से केवल लगभग 8% ही वे स्थान थे जहाँ असहमति हुई थी। बाकी 92% ठीक थे।
गलतियाँ जल्दी होती हैं: महत्वपूर्ण त्रुटियाँ लगभग हमेशा उत्तर की शुरुआत में होती हैं। यह ऐसा है जैसे ड्राइवर पहले चौराहे पर गलत मोड़ ले लेता है, और बाकी की यात्रा बस आत्मविश्वास के साथ गलत दिशा में गाड़ी चलाना है।
गलतियाँ "योजना बनाने" के क्षण हैं: त्रुटियाँ तब होती हैं जब ड्राइवर यह तय कर रहा होता है कि आगे क्या करना है (योजना बनाना), न कि तब जब वह केवल गणित कर रहा होता है (निष्पादन)। यह "क्या मैं बाएं जाऊं या दाएं?" के क्षण के बारे में है, न कि "1 + 1 = 2" के क्षण के बारे में।

समाधान: "स्पॉट-चेक" हस्तक्षेप

धीमे विशेषज्ञ को पूरी यात्रा के लिए काम पर रखने के बजाय, शोधकर्ताओं ने "डिसएग्रीमेंट-गाइडेड टोकन इंटरवेंशन" नामक एक चतुर तकनीक प्रस्तावित की।

यह इस प्रकार काम करता है:

तेज़ ड्राइवर (बेस मॉडल) ड्राइविंग शुरू करता है।
एक स्मार्ट "स्पॉट-चेक" सिस्टम सड़क पर नज़र रखता है। यह तेज़ ड्राइवर के अगले कदम की तुलना उस चीज़ से करता है जो धीमा विशेषज्ञ (रीज़निंग मॉडल) करता।
ट्रिगर: यदि दोनों ड्राइवरों के बीच अगले कदम पर कड़ी असहमति (एक "स्पाइक") होती है, तो सिस्टम एक सेकंड के लिए ब्रेक लगा देता है।
कब्ज़ा (Takeover): धीमा विशेषज्ञ हस्तक्षेप करता है, दिशा को ठीक करने के लिए आवश्यक एक सही शब्द या वाक्यांश बोलता है, और फिर तुरंत स्टीयरिंग तेज़ ड्राइवर को वापस सौंप देता है।
परिणाम: तेज़ ड्राइवर सही रास्ते पर अपनी यात्रा जारी रखता है, और बाकी का सारा नियमित काम खुद करता है।

उपमा: संपादक और लेखक

कल्पना कीजिए कि बेस मॉडल एक तेज़, ऊर्जावान लेखक है जो सेकंडों में पूरी कहानी लिख सकता है। लेकिन कभी-कभी, वे पहले पैराग्राफ में प्लॉट (कथानक) को गलत कर देते हैं।
कल्पना कीजिए कि रीज़निंग मॉडल एक धीमा, सूक्ष्म संपादक है जो एक आदर्श कहानी जानता है।

संपादक से पूरी कहानी को फिर से लिखवाने के बजाय (जिसमें बहुत समय लगता है), शोधकर्ताओं ने पाया कि यदि आप संपादक को केवल पहले कुछ वाक्यों को ठीक करने दें जहाँ कथानक भ्रमित करने वाला हो जाता है, तो लेखक बाकी की कहानी खुद भी पूरी तरह से समाप्त कर सकता है।

केवल 8% शब्दों (महत्वपूर्ण निर्णय बिंदुओं) को ठीक करके, तेज़ लेखक ने अपने उस संस्करण से बेहतर प्रदर्शन किया जो एक "रीज़निंग एक्सपर्ट" बनने के लिए प्रशिक्षित था।

यह क्यों महत्वपूर्ण है

यह पेपर सिद्ध करता है कि "रीज़निंग" (तर्क करना) कोई जादुई क्षमता नहीं है जिसके लिए हर एक कदम के लिए एक विशाल मस्तिष्क की आवश्यकता होती है। इसके बजाय, रीज़निंग मुख्य रूप से शुरुआत में सही कुछ चुनाव करने के बारे में है। एक बार जब रास्ता सही ढंग से सेट हो जाता है, तो मॉडल बाकी काम आसानी से संभाल सकता है।

अनिश्चितता के क्षणों (जहाँ मॉडल भ्रमित है) में ही हस्तक्षेप करके, हम मॉडल की रीज़निंग शक्ति को थोड़ी सी मदद के साथ बहाल कर सकते हैं, जिससे यह हर चीज़ के लिए एक विशाल रीज़निंग मॉडल का उपयोग करने की तुलना में बहुत तेज़ और सस्ता हो जाता है।

संक्षेप में: कार को चलाने के लिए आपको पूरी कार को ठीक करने की ज़रूरत नहीं है; आपको बस यात्रा की शुरुआत में स्टीयरिंग व्हील को ठीक करने की ज़रूरत है।

तकनीकी सारांश: कुछ निर्णय टोकन (Decision Tokens) को सुधार कर तर्क क्षमता (Reasoning) को पुनर्स्थापित किया जा सकता है

समस्या विवरण

लार्ज रीजनिंग मॉडल्स (LRMs) चुनौतीपूर्ण रीजनिंग बेंचमार्क पर अपने बेस लार्ज लैंग्वेज मॉडल (LLM) समकक्षों की तुलना में लगातार बेहतर प्रदर्शन करते हैं, इस अंतर का श्रेय अक्सर टेस्ट-टाइम स्केलिंग और रीइन्फोर्समेंट लर्निंग-आधारित पोस्ट-ट्रेनिंग (जैसे RLVR) को दिया जाता है। हालांकि, इस प्रदर्शन अंतराल को चलाने वाले विशिष्ट तंत्र अभी भी कम समझे जाते हैं। यह स्पष्ट नहीं है कि बेस मॉडल टोकन-दर-टोकन जनरेशन के दौरान कहाँ विफल होते हैं, क्या बेस मॉडल्स के भीतर तर्क क्षमताएं सुप्त (latent) अवस्था में होती हैं, और प्रत्येक टोकन के लिए पूर्ण LRM चलाने की कम्प्यूटेशनल लागत के बिना इस प्रदर्शन अंतर को कुशलतापूर्वक कैसे पाटा जा सकता है।

कार्यप्रणाली

लेखक टोकन-स्तरीय वितरण असहमति (token-level distributional disagreement) के माध्यम से बेस-LRM अंतर का विश्लेषण करने और उसे पाटने के लिए एक फ्रेमवर्क प्रस्तावित करते हैं।

1. असहमति का परिमाणीकरण (Quantifying Disagreement)

अध्ययन प्रत्येक जनरेशन स्टेप $t$ पर एक बेस मॉडल ( $M_b$ ) और एक अधिक शक्तिशाली रीजनिंग मॉडल ( $M_r$ ) के बीच असहमति को मापने के लिए संभावना-आधारित विचलन (likelihood-based divergences), मुख्य रूप से क्रॉस-एन्ट्रॉपी (CE) और रिवर्स कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करता है। असहमति स्कोर $s_t$ को इस प्रकार परिभाषित किया गया है:
$s_t = D_{CE}(p_b(\cdot | x_t), p_r(\cdot | x_t)) = -\sum_{y \in V} p_b(y | x_t) \log p_r(y | x_t)$
जहाँ $p_b$ और $p_r$ अगले-टोकन की संभाव्यता वितरण (probability distributions) हैं।

2. असहमति-निर्देशित टोकन हस्तक्षेप (Disagreement-Guided Token Intervention)

असहमति पैटर्न के विश्लेषण के आधार पर, लेखक एक स्पार्स (sparse), इन्फरेंस-टाइम डेलीगेशन स्कीम पेश करते हैं जिसे असहमति-निर्देशित टोकन हस्तक्षेप कहा जाता है।

तंत्र (Mechanism): सिस्टम कुशल बेस मॉडल ( $M_b$ ) का डिफ़ॉल्ट रूप से उपयोग करता है। हालाँकि, जब असहमति स्कोर $s_t$ एक कैलिब्रेटेड ग्लोबल थ्रेशोल्ड $\tau$ से अधिक हो जाता है और एक स्थानीय सापेक्ष स्पाइक स्थिति ( $s_t > \lambda \cdot \bar{s}_{t,W}$ ) उत्पन्न होती है, तो एक "वन-टोकन टेकओवर" होता है।
टेकओवर (Takeover): इन उच्च-असहमति वाले स्थानों पर, रीजनिंग मॉडल ( $M_r$ ) अगला टोकन जनरेट करता है। इसके तुरंत बाद, नियंत्रण वापस बेस मॉडल को सौंप दिया जाता है।
कैलिब्रेशन (Calibration): थ्रेशोल्ड को एक होल्ड-आउट सेट पर एक विशिष्ट "स्पाइक अनुपात" $r$ (जैसे, उच्चतम 3% या 5% असहमति स्कोर) को लक्षित करने के लिए कैलिब्रेट किया जाता है, जिससे यह सुनिश्चित होता है कि हस्तक्षेप बजट छोटा बना रहे।

मुख्य निष्कर्ष और योगदान

1. रीजनिंग अंतराल की स्पर्सिटी और एकाग्रता (Sparsity and Concentration of Reasoning Gaps)

पेपर यह प्रदर्शित करता है कि बेस और रीजनिंग मॉडल्स के बीच का प्रदर्शन अंतर अत्यधिक स्पार्स (sparse) है।

हेवी-टेल्ड डिस्ट्रीब्यूशन (Heavy-Tailed Distribution): टोकन का एक बहुत छोटा हिस्सा (जैसे, Qwen3-0.6B पर $\sim8\%$ ) वितरण संबंधी असहमति के अधिकांश हिस्से के लिए जिम्मेदार है। असहमति मास के लिए गिनी गुणांक (Gini coefficient) अत्यंत उच्च ( $\approx 0.936$ ) है, जो इंगित करता है कि अधिकांश टोकन बहुत कम असहमति मास संचित करते हैं।
प्रारंभिक एकाग्रता (Early Concentration): उच्च-असहमति स्पाइक्स शुरुआती चरणों में केंद्रित (front-loaded) होते हैं, जो जनरेशन ट्रेजेक्टरी के बहुत पहले (मोड $u \approx 0.05$ पर) होते हैं। यह इस अंतर्ज्ञान का खंडन करता कि रीजनिंग लाभ मुख्य रूप से प्रक्रिया के अंत में लंबे ट्रेसेस (traces) से आते हैं।

2. अनिश्चितता और प्लानिंग के साथ संरेखण (Alignment with Uncertainty and Planning)

असहमति स्पाइक्स यादृच्छिक (random) नहीं हैं; वे विशिष्ट संरचनात्मक गुण प्रदर्शित करते हैं:

अनिश्चितता संरेखण (Uncertainty Alignment): असहमति स्पाइक्स बेस मॉडल की आंतरिक अनिश्चितता (शैनन एंट्रॉपी) के साथ मजबूती से ओवरलैप करते हैं।
प्लानिंग संवर्धन (Planning Enrichment): ये महत्वपूर्ण टोकन प्लानिंग-संबंधी निर्णयों (जैसे, रणनीति चयन, वेरिएबल बाइंडिंग, डीकंपोजिशन) के लिए अत्यधिक समृद्ध हैं। Qwen3-0.6B में, प्लानिंग टोकन वैश्विक स्ट्रीम का केवल $\sim1.9\%$ हिस्सा हैं लेकिन $\sim14\%$ असहमति स्पाइक्स में दिखाई देते हैं (एक $7.46\times$ संवर्धन)।

3. भविष्य कहनेवाला शक्ति (Predictive Power)

शीर्ष- $K$ टोकनों पर असहमति स्कोर को एकत्रित करना रीजनिंग विफलता का एक मजबूत भविष्यवक्ता (predictor) के रूप में कार्य करता है। असहमति-आधारित स्कोर गलत अंतिम उत्तरों की भविष्यवाणी करने में बेस-मॉडल एंट्रॉपी से बेहतर प्रदर्शन करता है (जैसे, GSM8K पर 0.851 का AUROC बनाम 0.817)।

4. स्पार्स हस्तक्षेप के माध्यम से प्रदर्शन रिकवरी (Performance Recovery via Sparse Intervention)

प्रस्तावित हस्तक्षेप योजना अत्यधिक प्रदर्शन रिकवरी प्रदान करती है:

दक्षता (Efficiency): टोकन के एक छोटे बजट (जैसे, $\bar{\rho} \approx 0.13$ , या 13% टोकन) पर हस्तक्षेप करने से एक 0.6B बेस मॉडल को समान आकार के (0.6B) "थिंकिंग" वेरिएंट के सापेक्ष Pass@8 गैप का 157% रिकवर करने की अनुमति मिलती है, जो प्रभावी रूप से उसे भी पीछे छोड़ देता है।
बेसलाइन के साथ तुलना: रैंडम टोकन रिप्लेसमेंट या केवल पहले $\rho$ टोकनों को बदलना (केवल-प्रारंभिक) काफी कम लाभ देता है, जो पुष्टि करता है कि विशिष्ट उच्च-असहमति वाले टोकनों का चयन ही महत्वपूर्ण कारक है, न कि केवल हस्तक्षेप का वॉल्यूम।
सामान्यीकरण (Generalization): यह घटना मॉडल परिवारों (Qwen3 और LLaMA) और डोमेन (गणित और वैज्ञानिक QA) में भी स्थानांतरित होती है, हालांकि रिकवरी की मात्रा भिन्न हो सकती है।

महत्व और दावे

यह पेपर तर्क की स्पार्स कंट्रोल व्यू (sparse control view of reasoning) के लिए तर्क देता है। यह दावा करता है कि बेस मॉडल्स के पास अंतर्निहित तर्क मशीनरी (latent reasoning machinery) होती है जो अक्सर विशिष्ट, उच्च-अनिश्चितता वाले प्लानिंग पॉइंट्स पर मिस-अलाइन्ड होती है। LRMs का "रीजनिंग मोड" आवश्यक रूप से एक मौलिक रूप से भिन्न आर्किटेक्चर नहीं है, बल्कि इन महत्वपूर्ण शुरुआती निर्णयों का एक स्थिरीकरण (stabilization) है।

लेखक दावा करते हैं कि:

तर्क स्पार्स है: कुछ ही शुरुआती प्लानिंग प्रतिबद्धताएं (commitments) पूरी रीजनिंग ट्रेजेक्टरी को निर्देशित करती हैं।
सुधार पर्याप्त है: केवल इन उच्च-असहमति वाले निर्णय टोकनों को चुनिंदा रूप से सुधार कर, एक बेस मॉडल पूर्ण पोस्ट-ट्रेनिंग या निरंतर LRM इन्फरेंस के बिना एक बहुत अधिक शक्तिशाली मॉडल की रीजनिंग क्षमताओं को पुनः प्राप्त कर सकता है।
मैकेनिस्टिक अंतर्दृष्टि: हस्तक्षेप एक हल्के "स्टॉप-एंड-चेक" तंत्र के रूप में कार्य करता है, जो बेस मॉडल को निष्पादन वापस सौंपने से पहले वेरिएबल बाइंडिंग या रणनीति चयन में अस्पष्टताओं को हल करता है।

यह कार्य सुझाव देता है कि "रीजनिंग गैप" बेस मॉडल में क्षमता की कमी नहीं है, बल्कि विशिष्ट ब्रांचिंग पॉइंट्स पर सही ट्रेजेक्टरी के प्रति प्रतिबद्ध होने में विफलता है, जिसे लक्षित, असहमति-निर्देशित हस्तक्षेप के माध्यम से सुधारा जा सकता है।