📊 statistics

Inference-Time Rethinking with Latent Thought Vectors for Math Reasoning

यह शोध पत्र इन्फरेंस-टाइम रीथिंकिंग (Inference-Time Rethinking) का परिचय देता है, जो एक जनरेटिव फ्रेमवर्क है जो तर्क को निरंतर लेटेंट थॉट वेक्टर्स (continuous latent thought vectors) और मौखिक ट्रेस (verbalized traces) में अलग करता है ताकि पुनरावृत्ति स्व-सुधार (iterative self-correction) सक्षम हो सके, जिससे एक छोटा 0.2B-पैरामीटर वाला मॉडल विशाल पैरामीटर गणनाओं के बजाय परिष्कृत इन्फरेंस-टाइम कंप्यूटेशन के माध्यम से गणितीय तर्क कार्यों पर काफी बड़े बेसलाइन मॉडल्स को भी पीछे छोड़ देता है।

मूल लेखक: Deqian Kong, Minglu Zhao, Aoyang Qin, Bo Pang, Chenxin Tao, David Hartmann, Edouardo Honig, Dehong Xu, Amit Kumar, Matt Sarte, Chuan Li, Jianwen Xie, Ying Nian Wu

प्रकाशित 2026-02-09

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Deqian Kong, Minglu Zhao, Aoyang Qin, Bo Pang, Chenxin Tao, David Hartmann, Edouardo Honig, Dehong Xu, Amit Kumar, Matt Sarte, Chuan Li, Jianwen Xie, Ying Nian Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कठिन गणित की समस्या को हल करने की कोशिश कर रहे हैं।

पुराना तरीका (मानक AI):
अधिकांश वर्तमान AI मॉडल उस छात्र की तरह काम करते हैं जो गलती करने से डरा हुआ है, इसलिए वे अपना उत्तर एक ही निरंतर प्रवाह में लिखते हैं। वे लिखना शुरू करते हैं, "पहले, मैं 5 और 3 जोड़ता हूँ..." और वे चलते जाते हैं। यदि वे पहली पंक्ति में एक छोटी सी त्रुटि करते हैं, तो वे उसमें फंस जाते हैं। वे वापस नहीं जा सकते, मिटा नहीं सकते, या फिर से सोच नहीं सकते। वे अपने द्वारा लिखे गए हर शब्द के प्रति प्रतिबद्ध हैं, और यदि नींव कमजोर है, तो पूरी इमारत ढह जाती है। इसे "सिंगल फॉरवर्ड पास" (single forward pass) कहा जाता है।

नया तरीका (इस शोध पत्र की विधि):
शोधकर्ता इस पेपर में एक स्मार्ट दृष्टिकोण प्रस्तावित करते हैं जिसे इन्फरेंस-टाइम रीथंकिंग (Inference-Time Rethinking) कहा जाता है। वे सोचने की प्रक्रिया को दो अलग-अलग भागों में विभाजित करते हैं:

"थॉट वेक्टर" (योजना): यह एक छिपा हुआ, अदृश्य ब्लूप्रिंट है। यह एक रफ स्केच या मानसिक मानचित्र की तरह है कि क्या हल किया जाना चाहिए, बिना अभी विशिष्ट शब्दों की चिंता किए। यह "डिक्लेरेटिव" (declarative) हिस्सा है—शुद्ध विचार।
"डिकोडर" (वक्ता): यह वह हिस्सा है जो उस अदृश्य ब्लूप्रिंट को वास्तविक शब्दों (टोकन) में बदल देता है। यह "प्रोसीजरल" (procedural) हिस्सा है।

यह कैसे काम करता है (रचनात्मक उपमा):
कल्पना कीजिए एक घोस्ट आर्किटेक्ट (Ghost Architect - अदृश्य वास्तुकार) और एक बिल्डर (Builder - निर्माता) की।

घोस्ट आर्किटेक्ट (द लेटेंट थॉट वेक्टर): यह भूत मास्टर प्लान को थामे रहता है। यह बोलता नहीं है; यह बस समाधान के विचार को एक निरंतर, तरल रूप में रखता है।
बिल्डर (द डिकोडर): यह बिल्डर भूत की योजना को देखता है और शब्दों (टोकन) से समाधान बनाने की कोशिश करता है।

"रीथंकिंग" (पुनर्विचार) लूप:
यहाँ एक जादू का नुस्खा है। पुराने तरीके में, बिल्डर तुरंत निर्माण करना शुरू कर देता। इस नए तरीके में, वे एक लूप में काम करते हैं:

जेनरेट (उत्पन्न करना): बिल्डर भूत की वर्तमान योजना को देखता है और एक ड्राफ्ट समाधान बनाता है।
रिफ्लेक्ट (चिंतन करना): बिल्डर पीछे हटकर कहता है, "हम्म, इस ड्राफ्ट में एक दोष है।" केवल शब्दों को ठीक करने के बजाय, वे वापस घोस्ट आर्किटेक्ट के पास जाते हैं और कहते, "इसे बेहतर बनाने के लिए आपके प्लान को बदलने की जरूरत है।"
ऑप्टिमाइज़ (अनुकूलित करना): घोस्ट आर्किटेक्ट अपने अदृश्य ब्लूप्रिंट को अपडेट करता है ताकि वह बिल्डर द्वारा अभी बनाई गई वास्तविकता के साथ बेहतर तालमेल बिठा सके।
रिपीट (दोहराना): बिल्डर नए ब्लूप्रिंट को देखता है और एक बेहतर ड्राफ्ट बनाता है।

वे इसे बार-बार करते हैं (उनके प्रयोगों में 30 बार)। AI केवल लिख नहीं रहा है; वह लगातार अपने आंतरिक प्लान की आलोचना कर रहा है और गलतियों को ठीक करने के लिए उसे समायोजित कर रहा है ताकि वे स्थायी न हो जाएं।

यह एक बड़ी बात क्यों है:
पेपर का दावा है कि इस "घोस्ट आर्किटेक्ट" दृष्टिकोण का उपयोग करके, एक बहुत छोटा AI मॉडल (केवल 0.2 बिलियन पैरामीटर्स) बहुत बड़े, "मोनोलिथिक" (एकल अखंड) मॉडलों (3 बिलियन पैरामीटर्स या अधिक) को हरा सकता है जो एक बार में सब कुछ करने की कोशिश करते हैं।

उपमा: यह एक बहुत ही संगठित छोटी टीम के समान है जिसका एक बेहतरीन प्रोजेक्ट मैनेजर (लेटेंट वेक्टर) एक विशाल, अराजक भीड़ के प्रदर्शन से बेहतर प्रदर्शन करती है जो बिना किसी योजना के सब कुछ एक साथ करने की कोशिश करती है।
परिणाम: भले ही मॉडल छोटा है, लेकिन यह गणित में बेहतर होता जाता है क्योंकि यह तथ्यों को याद करने के बजाय अपने आंतरिक प्लान को परिष्कृत करने में अधिक "सोचने का समय" खर्च करता है। यह गलतियों से उबर सकता है क्योंकि यह शब्दों को नहीं, बल्कि ब्लूप्रिंट को बदल सकता है।

सारांश में:
यह पेपर एक ऐसी प्रणाली पेश करता है जहाँ AI अपने आंतरिक प्लान को अपने बोले गए शब्दों से अलग करता है। फिर वे "कोशिश करें, आलोचना करें और प्लान को समायोजित करें" के लूप का उपयोग करके अपनी गलतियों को ठीक करते हैं। यह एक छोटे से मॉडल को जटिल गणित की समस्याओं को हल करने में बेहतर बनाता है क्योंकि उनके पास खत्म होने से पहले "पुनर्विचार" करने की क्षमता होती है।

तकनीकी सारांश: गणितीय तर्क के लिए लेटेंट थॉट वेक्टर्स के साथ इन्फरेंस-टाइम रीथंकिंग (Inference-Time Rethinking)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में मानक चेन-ऑफ-थॉट (CoT) रीजनिंग एक सिंगल फॉरवर्ड पास के माध्यम से संचालित होती है, जहाँ मॉडल जनरेट किए गए प्रत्येक टोकन के प्रति अपरिवर्तनीय रूप से प्रतिबद्ध हो जाता है। यह आर्किटेक्चर डिक्लेरेटिव नॉलेज (तर्क योजना की सामग्री) को प्रोसीजरल एक्जीक्यूशन (टोकन के सिंटैक्टिक जनरेशन) के साथ उलझा देता है। फलस्वरूप, जनरेशन में होने वाली शुरुआती त्रुटियाँ बिना किसी जांच के आगे बढ़ती रहती हैं क्योंकि मॉडल के पास आउटपुट को अंतिम रूप देने से पहले अपनी रीजनिंग रणनीति को पीछे हटने (backtrack), आलोचना करने या परिष्कृत करने के लिए कोई स्वतंत्र तंत्र नहीं होता है।

लेखक तर्क देते हैं कि प्रभावी रीजनिंग के लिए "क्या तर्क करना है" (डिक्लेरेटिव) और "इसे कैसे मौखिक रूप से व्यक्त करना है" (प्रोसीजरल) के बीच एक कार्यात्मक पृथक्करण आवश्यक है, जो मानव संज्ञान में सेमेंटिक प्रोसेसिंग (जैसे वर्निक क्षेत्र - Wernicke's area) और सिंटैक्टिक प्रोडक्शन (जैसे ब्रोका क्षेत्र - Broca's area) के बीच के अंतर को दर्शाता है।

2. कार्यप्रणाली (Methodology)

2.1 लेटेंट थॉट वेक्टर्स ( $z$ ) के साथ जेनेरेटिव मॉडल

प्रस्तावित फ्रेमवर्क रीजनिंग को दो अलग-अलग घटकों में विभाजित करता है:

लेटेंट थॉट वेक्टर्स ( $z$ ): रीजनिंग रणनीति का एक निरंतर, डिक्लेरेटिव प्रतिनिधित्व ("क्या")।
प्रोसीजरल डिकोडर: एक ऑटो-रिग्रेसिव ट्रांसफॉर्मर जो $z$ पर आधारित टोकन अनुक्रम ("कैसे") जनरेट करता है।

संयुक्त मॉडल को इस प्रकार परिभाषित किया गया है:
$p_\theta(x, z) = p_\alpha(z) p_\beta(x|z)$
जहाँ $x$ ग्राउंड टोकन का अनुक्रम (प्रश्न + रीजनिंग ट्रेस) है, और $\theta = (\alpha, \beta)$ सभी मॉडल पैरामीटर्स को दर्शाता है।

प्रायर मॉडल ( $p_\alpha(z)$ ): फिक्स्ड प्रायर्स वाले मानक VAEs के विपरीत, यह मॉडल एक लर्नेबल ट्रांसपोर्ट मैप का उपयोग करता है। एक एनकोडर ( $U_\alpha$ ) अनस्ट्रक्चर्ड नॉइज़ टोकन $z_0 \sim \mathcal{N}(0, I)$ को स्ट्रक्चर्ड लेटेंट थॉट वेक्टर्स $z$ में परिवर्तित करता है। यह एक सीखा हुआ मैनिफोल्ड (manifold) बनाता है जहाँ की ज्यामिति वैध रीजनिंग पैटर्न को दर्शाती है।
थॉट-गाइडेड जनरेटर ( $p_\beta(x|z)$ ): एक ट्रांसफॉर्मर डिकोडर जहाँ लेटेंट वेक्टर $z$ प्रत्येक लेयर में क्रॉस-अटेंड करता है। महत्वपूर्ण रूप से, डिकोडर एक शॉर्ट कॉन्टेक्स्ट विंडो ( $w=64$ ) का उपयोग करता है। यह आर्किटेक्चरल बॉटलनेक मॉडल को लंबी-दूरी की निर्भरताओं (long-range dependencies) को $z$ के माध्यम से रूट करने के लिए मजबूर करता है, जिससे लेटेंट वेक्टर को रेडंडेंट लोकल कॉन्टेक्स्ट के बजाय ग्लोबल, सीक्वेंस-लेवल स्ट्रक्चर को एनकोड करने के लिए बाध्य किया जाता है।

2.2 लर्निंग: ड्यूल-रेट ऑप्टिमाइज़ेशन

ट्रेनिंग में फास्ट पर-इंस्टेंस एडैप्टेशन को स्लो ग्लोबल लर्निंग से अलग करने के लिए एक ड्यूल-रेट स्कीम का उपयोग किया गया है:

फास्ट लोकल अपडेट्स: प्रत्येक ट्रेनिंग सीक्वेंस के लिए, नॉइज़ टोकन $z_0$ पर वेरिएशनल पोस्टीरियर पैरामीटर्स $(\mu, \sigma^2)$ को हाई लर्निंग रेट के साथ डायरेक्ट ग्रेडिएंट डिसेंट (Adam) के माध्यम से ऑप्टिमाइज़ किया जाता है। यहाँ कोई इन्फरेंस नेटवर्क ट्रेन नहीं किया जाता; प्रत्येक इंस्टेंस अपना स्वयं का ऑप्टिमाइज़्ड लेटेंट रिप्रेजेंटेशन बनाए रखता है।
स्लो ग्लोबल अपडेट्स: मॉडल पैरामीटर्स $\theta$ (एनकोडर और डिकोडर वेट्स) को एक मानक, कम लर्निंग रेट के साथ अपडेट किया जाता है।

यह दृष्टिकोण 'पोस्टीरियर कोलैप्स' से बचता है और मॉडल को जनरल स्कीमा ( $\theta$ ) संचित करने के साथ-साथ लेटेंट वेरिएबल्स के माध्यम से प्रति-इंस्टेंस प्रिसिजन बनाए रखने की अनुमति देता है।

2.3 इन्फरेंस-टाइम रीथिंगकिंग (Inference-Time Rethinking)

टेस्ट टाइम पर, मॉडल रीजनिंग रणनीति को परिष्कृत करने के लिए एक गिब्स-स्टाइल इटरेटिव प्रोसीजर का उपयोग करता है। दिए गए प्रश्न $x_q$ के लिए, लक्ष्य जनरेशन और रिफ्लेक्शन के बीच अल्टरनेट करते हुए मार्जिनल $p_\theta(x_r|x_q)$ को एप्रोक्सिमेट करना है:

जनरेट (Generate): वर्तमान लेटेंट थॉट $z^{(t-1)}$ की स्थिति में एक कैंडिडेट रीजनिंग ट्रेस $x_r^{(t)}$ को सैंपल करें।
$x_r^{(t)} \sim p_\beta(x_r | U_\alpha(z_0^{(t-1)}), x_q)$
रिफ्लेक्ट (Reflect): जनरेट किए गए ट्रेस की लाइक्लीहुड को मैक्सिमाइज़ करने के लिए लेटेंट नॉइज़ वेक्टर $z_0$ को ऑप्टिमाइज़ करें (जो प्रभावी रूप से वेरिएशनल पोस्टीरियर और ट्रू पोस्टीरियर के बीच KL डाइवर्जेंस को कम करता है)।
$z_0^{(t)} = \arg \min_{z_0} D_{KL}(q(z_0|x_r^{(t)}, x_q) \parallel p_\theta(z_0|x_r^{(t)}, x_q))$

यह लूप मॉडल को "रीथिंक" करने की अनुमति देता है: जनरेट किए गए ट्रेस में त्रुटियाँ एक रिफाइंड लेटेंट वेक्टर को सूचित करती हैं, जो फिर अगले इटरेशन में एक सुधारा गया ट्रेस गाइड करती है। यह प्रक्रिया एक वेरिएशनल लोअर बाउंड (ELBO) पर कोऑर्डिनेट-असेंट ऑप्टिमाइज़ेशन के रूप में सैद्धांतिक रूप से स्थापित है, जो जॉइंट पोस्टीरियर के एप्रोक्सिमेशन में मोनोटोनिक सुधार की गारंटी देती है।

3. मुख्य योगदान

जेनेरेटिव फ्रेमवर्क: एक नवीन आर्किटेक्चर जो डिक्लेरेटिव कंटेंट (लेटेंट वेक्टर्स) को प्रोसीजरल जनरेशन से अलग करता है, जिससे कुशल लर्निंग संभव होती है जहाँ एक छोटा मॉडल बड़े मोनोलिथिक आर्किटेक्चर को पछाड़ सकता है।
इन्फरेंस-टाइम रीथिंगकिंग: एक गिब्स-स्टाइल प्रोसीजर जो टेस्ट टाइम पर लेटेंट थॉट्स को इटरेटिवली रिफाइन करता है, जिससे अतिरिक्त ट्रेनिंग डेटा या मॉडल री-पैरामीट्राइजेशन के बिना सेल्फ-करेक्शन सक्षम होता है।
एम्पिरिकल वैलिडेशन: यह प्रदर्शन दिखाता है कि इन्फरेंस-टाइम कंप्यूटेशन, पैरामीटर काउंट के समानांतर, एक अत्यधिक प्रभावी स्केलिंग एक्सिस है।

4. प्रयोगात्मक परिणाम

लेखकों ने GSM8K-Aug डेटासेट (385K उदाहरण) पर एक 0.2B-पैरामीटर मॉडल को स्क्रैच से ट्रेन किया और तीन बेंचमार्क पर मूल्यांकन किया: GSM8K (इन-डोमेन), SVAMP (आउट-ऑफ-डोमेन सरफेस वेरिएशंस), और MultiArith (मल्टी-स्टेप रीजनिंग)।

प्रदर्शन: 30 रीथंकिंग इटरेशंस के साथ 0.2B मॉडल (Rethink-30) ने हासिल किया:
- GSM8K पर 31.54% (एक 3B CoT-SFT मॉडल के 22.70% और 2B MARCoS के 24.11% को पछाड़ते हुए)।
- SVAMP पर 51.50% (2B MARCoS के 27.77% के मुकाबले)।
- MultiArith पर 68.00% (2B MARCoS के 42.33% के मुकाबले)।
दक्षता (Efficiency): यहाँ तक कि एक सिंगल पास (Rethink-1) भी 10–15× अधिक पैरामीटर्स वाले लगभग सभी बेसलाइन्स से बेहतर रहा।
सामान्यीकरण (Generalization): विधि ने आउट-ऑफ-डोमेन बेंचमार्क्स पर महत्वपूर्ण मजबूती दिखाई, जिसका श्रेय लेटेंट वेक्टर की सरफेस-लेवल टोकन वेरिएबिलिटी से दूर एब्स्ट्रैक्ट करने की क्षमता को जाता है।

5. महत्व और दावे

पेपर का दावा है कि प्रभावी गणितीय तर्क केवल विशाल पैरामीटर काउंट से नहीं, बल्कि परिष्कृत इन्फरेंस-टाइम कंप्यूटेशन से उभर सकता है।

ऑर्थोगोनल स्केलिंग: परिणाम बताते हैं कि "अधिक देर तक सोचना" (इटरेटिव रिफाइनमेंट में कंप्यूट निवेश करना) एक शक्तिशाली स्केलिंग एक्सिस है जो मॉडल के आकार को बढ़ाने का पूरक है।
कॉग्निटिव अलाइनमेंट: डिक्लेरेटिव प्लानिंग को प्रोसीजरल एक्जीक्यूशन से अलग करके, मॉडल मानव संज्ञात्मक तंत्रों की नकल करता है, जिससे प्रतिबद्धता (commitment) से पहले विचारों के निरीक्षण और संशोधन की अनुमति मिलती है।
लाइक्लीहुड एक प्रॉक्सी के रूप में: लेखक तर्क देते हैं कि जब न्यूअर-एक्सपर्ट प्रदर्शनों पर प्रशिक्षित किया जाता है, तो लाइक्लीहुड लैंडस्केप स्वाभाविक रूप से वैध लॉजिकल पाथ्स का पक्ष लेता है। इसलिए, सही रीजनिंग स्ट्रैटेजी की ओर जाने के लिए जनरेट किए गए ट्रेस की लाइक्लीहुड को मैक्सिमाइज़ करने के लिए लेटेंट वेक्टर को ऑप्टिमाइज़ करना प्रभावी है।

लेखक सीमाओं का भी उल्लेख करते हैं, विशेष रूप से यह कि शुद्धता के प्रॉक्सी के रूप में लाइक्लीहुड पर निर्भरता यह मानती है कि ट्रेनिंग डेटा उच्च गुणवत्ता वाला है; शोर वाले सेटिंग्स में, यह सहसंबंध कमजोर हो सकता है, जिसके लिए भविष्य के कार्यों में बाहरी वेरिफिकेशन सिग्नल की आवश्यकता होगी।