🤖 machine learning

GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning

GradCuit एक नवीन टेस्ट-टाइम रीजनिंग फ्रेमवर्क पेश करता है जो अंतिम परिणामों से सीधे ग्रेडिएंट फ्लो का उपयोग करके ट्रांसफॉर्मर परतों के भीतर मध्यवर्ती लेटेंट स्टेट्स को अनुकूलित करता है, जिससे मॉडलों को केवल आउटपुट को पुन: उत्पन्न करने के बजाय अपनी आंतरिक तर्क प्रक्रियाओं को अनुकूलित करने में सक्षम बनाकर मौजूदा तरीकों की तुलना में बेहतर सटीकता, मजबूती और व्याख्यात्मकता प्राप्त होती है।

मूल लेखक: Zhaoxin Yu, Qi Shen, Hengli Li, Zhaowei Zhang, Song-Chun Zhu, Chi Zhang, Zilong Zheng

प्रकाशित 2026-08-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhaoxin Yu, Qi Shen, Hengli Li, Zhaowei Zhang, Song-Chun Zhu, Chi Zhang, Zilong Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बुद्धिमान लेकिन थोड़े जिद्दी रोबोट को एक कठिन पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। आप रोबोट के दिमाग (उसके आंतरिक कोड) को फिर से नहीं लिख सकते क्योंकि इससे वह जो कुछ भी पहले से जानता है, वह टूट सकता है। इसके बजाय, आपको उससे बात करनी होगी, उसे संकेत देने होंगे, और उम्मीद करनी होगी कि वह अपने आप सही रास्ता खोज ले। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) की दुनिया है—वे सुपर-स्मार्ट एआई चैटबॉट्स जिनका हम आज उपयोग करते हैं। आमतौर पर, जब ये रोबले फंस जाते हैं, तो हम उनसे "ज़ोर से सोचने" (think out loud) के लिए कहते हैं, यानी वे अपने चरणों को लिखकर दिखाएं, जैसे एक छात्र गणित के टेस्ट में अपना काम दिखाता है। इसे "चेन-ऑफ़-थॉट" (Chain-of-Thought) कहा जाता है। लेकिन कभी-कभी, इतनी सारी बातें करने के बाद भी, रोबोट गलत उत्तर दे देता है।

हाल ही में, वैज्ञानिकों ने एक नई तरकीब आजमाई: रोबोट को अधिक शब्द लिखने के लिए कहने के बजाय, उन्होंने उसकी "अदृश्य सोच"—उसकी मस्तिष्क के भीतर छिपे उन नंबरों को ट्यून करने की कोशिश की जो एक भी अक्षर टाइप करने से पहले घटित होते हैं। उन्हें उम्मीद थी कि इन अदृश्य नंबरों में थोड़ा बदलाव करके, रोबोट अचानक "समझ" जाएगा। हालांकि, करने का पुराना तरीका ऐसा था जैसे दूर स्थित एक लाइटहाउस से निर्देश चिल्लाकर जहाज को नियंत्रित करने की कोशिश करना; सिग्नल खो जाता था, और यह जानना मुश्किल था कि रोबोट की सोच के किस हिस्से को ठीक करने की आवश्यकता थी। यह पेपर एक बहुत ही सटीक नए तरीके को पेश करता है, जो रोबोट के अपने आंतरिक वायरिंग को एक सीधे नियंत्रण पैनल (control panel) में बदल देता है।

द पेपर: ग्रैडसिट (GradCuit) – अदृश्य नॉब्स को ट्यून करना

ग्रैडसिट (GradCuit - "ग्रेडिएंट थ्रू सर्किट" का संक्षिप्त रूप) से मिलिए। एक लार्ज लैंग्वेज मॉडल को एक विशाल, बहु-मंजिला कारखाने के रूप में सोचें जहाँ एक कच्चा विचार (प्रश्न) नीचे से प्रवेश करता है और उत्तर बाहर आने से पहले कई मंजिलों के श्रमिकों (लेयर्स) के माध्यम से ऊपर की ओर यात्रा करता है। अतीत में, यदि कारखाना गलती करता था, तो वैज्ञानिक श्रमिकों को बात करना शुरू करने के बाद निर्देश बदलकर इसे ठीक करने की कोशिश करते थे। यह अव्यवस्थित और अप्रत्यक्ष था।

ग्रैडसिट इस खेल को बदल देता है क्योंकि यह कारखाने के फर्श के बीच में एक विशेष, अदृश्य "कंट्रोल नॉब" (नियंत्रण बटन) डाल देता है। रोबोट के बोलने का इंतज़ार करने और फिर उसके शब्दों को सुधारने के बजाय, ग्रैडसिट इन छिपे हुए नॉब्स को तब ट्यून करता है जब रोबोट अभी भी सोच रहा होता है। यहाँ जादू वाला हिस्सा है: पेपर दिखाता है कि रोबोट की अपनी आंतरिक वायरिंग (जिसे "सेल्फ-अटेंशन" कहा जाता है) एक आदर्श विद्युत सर्किट की तरह काम करती है। जब आप बीच में एक नॉब को घुमाते हैं, तो उसका प्रभाव तुरंत और स्पष्ट रूप से अंतिम उत्तर तक पहुँचता है, ठीक वैसे ही जैसे एक स्विच दबाने से एक विशिष्ट बल्ब जल उठता है।

चूंकि यह संबंध इतना सीधा है, इसलिए वैज्ञानिक एक "रिवॉर्ड सिग्नल" (जैसे "सही!" या "गलत!" जैसा स्कोर) का उपयोग यह बताने के लिए कर सकते हैं कि रोबोट को उन नॉब्स को ठीक से कैसे घुमाना है। यदि उत्तर गलत है, तो सिस्टम सटीक दिशा की गणना करता है कि अगली कोशिश को बेहतर बनाने के लिए अदृश्य विचारों को किस दिशा में धकेलना है। यह एक जीपीएस (GPS) होने जैसा है जो आपको केवल यह नहीं बताता कि "आप खो गए हैं," बल्कि वास्तव में कार के इंजन को बदले बिना, पहियों को वापस सड़क पर लाने के लिए स्टीयरिंग भी घुमाता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस नई पद्धति का परीक्षण पांच अलग-अलग प्रकार के एआई रोबोटों और तीन कठिन तर्क चुनौतियों (जैसे गणित की समस्याएं और विज्ञान के प्रश्न) पर किया। परिणाम काफी प्रभावशाली थे:

बेहतर स्कोर: औसतन, ग्रैडसिट ने 64.5% उत्तर सही दिए। इसने मानक "ज़ोर से सोचने" (think out loud) वाली विधि को 6.6 प्रतिशत अंक से पीछे छोड़ दिया और यहाँ तक कि सबसे मजबूत प्रतिस्पर्धी "अदृश्य विचार" पद्धति को भी 2.4 अंक से मात दी।
मजबूत स्थिरता: इन ट्यूनिंग विधियों के साथ सबसे बड़ी सिरदर्द यह है कि वे इस बात के प्रति बहुत संवेदनशील होती हैं कि आप नॉब्स को कितनी तेज़ी से घुमाते हैं ("लर्निंग रेट")। यदि आप उन्हें बहुत तेज़ी से घुमाते हैं, तो रोबोट पागल हो जाता है; यदि बहुत धीरे, तो वह सीख ही नहीं पाता। ग्रैडसिट अविश्वसनीय रूप से स्थिर था। यहाँ तक कि जब वैज्ञानिकों ने स्पीड सेटिंग्स को बहुत अधिक बदल दिया, तब भी ग्रैडसिट अच्छा प्रदर्शन करता रहा। वास्तव में, इसका प्रदर्शन इतना सुसंगत था कि इसके स्कोर में "उतार-चढ़ाव" (standard deviation) 1.53 से घटकर 0.82 रह गया।
यह संयोग से भी काम करता है: एक आश्चर्यजनक परीक्षण में, वैज्ञानिकों ने स्मार्ट "रिवॉर्ड सिग्नल" को यादृच्छिक (random), उतार-चढ़ाव वाले निर्देशों (जैसे रैंडम वॉक) से बदल दिया। बिना किसी स्मार्ट मार्गदर्शन के भी, ग्रैडसिट अन्य शीर्ष विधियों के लगभग उतना ही अच्छा प्रदर्शन करता रहा। यह सुझाव देता है कि रोबोट के मस्तिष्क का "मध्य तल" (middle floor) वास्तव में बदलाव करने के लिए एक बहुत अच्छी जगह है, चाहे आप बदलाव कैसे भी करें।

यह क्यों मायने रखता है (और यह क्या नहीं है)

पेपर ने यह देखने के लिए रोबोट के भीतर भी झाँका कि वास्तव में क्या हो रहा था। उन्होंने पाया कि अदृश्य नॉब्स मुख्य रूप से "कनेक्टर" शब्दों को प्रभावित करते थे—वे छोटे शब्द जैसे "इसलिए," "क्योंकि," और "फिर," जो एक तार्किक तर्क को थामे रखते हैं। यह बताता है कि ग्रैडसिट केवल रैंडम शब्दों का अनुमान नहीं लगा रहा है; यह रोबोट को अपने विचारों के बीच बेहतर तार्किक पुल बनाने में मदद कर रहा है।

हालाँकि, यह जानना महत्वपूर्ण है कि यह पेपर क्या नहीं करता है। यह रोबोट को नए तथ्य नहीं सिखाता या उसकी स्थायी स्मृति को नहीं बदलता है। यह इस तरह से काम नहीं करता कि रोबोट हजारों अलग-अलग उत्तरों को आज़माए और उनमें से सर्वश्रेष्ठ को चुने (जो धीमा और महंगा है)। इसके बजाय, यह रोबोट की वर्तमान सोचने की प्रक्रिया को अधिक मजबूत और समझने योग्य बनाने का तरीका ढूंढता है।

लेखकों का सुझाव है कि रोबोट की अपनी आंतरिक सर्किट का उपयोग करके इन छिपी हुई सोच को निर्देशित करके, हम एआई तर्क (AI reasoning) को अधिक विश्वसनीय और समझने में आसान बना सकते हैं। यह ऐसे एआई की ओर एक कदम है जो केवल सही उत्तर का अनुमान नहीं लगाता, बल्कि वास्तव में यह समझता है कि एक समय में एक अदृश्य धक्के के साथ वहां तक सोचने का रास्ता कैसे बनाया जाए।

तकनीकी सारांश: GradCuit

समस्या विवरण (Problem Statement)

ऑप्टिमाइज़ेशन-आधारित लेटेंट रीजनिंग (latent reasoning) का लक्ष्य टेस्ट-टाइम पर मॉडल पैरामीटर्स को फ्रीज रखते हुए, इंस्टेंस-विशिष्ट निरंतर लेटेंट अवस्थाओं (continuous latent states) को ऑप्टिमाइज़ करके लार्ज लैंग्वेज मॉडल (LLM) के आउटपुट में सुधार करना है। हालाँकि, मौजूदा विधियाँ (जैसे LatentSeek, LTPO, MILR) एक मौलिक क्रेडिट-असाइनमेंट चुनौती (credit-assignment challenge) का सामना करती हैं। ये दृष्टिकोण आमतौर पर लेटेंट वेरिएबल्स को डिकोड किए गए टोकन के माध्यम से रीजनिंग ट्राजेक्टरी से जोड़ते हैं। यह एक सूचना बाधा (information bottleneck) पैदा करता है जहाँ ऑप्टिमाइज़ेशन सिग्नल को लेटेंट्स तक पहुँचने के लिए डिस्क्रीट डिकोडिंग प्रक्रिया के माध्यम से बैकप्रोपैगेट होना पड़ता है। फलस्वरूप:

अप्रत्यक्ष ऑप्टिमाइज़ेशन (Indirect Optimization): लेटेंट अपडेट और डाउनस्ट्रीम रीजनिंग टोकन के बीच का संबंध उलझा हुआ और अप्रत्यक्ष है।
अपारदर्शी गतिशीलता (Opaque Dynamics): यह समझना कठिन है कि विशिष्ट लेटेंट वेरिएबल्स आगामी भविष्यवाणियों या अंतिम उत्तर को कैसे प्रभावित करते हैं, क्योंकि डिस्क्रीट जनरेशन पाथवे इन आंतरिक गतिकियों को अस्पष्ट कर देता है।

कार्यप्रणाली: GradCuit

लेखक GradCuit (ग्रेड थ्रू सर्किट) प्रस्तावित करते हैं, जो डायरेक्ट क्रेडिट असाइनमेंट सक्षम करने के लिए ट्रांसफॉर्मर के सेल्फ-अटेंशन मैकेनिज्म को एक कम्प्यूटेशनल सर्किट के रूप में उपयोग करता है।

मुख्य तंत्र (Core Mechanism)

मॉडल के आउटपुट पर लेटेंट वेरिएबल्स को परिभाषित करने के बजाय (जैसा कि LatentSeek में है), GradCuit एक चयनित ट्रांसफॉर्मर लेयर ( $l$ ) के इंटरमीडिएट हिडन स्टेट स्पेस में एक छोटा सेट ऑप्टिमाइज़ेबल लेटेंट स्टेट्स ( $z^{(l)}$ ) को सीधे सम्मिलित करता है।

सम्मिलन (Insertion): एक प्रॉम्प्ट $c$ और पूर्व में जेनरेट किए गए टोकन $x_{<t}$ के लिए, मॉडल लेयर $l$ तक हिडन रिप्रेजेंटेशन्स की गणना करता है। ऑप्टिमाइज़ेबल लेटेंट्स को इन रिप्रेजेंटेशन्स के साथ कॉन्कैटिनेट किया जाता है: $[h^{(l)}_c, z^{(l)}, h^{(l)}_{x<t}]$ ।
फॉरवर्ड फ्लो (Forward Flow): यह कॉन्कैटिनेटेड सीक्वेंस अगले टोकन डिस्ट्रीब्यूशन को जेनरेट करने के लिए शेष ट्रांसफॉर्मर लेयर्स ( $l+1$ से $M$ ) और लैंग्वेज मॉडल हेड से गुजरता है।
बैकवर्ड फ्लो (क्रेडिट असाइनमेंट): चूंकि लेटेंट्स टोकन रिप्रेजेंटेशन्स के साथ सेल्फ-अटेंशन मैकेनिज्म में भाग लेते हैं, इसलिए प्रत्येक जेनरेटेड टोकन की लॉग-प्रोबेबिलिटी (log-probability) शेष लेयर्स के माध्यम से प्रत्येक पूर्ववर्ती लेटेंट स्टेट तक एक डिफरेंशिएबल पाथ (differentiable path) रखती है।
ऑप्टिमाइज़ेशन: यह विधि पॉलिसी-ग्रेडिएंट स्टाइल अपडेट का उपयोग करके लेटेंट्स को ऑप्टिमाइज़ करती है:
$z^{(l)} \leftarrow z^{(l)} + \eta \nabla_{z^{(l)}} J(z^{(l)})$
जहाँ ग्रेडिएंट $J$ , सभी जेनरेटेड टोकन के रिवॉर्ड-वेटेड योगदान को एकत्रित करता है:
$\nabla_{z^{(l)}_i} J = \sum_{t=1}^T \mathbb{E}_{x \sim \pi} [R(x, c) \times \nabla_{z^{(l)}_i} \log \pi(x_t | x_{<t}, z^{(l)}, c)]$
यह सुनिश्चित करता है कि पूरे निरंतरता (continuation) से प्राप्त रिवॉर्ड सिग्नल्स को डिस्क्रीट टोकन डिकोडिंग प्रक्रिया के माध्यम से बैकप्रोपैगेट किए बिना सीधे लेटेंट्स को असाइन किया जा सके।

कार्यान्वयन विवरण (Implementation Details)

लेटेंट निर्माण (Latent Construction): एक फिक्स्ड टेक्स्टुअल प्रीफिक्स (जैसे, "Let's think about this problem...") को रेंडर किया जाता है, और लेयर $l$ पर इसकी हिडन रिप्रेजेंटेशन्स में एक ट्रेन करने योग्य ऑफसेट $\Delta z^{(l)}$ जोड़ा जाता है।
सेल्फ-रिवॉर्ड (Self-Reward): LLM स्वयं एक वेरीफायर के रूप में कार्य करता है, जो निकाले गए अंतिम उत्तर के आधार पर एक बाइनरी रिवॉर्ड (सही के लिए $0 $, गलत के लिए$ -1$) प्रदान करता है।
ऑप्टिमाइज़ेशन लूप: मॉडल एक रिस्पॉन्स को ग्रीडी तरीके से जेनरेट करता है, उसका मूल्यांकन करता है, और $\Delta z^{(l)}$ को Adam के माध्यम से अपडेट करता है। यह तब तक दोहराया जाता है जब तक कि उत्तर सही न हो जाए या बजट (अधिकतम 10 अपडेट) समाप्त न हो जाए।

प्रमुख योगदान (Key Contributions)

सर्किट-जैसे लेटेंट रीजनिंग: GradCuit एक विधि पेश करता है जो एक इंटरमीडिएट ट्रांसफॉर्मर लेयर में सीखने योग्य लेटेंट स्टेट्स को सम्मिलित करता है, जो फॉरवर्ड इंटरेक्शन और बैकवर्ड क्रेडिट असाइनमेंट दोनों के लिए एक डायरेक्ट कम्प्यूटेशनल पाथवे के रूप में सेल्फ-अटेंशन का उपयोग करता है।
बेहतर मजबूती (Improved Robustness): जेनरेटेड टोकन से रिवॉर्ड-वेटेड ग्रेडिएंट्स को सीधे लेटेंट स्टेट्स तक प्रसारित करके, GradCuit पिछले लेटेंट-रीजनिंग तरीकों की तुलना में अधिक ऑप्टिमाइज़ेशन स्थिरता प्राप्त करता है।
व्याख्यात्मकता (Interpretability): सर्किट-लाइक ग्रेडिएंट पाथवे लेटेंट डायनेमिक्स के निरीक्षण की अनुमति देता है। लेखक प्रदर्शित करते हैं कि लेटेंट प्रभाव "रीजनिंग-कनेक्टर" टोकन (जैसे, "because," "therefore") पर केंद्रित होता है, जिससे पता चलता है कि ऑप्टिमाइज़्ड स्टेट्स रीजनिंग प्रक्रिया को कैसे निर्देशित करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच इंस्ट्रक्शन-ट्यून्ड बैकबोन (LLaMA-3.2-3B, LLaMA-3.1-8B, Qwen2.5-7B, Qwen2.5-14B, Qwen3-4B) और तीन रीजनिंग बेंचमार्क (GPQA-Diamond, GSM8K, MATH-500) पर GradCuit का मूल्यांकन किया।

प्रदर्शन (Performance): GradCuit ने औसतन 64.5% सटीकता प्राप्त की, जो चेन-ऑफ-थॉट (CoT) से 6.6 प्रतिशत अंक और सबसे मजबूत प्रतिस्पर्धी विधि (LatestSeek) से 2.4 अंक बेहतर है। इसने 30 में से 23 सेटिंग्स में सर्वश्रेष्ठ व्यक्तिगत परिणाम प्राप्त किया।
हाइपरपैरामीटर्स के प्रति मजबूती: सात लर्निंग-रेट सेटिंग्स में, GradCuit ने 0.82 के स्टैंडर्ड डेविएशन के साथ उच्च प्रदर्शन बनाए रखा, जो LatentSeek के 1.53 की तुलना में काफी कम है।
ऑप्टिमाइज़ेशन दिशा के प्रति मजबूती: यहाँ तक कि जब रिवॉर्ड-व्युत्पन्न ग्रेडिएंट्स को रैंडम गौसियन दिशाओं (एक रैंडम-वॉक वेरिएंट) से बदल दिया गया, तब भी GradCient, LatentSeek के साथ प्रतिस्पर्धी बना रहा, जो यह सुझाव देता है कि लेटेंट स्पेस स्वाभाविक रूप से अधिक सुलभ और मजबूत है।
लेयर संवेदनशीलता (Layer Sensitivity): इष्टतम प्रदर्शन तब देखा गया जब लेटेंट्स को नेटवर्क डेप्थ के 25% से 50% के बीच सम्मिलित किया गया, जो रिफाइनमेंट के लिए पर्याप्त डाउनस्ट्रीम कंप्यूटेशन के साथ कॉन्टेक्स्टुअलाइजेशन को संतुलित करता है।

महत्व (Significance)

यह पेपर दावा करता है कि GradCuit मजबूत और व्याख्यात्मक टेस्ट-टाइम स्केलिंग के लिए एक नया अक्ष खोलता है। आउटकम फीडबैक से सीधे आंतरिक रीजनिंग स्टेट्स को ऑप्टिमाइज़ करके, यह विधि LLMs को केवल आउटपुट को पुनर्जीवित करने, सैंपलिंग करने या रेंकिंग करने के बजाय "वे कैसे तर्क करते हैं" (how they reason) को अनुकूलित करने की अनुमति देती है। ट्रांसफॉर्मर के अटेंशन सर्किट के माध्यम से सीधे क्रेडिट असाइन करने की क्षमता पिछले लेटेंट रीजनिंग तरीकों की अपारदर्शिता को संबोधित करती है, जो बेस मॉडल पैरामीटर्स को अपडेट किए बिना अधिक स्थिर और समझने योग्य टेस्ट-टाइम अनुकूलन का मार्ग प्रदान करती है।