💬 NLP

Adaptive GoGI-Skip: Coupling Goal-Gradient Importance with Dynamic Uncertainty for Efficient Reasoning

यह शोध पत्र Adaptive GoGI-Skip को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो Goal-Gradient Importance को गतिशील अनिश्चितता-आधारित स्किपिंग (dynamic uncertainty-based skipping) के साथ जोड़ता है ताकि सटीकता से समझौता किए बिना Chain-of-Thought रीजनिंग में टोकन वॉल्यूम को 45% से अधिक कम किया जा सके और इन्फरेंस को 2.0 $\times$ तक त्वरित किया जा सके।

मूल लेखक: Ren Zhuang

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ren Zhuang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़ी बातूनी दोस्त से एक कठिन गणित की समस्या हल करने के लिए कह रहे हैं। उसे उत्तर पता है, लेकिन उत्तर बताने से पहले, वह एक लंबा, चरण-दर-चरण स्पष्टीकरण लिखता है। कभी-कभी, यह स्पष्टीकरण शानदार और आवश्यक होता है। अन्य समय में, यह दोहराव वाले वाक्यांशों, अनावश्यक ठहरावों और "अम्म" (umms) से भरा होता है जो बिना किसी मूल्य को जोड़े गति को धीमा कर देते हैं।

यह शोध पत्र इन AI "दोस्तों" को उनकी बुद्धिमत्ता खोए बिना तेजी से सोचना सिखाने का एक नया तरीका पेश करता है। लेखक इस पद्धति को Adaptive GoGI-Skip कहते हैं।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:

समस्या: "ओवर-थिंकर" (ज़रूरत से ज़्यादा सोचने वाला)

वर्तमान AI मॉडल एक तकनीक का उपयोग करते हैं जिसे "चेन-ऑफ-थॉट" (CoT) कहा जाता है। यह AI के खुद से पहेली सुलझाने के लिए बात करने जैसा है। हालांकि यह उन्हें स्मार्ट बनाता है, लेकिन यह बहुत धीमा और महंगा भी है क्योंकि वे उत्तर तक पहुँचने के लिए हजारों शब्द (टोकन) उत्पन्न करते हैं।

इसे तेज़ करने के मौजूदा तरीके एक कुंद चाकू (blunt knife) का उपयोग करने जैसे हैं:

स्टैटिक कटर्स (Static Cutters): वे बिना यह देखे कि कोई शब्द एक महत्वपूर्ण गणितीय प्रतीक है या एक उबाऊ फिलर शब्द, हर 5वें शब्द को काट देते हैं। यह तर्क (logic) को तोड़ देता है।
कन्फ्यूजन डिटेक्टर्स (Confusion Detectors): वे केवल उन शब्दों को रखते हैं जहाँ AI "अनिश्चित" लगता है। लेकिन कभी-कभी, AI एक छोटे से विवरण के बारे में अनिश्चित होता है जो अंतिम उत्तर के लिए मायने नहीं रखता, या वह एक महत्वपूर्ण चरण छोड़ देता है क्योंकि वह आत्मविश्वासी महसूस कर रहा था।

समाधान: एक स्मार्ट, अडैप्टिव एडिटर (अनुकूलक संपादक)

लेखकों ने एक ऐसा सिस्टम बनाया है जो एक सुपर-स्मार्ट एडिटर की तरह काम करता है जो एक साथ दो चीजों को समझता है: लक्ष्य (Goal) और अनिश्चितता (Uncertainty)।

1. द "गोल-ग्रेडिएंट" (GoGI): "क्यों" का मीटर

कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। कुछ दृश्य केवल लोगों के इधर-उधर घूमने के होते हैं (कम महत्व), जबकि अन्य वे प्लॉट ट्विस्ट हैं जहाँ नायक दिन बचाता है (उच्च महत्व)।

यह कैसे काम करता है: सिस्टम AI द्वारा उत्पन्न प्रत्येक शब्द को देखता है और पूछता है, "यदि हम इस शब्द को हटा दें, तो क्या अंतिम उत्तर बदल जाएगा?"
उपमा: यह एक पुल की जाँच करने जैसा है। यदि आप एक विशिष्ट ईंट हटाते हैं और पुल ढह जाता है, तो वह ईंट "हाई ग्रेडिएंट" (अनिवार्य) है। यदि आप एक ईंट हटाते हैं और पुल खड़ा रहता है, तो वह केवल सजावट थी।
परिणाम: सिस्टम उन "ईंटों" की पहचान करता है जो वास्तव में तर्क को थामे रखती हैं और उन्हें रखता है, जबकि सजावटी वाली को हटा देता है।

2. द "डायनेमिक अनसर्टेन्टी" (ADS): "घबराहट" का मीटर

कभी-कभी, भले ही कोई शब्द महत्वहीन लगे, AI एक कठिन दौर में हो सकता है जहाँ गलती करना आसान है।

यह कैसे काम करता है: सिस्टम यह जाँचता है कि AI किसी भी क्षण कितना "घबराया हुआ" (nervous) है। यदि AI अनिश्चित है (उच्च अनिश्चितता), तो सिस्टम कहता है, "रुको! यहाँ कुछ भी मत काटो। हमें सुरक्षित रहना होगा।"
उपमा: कार चलाने के बारे में सोचें। एक सीधे, खाली हाईवे पर (कम अनिश्चितता), आप गति बढ़ा सकते हैं और शायद सड़क के कुछ मोड़ छोड़ सकते हैं। लेकिन जब आप एक तीखे, धुंधले मोड़ पर पहुँचते हैं (उच्च अनिश्चितता), तो आप धीमे हो जाते हैं और हर मोड़ को सावधानी से लेते हैं।
परिणाम: यह सिस्टम AI के भ्रमित होने पर अपनी "कटिंग" को स्वचालित रूप से धीमा कर देता है, जिससे यह सुनिश्चित होता है कि वह केवल इसलिए एक महत्वपूर्ण चरण को न छोड़ दे क्योंकि वह सरल लग रहा था।

सबको एक साथ लाना: "एडैप्टिव GoGI-Skip"

जादू तब होता है जब आप इन दो मीटरों को मिलाते हैं।

परिदृश्य A (हाईवे): AI आत्मविश्वासी है, और "गोल मीटर" कहता है कि एक शब्द केवल फिलर है। कार्रवाई: इसे काट दें! (समय बचाता है)।
परिदृश्य B (धुंधला मोड़): AI भ्रमित है। भले ही "गोल मीटर" कहता है कि एक शब्द महत्वहीन दिखता है, लेकिन "घबराहट मीटर" कहता है, "इसे रखें, बस सावधानी के लिए।" कार्रवाई: इसे रखें! (गलतियों को रोकता है)।
परिदृश्य C (महत्वपूर्ण पुल): AI आत्मविश्वासी है, लेकिन "गोल मीटर" कहता है कि यह शब्द ही एकमात्र चीज़ है जो तर्क को थामे हुए है। कार्रवाई: इसे रखें! (सटीकता बनाए रखता है)।

परिणाम: तेज़, लेकिन कम बुद्धिमान नहीं

शोधकर्ताओं ने कठिन गणित और तर्क पहेलियों (जैसे AIME गणित प्रतियोगिता और GPQA विज्ञान प्रश्न) पर इसका परीक्षण किया।

दावा: वे AI द्वारा लिखे जाने वाले टेक्स्ट की मात्रा को 45% से अधिक कम करने में सफल रहे।
गति: इसने AI को 2 गुना तक तेज़ बना दिया।
सटीकता: महत्वपूर्ण रूप से, AI पहले की तरह ही सही उत्तर दे रहा था। वास्तव में, कुछ परीक्षणों में, यह थोड़ा बेहतर भी रहा क्योंकि यह अपने ही बड़बड़ाने से विचलित नहीं हो रहा था।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का तर्क है कि हमें AI को स्मार्ट होने के लिए धीमा होने के लिए मजबूर करने की आवश्यकता नहीं है। यह सिखाकर कि AI को "गहराई से सोचने" और "केवल बहुत अधिक बोलने" के बीच अंतर कैसे करना है, हम इसकी तर्क शक्ति खोए बिना इसे कुशल बना सकते हैं।

उन्होंने इस "एडिटर" को लगभग 7,500 गणितीय समस्याओं पर प्रशिक्षित किया, और इसने एक सामान्य नियम सीखा जो किसी भी नए समस्या पर काम करता है, यहाँ तक कि उन पर भी जिन्हें उसने पहले कभी नहीं देखा है। यह एक छात्र को कुशलतापूर्वक अध्ययन करना सिखाने जैसा है, न कि केवल उत्तरों को रटने जैसा।

संक्षेप में: यह पेपर AI को एक ऐसी कैंची देता है जो जानती है कि सोचने की प्रक्रिया को तेज़ करने के लिए क्या काटना है, बिना गलती से दिमाग को काटे।

तकनीकी सारांश: Adaptive GoGI-Skip

समस्या विवरण (Problem Statement)

चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क क्षमता को महत्वपूर्ण रूप से बढ़ाता है, लेकिन विस्तृत और अनावश्यक तर्क अनुक्रमों (reasoning traces) के निर्माण के कारण यह अत्यधिक इन्फरेंस लेटेंसी (inference latency) और मेमोरी लागत पेश करता है। मौजूदा संपीड़न रणनीतियाँ (compression strategies) एक मौलिक ट्रेड-ऑफ का सामना करती हैं:

स्थिर ग्रेडिएंट/महत्व विधियाँ (Static Gradient/Importance Methods): TokenSkip या सिमेंटिक समानता पर आधारित दृष्टिकोण जैसे तरीके टोकनों को स्वतंत्र रूप से देखते हैं। वे अक्सर संरचनात्मक रूप से महत्वपूर्ण लेकिन सिमेंटिक रूप से सरल टोकनों (जैसे, तार्किक कनेक्टर्स) को हटाकर अनुक्रमिक तर्क को खंडित कर देते हैं या कार्यात्मक अतिरेक (functional redundancy) और आवश्यक विस्तार के बीच अंतर करने में विफल रहते हैं।
अनिश्चितता-आधारित छंटनी (Uncertainty-Based Pruning): केवल प्रेडिक्टिव एंट्रॉपी या पर्प्लेक्सिटी (perplexity) पर निर्भर रहने वाली विधियाँ स्थानीय अस्पष्टता को तो पकड़ लेती हैं, लेकिन अंतिम उत्तर की शुद्धता के लक्ष्य को अनदेखा करती हैं। वे उन टोकनों को बनाए रख सकती हैं जो आश्चर्यजनक तो हैं, लेकिन समाधान के लिए कार्यात्मक रूप रूप से अप्रासंगिक हैं।
स्थिर संपीड़न दरें (Static Compression Rates): निश्चित संपीड़न अनुपात तर्क चरणों की विषम कठिनाई (heterogeneous difficulty) के अनुकूल नहीं हो सकते हैं, जिससे जटिल कार्यों पर अत्यधिक सटीकता हानि या सरल कार्यों पर अपर्याप्त दक्षता लाभ होता है।

मुख्य चुनौती एक "सोचने-अनुकूलतम" (thinking-optimal) संतुलन प्राप्त करना है जहाँ मॉडल केवल उतना ही तर्क करे जितना कि सख्ती से आवश्यक है, जिसके लिए एक ऐसा संपीड़न प्रतिमान (paradigm) चाहिए जो लक्ष्य-जागरूक (उत्तर की शुद्धता के अनुरूप) और गतिशील रूप से अनुकूलन योग्य (स्थानीय तर्क जटिलता के प्रति उत्तरदायी) हो।

कार्यप्रणाली: Adaptive GoGI-Skip

लेखक Adaptive GoGI-Skip प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो CoT ट्रेसेस को बिना तर्क सटीकता खोए छाँटने (prune करने) के लिए Goal-Gradient Importance (GoGI) को Adaptive Dynamic Skipping (ADS) के साथ जोड़ता है। इस विधि को संपीड़ित ट्रेसेस पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से लागू किया गया है।

1. Goal-Gradient Importance (GoGI)

जेनेरिक महत्व मेट्रिक्स के विपरीत, GoGI ग्रेडिएंट संवेदनशीलता के माध्यम से अंतिम उत्तर की शुद्धता के लिए एक टोकन के कार्यात्मक योगदान को मात्रात्मक रूप से मापता है।

परिभाषा: एक लक्षित लेयर $l^*$ पर टोकन $x_t$ के लिए, GoGI स्कोर $G_t$ उत्तर भविष्यवाणी लॉस ( $L_{ans}$ ) का हिडन स्टेट $h_t^{l^*}$ के सापेक्ष $L_1$ नॉर्म है:
$G_t = \left\| \frac{\partial L_{ans}(A|c; \theta)}{\partial h_t^{l^*}} \right\|_1$
लेयर चयन: अनुभवजन्य विश्लेषण (Empirical analysis) दिखाता है कि पीक संवेदनशीलता मिड-टू-लेट लेयर्स (जैसे, Gemma3-4B में लेयर 23) में होती है। यह विधि एक प्रतिनिधि लेयर चुनती है जहाँ डाउनस्ट्रीम प्रदर्शन सटीक चुनाव के प्रति असंवेदनशील होता है, जो स्थानीय और वैश्विक संकेतों के बीच संतुलन बनाता है।
अंतर्दृष्टि (Insight): GoGI उन टोकनों की पहचान करता है जो अंतिम उत्तर के लिए कार्यात्मक रूप से महत्वपूर्ण हैं, भले ही वे सिमेंटिक रूप से सरल हों, जिससे उन्हें उन टोकनों से अलग किया जाता है जो केवल आश्चर्यजनक (उच्च एंट्रॉपी) हैं लेकिन अप्रासंगिक हैं।

2. Adaptive Dynamic Skipping (ADS)

ADS रनटाइम संदर्भ के आधार पर छंटनी रणनीति को गतिशील रूप से नियंत्रित करता है, जो GoGI को दो नियामक तंत्रों के साथ जोड़ता है:

Entropy-Driven Rate (EDR) Regulation:
- सूचना घनत्व और ब्रांचिंग पॉइंट्स के संकेत के रूप में प्रेडिक्टिव एंट्रॉपी $H_t$ का उपयोग करता है।
- $H_t$ को एक स्थानीय रिटेंशन रेट $\gamma_t$ में मैप करता है। उच्च एंट्रॉपी (अनिश्चितता) रूढ़वादी छंटनी (उच्च रिटेंशन) को ट्रिगर करती है, जबकि कम एंट्रॉपी आक्रामक छंटनी की अनुमति देती है।
- यह स्थानीय अनिश्चितता के आधार पर डायनेमिक GoGI थ्रेशोल्ड $\tau_t$ (रिटेंशन के लिए आवश्यक GoGI स्कोर का पर्सेंटाइल) को समायोजित करता है।
Adaptive N-Constraint (ANC):
- संरचनात्मक सुसंगतता (structural coherence) को बनाए रखने के लिए, ANC लगातार छंटे हुए टोकनों की संख्या ( $N_t$ ) को सीमित करता है।
- $N_t$ को स्थानीय विंडो वाले एंट्रॉपी द्वारा नियंत्रित किया जाता है। उच्च-एंट्रॉपी क्षेत्रों (ट्रांजिशन) में, $N_t$ को कम किया जाता है ताकि सख्त सुसंगतता लागू की जा सके, जिससे मॉडल को महत्वपूर्ण तार्किक कनेक्टर्स (जैसे, "therefore") को छोड़ने से रोका जा सके, भले ही उनके व्यक्तिगत GoGI स्कोर कम हों।
- यह खंडित तर्क श्रृंखलाओं को रोकने के लिए एक "सेफ्टी नेट" के रूप में कार्य करता है।

3. Pruning Algorithm (छंटनी एल्गोरिदम)

एल्गोरिदम CoT अनुक्रम के माध्यम से पुनरावृत्ति (iterate) करता है। एक टोकन को तब रखा जाता है यदि:

उसका वेटेड GoGI स्कोर डायनेमिक थ्रेशोल्ड से अधिक हो ( $G'_t \geq \tau_t$ ), या
उसे छाँटने से लगातार स्किप बाधा (consecutive skip constraint) का उल्लंघन होता हो ( $C_{t-1} + 1 \geq N_t$ )।

परिणामी संपीड़ित अनुक्रम SFT के लिए एक डेटासेट बनाते हैं, जो संपीड़न नीति को सीधे मॉडल वेट्स में डिस्टिल (distill) करते हैं। यह इन्फरेंस के दौरान जीरो-रनटाइम ओवरहेड की अनुमति देता है, क्योंकि मॉडल बस एक छोटा, सघन (dense) अनुक्रम उत्पन्न करता है।

मुख्य योगदान (Key Contributions)

फ्रेमवर्क डिज़ाइन: Adaptive GoGI-Skip का परिचय, जो CoT संपीड़न के लिए टेलीलॉजिकल गोल-अलाइनमेंट (GoGI) और एपिस्टेमिक अनसर्टेन्टी (ADS) को नॉन-लीनियर रूप से जोड़ने वाला पहला फ्रेमवर्क है।
Zero-Shot Universality: यह प्रदर्शन दिखाना कि केवल 7,472 MATH ट्रेसेस पर प्रशिक्षित एक एकल संपीड़न नीति, बिना किसी टास्क-विशिष्ट ट्यूनिंग के, विविध बेंचमार्क (AIME, GPQA, GSM8K) और मॉडल परिवारों (Gemma, Qwen) में प्रभावी रूप से स्थानांतरित होती है।
Efficiency-Accuracy Frontier: मूल सटीकता को बनाए रखते हुए या उसमें सुधार करते हुए महत्वपूर्ण दक्षता लाभ (>45% टोकन कमी, 2.0× तक की स्पीडअप) प्राप्त करना, जो स्थिर बेसलाइन्स में देखे गए कठोर ट्रेड-ऑफ को तोड़ता है।

प्रयोगात्मक परिणाम (Experimental Results)

Gemma3 और Qwen2.5 मॉडल्स पर AIME 2024/2025, GPQA Diamond, और GSM8K पर मूल्यांकन किया गया:

प्रदर्शन: Adaptive GoGI-Skip लगातार स्टैटिक बेसलाइन्स (TokenSkip, Spiritft) और एक्सटर्नल डिस्टिलर्स (C3oT) से बेहतर प्रदर्शन करता है।
- GSM8K पर, इसने 89.9% सटीकता (मूल से 0.3% अधिक) के साथ 1.9× स्पीडअप और 45% टोकन कमी हासिल की।
- AIME 2024 पर, इसने 14.1% सटीकता (14.5% मूल बनाम) के साथ 1.7× स्पीडअप बनाए रखा।
- GPQA Diamond पर, इसने 29.3% सटीकता (29.6% मूल बनाम) के साथ 1.8× स्पीडअप हासिल किया।
सामान्यीकरण (Generalization): यह विधि मॉडल साइज (1B से 12B) के साथ सकारात्मक रूप से स्केल करती है, जो सुझाव देती है कि बड़े मॉडल रीजनिंग सिग्नल और शोर (noise) के बीच अधिक स्पष्ट अलगाव प्रदर्शित करते हैं।
Ablation Studies: डायनेमिक रेगुलेशन (ADS) या N-constraint (ANC) को हटाने से सटीकता में महत्वपूर्ण गिरावट आई, जो पुष्टि करता कि स्टैटिक कंप्रेशन परिवर्तनशील तर्क जटिलता को नहीं संभाल सकता। पर्प्लेक्सिटी-आधारित मेट्रिक्स (LLMLingua) के स्थान पर GoGI का उपयोग करने से भी प्रदर्शन गिर गया, जो ग्रेडिएंट-आधारित गोल-अलाइनमेंट की श्रेष्ठता को प्रमाणित करता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि तर्क में संरचनात्मक अतिरेक (structural redundancy) एक सीख योग्य, टास्क-एग्नोस्टिक गुण है जो सिमेंटिक्स से अलग है। सतह-स्तर की पर्प्लेक्सिटी या स्टैटिक ह्यूरिस्टिक्स के बजाय उत्तर-लॉस ग्रेडिएंट (answer-loss gradient) को महत्व से जोड़कर, यह विधि अनावश्यक सामग्री से मुख्य कटौतीशील संकेतों (deductive signals) को अलग करती है।

लेखक तर्क देते हैं कि सोचने-अनुकूलतम (thinking-optimal) संपीड़न के लिए टेलीलॉजिकल लक्ष्यों और एपिस्टेमिक अनसर्टेन्टी के बीच तालमेल की आवश्यकता होती। प्रस्तावित विधि SFT के माध्यम से एक स्थिर, सीधा ऑप्टिमाइजेशन पथ प्रदान करती है जो RL (Reinforcement Learning) दृष्टिकोणों से जुड़ी ट्रेनिंग अस्थिरता और रिवॉर्ड हैकिंग से बचती है। इसके अलावा, यह RL-ऑप्टिमाइज्ड रीजनर्स (जैसे DeepSeek-R1) के लिए एक पूरक पोस्ट-प्रोसेसर के रूप में कार्य करता है, जो तेजी से विस्तृत (verbose) ट्रेसेस उत्पन्न करते हैं, जिससे फिक्स्ड इंफ्रास्ट्रक्चर के तहत उच्च-क्षमता वाले मॉडल्स की कुशल तैनाती संभव होती है और कम ऊर्जा खपत के माध्यम से ग्रीन एआई (Green AI) पहलों का समर्थन मिलता है।