💬 NLP

Early Stopping for Large Reasoning Models via Confidence Dynamics

यह शोध पत्र CoDE-Stop प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त अर्ली स्टॉपिंग (early stopping) विधि है जो उत्पादक सही प्रक्षेप पथों और अनुत्पादक अत्यधिक सोच (overthinking) के बीच अंतर करके, टोकन के उपयोग को महत्वपूर्ण रूप से कम करते हुए सटीकता को बनाए रखते या सुधारते हुए, तर्क को कुशलतापूर्वक समाप्त करने के लिए मध्यवर्ती उत्तर विश्वास (intermediate answer confidence) की गतिशीलता का लाभ उठाता है।

मूल लेखक: Parsa Hosseini, Sumit Nawathe, Mahdi Salmani, Meisam Razaviyayn, Soheil Feizi

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Parsa Hosseini, Sumit Nawathe, Mahdi Salmani, Meisam Razaviyayn, Soheil Feizi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अत्यंत प्रतिभाशाली लेकिन ज़रूरत से ज़्यादा उत्साही छात्र है जिसका नाम AI है। जब आप AI से कोई कठिन गणित का सवाल पूछते हैं, तो वह केवल उत्तर नहीं देता। इसके बजाय, वह अपने दिमाग में एक विशाल, 20 पन्नों का निबंध लिखना शुरू कर देता है, हर संभव कोण को आज़माता है, खुद पर संदेह करता है, और अपने विचार की प्रक्रिया के हर एक अंश को लिख डालता है।

कभी-कभी, यह "सोच" अद्भुत होती है। वह पहले तीन पैराग्राफों में ही सही उत्तर ढूँढ लेता है और फिर भी पक्का करने के लिए अगले 17 पन्नों तक लिखता रहता है।
दूसरी ओर, कभी-कभी वह एक लूप (चक्र) में फंस जाता है, बिना किसी अर्थ के बातें लिखता रहता है, और कभी समस्या को हल नहीं कर पाता, लेकिन वह तब तक लिखता रहता है जब तक कि कागज़ (या कंप्यूटर मेमोरी) खत्म न हो जाए।

यही लार्ज रीजनिंग मॉडल्स (Large Reasoning Models) के साथ समस्या है: वे सोचने में बहुत अच्छे हैं, लेकिन वे अक्सर ज़रूरत से ज़्यादा सोचने (overthink) लगते हैं। वे उन समस्याओं पर भी बहुत अधिक समय और ऊर्जा (कंप्यूटेशनल लागत) बर्बाद कर देते हैं जिन्हें वे जल्दी हल कर सकते थे, या वे उन समस्याओं पर और भी अधिक ऊर्जा बर्बाद करते हैं जिन्हें वे हल ही नहीं कर सकते।

समाधान: "CoDE-Stop" (कॉन्फिडेंस डायनेमिक्स अर्ली स्टॉपिंग)

इस शोध पत्र के लेखक, परसा होसेइनी और उनकी टीम ने एक चतुर तरीका निकाला है जिससे AI को यह बताया जा सके कि उसे बात करना कब बंद करना है और बस उत्तर दे देना है। वे अपने इस तरीके को CoDE-Stop कहते हैं।

यह कैसे काम करता है, इसे एक सरल उदाहरण से समझते हैं:

1. "कॉन्फिडेंस मीटर" (विश्वास का पैमाना)

कल्पना कीजिए कि AI के डैशबोर्ड पर एक कॉन्फिडेंस मीटर है। हर बार जब वह सोचने का एक पैराग्राफ पूरा करता है, तो मीटर इस आधार पर ऊपर या नीचे जाता है कि वह अपने वर्तमान उत्तर के बारे में कितना आश्वस्त महसूस कर रहा है।

सही रास्ता (सही तर्क): जब AI सही दिशा में होता है, तो उसका कॉन्फिडेंस मीटर बहुत तेज़ी से ऊपर जाता है। उसे एहसास होता है, "अरे, मुझे यह आता है! मैं 99% पक्का हूँ!" लेकिन पुराने दिनों में, AI फिर भी लिखना जारी रखता था, जिससे समय बर्बाद होता था।
गलत रास्ता (गलत तर्क): जब AI खोया हुआ होता है, तो उसका कॉन्फिडेंस मीटर अस्थिर होता है। यह एक रोलरकोस्टर की तरह ऊपर-नीचे होता है। वह एक पल के लिए आश्वस्त महसूस कर सकता है, फिर खुद पर संदेह कर सकता है, फिर से आश्वस्त महसूस कर सकता है, लेकिन वह कभी स्थिर नहीं हो पाता। वह बस गोल-गोल घूमता रहता है।

2. CoDE-Stop के दो नियम

शोधकर्ताओं ने महसूस किया कि मीटर को केवल एक बार देखना काफी नहीं है। आपको समय के साथ मीटर के पैटर्न को देखने की ज़रूरत है। इसलिए, उन्होंने AI को तय करने के लिए दो सरल नियम दिए कि उसे कब रुकना चाहिए:

नियम #1: "मैं हो गया" का संकेत। यदि कॉन्फिडेंस मीटर एक उच्च संख्या (मान लीजिए 90%) पर पहुँच जाता है और वहीं बना रहता है, तो AI को तुरंत रुक जाना चाहिए और अंतिम उत्तर लिख देना चाहिए। और लिखने की कोई ज़रूरत नहीं है।
नियम #2: "पहिए घुमाने" (Spinning Wheels) का संकेत। यह सबसे चतुर हिस्सा है। यदि AI कुछ समय से सोच रहा है, लेकिन उसका कॉन्फिडेंस मीटर बहुत अधिक उतार-चढ़ाव (ऊपर, नीचे, ऊपर, नीचे) दिखा रहा है और कभी स्थिर नहीं हो पा रहा है, तो सिस्टम कहता है, "रुको! तुम एक लूप में फंस गए हो। तुम कोई प्रगति नहीं कर रहे हो।" यह AI को मजबूर करता है कि वह रुक जाए और अपना सबसे अच्छा अनुमान दे दे, जिससे कंप्यूटर को एक बेकार रास्ते पर घंटों बर्बाद करने से बचाया जा सके।

यह एक बड़ी बात क्यों है?

इसे एक GPS नेविगेशन सिस्टम की तरह समझें।

पुराना तरीका: GPS आपके गंतव्य पर पहुँचने के बाद भी रास्ता दोबारा कैलकुलेट करता रहता है, या वह एक बंद सड़क के माध्यम से रास्ता खोजने की कोशिश में 20 मिनट तक लगा रहता है, जिससे आपकी बैटरी खत्म हो जाती है।
CoDE-Stop तरीका: GPS नोटिस करता है कि आप पहुँच गए हैं और कहता है, "आप यहाँ हैं!" (नियम #1)। या, वह नोटिस करता है कि आप 5 मिनट से चक्कर काट रहे हैं और कहता है, "ठीक है, यह रास्ता खराब है; चलिए एक नया रास्ता चुनते हैं या कोशिश करना बंद करते हैं" (नियम #2)।

परिणाम

टीम ने परीक्षण के लिए कई स्मार्ट AI मॉडल्स और कठिन गणित/विज्ञान परीक्षणों का उपयोग किया।

बचत: उन्होंने पाया कि CoDE-Stop ने "सोचने" (कंप्यूटर कार्य) को 25% से 50% तक कम कर दिया। यह एक रोड ट्रिप पर आधे टैंक पेट्रोल बचाने जैसा है।
सटीकता (Accuracy): AI कम बुद्धिमान नहीं हुआ। वह अभी भी उतनी ही बार सही उत्तर देता है जितना पहले देता था, लेकिन वह वहां बहुत तेज़ी से और कम खर्च में पहुँच जाता है।
कोई ट्रेनिंग आवश्यक नहीं: सबसे अच्छी बात? आपको AI को यह करने के लिए दोबारा सिखाने की ज़रूरत नहीं है। यह एक खेल में नया नियम जोड़ने जैसा है जिसे आप पहले से ही खेल रहे हैं। आप बस AI को कहते हैं, "हे, अगर तुम बहुत आश्वस्त महसूस करो, तो रुक जाओ। अगर तुम बहुत भ्रमित और अस्थिर महसूस करो, तो भी रुक जाओ।"

संक्षेप में

CoDE-Stop एक सरल, मुफ्त टूल है जो सुपर-स्मार्ट AI मॉडल्स को यह सिखाता है कि उन्हें कब पर्याप्त सोचने की ज़रूरत है। यह उन्हें अच्छे उत्तरों पर ज़रूरत से ज़्यादा सोचने से रोकता है और उन्हें गलत उत्तरों पर समय बर्बाद करने से भी रोकता है, जिससे वे अपनी बुद्धिमत्ता खोए बिना तेज़, सस्ते और अधिक कुशल बन जाते हैं।

यहाँ शोध पत्र "Early Stopping for Large Reasoning Models via Confidence Dynamics" (CoDE-Stop) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज रीजनिंग मॉडल्स (LRMs) जटिल समस्याओं को हल करने के लिए लंबी चेन-ऑफ-थॉट (CoT) जनरेशन का उपयोग करते हैं। हालाँकि, यह दृष्टिकोण पर्याप्त कम्प्यूटेशनल लागत (computational costs) उत्पन्न करता है और "ओवरथिंकिंग" (overthinking) के कारण प्रदर्शन में गिरावट का कारण बन सकता है।

मुख्य चुनौती: तर्क (reasoning) को समाप्त करने और अंतिम उत्तर देने के इष्टतम क्षण (optimal moment) को निर्धारित करना।
मौजूदा विधियों की सीमाएँ:
- ट्रेनिंग-टाइम विधियाँ: इनके लिए अतिरिक्त प्रशिक्षण या मॉडल कंप्रेशन की आवश्यकता होती है, जो इन्फरेंस-टाइम (inference-time) अनुप्रयोगों को सीमित करती हैं।
- मौजूदा इन्फरेंस-टाइम विधियाँ: ये मध्यवर्ती उत्तर भविष्यवाणियों (intermediate answer predictions) या निश्चित कॉन्फिडेंस थ्रेशोल्ड पर निर्भर करती हैं। हालांकि वे उत्तर मिलने पर रुकने के लिए प्रभावी हैं, लेकिन वे अनुत्पादक तर्क (unproductive reasoning) (जैसे: लूप्स, अस्थिर प्रगति) का पता लगाने में विफल रहती हैं, जहाँ मॉडल बिना किसी सुधार के टोकन जनरेट करना जारी रखता है, जिससे अनावश्यक रूप से लंबी जनरेशन होती है।

2. मुख्य अवलोकन (Key Observations)

लेखकों ने तर्क के दौरान मध्यवर्ती उत्तरों के कॉन्फिडेंस डायनेमिक्स (confidence dynamics) का विश्लेषण किया और दो अलग-अलग व्यवहारों की पहचान की:

सही प्रक्षेपवक्र (Correct Trajectories): आमतौर पर जनरेशन प्रक्रिया के शुरुआती चरणों में ही उच्च आत्मविश्वास (high confidence) प्राप्त कर लेते हैं। एक बार जब मॉडल आश्वस्त हो जाता है, तो बाद के तर्क चरण अक्सर अनावश्यक होते हैं।
गलत प्रक्षेपवक्र (Incorrect Trajectories): ये काफी लंबे होते हैं (अक्सर सही वाले प्रक्षेपवक्रों की तुलना में दोगुना टोकन काउंट) और अस्थिर कॉन्फिडेंस डायनेमिक्स प्रदर्शित करते हैं। कन्वर्ज होने के बजाय, जनरेशन की लंबाई बढ़ने के बावजूद कॉन्फिडेंस उतार-चढ़ाव वाला रहता है या लगातार सुधार करने में विफल रहता है।
टेम्पोरल सिग्नल (Temporal Signal): शुरुआती चरण के तर्क चरण, सही और गलत प्रक्षेपवक्यों के बीच अंतर करने के लिए सबसे विश्वसनीय संकेत प्रदान करते हैं। देर के चरण का कॉन्फिडेंस अक्सर अविश्वसनीय होता है क्योंकि मॉडल गलत पथों पर भी तेजी से आश्वस्त होने लगते हैं।

3. कार्यप्रणाली: CoDE-Stop (Methodology: CoDE-Stop)

लेखकों ने CoDE-Stop (Confidence Dynamics Early Stopping) का प्रस्ताव दिया है, जो एक ट्रेनिंग-फ्री इन्फरेंस-टाइम विधि है जो कब रुकना है यह तय करने के लिए कॉन्फिडेंस के टेम्पोरल विकास (temporal evolution) का लाभ उठाती है। यह दो पूरक संकेतों को जोड़ता है:

A. रैम्पिंग कॉन्फिडेंस थ्रेशोल्ड ( $r_k$ )

यह पहचानने के लिए कि मॉडल ने एक विश्वसनीय उत्तर प्राप्त कर लिया है, CoDE-Stop एक डायनेमिक थ्रेशोल्ड का उपयोग करता है जो समय के साथ बढ़ता है:
$r_k = \min\left(r_{max}, r_{min} + \frac{r_{max} - r_{min}}{\text{steps}} \cdot k\right)$

यह सुनिश्चित करता है कि मॉडल को शुरुआत में अन्वेषण (explore) करने की अनुमति दी जाए (कम थ्रेशोल्ड), लेकिन जैसे-जैसे तर्क प्रक्रिया आगे बढ़ती है, रुकने के लिए उच्च कॉन्फिडेंस की आवश्यकता होती है।

B. डिजनरेशन स्कोर ( $D_k$ )

अनुत्पादक तर्क (instability) का पता लगाने के लिए, CoDE-Stop प्रत्येक चरण $k$ पर एक संचित "डिजनरेशन स्कोर" की गणना करता है:
$D_k = \sum_{i=1}^{k} w_i v_i$

अस्थिरता संकेतक ( $v_i$ ): एक बाइनरी सिग्नल जो यह दर्शाता है कि कॉन्फिडेंस कम है और पिछले चरण के सापेक्ष सुधार करने में विफल रहा है। विशेष रूप से, $v_i = 1$ यदि $2c_i - c_{i-1} < \delta$ (जहाँ $c_i$ चरण $i$ पर कॉन्फिडेंस है और $\delta$ एक थ्रेशोल्ड है)। यह कम कॉन्फिडेंस और अचानक गिरावट दोनों को कैप्चर करता है।
वेटिंग फंक्शन ( $w_i$ ): इस अवलोकन के आधार पर कि शुरुआती संकेत अधिक सूचनात्मक होते हैं, यह शुरुआती चरणों को अधिक महत्व देता है। फंक्शन को $w_i = \log(\frac{T_k}{T_i}) + 1$ के रूप में परिभाषित किया गया है, जहाँ $T$ टोकन पोजीशन को दर्शाता है।

स्टॉपिंग कंडीशन (Stopping Condition)

जनरेशन चरण $k$ पर समाप्त हो जाती है यदि दोनों में से कोई एक हो:

$c_k \geq r_k$ (उच्च कॉन्फिडेंस प्राप्त हुआ), OR
$D_k \geq \tau$ (संचित अस्थिरता का पता चला)।

4. प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल्स: विभिन्न ओपन-सोर्स रीजनिंग मॉडल्स पर मूल्यांकन किया गया: Qwen3-4B/14B, DeepSeek-R1-Distill-Llama-8B, और Llama-3.1-Nemotron-Nano-8B-v1।
बेंचमार्क्स: AIME 2024/2025, MATH500, GSM8K, और GPQA-Diamond।
बेसलाइन्स: स्टेट-ऑफ-द-आर्ट इन्फरेंस-टाइम अर्ली स्टॉपिंग मेथड्स (DEER, Think or Not, EAT, RCPD, Answer Convergence) और एक वैनिला फुल-लेंथ बेसलाइन के विरुद्ध तुलना की गई।
मेट्रिक्स: सटीकता (Accuracy), औसत रीजनिंग लंबाई (Tokens), कंप्रेशन रेट, और कुल टोकन कंप्यूट (ओवरहेड सहित)।

5. मुख्य परिणाम (Key Results)

सटीकता-कंप्यूट ट्रेडऑफ़ (Accuracy-Compute Tradeoff): CoDE-Stop सभी बेसलाइन्स की तुलना में लगातार एक बेहतर पारेटो फ्रंटियर (Pareto frontier) प्राप्त करता है। यह मजबूत बेसलाइन्स के समान सटीकता बनाए रखते हुए मानक फुल-लेंथ रीजनिंग की तुलना में कुल टोकन उपयोग को 25–50% तक कम कर देता है।
अनुत्पादक तर्क को संभालना: DEER (जो फिक्स्ड थ्रेशोल्ड पर निर्भर है) जैसी विधियों के विपरीत, CoDE-Stop डिजनरेशन स्कोर के माध्यम से अस्थिरता का पता लगाकर लंबे, अनुत्पादक गलत प्रक्षेपवक्यों को प्रभावी ढंग से समाप्त कर देता है।
मजबूती (Robustness): यह विधि विभिन्न प्रॉम्पटिंग रणनीतियों (Vanilla, Budget Forcing, Chain-of-Draft, NoThinking) में अच्छा प्रदर्शन करती है और रीजनिंग स्टेप डेलीमिटर्स (जैसे "Wait" बनाम "Alternatively") के चयन के प्रति मजबूत है।
एब्लेशन स्टडीज (Ablation Studies):
- केवल प्रक्षेपवक्र लंबाई (trajectory length) को स्टॉपिंग सिग्नल के रूप में उपयोग करना अपर्याप्त है; कॉन्फिडेंस डायनेमिक्स (डिजनरेशन स्कोर) महत्वपूर्ण हैं।
- शुरुआती चरणों को अधिक भार देने ( $w_i$ ) से यूनिफॉर्म या इनवर्स वेटिंग की तुलना में काफी बेहतर परिणाम मिलते हैं।
- यह विधि थ्रेशोल्ड $\tau$ द्वारा नियंत्रित एक सुचारू ट्रेडऑफ़ कर्व प्रदर्शित करती है, जिससे इसे विशिष्ट कंप्यूट बजट के लिए ट्यून करना आसान हो जाता है।

6. महत्व और योगदान (Significance and Contributions)

ट्रेनिंग-फ्री एफिशिएंसी: CoDE-Stop एक सरल, प्लग-एंड-प्ले समाधान प्रदान करता है जिसे किसी अतिरिक्त मॉडल ट्रेनिंग या सहायक प्रेडिक्टर की आवश्यकता नहीं होती है, जिससे यह तुरंत तैनात करने योग्य (deployable) हो जाता है।
तर्क में नई अंतर्दृष्टि: यह पेपर कॉन्फिडेंस डायनेमिक्स का मौलिक विश्लेषण प्रदान करता है, जो यह बताता है कि शुरुआती चरण की अस्थिरता (early-stage instability) देर के चरण के कॉन्फिडेंस स्तरों की तुलना में विफलता का एक अधिक मजबूत भविष्यवक्ता है।
व्यावहारिक प्रभाव: सटीकता से समझौता किए बिना टोकन उपयोग को 50% तक कम करके, CoDE-Stop लार्ज रीजनिंग मॉडल्स की इन्फरेंस लागत और लेटेंसी को काफी कम कर देता है, जो उनके स्केलेबल परिनियोजन (deployment) के लिए एक महत्वपूर्ण बाधा को दूर करता है।
भविष्य की दिशा: यह कार्य सुझाव देता है कि मॉडल आउटपुट्स (कॉन्फिडेंस) से प्राप्त सरल ह्यूरिस्टिक्स शक्तिशाली हैं, लेकिन मॉडल एक्टिवेशन्स में समृद्ध सिग्नल मौजूद हो सकते हैं, जो अर्ली स्टॉपिंग के लिए आंतरिक स्टेट सिग्नल निकालने हेतु भविष्य के अनुसंधान की ओर संकेत करते हैं।