🤖 AI

Calibrated e-CUSUM Decoding for Quantized Reasoning Models: Why Token Log-Probability Is the Wrong Observable for Decoding Monitors

यह शोध पत्र तर्क देता है कि सेंटर्ड टोकन लॉग-प्रोबेबिलिटी (centered token log-probability), अपने अंतर्निहित मार्टिंगेल गुणों (martingale properties) और आत्मविश्वासी पुनरावृत्ति के दौरान मौन रहने के कारण, क्वांटाइज्ड रीजनिंग मॉडल्स की निगरानी के लिए एक अप्रभावी अवलोकन योग्य (observable) है, और इसके बजाय एक प्रशिक्षण-मुक्त, कैलिब्रेटेड e-CUSUM डिकोडर का प्रस्ताव देता है जो टोकन अनिश्चितता को वर्बेटम पुनरावृत्ति संकेतों (verbatim repetition signals) के साथ जोड़कर विफल होने वाले ट्रेसेस (failing traces) का सफलतापूर्वक पता लगाता है।

मूल लेखक: El Hassane Ettifouri (Novelis Research, Paris, France), Ayoub Belfatmi (Novelis Research, Paris, France), Mahaman Sanoussi Yahaya Alassan (Novelis Research, Paris, France), Walid Dahhane (Novelis Rese

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: El Hassane Ettifouri (Novelis Research, Paris, France), Ayoub Belfatmi (Novelis Research, Paris, France), Mahaman Sanoussi Yahaya Alassan (Novelis Research, Paris, France), Walid Dahhane (Novelis Research, Paris, France)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक छोटा, सुपर-स्मार्ट रोबोट दिमाग (एक "रीजनिंग मॉडल") है, जिसे आपने एक बहुत ही छोटे, कम बिजली वाले बॉक्स (क्वांटाइजेशन) में सिकोड़ दिया है ताकि यह एक विशाल सुपरकंप्यूटर के बजाय एक साधारण लैपटॉप पर चल सके। यह गणित में बहुत अच्छा है, लेकिन जब आप इसे इतना कसकर सिकोड़ देते हैं, तो कभी-कभी इसमें गड़बड़ी (ग्लिच) होने लगती है। यह एक लूप में फंस सकता है, जैसे एक ही वाक्य को बार-बार दोहराना, या यह बिना उत्तर दिए बस बड़बड़ाता जा सकता है।

बड़ा सवाल यह था: हम रोबोट को पटरी से उतरने से पहले कैसे पकड़ें?

गलत अलार्म बेल

शुरुआत में, शोधकर्ताओं को लगा कि रोबोट की निगरानी करने का सबसे अच्छा तरीका यह सुनना है कि वह कितना "आत्मविश्वासी" (कॉन्फिडेंट) लग रहा है। उन्होंने कल्पना की कि एक विशेष अलार्म बेल होगी जो तब बजेगी जब रोबोट का आत्मविश्वास डगमगाएगा। उन्होंने एक विशेष गणितीय उपकरण (एक "मार्टिंगेल") बनाया जो रोबोट के लॉग-प्रोबेबिलिटी को ट्रैक करता है—यानी, वह अगले शब्द के बारे में कितना निश्चित है।

यहाँ एक मोड़ है: यह अलार्म बेल पूरी तरह से बेकार थी। वास्तव में, यह ठीक उसी समस्या के प्रति अंधी थी जिसे वे पकड़ना चाहते थे।

इसे एक स्मोक डिटेक्टर की तरह समझें जो केवल तब बजता है जब हवा में अनिश्चितता या धुआं होता है। लेकिन अगर रोबोट एक आत्मविश्वासी लूप में फंस जाता है—पूरी निश्चितता के साथ "उत्तर 42 है, उत्तर 42 है, उत्तर 42 है" दोहराते हुए—तो डिटेक्टर के लिए हवा बिल्कुल साफ महसूस होती है। रोबोट आत्मविश्वासी रूप से गलत है, लेकिन अलार्म शांत रहता है। यह पेपर साबित करता है कि यह "कॉन्फिडेंस मॉनिटर" काम के लिए गलत उपकरण है। यह एक शांत चोर को शोर सुनकर खोजने की कोशिश करने जैसा है; यदि चोर शांत है, तो आप उसे कभी नहीं पकड़ पाएंगे।

नया जासूस: एक "डिजनरेशन" रडार

इसलिए, टीम ने एक नया प्रकार का मॉनटर बनाया। केवल आत्मविश्वास को सुनने के बजाय, उन्होंने रोबोट को एक ऐसा रडार दिया जो दो विशिष्ट चीजों को देखता है:

भ्रम (Confusion): क्या रोबोट अचानक अनिश्चित हो गया है?
हकलाना (Stuttering): क्या रोबोट बार-बार एक ही शब्द दोहरा रहा है?

उन्होंने इन दोनों को एक एकल "अलार्म स्कोर" में मिला दिया। यदि रोबोट हकलाने लगता है (भले ही वह हकलाने के बारे में बहुत आत्मविश्वासी हो), तो स्कोर बढ़ जाता है।

लेकिन इसमें एक पेच था। यदि वे अलार्म को बहुत संवेदनशील सेट करते, तो यह हर बार बज जाता जब रोबमाट किसी कठिन समस्या पर गहराई से सोचता (एक "फॉल्स अलार्म")। यदि वे इसे बहुत ढीला सेट करते, तो वे गड़बड़ियों को मिस कर देते।

कैलिब्रेशन का जादू

असली सफलता केवल रडार में नहीं थी; यह कैलिब्रेशन (अंशांकन) में थी।

कल्पना कीजिए कि आप हवाई अड्डे पर एक मेटल डिटेक्टर सेट कर रहे हैं। यदि आप इसे किसी भी धातु पर बजने के लिए सेट करते हैं, तो यह हर बेल्ट बकल और सिक्के पर चिल्लाएगा। यदि आप इसे केवल एक टैंक पर बजने के लिए सेट करते हैं, तो यह चाकू को मिस कर देगा। शोधकर्ताओं ने कई "स्वस्थ" रोबोट रन (जहाँ रोबोट ने सही उत्तर प्राप्त किया) लिए और उनके अलार्म स्कोर को मापा। उन्होंने 90वां पर्सेंटाइल पाया—वह स्कोर जिसके नीचे 90% अच्छे रन रहे। उन्होंने अपने नए अलार्म को केवल तभी ट्रिगर होने के लिए सेट किया यदि स्कोर उस स्तर से ऊपर चला जाए।

परिणाम क्या रहा?

कैलिब्रेशन से पहले: पुराना, बिना कैलिब्रेट किया गया संस्करण सभी जनरेशन के 93% मामलों में बज जाता था। यह एक बेकार, चिल्लाता हुआ अलार्म था।
कैलिब्रेशन के बाद: नया संस्करण एक स्मार्ट जासूस बन गया। इसने केवल वास्तव में खराब रन को ही फ्लैग किया। इसने विफल ट्रेसेस के लगभग 46% को पकड़ा (रिकॉल), जबकि केवल 20% अच्छे रन पर गलती की।

क्या इससे वास्तव में मदद मिली?

उन्होंने इस परीक्षण को एक प्रसिद्ध गणितीय डेटासेट GSM8K पर एक छोटे मॉडल (DeepSeek-R1-Distill-Qwen-1.5B) का उपयोग करके किया।

लूप की समस्या: उन्हें उम्मीद थी कि रोबोट लूप में फंसा हुआ है। उन्होंने पाया कि लूप वास्तव में दुर्लभ थे (केवल 1% खराब रन में गंभीर लूप थे)।
असली विलेन: असली समस्या नॉन-टर्मिनेशन (समाप्ति न होना) थी। रोबोट बस तब तक बोलता और बोलता रहता जब तक कि उसके पास समय या मेमोरी खत्म न हो जाए, वह वास्तव में "उत्तर है..." कभी नहीं कहता।
समाधान: नए कंट्रोलर ने इन "हकलाने वाले" लूपों को कम करने में मदद की (उनके छोटे टेस्ट में 1% से 0% तक गिर गया) और अंतहीन बड़बड़ाने को थोड़ा कम किया।

क्या इसने रोबोट को स्मार्ट बनाया?
इसकी सटीकता थोड़ी बढ़ गई (कम बिजली वाले संस्करण के लिए 63% से 69%), लेकिन पेपर बहुत ईमानदार है: यह अभी तक एक प्रमाणित जीत नहीं है। केवल 100 टेस्ट समस्याओं के साथ, सुधार केवल किस्मत भी हो सकता है। सांख्यिकीय परीक्षण कहता है कि परिणाम "अनिर्णायक" है। यह एक आशाजनक संकेत है, कोई पूर्ण विजय नहीं।

साथ ही, इसकी एक लागत भी है। इस अतिरिक्त सुरक्षा को पाने के लिए, रोबोट ने 28% अधिक "टोकन" (शब्दों) का उपयोग किया और सोचने में अधिक समय लिया।

मुख्य निष्कर्ष

पेपर का मुख्य सबक एक "नेगेटिव रिजल्ट" है जो हमारा समय बचाता है: "कॉन्फिडेंस" मॉनिटर पर भरोसा न करें। यह आत्मविश्वासी गलतियों के प्रति अंधा है।

इसके बजाय, वे एक नया, कैलिब्रेटेड टूल पेश करते हैं जो दोहराव और भ्रम पर नज़र रखता है। यह पुराने विचार की तुलना में बेहतर काम करता है, लेकिन यह अभी भी एक प्रगतिशील कार्य है। शोधकर्ता अपना सारा कोड और डेटा जारी कर रहे हैं ताकि अन्य लोग इसे कठिन गणितीय समस्याओं पर टेस्ट कर सकें और देख सकें कि क्या यह वास्तव में उस "अंतहीन बड़बड़ाने" की समस्या को हल करता है जो इन छोटे, संकुचित रोबोट दिमागों के लिए असली दुश्मन लगता है।

संक्षेप में: पुराना अलार्म टूटा हुआ था। नया वाला ट्यून किया गया है और काम कर रहा है, लेकिन हमें यह देखने की ज़रूरत है कि क्या यह वास्तव में कठिन पहेलियों पर काम आता है, इससे पहले कि हम इसे एक हीरो घोषित करें।

तकनीकी सारांश: क्वांटाइज्ड रीजनिंग मॉडल्स के लिए कैलिब्रेटेड e-CUSUM डिकोडिंग

समस्या विवरण

लो-बिट क्वांटाइजेशन (जैसे, INT4) कमर्शियल हार्डवेयर पर छोटे रीजनिंग मॉडल्स की तैनाती को सक्षम बनाता है, लेकिन यह उनकी चेन-ऑफ-थॉट (chain-of-thought) क्षमताओं को काफी हद तक कम कर देता है। ये मॉडल्स अर्ली कैस्केडिंग एरर्स (early cascading errors), बढ़ी हुई रीजनिंग लंबाई, और "ओवरथिंकिंग" करने या समाप्त न होने (fail to terminate) की प्रवृत्ति से ग्रस्त होते हैं। एक सामान्य सहज समाधान यह है कि जनरेशन के दौरान डिकोडर की निगरानी की जाए और जब प्रक्षेपवक्र (trajectory) विफल होता हुआ प्रतीत हो, तो हस्तक्षेप किया जाए।

यह शोध पत्र ऐसे सबसे स्वाभाविक उम्मीदवार में एक महत्वपूर्ण दोष की पहचान करता है जो एक मॉनिटर के रूप में कार्य करता है: टोकन लॉग-प्रोबेबिलिटीज़ ( $X_t = \log p(w_t | w_{<t})$ ) से निर्मित मार्टिंगेल (martale)।

दोष: मॉडल के अपने सैंपलिंग लॉ के तहत, इंक्रीमेंट $D_t = \log p(w_t) + H_t$ (जहाँ $H_t$ शैनन एंट्रॉपी है) संरचनात्मक रूप से एक मीन-जीरो मार्टिंगेल है।
परिणाम: यह ऑब्जर्वेबल सैंपलिंग की स्व-संगति (self-consistency) को मापता है, न कि प्रक्षेपवक्र के स्वास्थ्य को। एक "कॉन्फिडेंट रेपिटिशन लूप" (एक सामान्य विफलता मोड जहाँ मॉडल उच्च प्रायिकता के साथ टोकन दोहराता है) में, $p(w_t) \approx 1$ और $H_t \approx 0$ होता है, जिसके परिणामस्वरूप $D_t \approx 0$ होता है। फलस्वरूप, मार्टिंगेल ठीक उसी समय मौन रहता है जब मॉडल आत्मविश्वास के साथ गलत होता है। इसके अलावा, क्योंकि यह उच्च-वेरिएंस (उच्च-एंट्रॉपी) वाले हिस्सों पर प्रतिक्रिया करता है, यह अनिश्चित लेकिन संभावित रूप से सही रीजनिंग पथों पर अलार्म ट्रिगर करता है, जिससे उच्च फाल्स-अलार्म दर (अनकैलिब्रेटेड टेस्ट में 93–95%) होती है।

कार्यप्रणाली (Methodology)

लेखक दो घटकों से निर्मित एक रिप्लेसमेंट कंट्रोलर का प्रस्ताव करते हैं: एक डिजनरेशन-अवेयर अलार्म स्कोर और एक कैलिब्रेटेड सीक्वेंशियल डिटेक्टर।

1. अलार्म स्कोर ( $a_t$ )

केवल एंट्रॉपी पर निर्भर रहने के बजाय, कंट्रोलर एक बाउंडेड स्कोर $a_t \in [0, 1]$ की गणना करता है जो दो संकेतों को फ्यूज करता है:
$a_t = \min(1, w_{rep} r_t + w_{ent} u_t)$

$u_t$ (अनसर्टेन्टी/अनिश्चितता): हालिया इतिहास के सापेक्ष शैनन एंट्रॉपी में स्पाइक्स को फ्लैग करता है।
$r_t$ (रिपिटिशन/दोहराव): एक स्लाइडिंग विंडो में रिकरिंग एन-ग्राम्स (n-grams) के कवरेज को मापकर वर्बेटिम (verbatim) दोहराव को फ्लैग करता है। महत्वपूर्ण रूप से, $r_t$ एक कॉन्फिडेंट लूप के दौरान 1 के करीब पहुँच जाता है भले ही एंट्रॉपी शून्य के करीब हो, जो लॉग-प्रोबेबिलिटी मार्टिंगेल के ब्लाइंड स्पॉट को संबोधित करता है।
वेट्स (Weights): अनुभवजन्य रूप से $w_{rep} = 0.7$ और $w_{ent} = 0.3$ निर्धारित किए गए हैं।

2. कैलिब्रेटेड e-CUSUM डिटेक्टर

शोध पत्र एक बेटिंग कंस्ट्रक्शन (Shafer, 2021) का उपयोग करता है जो $a_t$ की निगरानी करता है।

रॉ e-प्रोसेस: एक नॉन-नेगेटिव प्रोडक्ट प्रोसेस $E^{raw}_n = \prod (1 + \lambda(a_t - \mu_0)$ । इस कंडीशनल नल हाइपोथेसिस के तहत कि जनरेशन स्वस्थ है ( $E[a_t | \mathcal{F}_{t-1}] \le \mu_0$ ), यह प्रोसेस विले के इनइक्वालिटी (Ville's inequality) को संतुष्ट करता है, जो एक टाइम-यूनिफॉर्म फाल्स-अलार्म गारंटी प्रदान करता है।
कार्यान्वयन (CUSUM-floored): तैनात सांख्यिकी एक लॉग-CUSUM है जिसमें एक फ्लोर है: $S_n = \max(0, S_{n-1} + \log(1 + \lambda(a_n - \mu_0)))$ । एक अलार्म तब लगाया जाता है जब $S_n \ge \tau$ हो।
कैलिब्रेशन: क्योंकि $a_t$ इतिहास पर अत्यधिक निर्भर और ऑटोकोरिलेटेड है, सैद्धांतिक कंडीशनल नल को प्रमाणित करना कठिन है। लेखक स्वस्थ (FP16, सही) रेफरेंस ट्रेसेस पर देखे गए $a_t$ के 90वें पर्सेंटाइल को $\mu_0$ के रूप में सेट करके ऑफलाइन कैलिब्रेशन करते हैं। यह डिटेक्टर को एक अनिंदित अलार्म से एक चयनात्मक (selective) अलार्म में बदल देता है।

3. रेमेडिएशन (Remediation)

जब अलार्म ट्रिगर होता है:

बैकट्रैकिंग: अंतिम $k$ टोकन को ट्रंकेट किया जाता है, और की-वैल्यू कैश को फिर से बनाया जाता है।
रीसैंपलिंग: मॉडल समायोजित मापदंडों के साथ फिर से शुरू होता है:
- मिन-पी (Min-p) सैंपलिंग को चौड़ा या संकरा किया जाता है (तापमान बढ़ाने के बजाय, जो रैंडमनेस बढ़ाता है)।
- बार-बार अलार्म आने पर, एक करेक्शन मार्कर ("Wait, let me re-check...") इंजेक्ट किया जाता है।
बजट: अनंत लूप को रोकने के लिए हस्तक्षेपों की संख्या पर एक हार्ड कैप लगाई जाती है।

मुख्य परिणाम

प्रयोग GSM8K डेटासेट पर DeepSeek-R1-Distill-Qwen-1.5B पर FP16 और INT4 क्वांटाइजेशन दोनों में किए गए।

फेलियर मोड एनालिसिस: इस अंतर्ज्ञान के विपरीत कि कॉन्फिडेंट लूपिंग प्राथमिक विफलता है, अध्ययन ने पाया कि नॉन-टर्मिनेशन (non-termination) INT4 मॉडल्स के लिए GSM8K पर डोमिनेंट फेलियर मोड है (49% तक गलत ट्रेसेस टोकन बजट को समाप्त कर देते हैं)। वर्बेटिम लूप दुर्लभ थे (विफल ट्रेसेस पर भी $\le 4\%$ टोकन)।
कैलिब्रेशन के माध्यम से चयनात्मकता:
- एक अनकैलिब्रेटेड मॉनिटर ( $\mu_0 = 0.15$ ) 93–95% जनरेशन पर फायर हुआ, जिससे वह बेकार हो गया।
- एक कैलिब्रेटेड मॉनिटर ( $\mu_0 = 0.41$ ) ने 0.38 के बेस रेट के मुकाबले $\approx 0.6$ की प्रिसिजन और $\approx 0.46$ का रिकॉल (F1 $\approx 0.3$ ) प्राप्त किया।
डिजनरेशन मेट्रिक्स: कंट्रोलर ने INT4 में लगातार रिपिटेशन रेट को 0.010 से घटाकर 0.003 कर दिया और गंभीर लूप्स को खत्म कर दिया (1% से 0%)। इसने ट्रंकेशन रेट को भी थोड़ा कम किया (22% से 19%)।
सटीकता (Accuracy):
- FP16: सटीकता 68% से बढ़कर 72% हो गई (McNemar $p=0.48$ )।
- INT4: सटीकता 63% से बढ़कर 69% हो गई (McNemar $p=0.18$ )।
- लागत: हस्तक्षेप ने टोकन उपयोग को 28% और वॉल-क्लॉक समय को 30% बढ़ा दिया।
- निष्कर्ष: सटीकता का रुझान सकारात्मक है लेकिन $n=100$ पर सांख्यिकीय रूप से अनिर्णायक है। लेखक स्पष्ट रूप से कहते हैं कि वे सटीकता में सुधार का दावा नहीं करते हैं, यह देखते हुए कि यह लाभ कंट्रोलर के बजाय बढ़े हुए टोकन बजट के कारण हो सकता है।

महत्व और दावे

यह शोध पत्र स्वयं को एक प्रारंभिक, पद्धतिगत अध्ययन (methodological study) के रूप में प्रस्तुत करता है जिसके निम्नलिखित विशिष्ट योगदान हैं:

नेगेटिव रिजल्ट: टोकन लॉग-प्रोबेबिलिटी मार्टिंगेल के विरुद्ध एक स्पष्ट, विश्लेणात्मक और अनुभवजन्य प्रदर्शन कि वे डिकोडिंग मॉनिटर्स के लिए मौलिक रूप से अपर्याप्त हैं क्योंकि वे कॉन्फिडेंट डिजनरेशन के प्रति अंधे हैं।
मेथोडोलॉजिकल रिप्लेसमेंट: एंट्रॉपी को स्पष्ट रिपिटिशन सिग्नल्स के साथ जोड़कर डिजनरेशन का पता लगाने वाला एक ट्रेनिंग-फ्री, कैलिब्रेटेड e-CUSUM कंट्रोलर।
ईमानदार मूल्यांकन: लेखक जोर देते हैं कि तैनात सांख्यिकी $a_t$ की हिस्ट्री-डिपेंडेंस और कैलिब्रेशन की मार्जिनल प्रकृति के कारण एक सख्त वैध e-प्रोसेस के बजाय एक अनुभवजन्य चेंज डिटेक्टर है।
विफलता मोड पर अंतर्दृष्टि: यह निष्कर्ष कि क्वांटाइज्ड मॉडल्स के लिए नॉन-टर्मिनेशन, लूपिंग की तुलना में प्राथमिक विफलता मोड है, उनके प्रारंभिक प्रेरणा को चुनौती देता है और सुझाव देता है कि रेमेडिएशन रणनीतियों को रिपिटिशन के साथ-साथ "रैंबलिंग" (रैंबलिंग/भटकाव) को भी संबोधित करना चाहिए।

लेखक सटीकता प्रश्न का निर्णायक रूप से उत्तर देने के लिए आवश्यक बड़े पैमाने के अध्ययन को सुगम बनाने के लिए सभी कोड, कैलिब्रेशन टूल्स और ट्रेसेस जारी करते हैं। वे चेतावनी देते हैं कि यह विधि कंप्यूटेशनल लागत जोड़ती है और सटीकता में किसी भी भविष्य के दावे को कंप्यूट-मैच्ड बेसलाइन्स (जैसे, समान टोकन बजट के साथ सेल्फ-कंसिस्टेंसी) के विरुद्ध किया जाना चाहिए।