🤖 AI

BitCal-TTS: Bit-Calibrated Test-Time Scaling for Quantized Reasoning Models

BitCal-TTS एक हल्का, नॉन-फाइन-ट्यून्ड रनटाइम कंट्रोलर है जो ऑनलाइन अनसर्टेन्टी प्रॉक्सीज़ को बिट-कंडीशन्ड कॉन्फिडेंस रिस्केलिंग के साथ जोड़कर 4-बिट क्वांटाइज़्ड रीजनिंग मॉडल्स में हानिकारक अर्ली हॉल्टिंग को कम करता है, जिससे टोकन दक्षता को बनाए रखते हुए GSM8K-शैली के कार्यों पर सटीकता में सुधार होता है और समयपूर्व ठहराव को कम किया जाता है।

मूल लेखक: Sai Babu Patarlapalli, Surya Teja Avvaru

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sai Babu Patarlapalli, Surya Teja Avvaru

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा थका हुआ गणितज्ञ (AI मॉडल) है, जो एक जटिल पहेली को हल करने की कोशिश कर रहा है। आप चाहते हैं कि वे जितनी जल्दी हो सके काम करें, इसलिए आप ऊर्जा और मेमोरी बचाने के लिए उन्हें "लो-पावर मोड" (4-bit क्वांटाइजेशन) में डाल देते हैं। आप उन्हें एक सख्त नियम भी देते हैं: "एक बार जब आपने 512 शब्द लिख लिए हों, या जैसे ही आपको लगता है कि आपके पास उत्तर है, काम करना बंद कर दें।"

समस्या यह है कि इस लो-पावर मोड में, गणितज्ञ अति-आत्मविश्वासी (overconfident) हो जाता है। वे एक ऐसा अंतिम उत्तर लिख सकते हैं जो सही दिखता है क्योंकि वह सही फॉर्मेट का पालन करता है, भले ही उनका तर्क अभी भी कमजोर हो। क्योंकि वे आत्मविश्वासी लग रहे हैं, आपका "स्टॉप रूल" उन्हें जल्दी रुकने के लिए कह देता है, और अंत में आपको गलत उत्तर मिलता है।

यह पेपर, BitCal-TTS, एक स्मार्ट "सुपरवाइजर" (कंट्रोलर) पेश करता है जो गणितज्ञ पर नज़र रखता है और बिना गणितज्ञ को फिर से प्रशिक्षित किए इस अति-आत्मविश्वास की समस्या को ठीक करता है।

यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए यहाँ दिया गया है:

1. समस्या: "नकली आत्मविश्वास" का जाल

जब आप एक बड़े AI मॉडल को छोटे कंप्यूटरों पर फिट करने के लिए सिकोड़ते हैं (क्वांटाइजेशन), तो यह गणितज्ञ को धुंधले चश्मे देने जैसा है। वे अभी भी समस्या के सामान्य आकार को देख सकते हैं, लेकिन विवरण धुंधले हैं।

समस्या: इस धुंधली स्थिति में, मॉडल कह सकता है, "मुझे 99% यकीन है कि यही उत्तर है!" जबकि वास्तव में वह केवल 60% आश्वस्त होता है।
परिणाम: सिस्टम मॉडल को बहुत जल्दी रोक देता है। मॉडल एक अंतिम लाइन लिख सकता है जैसे #### 42 (गणित की समस्याओं में उत्तर का संकेत देने का मानक तरीका) और रुक सकता है, भले ही 42 तक पहुँचने वाले चरण गलत थे।

2. समाधान: "बिट-कैलिब्रेटेड सुपरवाइजर"

लेखकों ने एक हल्का सुपरवाइजर बनाया है जिसे BitCal-TTS कहा जाता है, जो मॉडल और आउटपुट के बीच बैठता है। यह मॉडल के दिमाग को नहीं बदलता; यह बस यह बदल देता है कि उसे कब रुकने की अनुमति है। यह तीन मुख्य तरकीबों का उपयोग करता है:

A. "रियलिटी चेक" स्केल

सुपरवाइजर जानता है कि मॉडल "धुंधले चश्मे" (4-bit प्रिसिजन) पहनकर काम कर रहा है।

कैसे काम करता है: यदि मॉडल कहता है, "मैं 90% आश्वस्त हूँ," तो सुपरवाइजर एक "रियलिटी चेक" मल्टीप्लायर लागू करता है। वह सोचता है, "आह, लेकिन आप लो-पावर मोड में हैं, इसलिए मैं उस 90% आत्मविश्वास को केवल 76% आत्मविश्वास के रूप में मानूँगा।"
उपमा: यह एक ऐसे मैनेजर की तरह है जो जानता है कि उनका कर्मचारी एक टूटे हुए कैलकुलेटर के साथ काम कर रहा है। यदि कर्मचारी कहता है, "मुझे यकीन है कि गणित सही है," तो मैनेजर कहता है, "ठीक है, लेकिन साइन ऑफ करने से पहले आइए इसे दोबारा चेक कर लें।" यह मॉडल को बहुत जल्दी रुकने से रोकता है।

B. "स्टेबिलिटी" (स्थिरता) चेक

सुपरवाइजर मॉडल की "विचार प्रक्रिया" (रीजनिंग ट्रेस) पर नज़र रखता है ताकि यह देख सके कि वह वास्तव में स्थिर हो रहा है या केवल बड़बड़ा रहा है।

कैसे काम करता है: यह दो चीजों को देखता है:
1. पुनरावृत्ति (Repetition): क्या मॉडल एक ही नंबर या वाक्यांश को दोहरा रहा है? (इसका मतलब अक्सर यह होता है कि वह समाप्त हो गया है या फंस गया है)।
2. हिडन ड्रिफ्ट (Hidden Drift): क्या मॉडल की आंतरिक "अनुभूति" बहुत तेजी से बदल रही है?
उपमा: कल्पना कीजिए कि एक छात्र निबंध लिख रहा है। यदि वे बार-बार एक ही वाक्य को फिर से लिखते हैं, तो संभावना है कि वे समाप्त हो गए हैं। यदि वे विचारों के बीच इधर-उधर कूद रहे हैं, तो वे सबमिट करने के लिए तैयार नहीं हैं। सुपरवाजर तब तक इंतजार करता है जब तक कि छात्र का लेखन स्थिर न हो जाए, इससे पहले कि उसे रुकने की अनुमति दी जाए।

C. उत्तर के बाद का "सेफ्टी ज़ोन"

यह गणित की समस्याओं के लिए इस पेपर की सबसे चतुर तरकीब है।

समस्या: GSM8K जैसे गणितीय डेटासेट में, अंतिम उत्तर को हमेशा #### द्वारा चिह्नित किया जाता है। लो-पावर मोड में, मॉडल गलती से जल्दी #### लिख सकता है, या एक विश्वसनीय दिखने वाला नंबर लिख सकता है जो अंतिम उत्तर नहीं है।
समाधान: सुपरवाइजर का एक नियम है: "एक बार जब आप #### मार्कर देखते हैं, तो आप तुरंत नहीं रुक सकते।"
उपमा: यह एक फुटबॉल मैच में रेफरी की तरह है। जब एक खिलाड़ी गेंद को गोल की ओर किक करता है, तो रेफरी गेंद के रेखा पार करते ही तुरंत सीटी नहीं बजाता। वे यह सुनिश्चित करने के लिए कुछ सेकंड प्रतीक्षा करते हैं कि गेंद वास्तव में अंदर गई है या नहीं। BitCal-TTS मॉडल को #### के बाद कुछ और "पुष्टि करने वाले" शब्द लिखने के लिए मजबूर करता है ताकि यह सुनिश्चित हो सके कि उत्तर वास्तविक है।

3. परिणाम: क्या हुआ?

लेखकों ने विभिन्न आकार के AI मॉडलों (छोटे, मध्यम और बड़े) का परीक्षण किया जो गणित की समस्याओं को हल कर रहे थे।

छोटा मॉडल (3B): सुपरवाइजर इसे बचा नहीं सका। लो-पावर मोड में यह मॉडल बहुत कमजोर था; कितना भी चेक करने के बावजूद यह गलतियाँ करता रहा।
मध्यम और बड़े मॉडल (7B और 14B): सुपरवाइजर ने शानदार काम किया!
- कम गलतियाँ: इसने मॉडलों को बहुत जल्दी हार मानने से रोका। "समय से पहले रुकने" (गलत उत्तर के साथ रुकने) की दर काफी कम हो गई (उदाहरण के लिए, 14B मॉडल पर 17% से घटकर 11% हो गई)।
- बेहतर सटीकता: मॉडलों को अधिक सही उत्तर मिले क्योंकि उन्हें जरूरत पड़ने पर थोड़ा और सोचने की अनुमति मिली।
- अभी भी तेज़: भले ही उन्होंने थोड़ा अधिक सोचा, फिर भी उन्होंने हर बार अधिकतम 512 शब्द लिखने के बजाय काफी समय और ऊर्जा बचाई।

4. पकड़ (महत्वपूर्ण सीमाएँ)

लेखक अपने अध्ययन की सीमाओं के बारे में बहुत ईमानदार हैं:

छोटा सैंपल साइज: उन्होंने केवल गणित की समस्याओं के एक छोटे हिस्से (प्रत्येक मॉडल आकार के लिए लगभग 35 से 54 समस्याएं) का परीक्षण किया। हालांकि परिणाम अच्छे दिखते हैं, वे स्वीकार करते हैं कि इतने छोटे समूह के साथ, परिणाम सांख्यिकीय रूप से "सिद्ध" नहीं हैं। 100% सुनिश्चित होने के लिए उन्हें पूरे डेटासेट पर परीक्षण करने की आवश्यकता है।
हैंड-ट्यून्ड (मानव द्वारा निर्धारित): सुपरवाइजर द्वारा उपयोग किए जाने वाले नियम (जैसे #### के बाद कितने अतिरिक्त शब्द लिखने हैं) मनुष्यों द्वारा अलग-अलग नंबरों को आजमाकर सेट किए गए थे, न कि AI द्वारा स्वयं सीखे गए।

सारांश

BitCal-TTS लो-पावर मोड में चल रहे AI मॉडलों के लिए एक स्मार्ट "स्टॉप-वॉच" है। यह जानता है कि कंप्रेस होने पर ये मॉडल अति-आत्मविश्वासी हो जाते हैं, इसलिए यह उन्हें अपने काम की दोबारा जांच करने और काम समाप्त होने के बाद थोड़ा इंतजार करने के लिए मजबूर करता है। यह सरल तरकीब मध्यम और बड़े मॉडलों को समय और ऊर्जा बर्बाद किए बिना अधिक गणित की समस्याओं को सही ढंग से हल करने में मदद करती है।

तकनीकी सारांश: BitCal-TTS

समस्या विवरण (Problem Statement)

बड़े रीजनिंग मॉडल्स (LLMs) अक्सर एडेप्टिव टेस्ट-टाइम कंप्यूट (adaptive test-time compute) से लाभान्वित होते हैं, जहाँ इन्फरेंस अवधि को कॉन्फिडेंस या रीजनिंग स्टेबिलिटी के आधार पर गतिशील रूप से समायोजित किया जाता है। हालाँकि, प्रोडक्शन एनवायरनमेंट में, ये मॉडल्स अक्सर आक्रामक पोस्ट-ट्रेनिंग क्वांटाइजेशन (जैसे, 4-बिट वेट्स) के तहत तैनात किए जाते हैं ताकि कंज्यूमर हार्डवेयर की सीमाओं के भीतर फिट हो सकें। यह पेपर इस सेटिंग में एक महत्वपूर्ण विफलता मोड की पहचान करता है: क्वांटाइजेशन ऑनलाइन हैल्टिंग सिग्नल्स (halting signals) को विकृत कर देता है।

4-बिट इन्फरेंस के तहत, लॉजिट्स (logits) और हिडन स्टेट्स की ज्यामिति (geometry) बदल जाती है, जिससे मानक एडेप्टिव कंट्रोलर्स (जो फुल प्रिसिजन के लिए डिज़ाइन किए गए हैं) गलत कैलिब्रेट हो जाते हैं। विशेष रूप से, मॉडल कृत्रिम रूप से उच्च आत्मविश्वास या स्पष्ट ट्रेस स्थिरता प्रदर्शित कर सकता है, जबकि अंतर्निहित रीजनिंग अभी भी गलत होती है। इससे हानिकारक अर्ली हैल्टिंग (harmful early halting) होती है, जहाँ कंट्रोलर जनरेशन को समय से पहले रोक देता है, जिससे एक विश्वसनीय दिखने वाली अंतिम पंक्ति सामने आती है (अक्सर #### जैसे डेलीमिटर द्वारा ट्रिगर की गई) जबकि रीजनिंग ट्रेस अस्थिर होती है। इसके परिणामस्वरूप सटीकता में कमी और एडेप्टिव कंप्यूट का नुकसान होता है।

कार्यप्रणाली (Methodology): BitCal-TTS

लेखक BitCal-TTS का प्रस्ताव करते हैं, जो विशेष रूप से क्वांटाइज्ड कॉज़ल (causal) LMs के लिए डिज़ाइन किया गया एक हल्का, ट्रेनिंग-फ्री रनटाइम कंट्रोलर है। यह बेस मॉडल के वेट्स को संशोधित किए बिना, स्टैंडर्ड हगिंग फेस (Hugging Face) इन्फरेंस के चारों ओर एक "साइडकार" के रूप में कार्य करता है, जो लॉजिट्स और लास्ट-लेयर हिडन स्टेट्स तक पहुँचने के लिए फॉरवर्ड हुक्स (forward hooks) का उपयोग करता है।

यह विधि तीन मुख्य घटकों से बनी है:

अनिश्चितता और स्थिरता के लिए ऑनलाइन प्रॉक्सी (Online Proxies for Uncertainty and Stability):
कंट्रोलर हर $k$ टोकन्स के चंक के बाद स्केलर सिग्नल की गणना करता है:
- टोकन एंट्रॉपी ( $H_t$ ): आउटपुट डिस्ट्रीब्यूशन की शैनन एंट्रॉपी।
- रीजनिंग-ट्रेस स्टेबिलिटी ( $\tau^{tr}_t$ ): एक मीट्रिक जो लगातार टेक्स्ट चंक्स के भाग को मापता है जो समान (लिटरल रिपिटिशन) हैं, जो यह दर्शाता है कि मॉडल एक टेम्पलेट या उत्तर पर स्थिर हो गया है।
- हिडन-स्टेट स्टेबिलिटी ( $\tau^{hid}_t$ ): क्रमिक स्टेप्स के बीच नॉर्मलाइज्ड लास्ट-लेयर हिडन वेक्टर्स के बीच कोसाइन सिमिलरिटी।
बिट-कंडीशन्ड कॉन्फिडेंस रीस्केलिंग (Bit-Conditioned Confidence Rescaling):
रॉ कॉन्फिडेंस स्कोर एंट्रॉपी और स्टेबिलिटी प्रॉक्सी के भारित संयोजन (weighted combination) से प्राप्त किया जाता है। महत्वपूर्ण रूप से, इस स्कोर को एक बिट-विड्थ स्केलिंग फैक्टर $s(b)$ से गुणा किया जाता है:
- यदि $b \le 4$ (आक्रामक क्वांटाइजेशन), तो $s(b) = 0.85$ ।
- यदि $4 < b \le 8$ , तो $s(b) = 1.00$ ।
- यदि $b > 8$ , तो $s(b) = 1.05$ ।
  यह कंट्रोलर को कम प्रिसिजन पर कंजर्वेटिव (रूढ़िवादी) बनाता है, जिससे उच्च आत्मविश्वास घोषित करने और रुकने से पहले अधिक साक्ष्य की आवश्यकता होती है।
बिट-अवेयर पोस्ट-मार्कर कन्फर्मेशन होराइजन (Bit-Aware Post-Marker Confirmation Horizon):
यह पहचानते हुए कि GSM8K-शैली के आउटपुट एक #### डेलीमिटर का उपयोग करते हैं, कंट्रोलर इस डेलीमिटर के पहले दिखने को तत्काल स्टॉप सिग्नल के बजाय एक फेज चेंज के रूप में मानता है।
- एडेप्टिव बेसलाइन: डेलीमिटर के तुरंत बाद रुक जाता है (यदि अन्य शर्तें पूरी हों)।
- BitCal-TTS: डेलीमिटर के बाद $\Delta(b)$ टोकन्स का एक कन्फर्मेशन टेल (confirmation tail) लागू करता है। 4-बिट इन्फरेंस के लिए, $\Delta(4) = 32$ टोकन्स। मॉडल को टर्मिनेशन की अनुमति देने से पहले उत्तर की पुष्टि करने के लिए 32 अतिरिक्त टोकन जेनरेट करने होंगे। यह भंगुर लो-बिट फॉर्मेटिंग को समय से पहले स्टॉप ट्रिगर करने से रोकता है।

मुख्य योगदान (Key Contributions)

फॉर्मलाइजेशन ऑफ क्वांटाइज्ड एडेप्टिव हेलटिंग: पेपर आक्रामक क्वांटाइजेशन और एडेप्टिव स्टॉपिंग पॉलिसी के बीच के इंटरैक्शन को औपचारिक रूप देता है, यह उजागर करते हुए कि कैसे मानक सिग्नल अविश्वसनीय हो जाते हैं।
प्रिसिजन-अवेयर कंट्रोलर: BitCal-TTS का परिचय, जो बेस मॉडल के वेट्स को फाइन-ट्यून किए बिना बिट-विड्थ अवेयरनेस को कॉन्फिडेंस स्केलिंग और पोस्ट-डेलीमिटर कन्फर्मेशन लॉजिक दोनों में एकीकृत करता है।
मॉडल साइज का अनुभवजन्य विश्लेषण: अध्ययन Qwen2.5 Instruct मॉडल्स (3B, 7B, 14B) को 4-बिट इन्फरेंस के तहत मूल्यांकन करता है, यह पहचानते हुए कि जबकि यह विधि बड़े मॉडल्स में सुधार करती है, यह 3B मॉडल पर विफल रहती है क्योंकि सॉल्यूशन लेंथ डिस्ट्रीब्यूशन कंट्रोलर के न्यूनतम टोकन फ्लोर से अधिक है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छोटे इवैल्यूएशन शेर्ड्स ( $N=54$ के लिए 7B, $N=35$ के लिए 14B) पर हार्ड टोकन बजट ( $B=512$ ) के साथ Qwen2.5 मॉडल्स का उपयोग करके GSM8K पर विधि का मूल्यांकन किया।

सटीकता में वृद्धि (Accuracy Gains): BitCal-TTS ने नॉन-बिट-अवेयर एडेप्टिव बेसलाइन की तुलना में एक्सैक्ट-मैच एक्यूरेसी में +3.7 पॉइंट्स (7B) और +2.8 पॉइंट्स (14B) का सुधार किया।
समय से पहले रुकने (Premature Stops) में कमी: गलत उत्तरों में परिणत होने वाले अर्ली हॉल्ट्स की दर काफी कम हो गई:
- 7B: 14.8% से 11.1%।
- 14B: 17.1% से 11.4%।
दक्षता (Efficiency): अतिरिक्त कन्फर्मेशन टोकन्स के बावजूद, BitCal-TTS ने फिक्स्ड-बजट डिकोडिंग की तुलना में पर्याप्त टोकन बचत (7B के लिए 32.1%, 14B के लिए 40.8%) बनाए रखी।
3B मॉडल की विफलता: 3B मॉडल पर, दोनों एडेप्टिव वेरिएंट्स ~20% एक्यूरेसी तक गिर गए (60% फिक्स्ड डिकोडिंग के मुकाबले), क्योंकि विशिष्ट सॉल्यूशन लेंथ कंट्रोलर के न्यूनतम टोकन फ्लोर ( $m=128$ ) से अधिक थी, जिससे आंशिक रीजनिंग पर समय से पहले स्टॉप हो गया।

महत्व और दावे (Significance and Claims)

पेपर BitCal-TTS को एक नए क्वांटाइजेशन कर्नेल या ट्रेनिंग मेथड के बजाय एक रनटाइम पॉलिसी लेयर के रूप में प्रस्तुत करता है। इसका महत्व क्वांटाइज्ड मॉडल्स के लिए विश्वसनीय एडेप्टिव कंप्यूट को सक्षम करने में है, जो लागत-संवेदनशील डिप्लॉयमेंट में तेजी से बढ़ रहे हैं।

लेखक अपने सांख्यिकीय दावों के प्रति विनम्र हैं। वे स्पष्ट रूप से कहते हैं कि देखे गए एक्यूरेसी सुधार (2-4 प्रतिशत अंक) छोटे इवैल्यूएशन शेर्ड साइज के कारण सांख्यिकीय रूप से महत्वपूर्ण नहीं हैं (Wilson 95% कॉन्फिडेंस इंटरवल्स ओवरलैप होते हैं)। पेपर परिणामों को अंतिम परिमाण अनुमान के बजाय "एक वास्तविक प्रभाव का संकेत" के रूप में फ्रेम करता है। प्राथमिक योगदान विभिन्न मॉडल साइज और मेट्रिक्स में सुधार की एक सुसंगत दिशा दिखाना है, साथ ही उन विफलता मोड (विशेष रूप से 3B रिजीम) की स्पष्ट पहचान करना है जिनके लिए आगे ट्यूनिंग की आवश्यकता है।

कार्य यह निष्कर्ष निकालता है कि जबकि बिट-अवेयर कैलिब्रेशन, एडेप्टिव और फिक्स्ड डिकोडिंग के बीच के एक्यूरेसी गैप को रिकवर करने में मदद करता है, इसकी प्रभावशीलता बेस मॉडल की क्षमता पर निर्भर करती है कि वह टोकन बजट के भीतर स्थिर रीजनिंग ट्रेसेस जेनरेट कर सके। भविष्य के कार्य में फुल-टेस्ट-स्प्लिट पुनर्मूल्यांकन, कंपोनेंट-वाइज एब्लेशन और अन्य रीजनिंग बेंचमार्क पर विधि का विस्तार शामिल है।