💬 NLP

Self-Calibrating Language Models via Test-Time Discriminative Distillation

यह शोध पत्र SECL को प्रस्तुत करता है, जो एक नवीन टेस्ट-टाइम ट्रेनिंग फ्रेमवर्क है जो एक लैंग्वेज मॉडल के मौखिक रूप से व्यक्त आत्मविश्वास (verbalized confidence) और उसके आंतरिक विभेदक "True" टोकन संभाव्यता (internal discriminative "True" token probability) के बीच के अंतर का लाभ उठाकर एक लेबल-मुक्त स्व-पर्यवेक्षित संकेत (label-free self-supervisory signal) के रूप में उपयोग करता है ताकि इन्फरेंस के दौरान मॉडल को गतिशील रूप से कैलिब्रेट किया जा सके, जिससे बिना किसी लेबल वाले डेटा की आवश्यकता के या अत्यधिक लागत उठाए बिना कैलिब्रेशन त्रुटि को महत्वपूर्ण रूप से कम किया जा सके।

मूल लेखक: Mohamed Rissal Hedna, Jan Strich, Martin Semmann, Chris Biemann

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohamed Rissal Hedna, Jan Strich, Martin Semmann, Chris Biemann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Self-Calibrating Language Models via Test-Time Discriminative Distillation" (SECL) का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: अति-आत्मविश्वासी विशेषज्ञ (The Overconfident Expert)

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ा अहंकारी छात्र है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। यह छात्र अविश्वसनीय रूप से स्मार्ट है और लगभग किसी भी सवाल का जवाब दे सकता है। हालाँकि, इसमें एक घातक दोष है: यह खतरनाक रूप से अति-आत्मविश्वासी है।

यदि आप LLM से ऐसा सवाल पूछते हैं जिसका उत्तर उसे नहीं पता, तो भी वह कहेगा, "मुझे 99% यकीन है कि मैं सही हूँ!" जबकि वास्तव में वह गलत होगा। वास्तविक दुनिया में (जैसे अस्पतालों या कानून के क्षेत्र में), यह खतरनाक है। यदि किसी डॉक्टर का AI कहता है, "मुझे 100% यकीन है कि इस मरीज की हड्डी टूटी हुई है," लेकिन वास्तव में हड्डी ठीक है, तो मरीज को चोट पहुँच सकती है।

लंबे समय तक, इसे ठीक करने के लिए एक शिक्षक (मानवीय डेटा) की आवश्यकता होती थी जो छात्र के काम को ग्रेड दे सके और कह सके, "नहीं, तुम इसके बारे में केवल 60% ही निश्चित हो।" लेकिन वास्तविक दुनिया में, हमारे पास हर एक सवाल के लिए शिक्षक उपलब्ध नहीं होता है।

गुप्त सुपरपावर: "आंतरिक आवाज़" (The "Inner Voice")

शोधकर्ताओं ने LLMs के बारे में एक दिलचस्प बात खोजी है। जबकि उनका मुखर आत्मविश्वास (जो वे ज़ोर से कहते हैं) अक्सर गलत होता है, उनकी आंतरिक आवाज़ (एक छिपा हुआ कैलकुलेशन जो वे करते हैं) वास्तव में बहुत सटीक होती है।

इसे इस तरह सोचें:

मुखर LLM: "मुझे पूरा यकीन है कि यह फ्रांस की राजधानी है!" (गलत, वास्तव में यह बर्लिन है)।
आंतरिक LLM: जब पूछा जाता है, "क्या 'बर्लिन' सही उत्तर है?" तो मॉडल का आंतरिक गणित कहता है, "वास्तव में, इसकी सही होने की संभावना केवल 10% है।"

मॉडल जानता है कि वह गलत है, लेकिन वह इसे बोलकर नहीं बताता। जो वह जनरेट करता है (कहता है) और जो वह डिस्क्रिमिनेट करता है (जानता है), उसके बीच एक अंतर होता है।

समाधान: SECL (स्व-सुधार करने वाला छात्र)

लेखकों ने SECL (सेल्फ-कैलिब्रेटिंग लैंग्वेज मॉडल्स) नामक एक विधि बनाई है। एक मानव शिक्षक का इंतज़ार करने के बजाय, SECL मॉडल को अपनी ही "आंतरिक आवाज़" को सुनने और वास्तविक समय (real-time) में अपनी "मुखर आवाज़" को समायोजित करने की शिक्षा देता है।

यहाँ SECL कैसे काम करता है, एक शेफ की रसोई की उपमा के माध्यम से दिया गया है:

1. स्वाद परीक्षण (The Gap)

कल्पना कीजिए कि एक शेफ (LLM) एक नया व्यंजन बना रहा है।

मुखर शेफ: "यह सूप एकदम परफेक्ट है! मैं 100% आश्वस्त हूँ!"
स्वाद परीक्षण (The Gap): शेफ चुपके से सूप चखता है। स्वाद परीक्षण कहता है, "यह वास्तव में नमकीन है और इसे सुधारने की ज़रूरत है।"
समस्या: शेफ चिल्लाकर "परफेक्ट!" कहता रहता है, भले ही स्वाद परीक्षण कह रहा हो कि "इसे सुधारो।"

2. प्रशिक्षण का "झोंका" (Test-Time Training)

आमतौर पर, शेफ रेस्टोरेंट खोलने से पहले सालों तक प्रशिक्षण लेते हैं। SECL अलग है। यह रेस्टोरेंट खुला होने के दौरान (टेस्ट-टाइम पर) प्रशिक्षण देता है।

जब शेफ को किसी नए प्रकार के ग्राहक (एक नया विषय या डेटा वितरण) का सामना करना पड़ता है, तो SECL एक त्वरित "कैलिब्रेशन बर्स्ट" (calibration burst) शुरू करता है।
यह शेफ से पूछता है: "तुमने कहा कि यह 100% परफेक्ट है, लेकिन तुम्हारा स्वाद परीक्षण कहता है कि यह केवल 40% अच्छा है। चलो तुम्हारे आत्मविश्वास के डायल को 40% तक कम करते हैं।"
शेफ अपने मस्तिष्क में एक छोटा सा समायोजन करता है ( LoRA तकनीक का उपयोग करके, जो शेफ की वर्दी में एक छोटे, हटाने योग्य एप्रन की तरह है) ताकि वह इस सबक को याद रख सके।

3. एंट्रॉपी गेट (The Smart Doorbell)

आप नहीं चाहेंगे कि हर बार जब कोई ग्राहक आए तो आप शेफ को प्रशिक्षित करने के लिए रसोई रोक दें। इससे काम बहुत धीमा हो जाएगा।

SECL एक स्मार्ट डोरबेल (एंट्रॉपी गेटिंग) का उपयोग करता है।
यदि सभी ग्राहक "इटालियन खाना" (एक ही विषय) मांग रहे हैं, तो डोरबेल शांत रहती है। शेफ सामान्य रूप से खाना बनाना जारी रखता है।
लेकिन यदि कोई ग्राहक आता है और "सुशी" (एक बिल्कुल नया विषय) मांगता है, तो डोरबेल बजती है! शेफ रुकता है, नए व्यंजन का स्वाद लेता है, और अपने आत्मविश्वास के डायल को एडजस्ट करता है।
यह बहुत अधिक ऊर्जा और समय बचाता है।

यह गेम-चेंजर क्यों है?

अति-आत्मविश्वास को ठीक करने के पिछले तरीके ऐसे थे:

सैंपलिंग (Sampling): शेफ से सूप को 20 बार बनाने के लिए कहना ताकि देखा जा सके कि क्या इसका स्वाद एक जैसा रहता है। (बहुत धीमा और महंगा)।
स्टैटिक प्रोबिंग (Static Probing): रसोई का साल में एक बार निरीक्षण करने के लिए एक सलाहकार को नियुक्त करना। (जब मेनू बदल जाता है, तो यह बेकार है)।
सुपरवाइज्ड लर्निंग (Supervised Learning): हर एक व्यंजन का स्वाद लेने के लिए एक इंसान को नियुक्त करना। (यह बहुत महंगा है और इसके लिए मानवीय डेटा की आवश्यकता होती है)।

SECL अलग है क्योंकि:

यह मुफ्त है: यह शिक्षक के रूप में मॉडल की अपनी "आंतरिक आवाज़" का उपयोग करता है। किसी इंसान की ज़रूरत नहीं है।
यह तेज़ है: यह केवल तभी प्रशिक्षण देता है जब आवश्यक हो (जब विषय बदलता है), जिससे यह अन्य तरीकों की तुलना में बहुत सस्ता हो जाता है।
यह काम करता है: प्रयोगों में, SECL ने "ओवरकॉन्फिडेंस एरर" को 56% से 78% तक कम कर दिया। मॉडल इस बारे में बहुत अधिक ईमानदार हो गया कि वह क्या जानता है और क्या नहीं।

कमी (सीमाएँ)

पेपर एक बड़ा नियम स्वीकार करता है: आप किसी छात्र को ईमानदार होने के लिए तभी सिखा सकते हैं जब वे वास्तव में सच्चाई को जानते हों।
यदि मॉडल की "आंतरिक आवाज़" भी भ्रमित या गलत है, तो SECL इसे ठीक नहीं कर सकता। लेकिन अधिकांश आधुनिक AI मॉडल्स के लिए, यह आंतरिक आवाज़ आश्चर्यजनक रूप से सटीक होती है, जो SECL को बिना किसी मानव पर्यवेक्षक के AI को सुरक्षित और विश्वसनीय बनाने के लिए एक शक्तिशाली उपकरण बनाती है।

सारांश

SECL एक सेल्फ-ड्राइविंग कार की तरह है जो लगातार अपने आंतरिक मानचित्र (internal map) के विरुद्ध अपने जीपीएस (GPS) की जाँच करती रहती है। यदि जीपीएस कहता है "बाएँ मुड़ें" लेकिन आंतरिक मानचित्र कहता है "यह एक बंद रास्ता है," तो कार यात्री को "मुझे इस मोड़ के बारे में यकीन नहीं है" बताने से पहले, चुपचाप अपने आत्मविश्वास को समायोजित कर लेती है, बजाय इसके कि वह आत्मविश्वास के साथ दीवार में गाड़ी चला दे। यह AI को स्मार्ट, सुरक्षित और अधिक ईमानदार बनाता है, और यह सब काम करते समय ही होता है।

यहाँ शोध पत्र "Self-Calibrating Language Models via Test-Time Discriminative Distillation" (SECL) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) व्यवस्थित अति-आत्मविश्वास (systematic overconfidence) से ग्रस्त होते हैं, जो अक्सर गलत उत्तरों पर भी उच्च निश्चितता व्यक्त करते हैं। यह समस्या ह्यूमन फीडबैक से सुदृढीकरण (RLHF) जैसी अलाइनमेंट प्रक्रियाओं के कारण और बढ़ जाती है, जो तथ्यात्मक सत्यता के बजाय मानवीय प्राथमिकताओं के साथ सहमति को प्राथमिकता देती हैं।

मौजूदा कैलिब्रेशन विधियों को तीन प्रमुख सीमाओं का सामना करना पड़ता है:

सैंपलिंग-आधारित विधियाँ (जैसे Self-CheckGPT, Semantic Entropy) गणनात्मक रूप से महंगी हैं और तब विफल हो जाती हैं जब मॉडल सुसंगत मतिभ्रम (hallucinations) उत्पन्न करते हैं।
स्टैटिक प्रोबिंग विधियाँ (जैसे आंतरिक एम्बेडिंग्स का विश्लेषण) वितरण बदलाव (distribution shifts) के तहत काफी खराब प्रदर्शन करती हैं (जब टेस्ट डेटा ट्रेनिंग डेटा से भिन्न होता है)।
ट्रेनिंग-आधारित विधियाँ अक्सर लेबल वाले वैलिडेशन डेटा की आवश्यकता होती हैं या आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) प्रदर्शन में गिरावट आती है।

एक ऐसी कैलिब्रेशन विधि की महत्वपूर्ण आवश्यकता है जो लेबल-मुक्त (label-free) हो, टेस्ट टाइम पर डिस्ट्रीब्यूशन शिफ्ट के अनुकूल हो, और जिसमें इन्फरेंस लागत कम हो।

2. मुख्य अंतर्दृष्टि: जनरेशन-डिस्क्रिमिनेशन गैप (The Generation-Discrimination Gap)

लेखक एक सैद्धांतिक और अनुभवजन्य अवलोकन का लाभ उठाते हैं: LLMs के पास एक डिस्क्रिमिनेटिव सिग्नल (discriminative signal) होता है जो उनके जेनरेटिव सिग्नल (generative signal) की तुलना में बेहतर कैलिब्रेटेड होता है।

जेनरेटिव सिग्नल (Generative Signal): मॉडल का मौखिक आत्मविश्वास (जैसे, "मुझे 90% यकीन है")।
डिस्क्रिमिनेटिव सिग्नल (Discriminative Signal): जब मॉडल से पूछा जाता है, "क्या यह उत्तर सही है?", तो "True" टोकन की प्रायिकता ( $P(\text{True})$ )।
गैप (The Gap): सैद्धांतिक कार्य (Kalai et al., 2025) सुझाव देता है कि जेनरेटिव त्रुटि, डिस्क्रिमिनेटिव त्रुटि के लगभग दोगुने से कम नहीं होती है। सहज रूप से, एक मॉडल सही उत्तर उत्पन्न करने में विफल हो सकता है, लेकिन वह अभी भी विश्वसनीय रूप से पहचान सकता है कि एक विशिष्ट उत्तर गलत है।

3. कार्यप्रणाली: SECL (Self-Calibrating Language Models)

SECL एक टेस्ट-टाइम ट्रेनिंग (TTT) पाइपलाइन है जो हल्के पैरामीटर अपडेट का उपयोग करके मॉडल के जेनरेटिव कॉन्फिडेंस में बेहतर-कैलिब्रेटेड डिस्क्रिमिनेटिव सिग्नल को डिस्टिल (distill) करती है। यह बिना लेबल वाले डेटा के संचालित होती है।

मुख्य घटक:

एडेप्टिव एंट्रॉपी गेटिंग (Adaptive Entropy Gating):
- अनावश्यक गणना से बचने के लिए, SECL हर प्रश्न पर मॉडल को अपडेट नहीं करती है।
- यह एक्सपोनेंशियल मूविंग एवरेज (EMA) और पेज-हिंकले चेंज डिटेक्शन टेस्ट (Page-Hinkley change detection test) का उपयोग करके मॉडल के आउटपुट टोकन डिस्ट्रीब्यूशन की एंट्रॉपी की निगरानी करती है।
- अनुकूलन (Adaptation) केवल तभी ट्रिगर होता है जब डिस्ट्रीब्यूशन शिफ्ट का पता चलता है (जैसे, गणित के प्रश्नों से मेडिकल प्रश्नों की ओर जाना)।
- एक बार ट्रिगर होने के बाद, $B=50$ लगातार प्रश्नों का एक "कैलिब्रेशन बर्स्ट" प्रोसेस किया जाता है।
सेल्फ-सुपरविजन के रूप में नॉर्मलाइज्ड $P(\text{True})$ :
- रॉ $P(\text{True})$ "सजेस्टिबिलिटी बायस" (suggestibility bias) से ग्रस्त होता है (मॉडल किसी भी प्रस्तुत उत्तर की पुष्टि करने की प्रवृत्ति रखता है)।
- नॉर्मलाइजेशन (Normalization): इसे ठीक करने के लिए, SECL मॉडल को $K=4$ डिस्ट्रैक्टर उत्तरों (जनरेट किए गए विकल्प या मल्टीपल-चॉइस विकल्प) के विरुद्ध चलाकर एक सापेक्ष कॉन्फिडेंस स्कोर की गणना करती है।
- टारगेट सिग्नल सही उत्तर और डिस्ट्रैक्टर्स पर सॉफ्टमैक्स (softmax) है:
  $\text{NormPTrue}(a) = \frac{e^{P(\text{True})/ \tau}}{e^{P(\text{True})/ \tau} + \sum e^{P(\text{True})_{distractor}/ \tau}}$
- यह नॉर्मलाइज्ड सिग्नल "स्यूडो-लेबल" के रूप में कार्य करता है।
LoRA के माध्यम से टेस्ट-टाइम कैलिब्रेशन:
- आर्किटेक्चर: लो-रैंक एडैप्टेशन (LoRA) को इंटरमीडिएट-टू-लेट ट्रांसफार्मर लेयर्स के क्वेरी और वैल्यू प्रोजेक्शन मैट्रिसेस पर लागू किया जाता है (जहाँ कैलिब्रेशन रिप्रेजेंटेशन केंद्रित होते हैं)।
- ट्रेनिंग ऑब्जेक्टिव: मॉडल अपने मौखिक आत्मविश्वास और एक डायरेक्शनल टारगेट (directional target) के बीच मीन स्क्वेर्ड एरर (MSE) को कम करता है।
- डायरेक्शनल टारगेट: शोर वाले डिस्क्रिमिनेटिव सिग्नल की ओर सीधे कूदने के बजाय, टारगेट एक क्लिप्ड स्टेप (clipped step) है:
  $\hat{c}_i = c_i + \alpha_{step} \cdot \text{clip}(c^*_i - c_i, -\delta, \delta)$
  यह कैटास्ट्रोफिक फॉरगेटिंग और शोर वाले टारगेट के ओवरफिटिंग को रोकता है।
- बिन-गेट फ़िल्टर (Bin-Gate Filter): यदि मॉडल का वर्तमान कॉन्फिडेंस बिन और टारगेट बिन $\le 1$ के अंतर पर है, तो अपडेट को छोड़ दिया जाता है, जिससे शोर कम होता है।

4. मुख्य योगदान

कैलिब्रेशन के लिए पहला TTT: SECL कैलिब्रेशन को विशेष रूप से सुधारने के लिए टेस्ट-टाइम ट्रेनिंग लागू करने वाला पहला तरीका है, जो लेबल-मुक्त सुपरविजन सिग्नल के रूप में जनरेशन-डिस्क्रिमिनेशन गैप का उपयोग करता है।
दक्षता (Efficiency): यह केवल डिस्ट्रीब्यूशन शिफ्ट पर अनुकूलित होता है (डेटा स्ट्रीम के 6–26% पर ट्रेनिंग करता है) और यह उस सुपरविजन सिग्नल से सस्ता है जिसे यह डिस्टिल करता है (जिसके लिए कई फॉरवर्ड पास की आवश्यकता होती है)।
सामान्यीकरण (Generalization): अनुकूलित मॉडल अपने स्वयं के सुपरविजन सिग्नल ( $P(\text{True})$ Norm) से बेहतर प्रदर्शन करता है, जो यह सिद्ध करता है कि यह केवल सिग्नल को याद नहीं करता बल्कि कैलिब्रेशन लॉजिक को आत्मसात करता है।
मजबूती (Robustness): व्यापक एब्लेशन अध्ययन (7 घटक) पुष्टि करते हैं कि पाइपलाइन का प्रत्येक हिस्सा (गेटिंग, नॉर्मलाइजेशन, वेट एक्यूमुलेशन, लॉस डिज़ाइन) आवश्यक है।

5. प्रयोगात्मक परिणाम

लेखकों ने चार विविध डोमेन (GSM8K, MMLU, ARC-Challenge, TruthfulQA) में चार छोटे लैंग्वेज मॉडल्स (Llama 3.2-3B, Llama 3.1-8B, Gemma 2-2B, Phi 3.5-Mini) पर SECL का मूल्यांकन किया।

कैलिब्रेशन में सुधार: SECL ने वर्बलाइज्ड बेसलाइन की तुलना में एक्सपेक्टेड कैलिब्रेशन एरर (ECE) को 56% से 78% तक कम कर दिया।
- उदाहरण: Llama 3.2-3B का ECE 0.170 से घटकर 0.050 हो गया।
लागत दक्षता: SECL, $P(\text{True})$ Norm बेसलाइन (जिसके लिए प्रति प्रश्न 6 फॉरवर्ड पास की आवश्यकता होती है) की तुलना में कम ECE प्राप्त करता है, जबकि इसकी लागत काफी कम (औसत 1.8–4.6 फॉरवर्ड पास) है। यह लागत और कैलिब्रेशन दोनों में स्टैटिक इन्फरेंस-टाइम मेथड DINCO से बेहतर प्रदर्शन करता है, विशेष रूप से Gemma पर जहाँ DINCO विफल रहा था।
सटीकता का संरक्षण (Accuracy Preservation): टास्क सटीकता बेसलाइन के भीतर (1% के भीतर) स्थिर रही, unlike RL-आधारित विधियों के जो अक्सर प्रदर्शन को कम कर देती हैं।
सुपरवाइज्ड विधियों के साथ तुलना: हालांकि सुपरवाइज्ड पोस्ट-हॉक कैलिब्रेशन (तापमान/प्लैट स्केलिंग) कम ECE प्राप्त कर सकता है, लेकिन यह अक्सर कॉन्फिडेंस रेंज को संकुचित कर देता है (भविhetenों को एक संकीर्ण बैंड में कोलैप्स कर देता है) और इसके लिए ग्राउंड-ट्रुथ लेबल की आवश्यकता होती है। SECL बिना लेबल के एक विस्तृत कॉन्फिडेंस रेंज को बनाए रखता है।

6. महत्व और सीमाएं

महत्व:

व्यावहारिक तैनाती: SECL उन उच्च-जोखिम वाले क्षेत्रों (जैसे स्वास्थ्य सेवा) में कैलिब्रेटेड LLMs को तैनात करने की बाधा को कम करता है जहाँ लेबल वाले वैलिडेशन डेटा की कमी है या महंगे हैं।
सैद्धांतिक अंतर्दृष्टि: यह इस विचार को मान्य करता है कि मॉडल क्या जानता है (डिस्क्रिमिनेशन) और वह क्या कहता है (जेनरेशन) के बीच का "गैप" विश्वसनीयता सुधारने के लिए एक संसाधन है।
स्केलेबिलिटी: यह विधि निरंतर तैनाती के लिए कम्प्यूटेशनल रूप से व्यवहार्य है, जो डेटा वितरण में बदलाव के साथ गतिशील रूप से अनुकूलित होती है।

सीमाएं:

सिग्नल निर्भरता: SECL का प्रदर्शन $P(\text{True})$ सिग्नल की गुणवत्ता द्वारा सीमित है। यदि मॉडल में जनरेशन-डिस्क्रिमिनेशन गैप की कमी है (जैसे Qwen 2.5-3B में कोई गैप नहीं दिखा), तो SECL कैलिब्रेशन में सुधार नहीं कर सकता।
ट्रेड-ऑफ: कुछ मामलों में (जैसे Phi मॉडल), कैलिब्रेशन (ECE) में सुधार करने से डिस्क्रिमिनेशन (AUROC) थोड़ा कम हो गया, हालांकि समग्र ब्रायर स्कोर (Brier score) में सुधार हुआ।
हाइपरपैरामीटर संवेदनशीलता: बर्स्ट साइज ( $B$ ) महत्वपूर्ण है; बहुत छोटा बर्स्ट पर्याप्त सिग्नल एकत्र करने में विफल रहता है।

निष्कर्ष

SECL कैलिब्रेटेड LLMs के लिए एक अभिनव, कुशल और लेबल-मुक्त दृष्टिकोण प्रस्तुत करता है। मॉडल की अपनी शुद्धता को आंकने की अंतर्निहित क्षमता का लाभ उठाकर—जो कि उत्तर उत्पन्न करने की क्षमता से बेहतर है—और टेस्ट-टाइम ट्रेनिंग के माध्यम से केवल आवश्यकतानुसार अनुकूलित होकर, SECL कार्य सटीकता बनाए रखते हुए ओवरकॉन्फिडेंस को काफी कम करता है और कम्प्यूटेशनल दक्षता भी प्रदान करता है।