💻 computer science

Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

यह शोध पत्र रिपोर्ट करता है कि जहाँ Gemma 3 4B पर लेबल-एन्ट्रॉपी कोलैप्स (label-entropy collapse) के कारण सेल्फ-कंसिस्टेंसी (self-consistency) को वर्बल कॉन्फिडेंस (verbal confidence) में डिस्टिल करने का एक प्री-रजिस्टर्ड प्रयास विफल रहा, वहीं एक बाद के पोस्ट-हॉक रेस्क्यू ट्रेनिंग (post-hoc rescue training) ने अनफिल्टर्ड डेटा पर उच्च-सटीकता वाले सेल्फ-कंसिस्टेंसी सिग्नल्स को एक सिंगल-पास रीडआउट (single-pass readout) में सफलतापूर्वक संकुचित किया, जिसका AUROC2 0.774 था, जो यह प्रदर्शित करता है कि प्रभावी कॉन्फिडेंस कैलिब्रेशन के लिए लेबल एन्ट्रॉपी को बनाए रखना महत्वपूर्ण है।

मूल लेखक: Jon-Paul Cacioli

प्रकाशित 2026-04-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jon-Paul Cacioli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: अति-आत्मविश्वासी रोबोट

कल्पना कीजिए कि आपके पास एक स्मार्ट रोबोट सहायक (एक AI मॉडल) है जो सामान्य ज्ञान के सवालों के जवाब देता है। आप उससे पूछते हैं, "पेरू की राजधानी क्या है?" और वह कहता है, "लिमा।" फिर आप पूछते हैं, "तुम कितने यकीन के साथ कह रहे हो?"

यह शोध पत्र जिस समस्या का समाधान करता है, वह यह है कि यह रोबोट अपने आत्मविश्वास को आंकने में बहुत बुरा है। जब वह पूरी तरह से अनुमान लगा रहा होता है, तब भी वह कहता है, "मैं 99% यकीन से कह रहा हूँ!" यह उस छात्र की तरह है जो परीक्षा में तुक्का मारता है लेकिन हर उत्तर के बगल में "100% निश्चित" लिख देता है, चाहे उसका उत्तर सही हो या गलत।

शोधकर्ता इसे "डिजेनरेट वर्बल चैनल" (degenerate verbal channel) कहते हैं। रोबोट वास्तव में जानता है कि वह कब अनुमान लगा रहा है (उसके पास आंतरिक संकेत होते हैं), लेकिन वह ज़ोर देकर इसे स्वीकार करने से इनकार कर देता है। वह बस बिना सोचे-समझे "99%" जैसा आत्मविश्वासी आउटपुट देता है।

प्रयोग: रोबोट को ईमानदार बनाना सिखाना

शोधकर्ता इसे ठीक करना चाहते थे। उन्होंने रोबोट को यह सिखाने की कोशिश की कि जब वह अनिश्चित हो, तो उसे "मुझे यकीन नहीं है" कहना चाहिए।

सेटअप:

शिक्षक: उन्होंने "सेल्फ-कंसिस्टेंसी" (self-consistency) पद्धति का उपयोग किया। इसका मतलब है कि उन्होंने रोबंड से एक ही सवाल 10 बार पूछा।
- यदि रोबोट ने 10 में से 10 बार सही उत्तर दिया, तो शिक्षक ने कहा, "यह एक आसान (Easy) सवाल है। तुम्हें कहना चाहिए कि तुम 95% यकीन से कह रहे हो।"
- यदि रोबोट 10 में से 10 बार गलत हुआ, तो शिक्षक ने कहा, "यह एक कठिन (Hard) सवाल है। तुम्हें कहना चाहिए कि तुम 5% यकीन से कह रहे हो।"
- यदि परिणाम मिला-जुला था (जैसे, 5 सही, 5 गलत), तो शिक्षक ने कहा, "तुम 50% यकीन से कह रहे हो।"
लक्ष्य: रोबोट को प्रशिक्षित करना ताकि वह किसी सवाल को देखे और तुरंत सही आत्मविश्वास स्तर (5% या 95%) बता सके, बिना खुद से 10 बार पूछे।

पहला प्रयास: "परफेक्ट स्टूडेंट" का जाल (एक नकारात्मक परिणाम)

शोधकर्ता एक सख्त नियम (एक "मोडल फ़िल्टर") के साथ शुरू हुए। उन्होंने तय किया कि वे केवल उन्हीं उदाहरणों को दिखाएंगे जहाँ रोबोट ज़्यादातर सही होता है। उन्होंने सोचा, "हम रोबोट को गलत होने के बारे में क्यों सिखाएं? चलिए इसे केवल तभी सिखाते हैं जब यह अच्छा प्रदर्शन कर रहा हो।"

क्या हुआ?
रोबोट पूरी तरह विफल रहा। वह हर चीज़ के लिए "95% यकीन" कहता रहा।
क्यों?
इसे एक संगीत शिक्षक की तरह समझें जो छात्र को केवल वही गाने अभ्यास करने देता है जिन्हें वह पहले से ही पूरी तरह जानता है। छात्र कभी भी एक कठिन गाना कैसे संभालना है, यह नहीं सीख पाता।
प्रशिक्षण डेटा में, लगभग हर सवाल एक "आसान" सवाल था (जहाँ रोबोट 100% सही था)। रोबोट ने एक सरल ट्रिक सीख ली: "अगर मैं कोई सवाल देखता हूँ, तो बस 95% कह दो।" उसने कभी यह नहीं सीखा कि "कम आत्मविश्वास" कैसा महसूस होता है क्योंकि उसे कभी अनिश्चित होने के उदाहरण नहीं दिखाए गए। शोधकर्ताओं ने इसे "लेबल-एन्ट्रॉपी कोलैप्स" (Label-Entropy Collapse) कहा। डेटा में विविधता नहीं थी, इसलिए रोबोट के पास सीखने के लिए कुछ भी नहीं था।

बचाव: रोबोट को असलियत देखने देना (एक सकारात्मक परिणाम)

शोधकर्ता को अपनी गलती का एहसास हुआ। वे वापस गए और कहा, "ठीक है, चलिए रोबोट को सब कुछ दिखाते हैं, जिसमें वे सवाल भी शामिल हैं जिनमें वह गलत हुआ था।"

उन्होंने सख्त फ़िल्टर हटा दिया और रोबotong को सभी 2,000 सवालों पर प्रशिक्षित किया, जिनमें वे सवाल भी शामिल थे जहाँ रोबोट भ्रमित था (10 में से 0 या 1 बार सही होना)।

परिणाम:
अचानक, रोबोट ने सीख लिया!

पहले: वह हर चीज़ के लिए "95% यकीन" कहता था।
बाद में: वह अब अनुमान लगाते समय "5% यकीन" और जब उसे उत्तर पता होता था, तो "95% यकीन" कहने लगा।
जादू: अब वह अपने आत्मविश्वास के स्तर को सुनकर ही सही और गलत उत्तर के बीच अंतर कर सकता था। यह लगभग वैसा ही था जैसे उसने खुद से 10 बार सवाल पूछा हो, लेकिन उसने यह काम केवल एक बार में कर लिया।

साइड इफेक्ट: रोबोट और भी स्मार्ट हो गया (और संक्षिप्त हो गया)

एक आश्चर्यजनक बोनस भी मिला। जब रोबोट ने अपने आत्मविश्वास के बारे में ईमानदार होना सीखा, तो वह एक अलग टेस्ट (MMLU) पर भी बेहतर उत्तर देने लगा।

क्यों? शोधकर्ताओं ने देखा कि रोबोट के बोलने के तरीके में बदलाव आया।
- पहले: रोबोट लंबे, भ्रमित करने वाले स्पष्टीकरण के साथ बड़बड़ाता रहता था।
- बाद में: रोबोट सीधे और संक्षिप्त उत्तर देने लगा (जैसे, "c. उत्तर X है। विश्वास: 95%")।
उपमा: यह उस छात्र की तरह है जिसे जब यह बताया जाता है कि वह अपने ज्ञान के बारे में ईमानदार रहे, तो वह एक लंबा, भ्रामक निबंध लिखकर "दिखावा" करने के बजाय सीधा उत्तर देने लगता है। ईमानदारी ने रोबicity को मजबूर किया कि वह अधिक संक्षिप्त हो जाए, जिससे अनजाने में उसे अधिक प्रश्न सही करने में मदद मिली।

कमी (सीमाएँ)

यह शोध पत्र इस बारे में भी बहुत ईमानदार है कि इसने क्या नहीं किया:

यह बाइनरी (द्वि-स्तरीय) है: रोबोट ने "5%" या "95%" कहना सीखा। उसने "72%" कहना नहीं सीखा। यह एक डिमर स्विच (dimmer switch) के बजाय एक लाइट स्विच (On/Off) की तरह है।
यह एक बचाव मिशन है: सफलता तब हुई जब शोधकर्ता को एहसास हुआ कि उनकी पहली योजना त्रुटिपूर्ण थी। यह सुनिश्चित करने के लिए कि यह हर बार काम करता है, इसे फिर से परीक्षण करने की आवश्यकता है।
सटीकता में गिरावट: प्रशिक्षण के लिए उपयोग किए गए विशिष्ट परीक्षण पर, रोबोट वास्तव में सही उत्तर देने में थोड़ा बदतर हो गया, भले ही वह अपने आत्मविश्वास को आंकने में बेहतर हो गया था। उसने ईमानदारी के लिए थोड़ी सटीकता का त्याग किया।

दो बड़े सबक

शोध पत्र निष्कर्ष निकालता है कि AI को ईमानदार बनाने की कोशिश करने वालों के लिए दो मुख्य बातें हैं:

आपको रोबोट को यह दिखाना चाहिए कि वह कब गलत है। यदि आप इसे केवल "आसान" उदाहरणों पर प्रशिक्षित करते हैं जहाँ यह आत्मविश्वासी है, तो यह कभी भी "मुझे नहीं पता" कहना नहीं सीख पाएगा।
ईमानदारी शैली को बदल देती है। रोबोट को अपना आत्मविश्वास सही ढंग से रिपोर्ट करना सिखाने से ऐसा लगता है कि वह बड़बड़ाना बंद कर देता है और अधिक साफ, उपयोगी उत्तर देने लगता है।

संक्षेप में, शोधकर्ता ने एक रोबोट को यह सिखाने की कोशिश की कि वह कब अनुमान लगा रहा है, यह स्वीकार करे। पहला प्रयास विफल रहा क्योंकि उन्होंने कठिन सवालों को छिपा दिया था। दूसरा प्रयास सफल रहा, जिसने रोबोट को एक "बाइनरी" सत्यवादी बनाया जो पहले की तुलना में अपनी गलतियों को पहचानने में बहुत बेहतर है।

यहाँ शोध पत्र "Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से 3–9B पैरामीटर रेंज वाले मॉडल, "डिजेनरेट वर्बल कॉन्फिडेंस" (degenerate verbal confidence) की समस्या प्रदर्शित करते हैं। जब उनसे प्रतिशत के रूप में अपना आत्मविश्वास बताने के लिए कहा जाता है, तो ये मॉडल उत्तर सही होने या गलत होने के बावजूद लगातार अधिकतम आत्मविश्वास (सीलिंग रेट >90%) रिपोर्ट करते हैं।

अंतराल (The Gap): जबकि आंतरिक प्रतिनिधित्व (हिडन स्टेट्स) और सिंगल-पास लॉजिट एंट्रॉपी (logit entropy) में शुद्धता के बारे में महत्वपूर्ण जानकारी होती है (AUROC2 ~0.6–0.8), वर्बल चैनल इस जानकारी को प्रसारित करने में विफल रहता है (AUROC2 ~0.5, जो लगभग संयोग/चांस के बराबर है)।
लक्ष्य: यह अध्ययन यह जांचने के लिए है कि क्या कॉन्फिडेंस-कंडीशन्ड सुपरवाइज्ड फाइन-ट्यूनिंग (CSFT), मल्टी-सैंपल सेल्फ-कंसिस्टेंसी (एक मजबूत लेकिन कम्प्यूटेशनल रूप से महंगी विधि) से जानकारी को एक विश्वसनीय, सिंगल-पास वर्बल कॉन्फिडेंस सिग्नल में डिस्टिल (distill) कर सकती है।

2. कार्यप्रणाली (Methodology)

इस अध्ययन में Gemma 3 4B-it का उपयोग किया गया और CMM प्रोग्राम (टाइप-2 सिग्नल डिटेक्शन थ्योरी) पर आधारित एक कठोर साइकोमेट्रिक मूल्यांकन पाइपलाइन का पालन किया गया।

प्रयोगात्मक डिजाइन (Experimental Design)

डेटा: TriviaQA (कैलिब्रेशन/ट्रेनिंग और होल्ड-आउट इवैल्यूएशन के लिए) और MMLU (क्रॉस-बेंचमार्क ट्रांसफर के लिए) से लिए गए आइटम।
टारगेट व्युत्पत्ति (Target Derivation): प्रत्येक ट्रेनिंग आइटम के लिए, तापमान $T=0.7$ पर 10 सैंपल जेनरेट किए गए। सही नमूनों की संख्या ( $n_{correct}$ ) को एक कॉन्फिडेंस टारगेट से मैप किया गया (जैसे, $n_{correct}=10 \rightarrow 95\%$ , $n_{correct}=0 \rightarrow 5\%$ )।
ट्रेनिंग: चैट प्रॉम्प्ट पर LoRA फाइन-ट्यूनिंग (रैंक 16), जिसमें मॉडल को उत्तर के बाद व्युत्पन्न कॉन्फिडेंस प्रतिशत आउटपुट करने के लिए प्रशिक्षित किया गया।
नियंत्रण (Controls): एक शफल-टारगेट कंट्रोल (shuffled-target control) को समान आर्किटेक्चर के साथ प्रशिक्षित किया गया, लेकिन इसमें कॉन्फिडेंस लेबल्स को रैंडमली परम्यूट किया गया था ताकि यह अंतर किया जा सके कि मॉडल फॉर्मेट सीख रहा है या सिग्नल।

दो चरण (Two Phases)

प्री-रजिस्टर्ड प्रोटोकॉल (चरण 0): इसमें एक मोडल फिल्टर (modal filter) शामिल था, जिसने ट्रेनिंग डेटा को उन आइटम्स तक सीमित कर दिया जहाँ 10 सैंपल्स में सबसे अधिक बार आने वाला उत्तर सही था।
पोस्ट-हॉक रेस्क्यू (Post-Hoc Rescue): मोडल फिल्टर को हटा दिया गया, जिससे मॉडल को सभी 2,000 कैलिब्रेशन आइटम्स पर प्रशिक्षित करने की अनुमति मिली, जिसमें गलत मोडल उत्तर वाले आइटम्स (बाइमोडल डिस्ट्रीब्यूशन) भी शामिल थे।

3. मुख्य परिणाम (Key Results)

A. प्री-रजिस्टर्ड परिणाम (नकारात्मक)

परिणाम: प्रोटोकॉल विफल रहा।
मेट्रिक्स: वर्बल AUROC2 0.554 (बेसलाइन) से गिरकर 0.509 हो गया। सटीकता (Accuracy) में 7.6% की गिरावट आई। वैलिडिटी रेटिंग स्केल (VRS) "इनवैलिड" (Invalid) रहा।
निदान: लेबल-एंट्रॉपी कोलैप्स (Label-Entropy Collapse)। मोडल फिल्टर ने उन सभी आइटम्स को हटा दिया जहाँ मॉडल अनिश्चित था या गलत था ( $n_{correct} < 10$ )। इसके परिणामस्वरूप ट्रेनिंग सेट में लगभग समान उच्च-आत्मविश्वास वाले लक्ष्य (ज्यादातर 95%) थे। मॉडल ने इनपुट को अनदेखा करना और मोड (95%) आउटपुट करना सीख लिया, जिससे वह यह व्यक्त करने में विफल रहा कि कब कम आत्मविश्वास दिखाना है।

B. पोस्ट-हॉक रेस्क्यू (एक्सप्लोरेटरी पॉजिटिव)

मोडल फिल्टर को हटाने से ट्रेनिंग सेट में एक बाइमोडल डिस्ट्रीब्यूशन शामिल हुआ: 48.2% आइटम्स में $n_{correct}=10$ (टारगेट 95%) था और 36.5% आइटम्स में $n_{correct}=0$ (टारगेट 5%) था।

TriviaQA प्रदर्शन:
- AUROC2: 0.554 (बेसलाइन) से काफी सुधरकर 0.774 हो गया।
- सीलिंग रेट (Ceiling Rate): 97.7% से गिरकर 49.8% हो गया, जो दर्शाता है कि मॉडल ने अपने आत्मविश्वास को बदलना सीख लिया है।
- सिग्नल की प्रकृति: मॉडल ने एक बाइनरी डिस्क्रिमिनेटर (binary discriminator) सीखा (5% या 95% आउटपुट करना) न कि निरंतर कैलिब्रेशन। इसने सफलतापूर्वक 10-सैंपल सेल्फ-कंसिस्टेंसी सिग्नल (AUROC2 = 0.999) को सिंगल-पास वर्डल रीडआउट में संकुचित किया, और ~77.5% डिस्क्रिमिनेशन पावर को रिकवर किया।
- तुलना: डिस्टिल्ड वर्बल सिग्नल (0.774) ने सिंगल-पास लॉजिट एंट्रॉपी (0.701) को पीछे छोड़ दिया।
MMLU क्रॉस-बेंचमार्क ट्रांसफर:
- सटीकता (Accuracy): 54.2% से 77.4% तक नाटकीय रूप से सुधरी।
- AUROC2: 0.535 से सुधरकर 0.616 हो गया।
- कंट्रोल: शफल-टारगेट मॉडल में कोई सुधार नहीं हुआ (सटीकता 56.1%, AUROC2 0.523) और इसने विस्तृत, अनपार्सेबल (unparseable) आउटपुट दिए, जिससे पुष्टि हुई कि लाभ केवल LoRA प्रक्रिया के कारण नहीं बल्कि कंटेंट के कारण थे।

4. मुख्य योगदान और डिजाइन सिद्धांत (Key Contributions & Design Principles)

लेबल एंट्रॉपी महत्वपूर्ण है: यह अध्ययन पहचानता है कि कॉन्फिडेंस ट्रेनिंग में लेबल-एंट्रॉपी कोलैप्स एक प्राथमिक विफलता मोड है। यदि आप मॉडल को अनिश्चितता व्यक्त करने के लिए प्रशिक्षित करना चाहते हैं, तो ट्रेनिंग सेट में अनिश्चितता वाले उदाहरण (लो-कॉन्फिडेंस टारगेट्स) होने चाहिए। "कठिन" या "गलत" उदाहरणों को फ़िल्टर करना विफलता की गारंटी देता है।
सेल्फ-कंसिस्टेंसी का डिस्टिलेशन: यह संभव है कि मल्टी-सैंपल सेल्फ-कंसिस्टेंसी (जिसके लिए आमतौर पर 10 फॉरवर्ड पास की आवश्यकता होती है) की जानकारी को सिंगल-पास वर्बल सिग्नल में डिस्टिल किया जा सके। हालांकि इसमें कुछ संपीड़न हानि (~22.5%) होती है, लेकिन परिणामी सिग्नल सिंगल-पास लॉजिट एंट्रॉपी की तुलना में अधिक सूचनात्मक है और मानक API के माध्यम से सुलभ है।
फॉर्मेट रेगुलराइजेशन: सही कॉन्फिडेंस टारगेट्स पर प्रशिक्षण ने आउटपुट फॉर्मेट को रेगुलराइज करने में मदद की। वास्तविक-टारगेट मॉडल ने संक्षिप्त, पारसेबल रिस्पॉन्स दिए, जबकि शफल-टारगेट मॉडल ने विस्तृत, अनस्ट्रक्चर्ड टेक्स्ट बनाया। इससे पता चलता है कि कॉन्फिडेंस टारगेट्स आउटपुट स्ट्रक्चर के लिए एक रेगुलराइज़र के रूप में कार्य कर सकते हैं।
एक्कुरेसी-कॉन्फिडेंस ट्रेड-ऑफ: हस्तक्षेप ने डिस्क्रिमिनेशन में सुधार किया लेकिन TriviaQA सटीकता में 7.5% की गिरावट आई। यह सुझाव देता है कि मॉडल ने एक नया "उत्तर-आत्मविश्वास नीति" (answer-confidence policy) अपना ली है जो रॉ आंसर जनरेशन के बजाय डिस्क्रिमिनेटिव सिग्नलिंग को प्राथमिकता देती है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व: यह कार्य एक व्यावहारिक मार्ग प्रदान करता है जिससे LLMs को बिना आंतरिक लॉजिट्स या कई सैंपलिंग पास की आवश्यकता के, अपनी अनिश्चितता को विश्वसनीय रूप से "बोलने" में सक्षम बनाया जा सके। यह रेखांकित करता है कि "वर्बल चैनल" ट्रेन करने योग्य है लेकिन इसके लिए विशिष्ट डेटा वितरण (उच्च एंट्रॉपी) की आवश्यकता होती है।
सीमाएं:
- बाइनरी आउटपुट: मॉडल ने निरंतर कैलिब्रेशन (जैसे, 60% कॉन्फिडेंस) के बजाय एक बाइनरी क्लासिफायर (5% बनाम 95%) सीखा।
- पोस्ट-हॉक प्रकृति: सकारात्मक परिणाम प्री-रजिस्टर्ड नहीं था और इसे पुनरावृत्ति (replication) की आवश्यकता है।
- सिंगल मॉडल/सीड: परिणाम Gemma 3 4B और एक एकल रैंडम सीड के लिए विशिष्ट हैं।
- सटीकता में गिरावट: MMLU में सटीकता में सुधार और TriviaQA में गिरावट यह सुझाव देती है कि कॉन्फिडेंस ट्रेनिंग और उत्तर जनरेशन नीतियों के बीच एक जटिल अंतःक्रिया है, जिसके लिए और अधिक एब्लेशन स्टडीज की आवश्यकता है।

निष्कर्ष (Conclusion)

यह शोध पत्र प्रदर्शित करता है कि हालांकि छोटे LLMs स्वाभाविक रूप से अनिश्चितता रिपोर्ट करने में विफल रहते हैं, लेकिन यदि ट्रेनिंग डेटा लेबल एंट्रॉपी को सुरक्षित रखता है, तो CSFT के माध्यम से इसे सुधारा जा सकता है। पूर्ण सेल्फ-कंसिस्टेंसी परिणामों (विफलताओं सहित) पर प्रशिक्षण देकर, मॉडल जटिल मल्टी-सैंपल रीजनिंग को एक विश्वसनीय, सिंगल-पास वर्बल कॉन्फिडेंस सिग्नल में संकुचित कर सकता है, जो मानक एंट्रॉपी बेसलाइन्स से बेहतर प्रदर्शन करता है और MMLU जैसे क्रॉस-बेंचमार्क कार्यों पर प्रदर्शन में सुधार करता है।