💬 NLP

Beyond Confidence: The Rhythms of Reasoning in Generative Models

यह शोध पत्र टोकन कंस्ट्रेंट बाउंड ( $\delta_{\mathrm{TCB}}$ ) का परिचय देता है, जो एक नया मीट्रिक है जो यह मापने के माध्यम से एक LLM की आंतरिक भविष्य कहने वाली प्रतिबद्धता (predictive commitment) की स्थिरता को परिमाणित करता है कि एक मॉडल का शीर्ष टोकन अनुमान बदलने से पहले वह कितना इनपुट व्यवधान (input perturbation) सहन कर सकता है, जो पारंपरिक मेट्रिक्स जैसे कि परप्लेक्सिटी (perplexity) की तुलना में प्रासंगिक विश्वसनीयता का आकलन करने का एक अधिक सुदृढ़ तरीका प्रदान करता है।

मूल लेखक: Deyuan Liu, Zecheng Wang, Zhanyue Qin, Zhiying Tu, Dianhui Chu, Dianbo Sui

प्रकाशित 2026-02-12

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Deyuan Liu, Zecheng Wang, Zhanyue Qin, Zhiying Tu, Dianhui Chu, Dianbo Sui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक पेशेवर तीरंदाज हैं। जब आप किसी लक्ष्य पर निशाना साधते हैं, तो अपने शॉट के कितने "अच्छे" होने का वर्णन करने के दो तरीके हैं:

परिणाम (सटीकता/Accuracy): क्या आपने केंद्र (bullseye) पर प्रहार किया?
स्थिरता (आत्मविश्वास/Confidence): यदि हवा का एक छोटा सा झोंका आया, या यदि आपका हाथ एक मिलीमीटर भी हिल गया, तो क्या आप अभी भी केंद्र पर प्रहार करेंगे, या आपका तीर नियंत्रण से बाहर होकर भटक जाएगा?

AI को मापने के वर्तमान तरीके (जैसे "सटीकता" या "परप्लेक्सिटी") मुख्य रूप से परिणाम पर ध्यान केंद्रित करते हैं। वे हमें बताते हैं कि क्या AI ने सही उत्तर दिया। लेकिन यह शोध पत्र, "बियॉन्ड कॉन्फिडेंस: द रिदम्स ऑफ रीजनिंग" (Beyond Confidence: The Rhythms of Reasoning), तर्क देता है कि हम सबसे महत्वपूर्ण हिस्से को छोड़ रहे हैं: स्थिरता (Stability)।

समस्या: "भाग्यशाली अनुमान" बनाम "ठोस योजना"

कल्पना कीजिए कि एक AI बहुविकल्पीय (multiple-choice) परीक्षा दे रहा है।

परिदृश्य A: AI 99% निश्चितता के साथ "C" चुनता है। यह एक जीनियस की तरह दिखता है! लेकिन, यह पता चलता है कि AI ने "C" इसलिए चुना क्योंकि प्रश्न में एक छोटा सा, अजीब सा फॉर्मेटिंग का अंतर था। यदि आपने बस एक अल्पविराम (comma) बदल दिया होता, तो AI घबरा जाता और "A" चुन लेता। यह एक "भंगुर भविष्यवाणी" (Brittle Prediction) है।
परिदृश्य B: AI 70% निश्चितता के साथ "C" चुनता है। कागजों पर यह उतना "आत्मविश्वासी" नहीं है, लेकिन इसके पास तर्क की गहरी, संरचनात्मक समझ है। भले ही प्रश्न को थोड़ा अलग तरीके से पूछा जाए, AI अपने पथ पर बना रहता है। यह एक "मजबूत भविष्यवाणी" (Robust Prediction) है।

अभी, हमारे मेट्रिक्स अक्सर परिदृश्य A को परिदृश्य B से "बेहतर" समझने की गलती करते हैं। यह खतरनाक है क्योंकि जब हम महत्वपूर्ण चीजों के लिए—जैसे चिकित्सा या कानून में—AI का उपयोग करते हैं, तो हमें केवल एक उत्तर नहीं चाहिए; हमें एक ऐसा उत्तर चाहिए जो इनपुट में थोड़ा सा बदलाव होने पर बिखर न जाए।

समाधान: "सुरक्षा मार्जिन" ( $\delta$ TCB)

शोधकर्ताओं ने "टोकन कंस्ट्रेंट बाउंड" ( $\delta$ TCB) नामक एक नया मीट्रिक बनाया है।

$\delta$ TCB को AI के निर्णय के चारों ओर एक "सुरक्षा बफर" (Safety Buffer) या "स्थिरता बुलबुला" (Stability Bubble) के रूप में समझें।

केवल अंतिम संभावना (स्कोर) को देखने के बजाय, $\delta$ TCB, AI के मस्तिष्क की "आंतरिक ज्यामिति" को देखता है। यह पूछता है: "मैं AI के आंतरिक संकेतों को कितना हिला सकता हूँ (wiggle कर सकता हूँ) जिससे उसका शीर्ष विकल्प बदलकर दूसरा उत्तर न हो जाए?"

एक बड़ा $\delta$ TCB का अर्थ है कि AI ने अपने उत्तर के चारों ओर एक विशाल, मजबूत किला बना लिया है। वह अपने तर्क के प्रति "प्रतिबद्ध" है।
एक छोटा $\delta$ TCB का अर्थ है कि AI एक रस्सी पर खड़ा है। वह सही रास्ते पर तो हो सकता है, लेकिन एक मामूली धक्के से पूरी तरह से बिखर सकता है।

यह क्यों मायने रखता है: "आत्मविश्वासी रूप से गलत" होने का जाल

इस शोध पत्र का सबसे दिलचस्प हिस्सा वह घटना है जिसे वे "आत्मविश्वासी और स्थिर रूप से गलत" (Confidently and Stably Wrong) होना कहते हैं।

कभी-कभी, एक AI किसी उत्तर के बारे में 100% निश्चित हो सकता है, और उसका "स्थिरता बुलबुला" ( $\delta$ TCB) बहुत बड़ा हो सकता है—जिसका अर्थ है कि वह परिवर्तन के प्रति अविश्वसनीय रूप से प्रतिरोधी है। लेकिन... उत्तर गलत है।

यह उस व्यक्ति की तरह है जो पूरी तरह से, अडिग रूप से इस बात पर विश्वास करता है कि $2 + 2 = 5$ है। वह केवल अनुमान नहीं लगा रहा है; उसने उस त्रुटि को सहारा देने के लिए एक विशाल, तार्किक (लेकिन त्रुटिपूर्ण) तर्क का ढांचा खड़ा कर दिया है। क्योंकि $\delta$ TCB स्थिरता को मापता है, सत्य को नहीं, यह शोधकर्ताओं को इन "ज़िद्दी रूप से गलत" क्षणों की पहचान करने में मदद करता है, जो AI को अधिक विश्वसनीय बनाने की दिशा में एक बड़ा कदम है।

निष्कर्ष

इस नए "स्थिरता बुलबुले" मीट्रिक का उपयोग करके, शोधकर्ताओं ने पाया कि वे निम्नलिखित कार्य कर सकते हैं:

बेहतर प्रॉम्प्ट इंजीनियरिंग: केवल "सही" उत्तर प्राप्त करने के बजाय, अब वे ऐसे प्रॉम्प्ट डिजाइन कर सकते हैं जो AI के तर्क को अधिक सुदृढ़ (sturdier) बनाते हैं।
जल्दी समस्या पहचानना: वे यह देखकर कि स्थिरता का बुलबुला कब सिकुड़ रहा है, यह देख सकते हैं कि AI कब "लूप" करने या खुद को दोहराने वाला है।
वास्तविक विश्वसनीयता: यह हमें "क्या AI ने सही किया?" पूछने से हटाकर बहुत अधिक महत्वपूर्ण प्रश्न की ओर ले जाता है: "क्या हम AI पर सही बने रहने के लिए भरोसा कर सकते हैं?"

तकनीकी सारांश: आत्मविश्वास से परे: जनरेटिव मॉडल्स में तर्क की लय (Beyond Confidence: The Rhythms of Reasoning in Generative Models)

ICLR 2026 में एक कॉन्फ्रेंस पेपर के रूप में प्रकाशित

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) संदर्भ के मामूली बदलावों (जैसे, प्रॉम्प्ट की शब्दावली, उदाहरणों का क्रम, या फॉर्मेटिंग) के प्रति अत्यधिक संवेदनशील होते हैं, जिससे प्रदर्शन में महत्वपूर्ण उतार-चढ़ाव आते हैं। वर्तमान मूल्यांकन मेट्रिक्स इस "भंगुरता" (brittleness) का निदान करने के लिए अपर्याप्त हैं:

सटीकता (Accuracy) केवल एक समग्र दृश्य प्रदान करती है और व्यक्तिगत भविष्यवाणियों की स्थिरता की अनदेखी करती है।
परप्लेक्सिटी (Perplexity - PPL) और आत्मविश्वास (Confidence/Probability/Logits) अनुक्रम की संभावना या सापेक्ष संभावना पर ध्यान केंद्रित करते हैं। हालांकि, उच्च आत्मविश्वास (एक सुस्पष्ट सॉफ्टमैक्स वितरण) यह गारंटी नहीं देता कि मॉडल की आंतरिक स्थिति छोटे व्यवधानों के प्रति लचीली है। एक मॉडल "आत्मविश्वासी लेकिन अस्थिर" (confidently unstable) हो सकता है, जहाँ आंतरिक प्रतिनिधित्व में एक सूक्ष्म "लहर" (wobble) भी शीर्ष-टोकन की भविष्यवाणी को बदल सकती है।

लेखक यह उत्तर खोजने का प्रयास कर रहे हैं: हम आंतरिक विविधताओं के विरुद्ध एक LLM की तत्काल भविष्यवाणी अवस्था की स्थिरता को कैसे माप सकते हैं?

2. कार्यप्रणाली: टोकन कंस्ट्रेंट बाउंड ( $\delta$ TCB)

लेखक एक नया मेट्रिक प्रस्तावित करते हैं जिसे टोकन कंस्ट्रेंट बाउंड ( $\delta$ TCB) कहा जाता है। आउटपुट को देखने वाले मेट्रिक्स के विपरीत, $\delta$ TCB मॉडल के आंतरिक हिडन स्टेट $h$ के "सेफ्टी मार्जिन" को मापता है।

गणितीय परिभाषा: $\delta$ TCB उस हाइब्रिड रेडियस (त्रिज्या) $\Delta h$ की मात्रा निर्धारित करता है जिसे हिडन स्टेट पर लागू किया जा सकता है ताकि परिणामी आउटपुट संभाव्यता वितरण में परिवर्तन $\Delta o$ , एक पूर्व-निर्धारित सहनशीलता $\epsilon$ के भीतर रहे।
$\delta\text{TCB}(h) := \frac{\epsilon}{\|J_W(h)\|_F}$
जहाँ $\|J_W(h)\|_F$ हिडन स्टेट के सापेक्ष आउटपुट संभावनाओं का जैकबियन मैट्रिक्स (Jacobian matrix) का फ्रोबेनियस नॉर्म (Frobenius norm) है।
ज्यामितीय संबंध: पेपर एक सैद्धांतिक व्युत्पत्ति प्रदान करता है जो दिखाता है कि $\delta$ TCB आउटपुट एम्बेडिंग स्पेस की ज्यामिति से आंतरिक रूप से जुड़ा हुआ है। विशेष रूप से, जैकबियन नॉर्म टोकन एम्बेडिंग्स $w_i$ और संभाव्यता-भारित माध्य एम्बेडिंग $\mu_w$ के बीच स्क्वेर्ड यूक्लिडियन दूरियों द्वारा निर्धारित होता है, जो उनकी संभावनाओं $o_i^2$ द्वारा भारित होता है।
रेजीम विश्लेषण (Regime Analysis): लेखक दो अलग-अलग स्थिरता क्षेत्रों की पहचान करते हैं:
1. अनिश्चित क्षेत्र (High $V_{eff}$ ): यहाँ स्थिरता वितरण की समग्र "सपाटता" (flatness) द्वारा संचालित होती है। यहाँ, $\delta$ TCB प्रभावी शब्दावली आकार ( $V_{eff}$ ) के साथ मजबूती से सह-संबंधित है।
2. उच्च-आत्मविश्वास क्षेत्र (Low $V_{eff}$ ): यहाँ स्थिरता "लॉगिट मार्जिन" (शीर्ष टोकन और उसके निकटतम प्रतिस्पर्धी के बीच का अंतर) द्वारा संचालित होती है। यहाँ, $\delta$ TCB प्रमुख टोकन के एम्बेडिंग और उसके प्रतिस्पर्धियों के बीच के अलगाव से सह-संबंधित है।

3. मुख्य योगदान (Key Contributions)

नया मेट्रिक ( $\delta$ TCB): अगले-टोकन भविष्यवाणियों की स्थानीय मजबूती को मापने के लिए एक सिद्धांत आधारित, गणितीय रूप से सुदृढ़ मेट्रिक।
ज्यामितीय सिद्धांत (Geometric Theory): लेटेंट स्पेस में आउटपुट एम्बेडिंग्स के प्रसार (dispersion) को भविष्यवाणी स्थिरता से जोड़ने वाली एक व्युत्पत्ति।
नैदानिक ढांचा (Diagnostic Framework): उन "सटीकता-स्थिरता संघर्षों" (accuracy-stability conflicts) की पहचान करने की एक विधि, जैसे कि ऐसी भविष्यवाणियाँ जो सटीक तो हैं लेकिन भंगुर हैं, या ऐसी जो "आत्मविश्वासी और स्थिर रूप से गलत" हैं।
अनुकूलन रणनीति (Optimization Strategy): यह प्रदर्शन करना कि $\delta$ TCB का उपयोग करके प्रॉम्प्ट इंजीनियरिंग (सटीकता और स्थिरता दोनों के लिए सह-अनुकूलन) केवल परप्लेक्सिटी के लिए अनुकूलन करने वाले मॉडल्स की तुलना में अधिक मजबूत मॉडल बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA-3.1-8B का उपयोग करके MMLU और GSM8K जैसे बेंचमार्क पर $\delta$ TCB का मूल्यांकन किया।

सिद्धांत का सत्यापन: सिमुलेशन ने पुष्टि की कि $\delta$ TCB संभाव्यता वितरण से स्वतंत्र रूप से एम्बेडिंग ज्यामिति (क्लस्टरिंग बनाम डिस्पर्सिंग एम्बेडिंग्स) के प्रति संवेदनशील है।
प्रॉम्प्ट इंजीनियरिंग: GSM8K में, लेखकों ने पाया कि कुछ प्रॉम्प्ट्स (जैसे, भ्रामक जानकारी जोड़ना) मॉडल को "अत्यधिक स्थिर गलतता" (extreme stable incorrectness) की स्थिति में डाल सकते हैं—जहाँ मॉडल 100% आत्मविश्वासी और अत्यधिक स्थिर है, लेकिन गणितीय रूप से गलत है।
मजबूती में लाभ: $\delta$ TCB-निर्देशित प्रॉम्प्ट अनुकूलन का उपयोग करने से वर्स्ट-केस एक्यूरेसी (Worst-Case Accuracy) में काफी सुधार हुआ और प्रॉम्प्ट के बाधित होने पर परफॉर्मेंस ड्रॉप रेट (PDR) में कमी आई, जिसने परप्लेक्सिटी-आधारित अनुकूलन को पछाड़ दिया।
जेनरेशन डायनेमिक्स: टेक्स्ट जेनरेशन में, $\delta$ TCB ने सफलतापूर्वक उन "अस्थिरता क्षेत्रों" (instability regions) को चिह्नित किया (स्थिरता में तीव्र गिरावट) जो त्रुटियों या दोहराव वाले लूप से पहले आते हैं, जिन्हें मानक परप्लेक्सिटी अक्सर मिस कर देती है।

5. महत्व (Significance)

यह कार्य LLM मूल्यांकन के फोकस को "मॉडल क्या भविष्यवाणी कर रहा है?" (सटीकता/आत्मविश्वास) से बदलकर "मॉडल की निर्णय लेने की प्रक्रिया कितनी लचीली है?" (स्थिरता) की ओर ले जाता है। एक भविष्यवाणी के "सेफ्टी मार्जिन" को मापने का तरीका प्रदान करके, $\delta$ TCB भविष्यवाणियों के लिए एक महत्वपूर्ण उपकरण प्रदान करता है, जो उन मिशन-क्रिटिकल अनुप्रयोगों में तैनाती के लिए आवश्यक है जहाँ निरंतरता और विश्वसनीयता उतनी ही महत्वपूर्ण है जितनी कि शुद्धता। यह एक यांत्रिक समझ प्रदान करता है कि क्यों कुछ प्रॉम्प्ट अन्य की तुलना में बेहतर काम करते हैं, जो ट्रायल-एंड-एरर प्रॉम्प्ट इंजीनियरिंग से आगे बढ़कर एक अधिक सिद्धांत आधारित, ज्यामितीय दृष्टिकोण की ओर ले जाता है।