📊 statistics

Discovery of Hidden Miscalibration Regimes

यह शोध पत्र एक नैदानिक ढांचे (diagnostic framework) को प्रस्तुत करता है जो इनपुट स्पेस के एक कैलिब्रेशन-जागरूक प्रतिनिधित्व (calibration-aware representation) को सीखकर बड़े भाषा मॉडलों में छिपे हुए, इनपुट-निर्भर मिसकैलिब्रेशन शासन (miscalibration regimes) की खोज करता है, जिससे पारंपरिक वैश्विक विधियों की तुलना में अधिक प्रभावी स्थानीय आत्मविश्वास सुधार (local confidence corrections) सक्षम होते हैं।

मूल लेखक: Katarzyna Kobalczyk, Mihaela van der Schaar

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Katarzyna Kobalczyk, Mihaela van der Schaar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मौसम विज्ञानी है जो बहुत आत्मविश्वासी है। जब वे कहते हैं, "बारिश की 70% संभावना है," तो वे आमतौर पर 70% बार सही होते हैं। AI की दुनिया में, इसे कैलिब्रेटेड (calibrated) होना कहा जाता है। यदि कोई AI कहता है कि वह 90% आश्वस्त है, तो उसे 90% बार सही होना चाहिए।

आमतौर पर, हम एक AI को उसके आत्मविश्वास के स्कोर को एक एकल सूची के रूप में देखकर जांचते हैं। हम सभी "70%" भविष्यवाणियों को एक साथ समूह में रखते हैं और देखते हैं कि क्या वे 70% बार सही हैं।

समस्या: "औसत" का जाल
इस शोध पत्र के लेखक तर्क देते हैं कि यह "औसत" वाला दृष्टिकोण एक धुंधली फोटो को देखने जैसा है। यह गंभीर समस्याओं को छिपा सकता है।

कल्पना कीजिए कि एक मौसम विज्ञानी तटीय शहरों के लिए भविष्यवाणी करते समय अति-आत्मविश्वासी (सोचता है कि बारिश होगी जबकि नहीं होगी) है, लेकिन पहाड़ी कस्बों के लिए भविष्यवाणी करते समय अल्प-आत्मविश्वासी (सोचता है कि बारिश नहीं होगी जबकि होगी) है।

यदि आप पूरे "70% आत्मविश्वास" वाले समूह को देखते हैं, तो तटीय त्रुटियां और पहाड़ी त्रुटियां एक-दूसरे को संतुलित (cancel out) कर सकती हैं।
वैश्विक रिपोर्ट कहेगी, "अरे, यह मौसम विज्ञानी पूरी तरह से कैलिब्रेटेड है!"
लेकिन वास्तव में, वे विशिष्ट प्रकार के इनपुट के लिए बुरी तरह विफल हो रहे हैं। "औसत" इस तथ्य को छिपा देता है कि वे विशिष्ट स्थानों के लिए अविश्वसनीय हैं।

इसे ही शोध पत्र में हिडन मिसकैलिब्रेशन रेजीम्स (Hidden Miscalibration Regimes) कहा गया है। AI केवल "अच्छा" या "बुरा" नहीं है; इसके पास विशिष्ट प्रकार के इनपुट के लिए व्यवस्थित रूप से गलत होने वाली छिपी हुई जेबें (pockets) हैं, जिन्हें हम मानक उपकरणों से नहीं देख सकते।

समाधान: एक नया मानचित्र सीखना
लेखक एक नया तरीका प्रस्तावित करते हैं जिससे वे यह जाने बिना कि "तटीय" या "पहाड़ी" इनपुट क्या हैं, इन छिपी हुई जेबों को खोजा जा सके।

मान लीजिए कि AI के इनपुट (जैसे टेक्स्ट प्रश्न) एक विशाल, अव्यवस्थित मानचित्र पर बिंदु हैं।

पुराना तरीका: हम बिंदुओं को उनके आत्मविश्वास के आधार पर देखते हैं (जैसे लोगों को उनकी ऊंचाई के आधार पर क्रमबद्ध करना)।
नया तरीका: लेखक AI को एक नया मानचित्र (एक "रिप्रेजेंटेशन") सीखने के लिए सिखाते हैं। इस नए मानचित्र पर, वे बिंदुओं को इस तरह पुनर्व्यवस्थित करते हैं कि समान व्यवहार करने वाले इनपुट एक-दूसरे के करीब रखे जाते हैं।

यह एक कमरे में बिखरे हुए अलग-अलग खिलौनों को रंग के बजाय, इस आधार पर व्यवस्थित करने जैसा है कि वे कैसे टूटते हैं। अचानक, जो खिलौने बीच से टूट जाते हैं वे एक कोने में आ जाते हैं, और जो खिलौने फंस जाते हैं वे दूसरे कोने में।

एक बार जब AI के पास यह नया मानचित्र होता है, तो वे स्मूथिंग (smoothing) नामक एक सरल तकनीक का उपयोग करते हैं। वे इस नए मानचित्र पर एक छोटे से पड़ोस (neighborhood) को देखते हैं और पूछते हैं: "क्या इस पड़ोस के खिलौने ज्यादातर टूट रहे हैं, या ज्यादातर फंस रहे हैं?"

यदि पड़ोस "अति-आत्मविश्वासी" त्रुटियों से भरा है, तो मानचित्र लाल रंग में चमक उठता है।
यदि यह "अल्प-आत्मविश्वासी" त्रुटियों से भरा है, तो यह नीला चमक उठता है।

यह एक मिसकैलिब्रेशन फील्ड (Miscalibration Field) बनाता है—एक हीट मैप जो दिखाता है कि AI खुद से कहाँ झूठ बोल रहा है, भले ही हमें उन प्रश्नों के विशिष्ट विषय के बारे में पता न हो।

उन्होंने क्या पाया
उन्होंने इसे 12 अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) पर चार अलग-अलग वास्तविक दुनिया के कार्यों (जैसे चिकित्सा प्रश्न, सामान्य ज्ञान और मददगार होने का निर्णय लेना) में परखा।

खोज: उन्होंने पाया कि लगभग सभी मॉडल्स में अति-आत्मविश्वास और अल्प-आत्मविश्वास की छिपी हुई जेबें होती हैं। मानक "ग्लोबल" जांच अक्सर इन्हें पूरी तरह से मिस कर देती है क्योंकि त्रुटियां एक-दूसरे को संतुलित कर देती हैं।
प्रमाण: जब उन्होंने केवल उन "अति-आत्मविश्वासी" जेबों को देखा जिन्हें उन्होंने खोजा था, तो त्रुटि दर वैश्विक औसत द्वारा सुझाए गए स्तर से बहुत अधिक थी।
सुधार: क्योंकि वे जानते थे कि AI कहाँ झूठ बोल रहा है, इसलिए वे इसे स्थानीय रूप से ठीक कर सके। पूरे मॉडल को एक साथ ठीक करने के बजाय, उन्होंने आत्मविश्वास के स्कोर को केवल उन विशिष्ट "लाल" और "नीले" क्षेत्रों के लिए समायोजित किया। यह उन मानक तरीकों से बेहतर काम करता है जो केवल आत्मविश्वास स्कोर के आधार पर पूरे मॉडल को ठीक करने की कोशिश करते हैं।

निष्कर्ष
यह शोध पत्र दिखाता है कि एक AI की विश्वसनीयता केवल एक संख्या या एक साधारण वक्र नहीं है। यह त्रुटि के छिपे हुए घाटियों वाला एक जटिल परिदृश्य है। डेटा को व्यवस्थित करने का एक नया तरीका सीखकर, हम इन छिपी हुई घाटियों को खोज सकते हैं और AI के आत्मविश्वास को विशेष रूप से वहीं ठीक कर सकते हैं जहाँ इसकी आवश्यकता है, न कि केवल एक धुंधले औसत के आधार पर अनुमान लगाकर।

महत्वपूर्ण नोट: यह शोध पत्र मुख्य रूप से इन त्रुटियों को खोजने और बाइनरी विकल्पों (हाँ/नहीं, सही/गलत) के लिए आत्मविश्वास स्कोर को ठीक करने पर केंद्रित है। यह AI के वास्तविक तर्क को ठीक करने या इसे क्लिनिकल उपयोग के लिए सुरक्षित बनाने का दावा नहीं करता है; यह केवल यह देखने के लिए एक बेहतर डायग्नोस्टिक टूल प्रदान करता है कि AI वर्तमान में कहाँ अविश्वसनीय है।

तकनीकी सारांश: छिपे हुए मिसकैलिब्रेशन रेजीमों (Miscalibration Regimes) की खोज

समस्या विवरण

मानक कैलिब्रेशन मूल्यांकन इस धारणा पर निर्भर करता है कि मॉडल की विश्वसनीयता केवल उसके कॉन्फिडेंस स्कोर का एक फलन (function) है। यह दृष्टिकोण कॉन्फिडेंस बिन (जैसे कि रिलायबिलिटी डायग्राम) द्वारा भविष्यवाणियों को एकत्रित करता है, जो अंतर्निहित रूप से यह मानता है कि समान कॉन्फिडेंस स्कोर वाले सभी इनपुट विनिमेय (exchangeable) हैं। हालांकि, विषम डोमेन में—विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ—यह एकत्रीकरण महत्वपूर्ण स्थानीय विफलताओं को छिपा सकता है। एक मॉडल एक प्रकार के इनपुट पर व्यवस्थित रूप से अति-आत्मविश्वासी (overconfident) और दूसरे प्रकार के इनपुट पर अल्प-आत्मविश्वासी (underconfident) हो सकता है, भले ही दोनों वर्गों के कॉन्फिडेंस स्कोर समान हों। ऐसे मामलों में, विपरीत त्रुटियां वैश्विक मेट्रिक्स में एक-दूसरे को निरस्त (cancel out) कर देती हैं, जिससे अच्छी तरह से कैलिब्रेटेड व्यवहार का झूठा आभास होता है।

मौजूदा स्लाइस-आधारित विश्लेषण विधियां इन विफलताओं को उजागर कर सकती हैं, लेकिन उनके लिए पूर्व-निर्धारित डेटा स्लाइस या सबग्रुप लेबल की आवश्यकता होती है, जो अक्सर जटिल, उच्च-आयामी डोमेन में अनुपलब्ध या अपर्याप्त होते हैं जहाँ मिसकैलिब्रेशन क्षेत्र स्पष्ट मेटाडेटा के साथ संरेखित नहीं होते। यह शोध पत्र बिना किसी पूर्व-निर्धारित स्लाइस या ग्राउंड-ट्रुथ डेटा-जनरेटिंग प्रोबेबिलिटी के इन "छिपे हुए मिसकैलिब्रेशन रेजीमों" की खोज करने की समस्या का समाधान करता है, जिसका लक्ष्य इनपुट स्पेस के उन क्षेत्रों को पुनः प्राप्त करना है जहाँ मॉडल व्यवस्थित अति-आत्मविश्वास या अल्प-आत्मविश्वास प्रदर्शित करता है।

कार्यप्रणाली (Methodology)

लेखक एक नैदानिक ढांचे (diagnostic framework) का प्रस्ताव करते हैं जो मिसकैलिब्रेशन फील्ड (miscalibration field) पर केंद्रित है, जिसे इनपुट-निर्भर हस्ताक्षरित (signed) कैलिब्रेशन एरर के रूप में परिभाषित किया गया है:
$\delta(x) = E[Y - f(X) \mid X = x]$
जहाँ $f(x)$ मॉडल का कॉन्फिडेंस है और $Y$ वास्तविक लेबल है। शास्त्रीय कैलिब्रेशन के विपरीत, जो $f(X)$ पर आधारित होता है, यह फील्ड स्वयं इनपुट $X$ पर आधारित है।

एक कैलिब्रेशन-जागरूक ज्यामिति सीखना

$\delta(x)$ का अनुमान लगाने के लिए, यह विधि एक रिप्रेजेंटेशन मैप $\phi: \mathcal{X} \to \mathbb{R}^d$ सीखती है जो समान कैलिब्रेशन व्यवहार वाले उदाहरणों को एक साथ व्यवस्थित करती है। अनुमान दो चरणों में आगे बढ़ता है:

सीखे गए स्पेस में कर्नेल स्मूथिंग (Kernel Smoothing):
एक क्वेरी पॉइंट $x$ के लिए, मिसकैलिब्रेशन फील्ड का अनुमान सीखे गए रिप्रेजेंटेशन स्पेस पर एम्पिरिकल रेसिडुअल्स (empirical residuals) $r_i = y_i - f(x_i)$ के कर्नेल स्मूथिंग द्वारा लगाया जाता है:
$\hat{\delta}_\phi(x) = \frac{\sum_{i=1}^n K_\sigma(\phi(x), \phi(x_i)) r_i}{\sum_{i=1}^n K_\sigma(\phi(x), \phi(x_i))}$
जहाँ $K_\sigma$ एक गॉसियन कर्नेल है। यह कंडीशनल मीन रेसिड्यूल के नादरया-वॉट्सन (Nadaraya–Watson) एस्टिमेटर के रूप में कार्य करता है।
लर्निंग ऑब्जेक्टिव (Learning Objective):
रिप्रेसेंटेशन $\phi$ को कंडीशनल मीन रेसिड्यूल की परिवर्तनशीलता (variability) को अधिकतम करने के लिए प्रशिक्षित किया जाता है, जो प्रभावी रूप से अति-आत्मविश्वास और अल्प-आत्मविश्वास वाले क्षेत्रों को अलग करता है। ऑब्जेक्टिव फंक्शन अनुमानित फील्ड के सेकंड मोमेंट को अधिकतम करता है और "नेबरहुड कोलैप्स" (जहाँ मॉडल शोर को फिट करने के लिए एकल बिंदुओं को अलग कर देता है) को रोकता है:
$\mathcal{L}(\phi) = -\frac{1}{n}\sum_{i=1}^n \hat{\delta}_\phi(x_i)^2 + \lambda \frac{1}{n}\sum_{i=1}^n [\max(0, m_{\min} - m_i)]^2$
यहाँ, $m_i$ प्रभावी नेबरहुड मास है। पहला पद व्यवस्थित रेसिड्यूल संरचनाओं की खोज को प्रोत्साहित करता है, जबकि दूसरा पद आइसोलेटेड नेबरहुड्स के विरुद्ध नियमितीकरण (regularization) करता है।
हाइपरपैरामीटर चयन:
चूंकि वास्तविक दुनिया की सेटिंग्स में ग्राउंड-ट्रुथ फील्ड $\delta(x)$ अज्ञात होता है, इसलिए हाइपरपैरामीटर्स (कर्नेल बैंडविड्थ $\sigma$ , रेगुलराइजेशन $\lambda$ ) एक वैलिडेशन प्रॉक्सी का उपयोग करके चुने जाते है। प्रॉक्सी एक वैलिडेशन सेट पर स्थानीय रूप से सुधारा गया प्रेडिक्शन ( $f(x) + \hat{\delta}_\phi(x)$ ) के ब्रियर स्कोर (Brier score) को कम करती है, जिससे ऑरेकल मेट्रिक्स की आवश्यकता समाप्त हो जाती है।

क्रियाशील स्थानीय सुधार (Actionable Local Correction)

सीखा गया फील्ड $\hat{\delta}_\phi(x)$ एक नैदानिक उपकरण के रूप में कार्य करता है ताकि यह पहचाना जा सके कि कैलिब्रेशन कहाँ विफल होता है। इसका उपयोग स्थानीय कॉन्फिडेंस सुधार के लिए भी किया जा सकता है। लेखक एक रेंज-अवेयर करेक्शन मैप $\Delta_\alpha(x)$ का प्रस्ताव करते हैं जो अनुमानित एरर के साइन (sign) को सुरक्षित रखता है और वैध प्रोबेबिलिटी बाउंड्रीज़ $[0, 1]$ पर सुचारू रूप से संतृप्त (saturate) होता है, यह सुनिश्चित करता है कि सुधारा गया कॉन्फिडेंस $\tilde{f}(x) = f(x) + \Delta_\alpha(x)$ एक वैध प्रोबेबिलिटी बना रहे।

मुख्य योगदान

छिपे हुए रेजीमों की खोज: यह पेपर पूर्व-निर्धारित सबग्रुप लेबल के बिना अति-आत्मविश्वास और अल्प-आत्मविश्वास के सुसंगत क्षेत्रों की खोज करने की समस्या को प्रस्तुत करता है, जो कैलिब्रेशन को एक इनपुट-निर्भर खोज समस्या के रूप में मानता है।
मिसकैलिब्रेशन फील्ड्स: यह एक इनपुट-निर्भर मिसकैलिब्रेशन फील्ड को परिभाषित करता है जो केवल कॉन्फिडेंस स्कोर के बजाय इनपुट स्पेस में हस्ताक्षरित रेसिड्यूल एरर को कैप्चर करता है।
कैलिब्रेशन-जागरूक ज्यामिति: एक नैदानिक ढांचा पेश किया गया है जहाँ सीखा गया रिप्रेजेंटेशन एक ऐसा स्थान बनाता है जहाँ स्थानीय रेसिड्यूल एवरेजिंग स्थिर रेजीम-स्तरीय कैलिब्रेशन संरचनाओं को उजागर करती है।
अनुभवजन्य साक्ष्य (Empirical Evidence): चार वास्तविक दुनिया के बेंचमार्क (HH-RLHF, MedMCQA, MMLU, MMLU-Pro) और बारह LLMs पर व्यापक प्रयोगों से पता चलता है कि इनपुट-डिपेंडेंट कैलिब्रेशन हेटेरोजेनिटीिटी (heterogeneity) प्रचलित है लेकिन डेटासेट और मॉडल परिवारों में गैर-समान है।
क्रियाशील सुधार: सीखा गया फील्ड लक्षित स्थानीय कॉन्फिडेंस सुधार के लिए समर्थन प्रदान करता है, जो उन क्षेत्रों में कैलिब्रेशन एरर को कम करता है जहाँ मानक कॉन्फिडेंस-आधारित पोस्ट-हॉक तरीके (जैसे आइसोटोनिक रिग्रेशन और टेम्परेचर स्केलिंग) कम प्रभावी होते हैं।

परिणाम

सिंथेटिक प्रयोग: विधि शोर वाले बर्नौली रेसिड्यूल्स (Bernoulli residuals) से ज्ञात छिपे हुए मिसकैलिब्रेशन स्ट्रक्चर (क्लस्टर्ड और स्मूथली वेरिंग साइनसोइडल फील्ड्स दोनों) को सफलतापूर्वक पुनः प्राप्त करती है। यह प्रदर्शित करता है कि ग्लोबल रिलायबिलिटी डायग्राम अक्सर एरर कैंसिलेशन के कारण पर्याप्त स्थानीय त्रुटियों को छिपा देते हैं।
LLM बेंचमार्क:
- हेटेरोजेनिटी: कई सेटिंग्स में इनपुट-डिपेंडेंट कैलिब्रेशन हेटेरोजेनिटी देखी गई है। कुछ मॉडल-डेटासेट जोड़े होमोजेनियस बायस दिखाते हैं, जबकि अन्य में अति-आत्मविश्वास और अल्प-आत्मविश्वास के स्पष्ट छिपे हुए रेजीम दिखाई देते हैं।
- नैदानिक शक्ति (Diagnostic Power): सीखा गया फील्ड उन क्षेत्रों की पहचान करता है जहाँ ग्लोबल मेट्रिक्स (जैसे smECE) एरर को काफी कम आंकते हैं। उदाहरण के लिए, Qwen3-8B के साथ HH-RLHF पर, ग्लोबल smECE ने मध्यम मिसकैलिब्रेशन का सुझाव दिया, लेकिन सीखे गए फील्ड पर कंडीशन करने पर अल्प-आत्मविश्वासी सबसेट्स के लिए काफी अधिक एरर (ग्लोबल 0.120 के मुकाबले अंडरकॉन्फिडेंट सबसेट्स के लिए smECE 0.253) प्रकट हुआ।
- सुधार प्रभावकारिता (Correction Efficacy): जबकि कॉन्फिडेंस-आधारित तरीके (Isotonic Regression, Temperature Scaling) ग्लोबल कैलिब्रेशन में सुधार करते हैं, वे अक्सर पहले से ही अच्छी तरह से कैलिब्रेटेड सबसेट्स पर प्रदर्शन को खराब कर देते हैं या विशिष्ट मिसकैलिब्रेटेड रेजीम्स को ठीक करने में विफल रहते हैं। प्रस्तावित विधि बिना किसी वेल-कैलिब्रेटेड डेटा को नुकसान पहुँचाए, ओवर- और अंडरकॉन्फिडेंट क्षेत्रों में कैलिब्रेशन एरर को लगातार कम करती है।
- मॉडल का आकार: कई मॉडल परिवारों में, कैलिब्रेशन हेटेरोजेनिटी मॉडल के आकार के साथ बढ़ती है, जो यह सुझाव देती है कि क्षमताएं डोमेन के अनुसार गैर-समान रूप से सुधरती हैं।

महत्व और दावे

यह पेपर दावा करता है कि कैलिब्रेशन को केवल कॉन्फिडेंस स्कोर के वैश्विक गुण के रूप में नहीं देखा जाना चाहिए। छिपे हुए अति-आत्मविश्वासी और अल्प-आत्मविश्वासी क्षेत्रों की खोज को विषम कार्यों के लिए तैनात मॉडलों के लिए अधिक विश्वसनीय अनसर्टेंटी एस्टीमेट्स की दिशा में एक महत्वपूर्ण कदम के रूप में प्रस्तुत किया गया है।

लेखक अपने एस्टिमेटर को मुख्य रूप से एक पूर्ण समाधान के बजाय एक नैदानिक उपकरण (diagnostic instrument) के रूप में देखते हैं। इसका महत्व निम्नलिखित में निहित है:

उन हस्ताक्षरित रेसिड्यूल संरचनाओं को प्रकट करना जो स्कोर-आधारित डायग्नोस्टिक्स में अदृश्य हैं।
यह परीक्षण करने के लिए एक तंत्र प्रदान करना कि क्या सीखे गए फील्ड्स लक्षित सुधार के लिए क्रियाशील हैं।
व्याख्यात्मकता (interpretability) के लिए एक शुरुआती बिंदु प्रदान करना, क्योंकि सीखी गई ज्यामिति का निरीक्षण यह समझने के लिए किया जा सकता है कि कैलिब्रेशन कहाँ विफल होता है, भले ही विफलता के विशिष्ट सेमेंटिक कारणों के लिए आगे के अन्वेषण की आवश्यकता हो।

यह कार्य इस बात पर जोर देता है कि जबकि विधि विशिष्ट रेजीमों में विश्वसनीयता में सुधार करती है, यह उपलब्ध लेबल किए गए डेटा पर निर्भर करती है और उन समूहों या तैनाती स्थितियों में विफलताओं का पता नहीं लगा सकती है जो प्रशिक्षण वितरण द्वारा कवर नहीं किए गए हैं। इसलिए, इसे कार्य-विशिष्ट सत्यापन और मानवीय निरीक्षण के साथ एक व्यापक मूल्यांकन पाइपलाइन के घटक के रूप में समर्थित किया जाता है।