📊 statistics

Beyond ECE: Calibrated Size Ratio, Risk Assessment, and Confidence-Weighted Metrics

यह शोध पत्र ओवरकॉन्फिडेंस (अति-आत्मविश्वास) के जोखिमों का पता लगाने में मानक एक्सपेक्टेड कैलिब्रेशन एरर (ECE) की सीमाओं की आलोचना करता है और जोखिम मूल्यांकन के लिए कैलिब्रेटेड साइज रेशियो (CSR) तथा मॉडल कॉन्फिडेंस के विभेदक मूल्य का बेहतर मूल्यांकन करने के लिए कॉन्फिडेंस-वेटेड मेट्रिक्स (जैसे cwAUC) से युक्त एक नए ढांचे का प्रस्ताव करता है।

मूल लेखक: Fernando Martin-Maroto, Nabil Abderrahaman, Gonzalo G. de Polavieja

प्रकाशित 2026-05-06

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fernando Martin-Maroto, Nabil Abderrahaman, Gonzalo G. de Polavieja

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं। हर दिन, आप बारिश की संभावना का अनुमान लगाते हैं। यदि आप कहते हैं कि बारिश की 90% संभावना है, और जब भी आप ऐसा अनुमान लगाते हैं तो 90% बार वास्तव में बारिश होती है, तो आप "कैलिब्रेटेड" (calibrated) हैं। आप अपनी निश्चितता के बारे में ईमानदार हैं।

वर्षों से, मशीन लर्निंग समुदाय ने इस ईमानदारी को मापने के लिए एक एकल पैमाने का उपयोग किया है, जिसे ECE (Expected Calibration Error) कहा जाता है। इस शोध पत्र के लेखक तर्क देते हैं कि यह पैमाना टूटा हुआ है। यह एक कार और खाई के बीच की दूरी मापने जैसा है, लेकिन कार को दीवार से 1 मीटर दूर खड़े होने और खाई के किनारे से 1 मीटर दूर खड़े होने के बीच कोई अंतर न करना। AI की दुनिया में, यह विश्वास करना कि आप 95% निश्चित हैं जबकि आप वास्तव में गलत हैं, एक आपदा है। जब आप गलत हों और 55% सुनिश्चित हों, तो वह केवल एक मामूली गलती है। पुराना पैमाना (ECE) इन दोनों त्रुटियों को समान मानता है।

यहाँ वे क्या प्रस्तावित करते हैं, सरल उपमाओं का उपयोग करते हुए:

1. "कैलिब्रेटेड साइज रेशियो" (CSR): "झूठ कितना बड़ा है?" मापने वाला मीटर

लेखक एक नया मीट्रिक पेश करते हैं जिसे CSR कहा जाता है। इसे एक "जोखिम गुणक" (Risk Multiplier) के रूप में सोचें।

पुराना तरीका (ECE): यह गिनता है कि आप कितनी बार गलत थे, चाहे आपने कितनी भी जोर से अपनी आत्मविश्वास की घोषणा की हो।
नया तरीका (CSR): यह पूछता है, "यदि आपके आत्मविश्वास के स्कोर वास्तव में वास्तविक संभावनाएँ होते, तो हमें यह देखने के लिए कि यह शुद्ध भाग्य से हुई गलतियाँ हैं, दुनिया को कितना बड़ा होना पड़ता?"

उपमा:
कल्पना कीजिए कि आप एक जुआरी हैं।

परिदृश्य A: आप एक सिक्के के उछाल पर $1 का दांव लगाते हैं, यह कहते हुए कि "मुझे जीतने की 55% संभावना है।" आप हार जाते हैं। यह एक छोटा, कष्टप्रद नुकसान है।
परिदृश्य B: आप अपनी पूरी जीवन भर की बचत दांव पर लगा देते हैं, यह कहते हुए कि "मुझे जीतने की 99% संभावना है।" आप हार जाते हैं। यह एक आपदा है।

पुराना पैमाना (ECE) दोनों को "एक नुकसान" के रूप में देखता है। नया पैमाना (CSR) परिदृश्य B को एक बड़े खतरे के रूप में देखता है। यदि आपका CSR 1 है, तो आप पूरी तरह से ईमानदार हैं। यदि यह 10 है, तो इसका मतलब है कि आपका आत्मविश्वास इतना खतरनाक रूप से बढ़ा हुआ है कि आपको यह देखने के लिए कि ये गलतियाँ संयोग से हुईं, एक 10 गुना बड़ा डेटासेट चाहिए होगा। यदि यह 1,000,000 है, तो इसका मतलब है कि आप डरावने स्तर तक आत्मविश्वास के साथ झूठ बोल रहे हैं।

लेखक आपको एक "रिस्क प्रोबेबिलिटी" ( $P_{risk}$ ) भी देते हैं। यह एक सरल प्रतिशत है जो बताता है: "99% संभावना है कि यह मॉडल खतरनाक रूप से अति-आत्मविश्वासी (overconfident) है।"

2. "कॉन्फिडेंस-वेटेड एक्यूरेसी" (cwA): "उपयोगी आत्मविश्वास" मापने वाला मीटर

यह जानना कि एक मॉडल जोखिम भरा है (उच्च CSR), महत्वपूर्ण है, लेकिन यह जानना भी महत्वपूर्ण है कि क्या उसका आत्मविश्वास उपयोगी है। एक मॉडल पूरी तरह से सुरक्षित (कम जोखिम) हो सकता है, लेकिन पूरी तरह से बेकार (वह हर बार केवल 50% का अनुमान लगाता है)।

लेखक cwA का प्रस्ताव करते हैं। इसे एक "बोनस स्कोर" के रूप में सोचें।

मानक सटीकता (Standard Accuracy): यह गिनता है कि आपने कितनी बार सही उत्तर दिया।
cwA: यह गिनता है कि आपने कितनी बार सही उत्तर दिया, लेकिन आपको अतिरिक्त अंक देता है यदि आप सही होने पर बहुत आश्वस्त थे, और आपकी सजा काटता है यदि आप गलत होने पर भी आश्वस्त थे।

उपमा:
कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है।

छात्र A 80% सही उत्तर देता है लेकिन हर चीज़ के बारे में अनिश्चित है।
छात्र B 80% सही उत्तर देता है लेकिन उन चीजों के बारे में बहुत आश्वस्त है जो उन्होंने सही की हैं और उन चीजों के बारे में अनिश्चित है जो उन्होंने गलत की हैं।
छात्र C 80% सही उत्तर देता है लेकिन उन चीजों के बारे में बहुत आश्वस्त है जो उन्होंने गलत की हैं।

मानक सटीकता तीनों को समान (80%) देखती है।

cwA छात्र B को पसंद करता है (उच्च स्कोर)।
cwA छात्र C से नफरत करता है (कम स्कोर)।
CSR (चरण 1 से) छात्र C के लिए "खतरा!" चिल्लाएगा।

3. "कॉन्फिडेंस-वेटेड AUC" (cwAUC): "विवेक के साथ रैंकिंग"

एक प्रसिद्ध मीट्रिक है जिसे AUC कहा जाता है, जो यह मापता है कि एक मॉडल अच्छे उत्तरों को बुरे उत्तरों से ऊपर कितनी अच्छी तरह रैंक करता है। यह शोध पत्र सिद्ध करता है कि AUC, कैलिब्रेशन के प्रति "अंधा" है। आप एक मॉडल ले सकते हैं, उसके आत्मविश्वास के नंबरों को बदल सकते हैं (उसे अति-आत्मविश्वासी या कम आत्मविश्वासी बना सकते हैं), और AUC स्कोर नहीं बदलेगा क्योंकि यह केवल क्रम (order) की परवाह करता है, परिमाण (magnitude) की नहीं।

लेखकों ने cwAUC बनाया है। यह AUC की तरह ही है, लेकिन यह आत्मविश्वास के 'वॉल्यूम' को सुनता है।

यदि मॉडल एक सही उत्तर को गलत उत्तर से ऊपर रैंक करता है और उस पर बहुत आश्वस्त है, तो cwAUC एक बड़ा बढ़ावा (boost) देता है।
यदि मॉडल उन्हें सही ढंग से रैंक करता है लेकिन बहुत कम आश्वस्त है, तो बढ़ावा छोटा होता है।
यदि मॉडल उन्हें सही ढंग से रैंक करता है लेकिन गलत उत्तर पर अत्यधिक आश्वस्त है, तो स्कोर गिर जाता है।

यह मीट्रिक बताता है कि क्या मॉडल का आत्मविश्वास वास्तव में उसकी रैंकिंग में मूल्य जोड़ता है, या यह केवल शोर (noise) है।

उन्होंने क्या पाया?

लेखकों ने कई वास्तविक दुनिया के डेटासेट्स (जैसे मेडिकल रिकॉर्ड, क्रेडिट स्कोर और इमेज रिकग्निशन) और सिंथेटिक डेटा पर इन नए उपकरणों का परीक्षण किया।

पुराना पैमाना भ्रामक है: उन्होंने पाया कि मानक कैलिब्रेशन विधियाँ (जैसे "आइसोटोनिक रिग्रेशन") अक्सर मॉडलों को पुराने पैमाने (ECE) पर बेहतर दिखाती हैं, लेकिन वास्तव में उन्हें अधिक खतरनाक बना देती हैं। ये विधियाँ मॉडल को औसत त्रुटि को कम करने के लिए गलत उत्तरों पर अत्यधिक आत्मविश्वासी (99%) होने के लिए मजबूर कर सकती हैं।
नए उपकरण खतरे को पकड़ लेते हैं: उनके नए CSR मीट्रिक ने सफलतापूर्वक उन "जोखिम भरे" मॉडलों की पहचान की जिन्हें पुराने उपकरणों ने मिस कर दिया था। कुछ मामलों में, मानक कैलिब्रेशन ने जोखिम की संभावना को लगभग 100% तक बढ़ा दिया।
प्लैट स्केलिंग (Platt Scaling) अधिक सुरक्षित है: उन्होंने पाया कि "प्लैट स्केलिंग" जैसी सरल विधि अधिक जटिल विधियों की तुलना में मॉडलों को सुरक्षित (कम जोखिम) रखने में अधिक प्रभावी रही, भले ही वह हमेशा पुराने ECE पैमाने पर "परफेक्ट" न दिखे।

सारांश

यह शोध पत्र तर्क देता है कि हमें AI के आत्मविश्वास को उस पैमाने से मापना बंद कर देना चाहिए जो सभी गलतियों को समान मानता है।

CSR आपको बताता है कि क्या मॉडल खतरनाक रूप से अति-आत्मविश्वासी है (यह "क्या यह एक झूठ है?" मापने वाला मीटर है)।
cwA आपको बताता है कि क्या मॉडल का आत्मविश्वास वास्तव में बेहतर निर्णय लेने में आपकी मदद कर रहा है (यह "क्या यह उपयोगी है?" मापने वाला मीटर है)।

साथ मिलकर, वे एक स्पष्ट तस्वीर प्रदान करते हैं कि क्या एक AI सिस्टम भरोसेमंद है या वह आत्मविश्वास के साथ आपको खाई में गिराने के लिए तैयार खड़ा है।

तकनीकी सारांश: ECE से परे: कैलिब्रेटेड साइज रेश्यो, जोखिम मूल्यांकन, और कॉन्फिडेंस-वेटेड मेट्रिक्स

1. समस्या विवरण

यह शोध पत्र मशीन लर्निंग मॉडल के कॉन्फिडेंस कैलिब्रेशन (विश्वास अंशांकन) के मूल्यांकन में एक महत्वपूर्ण सीमा को संबोधित करता है, विशेष रूप से उच्च-जोखिम वाले डोमेन में। वर्तमान मानक, एक्सपेक्टेड कैलिब्रेशन एरर (ECE), को जोखिम मूल्यांकन के लिए मौलिक रूप से त्रुटिपूर्ण माना गया है। ECE एक रैखिक मीट्रिक है जो विभिन्न कॉन्फिडेंस स्तरों पर होने वाले कैलिब्रेशन अंतराल (gaps) को समान रूप से मानता है। फलस्वरूप, ECE बहुत कम रह सकता है, भले ही मॉडल अत्यधिक ओवरकॉन्फिडेंस रिस्क (अत्यधिक आत्मविश्वास का जोखिम) प्रदर्शित कर रहा हो (उदाहरण के लिए, गलत भविष्यवाणियों को उच्च आत्मविश्वास देना)।

लेखकों का तर्क है कि ECE उस कैलिब्रेशन जानकारी को निकालने में विफल रहता है जो सबसे महत्वपूर्ण है: उच्च कॉन्फिडेंस स्तरों पर अंतराल द्वारा निहित विफलता की तीव्रता। चूंकि ECE उन लो-कॉन्फिडेंस बिन्स (bins) द्वारा हावी होता है जहाँ जनसंख्या सबसे अधिक होती है, यह व्यवस्थित रूप से उस 'टेल' (tail) के प्रति अंधा होता है जहाँ गलत अंशांकन सबसे खतरनाक होता है। इसके अलावा, शोध पत्र नोट करता है कि मानक कैलिब्रेशन विधियाँ, जिन्हें ECE को कम करने के लिए डिज़ाइन किया गया है, अनजाने में जोखिम भरे कॉन्फिडेंस प्रोफाइल उत्पन्न कर सकती हैं।

2. कार्यप्रणाली और प्रस्तावित मेट्रिक्स

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो कैलिब्रेशन मूल्यांकन को दो अलग-अलग, पूरक पहलुओं में विभाजित करता है: जोखिम मूल्यांकन (ओवरकॉन्फिडेंस का पता लगाना) और डिस्क्रिमिनेटिव वैल्यू (कॉन्फिडेंस प्रोफाइल की उपयोगिता को मापना)।

2.1 कैलिब्रेटेड साइज रेश्यो (CSR) और रिस्क प्रोबेबिलिटी ( $P_{risk}$ )

ओवरकॉन्फिडेंस के जोखिम को संबोधित करने के लिए, लेखक कैलिब्रेटेड साइज रेश्यो (CSR) पेश करते हैं। ECE के विपरीत, CSR $(1-c)$ के सापेक्ष कैलिब्रेशन अंतराल का आकलन करता है, जो निहित विफलता के वास्तविक परिमाण को दर्शाता है।

परिभाषा: $N$ नमूनों वाले डेटासेट $D$ के लिए, प्रेडिक्टेड क्लासेस $\hat{y}_i$ , ट्रू लेबल्स $y_i$ , और कॉन्फिडेंस स्कोर $conf_i < 1$ :
$CSR = \frac{1}{N} \sum_{i: \hat{y}_i \neq y_i} \frac{1}{1 - conf_i}$
व्याख्या: पूर्ण पॉइंटवाइज कैलिब्रेशन के तहत, $CSR = 1$ होता है।
- $CSR > 1$ ओवरकॉन्फिडेंस (जोखिम भरा) को दर्शाता है।
- $CSR < 1$ अंडरकॉन्फिडेंस (कम आत्मविश्वास) को दर्शाता है।
- $CSR = 1$ का मान यह दर्शाता है कि उनके निर्धारित कॉन्फिडेंस स्तरों पर देखे गए एरर, एक पूर्णतः कैलिब्रेटेड मॉडल के तहत 10 गुना बड़े डेटासेट से अपेक्षित होते।
रिस्क प्रोबेबिलिटी ( $P_{risk}$ ): ओवरकॉन्फिडेंस के सांख्यिकीय प्रमाण को मापने के लिए, लेखक पूर्ण लिमिटवाइज कैलिब्रेशन की धारणा के तहत CSR के स्टैंडर्ड डेविएशन ( $\sigma_{CSR}$ ) को व्युत्पन्न करते हैं। वे z-स्कोर की गणना करने के लिए विचलन को एक नॉर्मल डिस्ट्रीब्यूशन का उपयोग करके मॉडल करते हैं:
$z = \frac{CSR - 1}{\sigma_{CSR}}$
रिस्क प्रोबेबिलिटी फिर $P_{risk} = \Phi(z)$ है, जहाँ $\Phi$ एक स्टैंडर्ड नॉर्मल क्यूम्युलेटिव डिस्ट्रीब्यूशन फंक्शन है। यह बिना मोंटे कार्लो रीसैंपलिंग के एक सिद्धांत-आधारित जोखिम मूल्यांकन की अनुमति देता है।

2.2 कॉन्फिडेंस-वेटेड मेट्रिक्स और $cwAUC$

लेखकों का तर्क है कि एक सुरक्षित प्रोफाइल (कम जोखिम वाला) आवश्यक रूप से उपयोगी नहीं होता है। वे कॉन्फिडेंस-वेटेड एक्यूरेसी (cwA) को CSR के प्राकृतिक पूरक के रूप में प्रस्तावित करते हैं, जो सही भविष्यवाणियों को आवंटित कुल कॉन्फिडेंस मास के अंश को मापता है।

परिभाषा:
$cwA = \frac{\sum_{i} conf_i \cdot \mathbb{1}[\hat{y}_i = y_i]}{\sum_{i} conf_i}$
अन्य मेट्रिक्स में विस्तार: शोध पत्र प्रदर्शित करता है कि कॉन्फिडेंस-वेटिंग को कन्फ्यूजन मैट्रिक्स एंट्रीज को कॉन्फिडेंस द्वारा वेट देकर सभी मानक वर्गीकरण मेट्रिक्स (प्रिसिजन, रिकॉल, F1, आदि) में स्वाभाविक रूप से विस्तारित किया जा सकता है।
कॉन्फिडेंस-वेटेड AUC ($cwAUC$): लेखक सिद्ध करते हैं कि क्लासिकल AUC कॉन्फिडेंस स्कोर के किसी भी स्ट्रिक्टली मोनोटोन रीस्केलिंग (जिसमें पोस्ट-हॉक कैलिब्रेशन शामिल है) के प्रति इनवेरिएंट (invariant) है क्योंकि यह केवल रैंकिंग पर निर्भर करता है। इसके विपरीत, $cwAUC$ प्रेडिक्टेड क्लासेस को दिए गए कॉन्फिडेंस के उत्पाद द्वारा युग्मों (pairwise comparisons) को वेट देता है।
- महत्व: अंतर $cwAUC - AUC$ कैलिब्रेशन द्वारा जोड़ी गई डिस्क्रिमिनेटिव वैल्यू को कैप्चर करता है। एक सकारात्मक अंतर यह दर्शाता है कि मॉडल सही ढंग से रैंक किए गए जोड़ों पर गलत ढंग से रैंक किए गए जोड़ों की तुलना में अधिक आश्वस्त है।

2.3 ECE से स्वतंत्रता

शोध पत्र सैद्धांतिक प्रमाण और काउंटर-एग्जांपल प्रदान करता है जो दिखाते हैं कि CSR और $cwA$, ECE से स्वतंत्र हैं। ऐसे कॉन्फिडेंस प्रोफाइल बनाना संभव है जिनका ECE बहुत कम लेकिन CSR असीमित (अत्यधिक जोखिम) हो, और इसके विपरीत, $ECE=0$ वाले प्रोफाइल जो पूरी तरह से गैर-सूचनात्मक (फ्लैट कॉन्फिडेंस) हों।

3. प्रयोगात्मक परिणाम

प्रस्तावित संकेतकों को सिंथेटिक और वास्तविक दुनिया के डेटासेट पर मान्य किया गया।

3.1 सिंथेटिक डेटासेट्स

लेखकों ने आठ नियंत्रित कैलिब्रेशन व्यवस्थाओं (परफेक्ट, ओवरकॉन्फिडेंट, अंडरकॉन्फिडेंट, और रैंडम सहित) के तहत दस सिंथेटिक कॉन्फिडेंस डिस्ट्रीब्यूशन जनरेट किए।

जोखिम का पता लगाना: CSR ने जोखिम भरे और गैर-जोखिम भरे असाइनमेंट को सफलतापूर्वक अलग किया। परफेक्ट कैलिब्रेशन के तहत, $P_{risk}$ के लिए एम्पिरिकल फॉल्स पॉजिटिव रेट्स सैद्धांतिक भविष्यवाणियों (जैसे, $>1\sigma$ के लिए ~9.77% बनाम सैद्धांतिक 15.87%, और बड़े $N$ पर $>3\sigma$ के लिए ~0.30%) के करीब रहे।
संवेदनशीलता: ओवरकॉन्फिडेंट व्यवस्थाओं (जैसे, $Overconf \ 1-\sqrt{1-c}$ ) में, CSR मान काफी बढ़े हुए थे, और $P_{risk}$ कई मामलों में 100% तक पहुँच गया, जिससे जोखिम का सही पता चला।

3.2 वास्तविक डेटासेट्स

XGBoost का उपयोग करके तीन व्यवस्थाओं (रॉ आउटपुट, आइसोटोनिक रिग्रेशन, और प्लैट स्केलिंग) के साथ 15 डेटासेट्स (UCI, CIFAR-10, MNIST) पर प्रयोग किए गए।

आइसोटोनिक रिग्रेशन के जोखिम: हालांकि आइसोटोनिक रिग्रेशन अक्सर $cwA $में सुधार करता है, यह अक्सर **जोखिम भरे कॉन्फिडेंस प्रोफाइल** भी बनाता है। 15 में से 11 डेटासेट्स में, आइसोटोनिक कैलिब्रेशन के परिणामस्वरूप$ CSR > 1 $($ 1\sigma$ से अधिक) हुआ, जिसमें कई डेटासेट्स में विनाशकारी CSR मान ( $>10^5$ ) देखे गए। ऐसा इसलिए हुआ क्योंकि आइसोटोनिक रिग्रेशन उन मामलों में अत्यधिक कॉन्फिडेंस (1 या 0) दे सकता है जब कैलिब्रेशन सेट में केवल पॉजिटिव या नेगेटिव सैंपल के पठार (plateaus) हों।
प्लैट स्केलिंग: इस पद्धति ने आम तौर पर सुरक्षित प्रोफाइल (केवल 15 में से 3 डेटासेट्स को जोखिम भरा चिह्नित किया गया) प्रदान किया, जबकि प्रतिस्पर्धी $cwA$ बनाए रखा।
ECE की सीमाएं: ECE के लिए अनुकूलित मानक विधियों (जैसे आइसोटोनिक रिग्रेशन) को जोखिम भरे प्रोफाइल देते हुए दिखाया गया, जो पुष्टि करता है कि ECE को कम करना सुरक्षा की गारंटी नहीं देता है।

3.3 AUC बनाम $cwAUC$

सिंथेटिक डेटा: अच्छी तरह से कैलिब्रेटेड सिंथेटिक डिस्ट्रीब्यूशन सकारात्मक $\Delta AUC$ ($cwAUC - AUC$) दिखाते हैं, जो इंगित करता है कि कैलिब्रेशन ने डिस्क्रिमिनेटिव वैल्यू जोड़ी।
वास्तविक डेटा: परिणाम मिश्रित रहे। जबकि $cwA $ने रॉ एक्यूरेसी पर लगातार सुधार किया,$ \Delta AUC$ अक्सर छोटा या नकारात्मक था। लेखक इसका श्रेय इस तथ्य को देते हैं कि वास्तविक दुनिया के मॉडल (जैसे XGBoost) पहले से ही कॉन्फिडेंस स्कोर का उपयोग रैंकिंग सिग्नल के रूप में करते हैं, और पोस्ट-हॉक कैलिब्रेशन विधियाँ (जो मार्जिनल डिस्ट्रीब्यूशन को संरेखित करती हैं) शायद नई रैंकिंग जानकारी में महत्वपूर्ण योगदान नहीं देती हैं।

4. मुख्य योगदान

कैलिब्रेटेड साइज रेश्यो (CSR): एक नया व्याख्यात्मक मीट्रिक जहाँ $CSR=1$ पूर्ण कैलिब्रेशन का संकेत देता है। यह ओवरकॉन्फिडेंस जोखिम का सीधा माप प्रदान करता है।
रिस्क प्रोबेबिलिटी ( $P_{risk}$ ): CSR से व्युत्पन्न एक सांख्यिकीय परीक्षण जो पूर्ण कैलिब्रेशन के शून्य परिकल्पना (null hypothesis) के तहत डेटा को देखने की संभावना को क्वांटिफाई करता है, जिससे कम्प्यूटेशनल रूप से महंगी रीसैंपलिंग की आवश्यकता नहीं होती।
कॉन्फिडेंस-वेटेड मेट्रिक्स: एक औपचारिक ढांचा जो मानक मेट्रिक्स (एक्यूरेसी, AUC, आदि) को कॉन्फिडेंस-वेटेड बनाने के लिए विस्तारित करता है।
$cwAUC$ और कैलिब्रेशन वैल्यू: एक प्रमाण कि क्लासिकल AUC कैलिब्रेशन के प्रति इनवेरिएंट है, और $cwAUC$ का परिचय जो कैलिब्रेशन से प्राप्त विशिष्ट डिस्क्रिमिनेटिव वैल्यू को मापता है।
प्रायोगिक साक्ष्य: यह दिखाने के लिए प्रमाण कि मानक कैलिब्रेशन तकनीकें (विशेष रूप से आइसोटोनिक रिग्रेशन) अन्य मेट्रिक्स में सुधार करते हुए भी जोखिम (CSR) बढ़ा सकती हैं, जो जोखिम-जागरूक मूल्यांकन की आवश्यकता को रेखांकित करती है।

5. महत्व और सीमाएं

शोध पत्र दावा करता है कि प्रस्तावित मेट्रिक्स कॉन्फिडेंस के मूल्यांकन के लिए अधिक मजबूत और सुरक्षा-उन्मुख दृष्टिकोण प्रदान करते हैं। जोखिम मूल्यांकन (CSR) को डिस्क्रिमिनेटिव उपयोगिता ($cwA$) से अलग करके, अभ्यासकर्ता ऐसे मॉडल की पहचान कर सकते हैं जो न केवल सटीक हैं बल्कि उच्च-जोखिम वाले परिदृश्यों में तैनात करने के लिए सुरक्षित भी हैं।

लेखक कुछ सीमाओं को स्वीकार करते हैं:

संख्यात्मक स्थिरता (Numerical Stability): CSR, 1 के करीब के कॉन्फिडेंस स्कोर के प्रति संवेदनशील है, जिसके लिए क्लिपिंग या सावधानीपूर्वक हैंडलिंग की आवश्यकता होती है।
डिस्ट्रीब्यूशन शिफ्ट: जोखिम मूल्यांकन यह मानता है कि मूल्यांकन सेट लिमिट डिस्ट्रीब्यूशन का एक i.i.d. सैंपल है; डिप्लॉयमेंट शिफ्ट $P_{risk}$ को भ्रामक बना सकता है।
छोटे सैंपल साइज: बहुत छोटे $N$ के लिए गाऊसी (Gaussian) सन्निकटन कम सटीक हो सकता है, हालांकि मानक सुधार (जैसे स्टूडेंट-टी) लागू किए जा सकते हैं।
ऑप्टिमाइजेशन: शोध पत्र कॉन्फिडेंस प्रोफाइल को मूल्यांकन करने पर केंद्रित है, न कि CSR या $cwA$ का उपयोग करके पोस्ट-हoc कैलिब्रेशन को मार्गदर्शन देने पर, जिसे भविष्य के कार्य के रूप में सुझाया गया है।

निष्कर्षतः, लेखक तर्क देते हैं कि केवल ECE पर निर्भर रहना भरोसेमंद AI के लिए अपर्याप्त है। जोखिम का पता लगाने के लिए CSR और उपयोगिता मूल्यांकन के लिए $cwA $/$ cwAUC$ का संयोजन मॉडल के कॉन्फिडेंस की विश्वसनीयता की अधिक पूर्ण तस्वीर प्रदान करता है।