💻 computer science

Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift

यह शोध पत्र एक आवश्यक और पर्याप्त "एस्पेक्टेशन कंसिस्टेंसी कंडीशन" (Expectation consistency condition) को व्युत्पन्न करके और एक संगत अनसुपरवाइज्ड डोमेन अडैप्टेशन लॉस (ECL) प्रस्तावित करके कोवेरिएट शिफ्ट के तहत मौजूदा कॉन्फिडेंस कैलिब्रेशन विधियों की सीमाओं को संबोधित करता है, जो अस्थिर इम्पोर्टेंस वेटिंग पर निर्भर किए बिना मॉडल के आत्मविश्वास को प्रभावी ढंग से कैलिब्रेट करता है।

मूल लेखक: Jinzong Dong, Zhaohui Jiang, Bo Yang

प्रकाशित 2026-05-22

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinzong Dong, Zhaohui Jiang, Bo Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift" पेपर का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: एक नए शहर में "मौसम पूर्वानुमानकर्ता" (Weather Forecaster)

कल्पना कीजिए कि आप एक मौसम पूर्वानुमानकर्ता हैं जिसने शहर A में 10 साल बिताए हैं। आप वहां के पैटर्न को पूरी तरह से जानते हैं। जब आप कहते हैं, "बारिश की 70% संभावना है," तो आप आमतौर पर 10 में से 7 बार सही होते हैं। आप कैलिब्रेटेड (calibrated) हैं। आपका आत्मविश्वास वास्तविकता से मेल खाता है।

अब, आप शहर B में चले जाते हैं। वहां का वातावरण अलग है (वहां हमेशा धूप रहती है, या बादल अलग दिखते हैं), लेकिन भौतिकी के वास्तविक नियम (बारिश कैसे बनती है) नहीं बदले हैं। हालाँकि, क्योंकि आसमान का 'दिखावट' (इनपुट डेटा) अलग है, आपका पुराना मॉडल भ्रमित हो जाता है। आप अभी भी कह सकते हैं "70% बारिश की संभावना है," लेकिन शहर B में, जब आप ऐसा कहते हैं, तो वास्तव में 90% बार बारिश होती है।

आपका आत्मविश्वास अब मिसकैलिब्रेटेड (miscalibrated) है। आप या तो ज़रूरत से ज़्यादा आत्मविश्वासी हैं या ज़रूरत से कम, जो कि महत्वपूर्ण निर्णय लेने (जैसे किसान को फसल काटने के लिए कहना या पायलट को उड़ान भरने के लिए कहना) के मामले में खतरनाक हो सकता है।

पुराना समाधान (Importance Weighting):
पहले, वैज्ञानिक इस समस्या को हल करने के लिए यह कहते थे, "आइए मान लें कि शहर B के दिन शहर A के दिनों जितने ही सामान्य हैं।" उन्होंने डेटा को गणितीय रूप से "री-वेट" (re-weight) करने की कोशिश की ताकि दोनों शहर एक जैसे दिखें।

खामी: यह एक चौकोर टुकड़े को गोल छेद में जबरदस्ती फिट करने जैसा है। यदि शहरों के बीच का अंतर बहुत बड़ा है, तो गणित अस्थिर हो जाता है, टूट जाता है, या इसके लिए असंभव मात्रा में डेटा की आवश्यकता होती है। यह एक सी-सॉ (seesaw) को संतुलित करने जैसा है जिसमें एक तरफ पंख है और दूसरी तरफ एक विशाल पत्थर; गणित चिल्लाने लगेगा।

नया विचार: "एक्सपेक्टेशन कंसिस्टेंसी" (Expectation Consistency) की शर्त

इस पेपर के लेखकों ने एक सरल प्रश्न पूछा: "क्या मौसम के पूर्वानुमान को ठीक करने के लिए हमें वास्तव में दोनों शहरों को एक जैसा दिखाने की ज़रूरत है?"

उन्होंने पाया कि उत्तर है नहीं।

उन्होंने एक नया नियम सिद्ध किया जिसे Expectation Consistency Condition कहा जाता है। यहाँ इसकी उपमा दी गई है:

आपको दोनों शहरों में बादलों (इनपुट डेटा) को एक जैसा दिखाने की ज़रूरत नहीं है।
आपको केवल बादलों के पीछे का औसत सत्य (average truth) एक समान रखने की आवश्यकता है।

उपमा:
कल्पना कीजिए कि आपके पास लाल और नीले कंचों (marbles) का एक थैला है।

शहर A में 100 कंचों वाला एक थैला है।
शहर B में 1,000 कंचों वाला एक थैला है, लेकिन वे अलग तरह से व्यवस्थित हैं।
यदि आप एक कंचा चुनते हैं जो "चमकदार" दिखता है (एक विशिष्ट कॉन्फिडेंस स्कोर), तो आपको इससे फर्क नहीं पड़ता कि शहर B में थैला बड़ा है या उसका आकार अलग है। आपको केवल इससे मतलब है कि चमकदार कंचों के बीच लाल कंचों का प्रतिशत दोनों थैलियों में एक समान होना चाहिए।

यदि शहर A के "चमकदार" कंचे 70% लाल हैं, और शहर B के "चमकदार" कंचे भी 70% लाल हैं, तो आपका पूर्वानुमान सही है, भले ही कुल कंचों की संख्या या उनकी व्यवस्था पूरी तरह से अलग क्यों न हो।

यह पूरी थैलियों को एक जैसा बनाने की तुलना में एक बहुत ही आसान शर्त है।

समाधान: एक्सपेक्टेशन कंसिस्टेंसी लॉस (ECL)

इस अंतर्दृष्टि के आधार पर, लेखकों ने एक नया टूल बनाया जिसे Expectation Consistency Loss (ECL) कहा जाता है।

ECL को ट्रेनिंग के दौरान आपके काम की जाँच करने वाले एक स्मार्ट रेफरी के रूप में समझें।

सेटअप: आपके पास एक "सोर्स डोमेन" (शहर A, जहाँ आपके पास लेबल/जवाब हैं) और एक "टारगेट डोमेन" (शहर B, जहाँ आपके पास अभी जवाब नहीं हैं) है।
जाँच: रेफरी आपके भविष्यवाणियों को आपके आत्मविश्वास (confidence) के आधार पर समूहों (buckets) में बांटता है (जैसे, "70% आत्मविश्वासी," "80% आत्मविश्वासी")।
नियम: प्रत्येक समूह के लिए, रेफरी जाँचता है: "शहर A में, जब आपने 70% कहा था, तो आप 70% बार सही थे? क्या शहर B में भी, जब आप 70% कहते हैं, तो आप 70% बार ही सही होते हैं?"
दंड (Penalty): यदि उस विशिष्ट कॉन्फिडेंस स्तर के लिए शहर B में "सत्य दर" (truth rate) शहर A से भिन्न है, तो रेफरी आपको दंड (Loss) देता है। मॉडल फिर खुद को समायोजित करता है ताकि वे दोनों दरें आपस में मिल सकें।

यह क्यों खास है:

यह तब भी काम करता है जब डेटा पूरी तरह से अलग दिखता है (Covariate Shift)।
इसे शहर B के लिए जवाबों (labels) को जानने की आवश्यकता नहीं है (Unsupervised)।
यह विभिन्न प्रकार के "सत्य" परीक्षणों (Top-label, Class-wise, या पूर्ण प्रोबेबिलिटी वेक्टर्स) के लिए काम करता है।

"मिनी-बैच" का जादू

AI की ट्रेनिंग आमतौर पर छोटे हिस्सों में होती है जिन्हें मिनी-बैच (mini-batches) कहा जाता है (जैसे एक बार में किताब के कुछ पन्ने पढ़ना)।

समस्या: यदि आप केवल कुछ पन्नों पर "सत्य दर" की जाँच करने की कोशिश करते हैं, तो आपका गणित अस्थिर और पक्षपाती होगा। यह पूरे देश की औसत ऊंचाई का अनुमान लगाने के लिए केवल 5 लोगों को मापने जैसा है।
समाधान: लेखकों ने "घोस्ट वेरिएबल्स" (auxiliary parameters) का उपयोग करने वाली एक चतुर तकनीक का आविष्कार किया। कल्पना कीजिए कि आपके पास एक धीमी गति से चलने वाला औसत (slow-moving average) है जो अब तक पढ़े गए सभी पन्नों से "सत्य" को याद रखता है। जब आप पन्नों के एक नए हिस्से को देखते हैं, तो आप शून्य से औसत की गणना करने के बजाय इस "घोस्ट मेमोरी" के विरुद्ध तुलना करते हैं।
यह मॉडल को डेटा के छोटे बैचों के साथ भी कुशलतापूर्वक और स्थिरता से सीखने में सक्षम बनाता है।

उन्होंने क्या पाया (परिणाम)

लेखकों ने निम्नलिखित पर ECL का परीक्षण किया:

सिम्युलेटेड डेटा: उन्होंने अलग-अलग मौसम पैटर्न वाले "नकली शहर" बनाए। ECL ने कॉन्फिडेंस स्कोर को पूरी तरह से ठीक कर दिया।
वास्तविक दुनिया का डेटा: उन्होंने परीक्षण किया:
- डिजिट रिकग्निशन (Digit Recognition): हस्तलिखित नंबरों (MNIST) से सड़क के संकेतों (SVHN) की तस्वीरों तक जाना। यह छवियों के दिखने के तरीके में एक बहुत बड़ा बदलाव है।
- कला शैलियाँ (Art Styles): फोटो से कार्टून या स्केच (PACS dataset) तक जाना।
- बड़े पैमाने पर: उच्च-गुणवत्ता वाली तस्वीरों से हाथ से बने स्केच (ImageNet-Sketch) तक जाना।

परिणाम:
लगभग हर मामले में, ECL ने पिछले तरीकों की तुलना में मॉडल के आत्मविश्वास को बहुत अधिक सटीक (कम "कैलिब्रेशन एरर") बनाया। महत्वपूर्ण बात यह है कि इसने यह सब बिना मॉडल की सही उत्तर देने की क्षमता (Accuracy) को खराब किए किया।

एक वाक्य में सारांश

यह पेपर दिखाता है कि जब डेटा बदलता है, तो मॉडल के आत्मविश्वास को ठीक करने के लिए आपको डेटा को एक जैसा दिखाने की ज़रूरत नहीं है; आपको बस यह सुनिश्चित करना है कि आत्मविश्वास के हर स्तर पर, मॉडल नए संसार में भी उतना ही सही हो जितना वह पुराने संसार में था, और उन्होंने इसे करने के लिए एक नया, स्थिर गणितीय टूल (ECL) बनाया है।

तकनीकी सारांश: कोवेरिएट शिफ्ट के तहत कॉन्फिडेंस कैलिब्रेशन के लिए एक्सपेक्टेशन कंसिस्टेंसी लॉस (Expectation Consistency Loss)

समस्या विवरण (Problem Statement)

वर्गीकरण मॉडल (classification models) में कॉन्फिडेंस कैलिब्रेशन महत्वपूर्ण है, जो यह सुनिश्चित करता है कि अनुमानित संभावनाएँ (predicted probabilities) वास्तविक घटना की संभावना को दर्शाती हैं। हालाँकि, मानक कैलिब्रेशन विधियाँ आमतौर पर यह मानती हैं कि प्रशिक्षण (सोर्स) और परीक्षण (टार्गेट) डेटा स्वतंत्र और समान रूप से वितरित (i.i.d.) हैं। वास्तविक दुनिया के परिदृश्यों में, जहाँ कोवेरिएट शिफ्ट (covariate shift) होता है—जहाँ इनपुट फीचर वितरण बदल जाता है ( $P_s(X) \neq P_t(X)$ ) जबकि कंडीशनल लेबल वितरण अपरिवर्तित रहता है ( $P_s(Y|X) = P_t(Y|X)$ )—ये विधियाँ अक्सर विफल हो जाती हैं।

कोवेरिएट शिफ्ट के तहत कैलिब्रेट करने वाले मौजूदा दृष्टिकोण मुख्य रूप से ग्लोबल कोवेरिएट वितरणों को संरेखित करने के लिए इम्पॉर्टेंस वेटिंग (importance weighting) पर निर्भर करते हैं। ये विधियाँ महत्वपूर्ण सीमाओं से ग्रस्त हैं:

अस्थिरता (Instability): जब डेंसिटी रेश्यो (density ratios) बड़े होते हैं, तो वे अस्थिर या अनबाउंड हो जाते हैं।
दायरा (Scope): वे मुख्य रूप से केवल टॉप-लेबल कैलिब्रेशन तक सीमित हैं, क्लास-वाइज और कैनोनिकल (पूर्ण प्रोबेबिलिटी वेक्टर) कैलिब्रेशन की उपेक्षा करते हैं।
सैद्धांतिक ओवरहेड (Theoretical Overhead): वे यह मानते हैं कि ग्लोबल डिस्ट्रीब्यूशन अलाइनमेंट आवश्यक है, जो कैलिब्रेटेड कॉन्फिडेंस प्राप्त करने के लिए एक अत्यधिक सख्त आवश्यकता हो सकती है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक्सपेक्टेशन कंसिस्टेंसी कंडीशन (Expectation Consistency Condition) और एक संबंधित लॉस फंक्शन, एक्सपेक्टेशन कंसिस्टेंसी लॉस (ECL) पर केंद्रित एक नया फ्रेमवर्क प्रस्तावित करता है।

1. सैद्धांतिक आधार: एक्सपेक्टेशन कंसिस्टेंसी कंडीशन

लेखक कोवेरिएट शिफ्ट के तहत कॉन्फिडेंस कैलिब्रेशन के लिए एक आवश्यक और पर्याप्त शर्त (necessary and sufficient condition) व्युत्पन्न करते हैं।

थ्योरम 3.1: एक क्लासिफायर टार्गेट डोमेन पर कैलिब्रेटेड है यदि और केवल यदि एक कॉन्फिडेंस स्कोर के दिए गए अपेक्षित वास्तविक पोस्टीरियर प्रोबेबिलिटी (expected true posterior probability) सोर्स और टार्गेट डोमेन में सुसंगत (consistent) है। औपचारिक रूप से, किसी भी क्लास $k$ के लिए:
$E_{X \sim P_s(X|S)}[P(Y_k=1|X)] = E_{X \sim P_t(X|S)}[P(Y_k=1|X)]$
निहितार्थ: यह स्थिति स्पष्ट करती है कि ग्लोबल कोवेरिएट डिस्ट्रीब्यूशन अलाइनमेंट ( $P_s(X) = P_t(X)$ ) आवश्यक नहीं है। कैलिब्रेशन तब प्राप्त किया जा सकता है जब विशिष्ट कॉन्फिडेंस स्तरों पर आधारित अपेक्षित सटीकता (expected accuracy) दोनों डोमेन में सुसंगत हो, भले ही इनपुट वितरण काफी भिन्न हों। यह स्थिति ग्लोबल अलाइनमेंट की तुलना में काफी कमजोर (weaker) है।

2. लॉस फंक्शन: एक्सपेक्टेशन कंसिस्टेंसी लॉस (ECL)

व्युत्पन्न शर्त के आधार पर, पेपर ECL का परिचय देता है, जो एक अनसुपरवाइज्ड डोमेन एडेप्टेशन लॉस है जिसे सोर्स और टार्गेट एक्सपेक्टेशंस के बीच विसंगति को कम करने के लिए डिज़ाइन किया गया है।

फॉर्मूलेशन: लॉस, प्रेडिक्टेड कॉन्फिडेंस स्कोर $S$ पर आधारित सोर्स डोमेन और टार्गेट डोमेन पर अनुमानित अपेक्षित वास्तविक पोस्टीरियर $P(Y|X)$ के बीच की दूरी को मापता है।
$L_{ecl} = E_{P_t(S)} \left[ \left| E_{P_s(X|S)}[P(Y|X)] - E_{P_t(X|S)}[P(Y|X)] \right| \right]$
बहुमुखी प्रतिभा (Versatility): यह फ्रेमवर्क तीन कैलिब्रेशन प्रतिमानों (paradigms) का समर्थन करता है:
- कैनोनिकल कैलिब्रेशन (Canonical Calibration): पूर्ण प्रोबेबिलिटी वेक्टर को मैच करना।
- क्लास-वाइज कैलिब्रेशन (Class-wise Calibration): प्रत्येक क्लास के लिए व्यक्तिगत रूप से प्रोबेबिलिटी को मैच करना।
- टॉप-लेबल कैलिब्रेशन (Top-label Calibration): प्रेडिक्टेड क्लास के कॉन्फिडेंस को मैच करना।
कार्यान्वयन (Implementation): बिना टार्गेट लेबल्स के $P(Y|X)$ का अनुमान लगाने के लिए, यह विधि सोर्स डोमेन पर (या बैकबोन के साथ संयुक्त रूप से) एक ऑक्सिलरी क्लासिफिकेशन हेड को प्रशिक्षित करती है ताकि वास्तविक पोस्टीरर का अनुमान लगाया जा सके।

3. ऑप्टिमाइज़ेशन और ट्रेनैबिलिटी

डिफरेंशिएबिलिटी (Differentiability): चूंकि मानक बिनिंग नॉन-डिफरेंशिएबल है, इसलिए लेखक ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन को सक्षम करने के लिए एक टेम्परेचर पैरामीटर $\tau$ का उपयोग करके एक सॉफ्ट, एंकर-आधारित असाइनमेंट प्रस्तावित करते हैं।
मिनी-बैच ट्रेनैबिलिटी (Mini-Batch Trainability): मिनी-बैच पर सीधे लॉस की गणना करने से बायस (bias) उत्पन्न होता है क्योंकि नॉर्म ऑपरेटर एक्सपेक्टेशंस के साथ कम्यूट (commute) नहीं करता है। इसे हल करने के लिए, लेखक एक ऑक्सिलरी वेरिएबल फॉर्मूलेशन (थ्योरम 3.3) प्रस्तावित करते हैं। वे डोमेन एक्सपेक्टेशंस को अनुमानित करने के लिए लर्न करने योग्य पैरामीटर्स ( $u^s_j, u^t_j$ ) पेश करते हैं, जिससे अल्टरनेटिंग प्रॉक्सिमल अपडेट्स (एल्गोरिदम 1) के माध्यम से अनबायस्ड ग्रेडिएंट बैकप्रोपैगेशन संभव होता है।
सैंपल कॉम्प्लेक्सिटी (Sample Complexity): सैद्धांतिक विश्लेषण दिखाता है कि ECL की सैंपल कॉम्प्लेक्सिटी $O(B/\epsilon^2)$ है, जो एक्सपेक्टेड कैलिब्रेशन एरर (ECE) के लिए हिस्टोग्राम बिनिंग के बराबर है, जहाँ $B$ बिन्स की संख्या है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक अंतर्दृष्टि: एक्सपेक्टेशन कंसिस्टेंसी कंडीशन का व्युत्पत्ति, जो सिद्ध करता है कि कोवेरिएट शिफ्ट के तहत कैलिब्रेशन के लिए ग्लोबल कोवेरिएट अलाइनमेंट अनावश्यक है।
नया लॉस फंक्शन: ECL का प्रस्ताव, जो कैनोनिकल, क्लास-वाइज और टॉप-लेबल कैलिब्रेशन प्रतिमानों के अनुकूल एक एकीकृत लॉस फंक्शन है।
एल्गोरिदमिक नवाचार: अनबायस्ड ग्रेडिएंट एस्टीमेशन सुनिश्चित करने के लिए ऑक्सिलरी वेरिएबल्स का उपयोग करते हुए एक सैद्धांतिक रूप से ठोस मिनी-बैच ट्रेनिंग स्कीम का विकास, जो छोटे बैचों पर डायरेक्ट बिनिंग की सीमाओं को दूर करता है।
व्यापक मूल्यांकन: सिमुलेटेड और रियल-वर्ल्ड डेटासेट पर इम्पॉर्टेंस वेटिंग और मिक्सअप-आधारित विधियों सहित स्टेट-ऑफ-द-आर्ट बेसलाइन्स पर ECL के प्रदर्शन का प्रदर्शन।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का सत्यापन किया गया:

सिमुलेटेड डेटा: नॉर्मल और यूनिफॉर्म कोवेरिएट शिफ्ट, जो दर्शाता है कि ECL तीनों प्रतिमानों में कैलिब्रेशन एरर को कम करता है।
रियल-वर्ल्ड बेंचमार्क्स:
- डिजिट रिकग्निशन: MNIST, USPS, SVHN।
- डोमेन एडेप्टेशन: PACS (फोटो, आर्ट, कार्टून, स्केच)।
- लार्ज-स्केल: ImageNet-Sketch।
प्रदर्शन:
- ECL ने TransCal, DRL और PseudoCal जैसे बेसलाइन्स की तुलना में लगातार सबसे कम (या लगभग सबसे कम) कैलिब्रेशन एरर (ECE, CwECE, ECEKDE) प्राप्त किया।
- हाई-शिफ्ट परिदृश्यों (जैसे SVHN) में उल्लेखनीय सुधार देखा गया, जहाँ ECL ने LeNet-5 पर टॉप-लेबल ECE को ~61.9% (अनकैलिब्रेटेड) से घटाकर ~21.5% कर दिया।
- विधि ने आम तौर पर क्लासिफिकेशन एक्यूरेसी ( $\Delta ACC$ ) को बनाए रखा या थोड़ा सुधारा, जो दर्शाता है कि कैलिब्रेशन के लिए डिस्क्रिमिनेटिव पावर का त्याग करना आवश्यक नहीं है।
- एब्लेशन स्टडीज ने मिनी-बैच ट्रेन करने योग्य स्कीम और एडेप्टिव लॉस वेटिंग स्ट्रैटेजी की आवश्यकता की पुष्टि की।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह ग्लोबल डिस्ट्रीब्यूशन अलाइनमेंट के पारंपरिक प्रतिमान से हटकर कोवेरिएट शिफ्ट के तहत कॉन्फिडेंस कैलिब्रेशन को मौलिक रूप से फिर से परिभाषित करता है। यह स्थापित करके कि क्रिटिकल स्टैटिस्टिक्स में लोकल कंसिस्टेंसी (कॉन्फिडेंस के दिए गए अपेक्षित पोस्टीरियर) पर्याप्त है, लेखक एक अधिक मजबूत और लचीला सैद्धांतिक आधार प्रदान करते हैं।

इसका महत्व निम्नलिखित में निहित है:

मजबूती (Robustness): एक ऐसा समाधान प्रदान करना जो अस्थिर इम्पॉर्टेंस वेट्स पर निर्भर नहीं है।
सामान्यता (Generality): सभी प्रमुख कैलिब्रेशन प्रकारों (कैनोनिकल, क्लास-वाइज, टॉप-लेबल) के लिए एक एकीकृत दृष्टिकोण प्रदान करना, जबकि पिछली विधियाँ अक्सर टॉप-लेबल तक सीमित थीं।
व्यावहारिकता (Practicality): आधुनिक डीप लर्निंग वर्कफ़्लो के अनुकूल कुशल, मिनी-बैच ट्रेन करने योग्य ऑप्टिमाइज़ेशन को सक्षम बनाना।

लेखक सीमाओं को स्वीकार करते हुए, नोट करते हैं कि विधि यह मानती है कि पोस्टीरियर क्लास प्रोबेबिलिटीज ( $P(Y|X)$ ) इनवेरिएंट हैं और वर्तमान में लेबल शिफ्ट को संबोधित नहीं करती है। भविष्य के कार्य के रूप में कोवेरिएट और लेबल दोनों शिफ्ट वाले परिदृश्यों में इस फ्रेमवर्क को विस्तारित करने का सुझाव दिया गया है।