📊 statistics

Density-Ratio Losses for Post-Hoc Learning to Defer

यह शोध पत्र एक पोस्ट-हॉक 'लर्निंग टू डिफर' (Learning to Defer) ढांचे का प्रस्ताव करता है जो विलंब निर्णय (deferral decisions) को मॉडल और विशेषज्ञ आदर्श वितरणों के बीच घनत्व-अनुपात अनुमान (density-ratio estimation) के रूप में तैयार करता है, जिससे बिना पुनप्रशिक्षण के समायोज्य विलंब दर सक्षम होती है और चो के नियम (Chow's rule), विशेषज्ञ-झुकाव वाले बेयसियन अनुमान (expert-tilted Bayesian inference), और विसंगति का पता लगाने (anomaly detection) को एकीकृत किया जाता है।

मूल लेखक: Alexander Soen, Ragnar Thobaben, Joakim Jaldén, Richard Nock

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Soen, Ragnar Thobaben, Joakim Jaldén, Richard Nock

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त अस्पताल में कार्यरत एक जूनियर डॉक्टर हैं। आप बुद्धिमान और प्रशिक्षित हैं, लेकिन आप जानते हैं कि आप पूर्ण (perfect) नहीं हैं। कभी-कभी, रोगी के लक्षण इतने भ्रमित करने वाले या दुर्लभ होते हैं कि आपका सबसे अच्छा अनुमान भी गलत हो सकता है। उन क्षणों में, सबसे समझदारी भरा काम यह अनुमान लगाना नहीं है; बल्कि यह कहना है, "मुझे यकीन नहीं है, चलिए चीफ ऑफ मेडिसिन से पूछते हैं।"

यह शोध पत्र कंप्यूटर प्रोग्रामों (AI मॉडल्स) को ठीक यही करना सिखाने के बारे में है: यह जानना कि कब पीछे हटना है और मानव विशेषज्ञ को कमान संभालने देना है। इस प्रक्रिया को लर्निंग टू डिफर (Learning to Defer) कहा जाता है।

यहाँ एक सरल विवरण दिया गया है कि लेखकों ने क्या किया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।

समस्या: द "पोस्ट-हॉक" दुविधा (The "Post-Hoc" Dilemma)

आमतौर पर, जब हम एक AI बनाते हैं, तो हम इसे हर चीज़ में पूर्ण होने के लिए शुरू से प्रशिक्षित करते हैं। लेकिन वास्तविक दुनिया में, हमारे पास अक्सर पहले से ही एक शक्तिशाली AI मॉडल होता है जिसे हम आसानी से बदल नहीं सकते (शायद वह बहुत बड़ा है, या पहले से ही तैनात किया जा चुका है)। हम इसे एक "फिक्स्ड" (fixed) मॉडल कहते हैं।

चुनौती यह है: हम इस फिक्स्ड मॉडल को यह कैसे सिखाएं कि मदद कब मांगनी है, बिना पूरे मॉडल को फिर से प्रशिक्षित (retraining) किए?

अधिकांश मौजूदा तरीके इसे यह देखकर अनुमान लगाने की कोशिश करते हैं कि AI कितना "आत्मविश्वासी" (confident) महसूस कर रहा है। यदि AI 99% निश्चित है, तो वह उत्तर देता है। यदि वह 50% निश्चित है, तो वह मदद मांगता है। लेकिन यह एक छात्र की तरह है जो यह अनुमान लगाने की कोशिश कर रहा है कि उसे उत्तर पता है या नहीं, इसके आधार पर कि वह कितना ज़ोर से बोल रहा है। जब डेटा अव्यवस्थित होता है या जब विशेषज्ञ विशिष्ट, अजीब मामलों में बहुत अच्छा होता है, तो यह तरीका अक्सर विफल हो जाता है।

समाधान: "आदर्श दुनिया" की उपमा (The "Ideal World" Analogy)

लेखक इस बारे में सोचने का एक नया तरीका प्रस्तावित करते हैं। यह पूछने के बजाय कि, "AI कितना आत्मविश्वासी है?", वे पूछते हैं, "किस तरह की दुनिया में यह AI पूर्णतः कार्य करता है?"

वे दो अलग-अलग "आदर्श दुनियाओं" की कल्पना करते हैं (जिन्हें वे आइडियल डिस्ट्रीब्यूशन कहते हैं):

AI की आदर्श दुनिया: वास्तविकता का एक ऐसा संस्करण जहाँ AI एक जीनियस है। इस दुनिया में, AI बहुत कम गलतियाँ करता है।
विशेषज्ञ की आदर्श दुनिया: वास्तविकता का एक ऐसा संस्करण जहाँ मानव विशेषज्ञ एक जीनियस है। इस दुनिया में, विशेषज्ञ बहुत कम गलतियाँ करता है।

जादुई ट्रिक:
लेखकों ने महसूस किया कि आप इन दो दुनियाओं की तुलना कर सकते हैं।

यदि कोई विशिष्ट रोगी का मामला AI की आदर्श दुनिया जैसा दिखता है, तो AI को उत्तर देना चाहिए।
यदि वही मामला विशेषज्ञ की आदर्श दुनिया जैसा अधिक दिखता है, तो AI को डिफर (मदद मांगना) करना चाहिए।

वे इस माप के लिए डेंसिटी रेश्यो (Density Ratio) नामक एक गणितीय उपकरण का उपयोग करते हैं। इसे एक "संभावना मीटर" (likelihood meter) की तरह समझें। यह पूछता है: "क्या यह स्थिति AI की पूर्ण दुनिया में होने की अधिक संभावना है, या विशेषज्ञ की पूर्ण दुनिया में?"

"स्कोरबोर्ड" (The DR CPE Loss)

इसे व्यवहार में लाने के लिए, लेखकों को इस मीटर को पढ़ने के लिए एक "स्कोरकीपर" (एक छोटा, सरल प्रोग्राम) को प्रशिक्षित करने के लिए एक नया तरीका आविष्कार करना पड़ा।

उन्होंने महसूस किया कि इन दो "आदर्श दुनियाओं" के बीच अंतर को समझना गणितीय रूप से विजेता का अनुमान लगाने (Guessing the Winner) के खेल के समान है।

कल्पना कीजिए कि आपके पास दो टीमें हैं: टीम AI और टीम विशेषज्ञ।
आप स्कोरकीपर को एक खेल (डेटा पॉइंट) दिखाते हैं।
स्कोरकीपर को अनुमान लगाना होता है: "क्या यह खेल उस दुनिया में हुआ जहाँ टीम AI आमतौर पर जीतती है, या टीम विशेषज्ञ की दुनिया में?"

इस स्कोरकीपर को यह अनुमान लगाने वाला खेल खेलने के लिए प्रशिक्षित करके, लेखकों ने एक नया "लॉस फंक्शन" (प्रशिक्षण के लिए स्कोरिंग नियम) बनाया जिसे DR CPE कहा जाता है। यह सिस्टम को यह सीखने की अनुमति देता है कि विशेषज्ञ के पास कब स्विच करना है, बिना निर्णय लेने से पहले विशेषज्ञ के उत्तर को जाने बिना।

यह बेहतर क्यों है (परिणाम)

लेखकों ने विभिन्न अव्यवस्थित डेटासेट्स (जैसे त्रुटियों वाली मेडिकल इमेज, या ऐसा डेटा जहाँ कुछ बीमारियाँ बहुत दुर्लभ हैं) पर इसका परीक्षण किया।

पुराना तरीका: अक्सर अव्यवस्थित डेटा के साथ विफल हो गया। यह एक ऐसे छात्र की तरह था जो घबरा जाता है जब परीक्षा के प्रश्न अभ्यास वाले प्रश्नों से थोड़े अलग होते हैं।
नया तरीका (DR CPE): बहुत अधिक मजबूत (robust) था। इसने अव्यवस्थित डेटा को बेहतर ढंग से संभाला और लगातार सही चुनाव किया: जब सुरक्षित हो तो उत्तर दें, और जब न हो तो मदद मांगें।

"टेम्परेचर" नॉब (The "Temperature" Knob)

उनके तरीके की एक शानदार विशेषता एक "तापमान" सेटिंग (जिसे $\gamma$ कहा जाता है) है।

उच्च तापमान (High Temperature): AI जोखिम लेने के लिए अधिक इच्छुक है और उत्तर देने के लिए तैयार रहता है भले ही वह थोड़ा अनिश्चित हो।
कम तापमान (Low Temperature): AI बहुत सतर्क है और मदद के लिए अधिक बार पूछेगा।

यह बहुत अच्छा है क्योंकि इसका मतलब है कि आप पूरे सिस्टम को फिर से प्रशिक्षित किए बिना, सिस्टम बनने के बाद यह नियंत्रित कर सकते हैं कि AI कितनी बार मदद मांगेगा। आप बस नॉब घुमाते हैं।

सारांश

संक्षेप में, यह शोध पत्र AI मॉडल्स को विनम्र होना सिखाता है। केवल यह अनुमान लगाने के बजाय कि वे कितने आत्मविश्वासी हैं, वे वर्तमान स्थिति की तुलना दो "पूर्ण दुनियाओं" से करते हैं: एक जहाँ वे पूर्ण हैं, और दूसरी जहाँ मानव विशेषज्ञ पूर्ण है। यदि स्थिति विशेषज्ञ की पूर्ण दुनिया की तरह दिखती है, तो AI विनम्रता से पीछे हट जाता है और कहता है, "आप इसे संभाल लें।"

यह AI सिस्टम को सुरक्षित और अधिक कुशल बनाता है, विशेष रूप से चिकित्सा जैसे उच्च-दांव (high-stakes) वाले क्षेत्रों में, यह सुनिश्चित करते हुए कि कठिन मामलों को हमेशा उपलब्ध सर्वश्रेष्ठ मस्तिष्क (मानव या मशीन) द्वारा संभाला जाए।

समस्या विवरण
लर्निंग टू डिफर (Learning to Defer - L2D) उन उच्च-जोखिम वाले डोमेन (जैसे स्वास्थ्य सेवा, वित्त) में मशीन लर्निंग (ML) मॉडल को तैनात करने की चुनौती को संबोधित करता है जहाँ विश्वसनीयता सर्वोपरि है। इसका लक्ष्य एक ऐसे मॉडल को सक्षम बनाना है जो भविष्यवाणी करने से बचने (abstain) और इसके बजाय एक विशेषज्ञ (संभावित रूप से मानव) के पास जाने का निर्णय ले सके, जब मॉडल का आउटपुट अविश्वसनीय माना जाता है। जबकि लर्निंग टू रिजेक्ट (Learning to Reject - L2R) मॉडल को अपने स्वयं के आत्मविश्वास के आधार पर रुकने की अनुमति देता है, L2D स्पष्ट रूप से एक विशेषज्ञ को प्रशिक्षण प्रक्रिया में शामिल करता है ताकि यह सीखा जा सके कि विशेषज्ञ कब मॉडल से बेहतर प्रदर्शन करने की संभावना रखता है।

आधुनिक ML में एक महत्वपूर्ण बाधा "पोस्ट-हॉक" (post-hoc) सेटिंग है, जहाँ एक पूर्व-प्रशिक्षित बेस मॉडल $h$ स्थिर रहता है, और केवल डिफरल तंत्र (रिजेक्टर) $r$ को सीखा जाता है। बड़े मॉडलों को फिर से प्रशिक्षित करना अक्सर अत्यधिक महंगा होता है। मौजूदा पोस्ट-हॉक दृष्टिकोण अक्सर सरल ह्यूरिस्टिक्स (जैसे आत्मविश्वास थ्रेशोल्ड) पर निर्भर करते हैं या पॉइंटवाइज एक्सपर्ट-कंपेरिजन टारगेट्स (यह भविष्यवाणी करना कि विशेषज्ञ कब सही है और मॉडल कब नहीं) को अनुमानित करने का प्रयास करते हैं। हालाँकि, ये विधियाँ वितरण बदलाव (distribution shifts) या विशेषज्ञ के विशिष्ट होने की स्थिति में विफल हो सकती हैं। इसके अलावा, कई मौजूदा विधियों को डिफरल दर को समायोजित करने के लिए पुन: प्रशिक्षण की आवश्यकता होती है, जो उनकी अनुकूलन क्षमता को सीमित करती है।

कार्यप्रणाली
यह शोध पत्र आदर्श वितरणों (ideal distributions) और डेंसिटी-रेशियो एस्टीमेशन (density-ratio estimation) पर आधारित एक नवीन पोस्ट-हॉक L2D फ्रेमवर्क प्रस्तावित करता है।

आदर्श वितरण (Ideal Distributions): लेखक एक "आदर्श वितरण" को वास्तविक डेटा वितरण $P$ के एक डाइवर्जेंस-रेगुलराइज्ड रीवेटिंग के रूप में परिभाषित करते हैं, जिसके तहत एक विशिष्ट क्लासिफायर-लॉस जोड़ा कम लॉस प्राप्त करता है। वे दो प्रकार के आदर्श प्रस्तुत करते हैं:
- मार्जिनल आइडियल ( $Q_m$ ): इसे ऑब्जर्वेशन स्पेस $X$ पर अनुकूलित किया गया है।
- जॉइंट आइडियल ( $Q_j$ ): इसे संयुक्त स्पेस $X \times Y$ पर अनुकूलित किया गया है।
  के लिए, ये आइडल्स डेटा वितरण के मल्टीप्लिकेटिव रीवेटिंग्स के रूप में दिखाए गए हैं, जहाँ वेट्स बायेस क्लास-पोस्टीरियर के तहत क्लासिफायर (या विशेषज्ञ) के अपेक्षित लॉस पर निर्भर करते हैं।
डेंसिटी-रेशियो डिफरल नियम: सीधे बाइनरी रिजेक्टर को सीखने के बजाय, लेखक डिफरल को आदर्श वितरणों के बीच तुलना करके परिभाषित करते हैं। डिफरल का निर्णय डेंसिटी रेशियो $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$ को थ्रेशोल्ड करने द्वारा किया जाता है।
- यदि अवलोकन $x$ विशेषज्ञ के आदर्श वितरण द्वारा बेहतर समझाया जा सकता है (अर्थात, अनुपात कम है), तो मॉडल डिफर कर देता है।
- यह दृष्टिकोण स्वाभाविक रूप से स्कोरर (डेंसिटी रेशियो एस्टिमेटर) को डिफरल थ्रेशोल्ड से अलग करता है, जिससे प्रशिक्षण के बाद बिना स्कोरर को फिर से प्रशिक्षित किए डिफरल दर को समायोजित करना संभव हो जाता है।
सैद्धांतिक संबंध:
- चाउ का नियम (Chow's Rule): मार्जिनल KL-आइडल्स के लिए, व्युत्पन्न नियम मूल डेटा वितरण के तहत क्लासिक चाउ नियम को पुनः प्राप्त करता है।
- एक्सपर्ट-टिल्टेड पोस्टीरियर (Expert-Tilted Posterior): जॉइंट KL-आइडल्स के लिए, नियम एक "एक्सपर्ट-टिल्टेड" वितरण के तहत चाउ-शैली के निर्णय के अनुरूप है। यह वितरण विशेषज्ञ के लॉस के आधार पर लेबल्स को रीवेट करता है, जो प्रभावी रूप से विशेषज्ञ के तुलनात्मक लाभ को डिफरल निर्णय में शामिल करता है।
- हाइपोथीसिस टेस्टिंग: डिफरल नियम को मॉडल के आदर्श वितरण और विशेषज्ञ के आदर्श वितरण के बीच अंतर करने वाले नेमन-पियर्सन हाइपोथीसिस टेस्ट के रूप में फ्रेम किया गया है।
DR CPE लॉसेस: चूंकि आदर्श वितरण बायेस पोस्टीरियर पर निर्भर करते हैं और परीक्षण के समय पॉइंटवाइज विशेषज्ञ एक्सेस (जो उपलब्ध नहीं है) की आवश्यकता होती है, इसलिए लेखक क्लोज्ड-फॉर्म समाधानों का उपयोग नहीं कर सकते। इसके बजाय, वे डेंसिटी-रेशियो एस्टीमेशन (DRE) को क्लास-प्रोबेबिलिटी एस्टीमेशन (CPE) में कम करते हैं।
- वे DR CPE लॉसेस ( $L_m$ और $L_j$ ) का एक परिवार व्युत्पन्न करते हैं जो एक बाइनरी क्लासिफिकेशन कार्य के माध्यम से मॉडल और विशेषज्ञ के आदर्श वितरणों के बीच डेंसिटी रेशियो सीखने की अनुमति देते हैं।
- जॉइंट DR CPE लॉस ( $L_j$ ) को व्यावहारिक रूप से अनुमानित किया जा सकने वाला दिखाया गया है और यह मार्जिनल लॉस ( $L_m$ ) के एक अपर बाउंड के रूप में कार्य करता है।
- यह शोध पत्र इस दृष्टिकोण और मौजूदा एक्सपर्ट-कंपेरिजन एस्टीमेशन विधियों (जैसे, ज़ीरो-वन सटीकता में अंतर पर रिग्रेशन) और विसंगति का पता लगाने (anomaly detection) के बीच संबंध स्थापित करता है।

मुख्य योगदान

वितरणात्मक सूत्रीकरण (Distributional Formulation): यह पेपर पॉइंटवाइज परफॉरमेंस एस्टीमेशन के बजाय मॉडल और विशेषज्ञ के आदर्श वितरणों की तुलना पर आधारित एक पोस्ट-हॉक L2D फ्रेमवर्क पेश करता है।
मार्जिनल बनाम जॉइंट आइडियल्स: यह मार्जिनल और जॉइंट आदर्श वितरणों के बीच अंतर का विश्लेषण करता है, यह दिखाते हुए कि जॉइंट नियम एक "एक्सपर्ट-टिल्टेड" वितरण के तहत डिफरल के अनुरूप है, जो व्यावहारिक रूप से सार्थक है क्योंकि यह विशेषज्ञ की विशिष्ट शक्तियों को ध्यान में रखता है।
DR CPE लॉसेस: लेखक DR CPE लॉसेस का एक नया परिवार प्रस्तुत करते हैं जो मानक क्लास-प्रोबेबिलिटी एस्टीमेशन के माध्यम से डिफरल नियमों को सीखने में सक्षम बनाता है, जो सैद्धांतिक आदर्श वितरणों और व्यावहारिक शिक्षण के बीच की खाई को पाटता है।
अनुकूलन क्षमता (Adaptability): यह विधि स्कोरर को थ्रेशोल्ड से अलग करती है, जिससे बिना पुनः प्रशिक्षण के डिफरल दरों को समायोजित करना संभव हो जाता है।

प्रायोगिक परिणाम
लेखक विभिन्न भ्रष्टाचार सेटिंग्स (लेबल नॉइज़, लॉन्ग-टेल वितरण और स्पेशलिस्ट सबसेट्स) के तहत CIFAR-100 और MedMNIST डेटासेट पर अपने DR CPE दृष्टिकोण का मूल्यांकन करते हैं।

प्रतिस्पर्धात्मकता: DR CPE दृष्टिकोण सामान्य बेसालाइन्स के मुकाबले प्रतिस्पर्धी प्रदर्शन करता है, जिसमें कॉन्फिडेंस-आधारित ह्यूरिस्टिक्स, टू-स्टेज सरोगेट लॉस मेथड्स और एक्सपर्ट-कंपेरिजन एस्टिमेटर्स शामिल हैं।
मजबूती (Robustness): यह विधि विभिन्न डेटासेट भ्रष्टाचार संयोजनों पर बेसालाइन्स की तुलना में बेहतर मजबूती प्रदर्शित करती है। उदाहरण के लिए, जबकि अन्य विधियाँ स्पेशलिस्ट सबसेट्स (जैसे, DermaMNIST स्पेशलिस्ट) पर काफी संघर्ष करती हैं, DR CPE स्थिर प्रदर्शन बनाए रखता है।
एब्लेशन (Ablation): प्रयोग दिखाते हैं कि लॉस फंक्शन (जैसे, जनरलाइज्ड क्रॉस-एन्ट्रॉपी बनाम प्रोबेबिलिस्टिक ज़ीरो-वन) और तापमान पैरामीटर $\gamma$ का चयन प्रदर्शन को प्रभावित करता है, लेकिन जॉइंट DR CPE दृष्टिकोण मजबूत बना रहता है।

महत्व और दावे
यह पेपर दावा करता है कि यह पोस्ट-हर्क L2D को आदर्श वितरणों के बीच डेंसिटी-रेशियो लर्निंग की समस्या के रूप में प्रस्तुत करता है। यह परिप्रेक्ष्य:

क्लासिकल चाउ-स्टाइल नियमों और आधुनिक एक्सपर्ट-कंपेरिजन विधियों के बीच की खाई को पाटता है।
एनोमली डिटेक्शन जैसे संबंधित लर्निंग सेटिंग्स के साथ संबंधों को स्पष्ट करता है।
एक सैद्धांतिक रूप से सुदृढ़ विधि प्रदान करता है जो व्यावहारिक रूप से मजबूत और अनुकूलनीय है, जो बड़े मॉडलों के पुन: प्रशिक्षण की सीमाओं और उच्च-जोखिम वाले शिफ्टेड वातावरण में सरल ह्यूरिस्टिक्स की अस्थिरता को संबोधित करती है।

लेखक नोट करते हैं कि हालांकि उनका दृष्टिकोण वर्तमान में सरोगेट लॉसेस के लिए निरंतरता गारंटी (consistency guarantees) प्रदान नहीं करता है (जो कुछ एंड-टू-एंड विधियों की तुलना में एक सैद्धांतिक सीमा है), यह एक व्यावहारिक, मजबूत समाधान प्रदान करता है जो पूर्ण मॉडल पुन: प्रशिक्षण की आवश्यकता के बिना प्रभावी रूप से विशेषज्ञ जानकारी का लाभ उठाता है।