🤖 machine learning

Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning

यह शोध पत्र एक प्लग-एंड-प्ले कैलिब्रेटेबल डिसैम्बिगुएशन लॉस (CDL) का प्रस्ताव करता है जो मल्टी-इंस्टेंस पार्शियल-लेबल लर्निंग में वर्गीकरण सटीकता और मॉडल अंशांकन (कैलिब्रेशन) दोनों को एक साथ सुधारने के लिए एक मार्जिन-आधारित उद्देश्य को नियंत्रित करता है, जो मौजूदा MIPL दृष्टिकोणों में अंतर्निहित विश्वसनीयता संबंधी मुद्दों को संबोधित करता है।

मूल लेखक: Wei Tang, Yin-Fang Yang, Weijia Zhang, Min-Ling Zhang

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Tang, Yin-Fang Yang, Weijia Zhang, Min-Ling Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास दो बड़ी समस्याएँ हैं। पहली, आपको पूरे अपराध स्थल को एक बार में देखने का मौका नहीं मिलता; आपको केवल छोटे, बिखरे हुए सुराग (एक फोटो के छोटे हिस्से) मिलते हैं और आपको पूरे कमरे के बारे में अनुमान लगाना होता है। दूसरी, जब आप भीड़ से संदिग्ध का नाम पूछते हैं, तो वे आपको एक नाम नहीं देते। वे आपको तीन या चार नामों की एक सूची देते हैं, यह कहते हुए, "यह इनमें से एक हो सकता है!" लेकिन वे यह नहीं बताते कि वास्तव में अपराधी कौन है।

यह मल्टी-इंस्टेंस पार्शियल-लेबल लर्निंग (MIPL) की अव्यवस्थपूर्ण वास्तविकता है। यह कंप्यूटर के लिए अपूर्ण डेटा से सीखने का एक बहुत ही कठिन तरीका है। आप जिस शोध पत्र को पढ़ रहे हैं, वह इसके साथ आने वाली एक विशिष्ट समस्या को संबोधित करता है: आत्मविश्वास (confidence)।

समस्या: अति-आत्मविश्वासी (या कम-आत्मविश्वासी) जासूस

अतीत में, इन MIPL पहेलियों को हल करने वाले कंप्यूटर उन जासूसों की तरह थे जो या तो कॉल करने से बहुत डरते थे या गलत होने पर भी खुद पर बहुत अधिक विश्वास रखते थे।

लेखकों ने पाया कि मौजूदा तरीके (जैसे DEMIPL, ELIM-IPL, और MIPLMA) इस बात को समझने में बहुत खराब थे कि उन्हें कितने आश्वस्त होना चाहिए। यदि कोई कंप्यूटर कहता, "मैं 90% निश्चित हूँ कि यह एक ट्यूमर है," तो वह अक्सर केवल 60% बार ही सही होता था। या, यदि वह कहता, "मैं केवल 25% निश्चित हूँ," तो वह वास्तव में 80% बार सही हो सकता था।

वास्तविक दुनिया में, यह खतरनाक है। कल्पना कीजिए कि एक डॉक्टर पैथोलॉजी स्लाइड (कोशिकाओं की एक तस्वीर) देखने के लिए AI का उपयोग कर रहा है। यदि AI कहता, "मैं 90% निश्चित हूँ कि यह कैंसर है," तो डॉक्टर इलाज शुरू करने के लिए जल्दबाजी कर सकता है। लेकिन अगर AI वास्तव में केवल 60% बार ही सही होता है, तो यह एक आपदा है। कंप्यूटर को कैलिब्रेटेड (calibrated) होना चाहिए: यदि वह "90%" कहता है, तो उसे 90% बार सही होना चाहिए।

लेखक स्पष्ट रूप से उस सरल समाधान के खिलाफ तर्क देते हैं जिसे लोगों ने पहले आजमाया था: बस मानक "फोकल लॉस" (एक उपकरण जिसका उपयोग आमतौर पर तब किया जाता है जब आप सटीक सही उत्तर जानते हैं) को लेना और उसे इस अव्यवस्थपूर्ण MIPL समस्या पर थोप देना। लेखकों ने दिखाया कि ऐसा करने से कंप्यूटर या तो बहुत डरपोक (कम-आत्मविश्वासी) या बहुत अहंकारी (अति-आत्मविश्वासी) हो जाता है, और वास्तव में यह कंप्यूटर को सही उत्तर पाने में और भी खराब बना देता है।

समाधान: "टॉप बनाम कॉम्पिटिटर" मार्जिन

तो, लेखकों ने क्या आविष्कार किया? उन्होंने कैलिब्रेटेबल डिसैम्बिगुएशन लॉस (CDL) नामक एक नया उपकरण बनाया।

कंप्यूटर के मस्तिष्क को एक छात्र की तरह समझें जो एक बहुविकल्पीय परीक्षा दे रहा है जहाँ शिक्षक ने उन्हें केवल संभावित उत्तरों की एक सूची दी है (कैंडिडेट सेट)। छात्र को उस सूची में से सही उत्तर चुनना है।

पुराने तरीकों में, छात्र केवल चिल्लाने की कोशिश करता था, "मुझे उत्तर पता है!" और अपने चुने हुए उत्तर को जितनी जल्दी हो सके 100% आत्मविश्वास तक पहुँचाने की कोशिश करता था। इससे "अति-आत्मविश्वास" की समस्या पैदा हुई।

नया CDL तरीका एक सख्त शिक्षक की तरह है जो कहता है: "अपने उत्तर के बारे में केवल चिल्लाओ मत। अपने प्रतिद्वंद्वियों (competitors) को देखो।"

प्रतिद्वंद्वी (The Competitor): यह दूसरा सबसे अच्छा अनुमान है जो कंप्यूटर लगा रहा है।
नियम: कंप्यूटर को केवल तभी अत्यधिक आत्मविश्वासी होने की अनुमति है यदि उसका शीर्ष अनुमान दूसरे सबसे अच्छे अनुमान से स्पष्ट रूप से बेहतर है।

यदि कंप्यूटर संघर्ष कर रहा है और उसका शीर्ष अनुमान और दूसरा अनुमान लगभग बराबर हैं (एक छोटा "मार्जिन"), तो CDL कहता है, "ठीक है, कड़ी मेहनत जारी रखो, अभी ज्यादा उत्साहित मत हो।" लेकिन यदि शीर्ष अनुमान प्रतिद्वंद्वी से बहुत आगे है, तो CDL कहता है, "बहुत बढ़िया काम! अब तुम आराम कर सकते हो और आत्मविश्वासी हो सकते हो।"

यह उपकरण दो प्रकार बनाता है:

CDL-CC: शीर्ष अनुमान की तुलना दूसरे सबसे अच्छे उम्मीदवार से करता है (जैसे दौड़ में नंबर 1 और नंबर 2 धावकों की तुलना करना)।
CDL-CN: शीर्ष अनुमान की तुलना सबसे मजबूत गैर-उम्मीदवार (non-candidate) से करता है (जैसे नंबर 1 धावक की तुलना उस व्यक्ति से जो दौड़ने के लिए पात्र भी नहीं था)।

परिणाम: आंकड़ों द्वारा प्रमाणित

लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसे कई डेटासेट्स पर टेस्ट किया, जिसमें कोलोरेक्टल कैंसर की वास्तविक दुनिया की पैथोलॉजी छवियां और MNIST जैसे मानक इमेज डेटासेट्स शामिल थे।

यहाँ उन्होंने क्या पाया:

बेहतर सटीकता (Accuracy): Birdsong-MIPL डेटासेट पर, पुराने सबसे अच्छे तरीके (DEMIPL) की सटीकता 74.36% थी। उनका नया तरीका (DAMCN) उछलकर 80.38% हो गया। SIVAL-MIPL डेटासेट पर, जिसमें तीन गलत लेबल मिले हुए थे, उन्होंने पुराने तरीके की तुलना में सटीकता में भारी 18.58% का सुधार किया।
बेहतर कैलिब्रेशन: यह बड़ी जीत है। पुराने तरीकों में "एक्सपेक्टेड कैलिब्रेशन एरर" (ECE) बहुत खराब था, जो यह मापता है कि उनका आत्मविश्वास वास्तविकता से कितना दूर है।
- Birdsong-MPL डेटासेट में तीन गलत लेबल के साथ, पुराने तरीके (DEMIPL) का ECE 53.42% था। यह उनके द्वारा कही गई बात और वास्तविकता के बीच एक बहुत बड़ा अंतर है।
- उनके नए तरीके (DAMCN) ने उस त्रुटि को घटाकर 4.52% कर दिया।
- कुल मिलाकर, बेंचमार्क डेटासेट्स पर 60 अलग-अलग परीक्षण मामलों में, उनके तरीके ने कैलिब्रेशन त्रुटि को 50% से अधिक कम कर दिया। औसत कमी 44.76% थी।

निष्कर्ष

यह शोध पत्र यह सिद्ध करता है कि इस "मार्जिन" नियम को जोड़कर—कंप्यूटर को यह जांचने के लिए मजबूर करके कि उसका सबसे अच्छा अनुमान उसके दूसरे सबसे अच्छे अनुमान की तुलना में कितना बेहतर है—आप सही उत्तर पाने की क्षमता को नुकसान पहुँचाए बिना कंप्यूटर के आत्मविश्वास को ठीक कर सकते हैं।

उन्होंने दिखाया कि यह साधारण इमेज पहेलियों से लेकर जटिल मेडिकल इमेजेस तक सब कुछ पर काम करता है, जहाँ उन्होंने डीप लर्निंग का उपयोग करके तस्वीरों को 9, 16, या यहाँ तक कि 25 छोटे पैच में विभाजित किया। चित्र जितना जटिल होता गया, उनका नया तरीका उतना ही अधिक प्रभावी साबित हुआ, जिसमें कुछ वर्ज़न्स ने सबसे कठिन कैंसर डेटासेट्स पर कैलिब्रेशन एरर को 33.32% तक कम कर दिया।

इसलिए, अगली बार जब आप किसी AI को मेडिकल डायग्नोसिस करते देखें, तो आप उम्मीद कर सकते हैं कि वह इस तरह के तरीके का उपयोग कर रहा है: जो जानता है कि वह कितना आश्वस्त है, क्योंकि उसने "मैं सही हूँ!" चिल्लाने से पहले अपने प्रतिद्वंद्वियों का सम्मान करना सीखा है।

यहाँ "Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

यह शोध पत्र Multi-Instance Partial-Label Learning (MIPL) को संबोधित करता है, जो एक कमजोर रूप से पर्यवेक्षित (weakly supervised) ढांचा है जो Multi-Instance Learning (MIL) और Partial-Label Learning (PLL) की चुनौतियों को जोड़ता है। MIPL में, प्रत्येक प्रशिक्षण उदाहरण "बैग" के इंस्टेंस का एक समूह होता है जहाँ सकारात्मक इंस्टेंस अज्ञात होते हैं (MIL चुनौती), और वास्तविक लेबल संभावित लेबलों के एक सेट के भीतर छिपा होता है (PLL चुनौती)।

जबकि मौजूदा MIPL विधियाँ लेबल विसंगति निवारण (label disambiguation) (उम्मीदवार सेट से वास्तविक लेबल की पहचान करना) पर ध्यान केंद्रित करती हैं, लेखक एक महत्वपूर्ण कमी की पहचान करते हैं: ये विधियाँ अक्सर खराब अंशांकन (poor model calibration) से ग्रस्त होती हैं। मौजूदा दृष्टिकोण ऐसे कॉन्फिडेंस स्कोर उत्पन्न करते हैं जो सही होने की अनुभवजन्य संभावना (empirical probability) को प्रतिबिंबित नहीं करते हैं। यह विशेष रूप से पैथोलॉजी इमेज क्लासिफिकेशन जैसे निर्णय-संवेदनशील अनुप्रयोगों में समस्याग्रस्त है, जहाँ कॉन्फिडेंस स्कोर ट्राइएज (triage) और निदान का मार्गदर्शन करते हैं। लेखक दर्शाते हैं कि पूर्णतः पर्यवेक्षित शिक्षण (जैसे Focal Loss या Inverse Focal Loss) से अंशांकन तकनीकों को सीधे MIPL पर लागू करना विफल रहता है क्योंकि ग्राउंड-ट्रुथ लेबलों की अनुपस्थिति के कारण मॉडल कम-आत्मविश्वास (under-confident) या अत्यधिक-आत्मविश्वास (over-confident) वाले भविष्यवाणियाँ करता है और वर्गीकरण सटीकता में कमी आती है।

कार्यप्रणाली (Methodology)

लेखक एक प्लग-एंड-प्ले कैलिब्रटेबल डिसैम्बिग्युएशन लॉस (CDL) का प्रस्ताव करते हैं, जिसे डिसैम्बिग्युएशन प्रक्रिया से समझौता किए बिना वर्गीकरण सटीकता और अंशांकन दोनों में सुधार करने के लिए डिज़ाइन किया गया है।

1. मुख्य तंत्र (Core Mechanism):
CDL एक मोमेंटम-आधारित डिसैम्बिग्युएशन ऑब्जेक्टिव को टॉप-वर्सेस-कॉम्पिटिटर प्रेडिक्शन मार्जिन (top-vs-competitor prediction margin) के माध्यम से नियंत्रित करता है। लॉस फंक्शन को इस प्रकार परिभाषित किया गया है:
$L_{CDL} = -\sum_{c \in S_i} w^{(t)}_{i,c} (1 - q^{(t)}_i + \Phi(\hat{p}^{(t)}_i))^\gamma \log(\hat{p}^{(t)}_{i,c})$
जहाँ:

$q^{(t)}_i$ शीर्ष-रैंक वाले उम्मीदवार लेबल की अनुमानित संभावना है।
$\Phi(\hat{p}^{(t)}_i)$ एक "कॉम्पिटिटर" (प्रतिस्पर्धी) की संभावना को दर्शाता है।
टर्म $(1 - \beta_i)^\gamma$ एक मॉड्यूलेशन फैक्टर के रूप में कार्य करता है, जहाँ $\beta_i = q^{(t)}_i - \Phi(\hat{p}^{(t)}_i)$ मार्जिन है।

2. दो संस्करण (Two Variants):
यह विधि दो विशिष्ट इंस्टेंशिएशन पेश करती है कि कॉम्पिटिटर को कैसे परिभाषित किया जाए:

CDL-CC (Candidate-vs-Competitor): कॉम्पिटिटर दूसरा उच्चतम उम्मीदवार लेबल है। यह संस्करण कैंडिडेट-स्तरीय पृथक्करण (candidate-level separation) पर जोर देता है।
CDL-CN (Candidate-vs-Non-Candidate): कॉम्पिटिटर गैर-उम्मीदवार लेबलों में उच्चतम संभावना है। यह संस्करण कैंडिडेट-बनाम-नॉन-कैंडिडेट दमन (candidate-vs-non-candidate suppression) पर जोर देता है।

3. अनुकूली भारण (Adaptive Weighting):
लॉस उम्मीदवार लेबलों के लिए मोमेंटम-आधारित वेट अपडेट रणनीति का उपयोग करता है। कम-मार्जिन वाले बैग (अस्पष्ट मामले) मजबूत डिसैम्बिग्युएशन सिग्नल (उच्च लॉस वेट) बनाए रखते हैं, जबकि अच्छी तरह से अलग किए गए बैग अत्यधिक संभाव्यता तीक्ष्णता (probability sharpening) के लिए कम प्रोत्साहन प्राप्त करते हैं, जिससे अत्यधिक-आत्मविश्वास (over-confidence) कम होता है।

4. एकीकरण (Integration):
CDL को मौजूदा एम्बेडेड-स्पेस MIPL फ्रेमवर्क में सहजता से एकीकृत करने के लिए डिज़ाइन किया गया है। लेखक CDL को तीन स्थापित अटेंशन मैकेनिज्म के साथ जोड़ते हैं:

Disambiguation Attention Mechanism (DAM)
Scaled additive Attention Mechanism (SAM)
Margin-aware Attention Mechanism (MAM)
इससे छह वेरिएंट्स (जैसे DAMCC, SAMCN, MAMCC, आदि) प्राप्त होते हैं।

सैद्धांतिक विश्लेषण (Theoretical Analysis)

शोध पत्र CDL का तीन दृष्टिकोणों से कठोर सैद्धांतिक विश्लेषण प्रदान करता है:

लॉस स्तर (Loss Level): CDL को मोमेंटम-आधारित डिसैम्बिग्युएशन लॉस (MDL) के मार्जिन-मॉड्यूलेटेड संस्करण के रूप में दिखाया गया है। सैद्धांतिक सीमाएँ (bounds) सिद्ध करती हैं कि CDL कम-मार्जिन (अस्पष्ट) वाले बैग के लिए MDL फिटिंग सिग्नल को सुरक्षित रखता है और अच्छी तरह से अलग की गई भविष्यवाणियों को डाउन-वेट करता है।
अंशांकन स्तर (Calibration Level): लेखक एक लोअर बाउंड और एक स्यूडो-लेबल कॉन्फिडेंस-अलाइनमेंट बाउंड प्राप्त करते हैं। वे दिखाते हैं कि CDL रिस्क को कम करना मॉडल कॉन्फिडेंस और स्यूडो-लेबल वेट्स के बीच अलाइनमेंट को नियंत्रित करता है, जो एक्सपेक्टेड कैलिब्रेशन एरर (ECE) का एक प्रमुख घटक है।
अनुकूलन स्तर (Optimization Level): ग्रेडिएंट विश्लेषण से पता चलता है कि CDL एक अतिरिक्त "मार्जिन-शेपिंग" टर्म पेश करता है। यह टर्म अनुकूलन के दौरान सक्रिय टॉप-वर्सेस-कॉम्पिटिटर मार्जिन को बढ़ाने को स्पष्ट रूप से बढ़ावा देता है। इसके अलावा, मोमेंटम अपडेट के माध्यम से, इन शेप्ड मार्जिन्स को भविष्य के स्यूडो-लेबल वेट्स में पुनरावर्ती रूप से स्थानांतरित किया जाता है, जिससे अंशांकन प्रभाव युगों (epochs) में बना रहता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अपने दृष्टिकोण का मूल्यांकन चार बेंचमार्क डेटासेट्स (MNIST-MIPL, FMNIST-MIPL, Birdsong-MIPL, SIVAL-MIPL) और सात वास्तविक दुनिया के डेटासेट्स (कोलोरेक्टल कैंसर वर्गीकरण के लिए विभिन्न CRC-MIPL कॉन्फ़िगरेशन सहित) पर किया।

वर्गीकरण सटीकता (Classification Accuracy): प्रस्तावित विधियों ने 72 में से 67 बेंचमार्क मामलों में छह अत्याधुनिक MIPL बेसलाइन्स (MIPLGP, DEMIPL, ELIMIPL, MIPLMA, PROMIPL, FASTMIPL) को पछाड़ दिया। सुधार विशेष रूप से चुनौतीपूर्ण परिदृश्यों में महत्वपूर्ण थे जहाँ फॉल्स-पॉजिटिव लेबलों की संख्या अधिक थी (उदाहरण के लिए, $r=3$ के साथ MNIST-MIPL पर 23% तक सुधार)।
अंशांकन प्रदर्शन (Calibration Performance): विधियों ने अपेक्षित अंशांकन त्रुटि (ECE) को काफी कम कर दिया। बेंचमार्क डेटासेट्स पर, CDL ने 60 में से 26 मामलों में ECE को 50% से अधिक कम कर दिया, जिसमें औसत कमी 44.76% थी। वास्तविक दुनिया के डेटासेट्स पर, विधियों ने 42 में से 33 मामलों में 10% से अधिक की ECE कमी हासिल की।
विश्वसनीयता आरेख (Reliability Diagrams): दृश्य विश्लेषण ने पुष्टि की कि जबकि बेसलाइन विधियाँ उच्च सटीकता के बावजूद भविष्यवाणियों को निम्न कॉन्फिडेंस मानों (जैसे 0.25) के आसपास क्लस्टर करती थीं, CDL वेरिएंट्स ने ऐसे विश्वसनीयता आरेख बनाए जहाँ अनुमानित कॉन्फिडेंस अनुभवजन्य सटीकता के करीब था।

महत्व और योगदान (Significance and Contributions)

शोध पत्र चार प्राथमिक योगदानों का दावा करता है:

समस्या की पहचान: यह MIPL में मॉडल अंशांकन समस्याओं की पहचान करने और उन्हें स्पष्ट करने वाला पहला कार्य है, जो दर्शाता है कि मौजूदा डिसैम्बिग्युएशन-केंद्रित विधियाँ खराब अंशांकित कॉन्फिडेंस अनुमान उत्पन्न करती हैं।
पद्धतिगत नवाचार (Methodological Innovation): CDL का प्रस्ताव, जो एक प्लग-एंड-प्ले लॉस फंक्शन है जिसमें दो पूरक इंस्टेंशिएशन (CC और CN) हैं जो मार्जिन मॉड्यूलेशन के माध्यम से डिसैम्बिग्युएशन और अंशांकन को संतुलित करते हैं।
सैद्धांतिक आधार (Theoretical Foundation): एक व्यापक सैद्धांतिक विश्लेषण जो CDL को एक मार्जिन-मॉड्यूलेटेड MDL के रूप में स्थापित करता है, कैलिब्रेशन बाउंड्स को प्राप्त करता है, और ग्रेडिएंट और मोमेंटम विश्लेषण के माध्यम से अनुकूलन गतिशीलता (optimization dynamics) की व्याख्या करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो पुष्टि करते हैं कि CDL विविध बेंचमार्क और वास्तविक दुनिया के डेटासेट्स (पैथोलॉजी इमेज क्लासिफिकेशन सहित) में वर्गीकरण सटीकता और अंशांकन प्रदर्शन दोनों में लगातार सुधार करता है।

लेखक निष्कर्ष निकालते हैं कि CDL, MIPL के लिए एक मजबूत समाधान प्रदान करता है, जो ऐसे भविष्य कहने वाले मॉडल के निर्माण को सक्षम बनाता है जो न केवल सटीक हैं बल्कि उनके कॉन्फिडेंस अनुमानों में विश्वसनीय भी हैं, जो चिकित्सा निदान जैसे क्षेत्रों में वास्तविक दुनिया की तैनाती के लिए अत्यंत महत्वपूर्ण है।