🤖 machine learning

When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

यह शोध पत्र मेडिकल इमेजिंग के लिए एक व्याख्यात्मक आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन फ्रेमवर्क प्रस्तावित करता है जो क्लास-विशिष्ट कॉन्सेप्ट वेक्टर्स को निकालने के लिए स्पार्स ऑटोएनकोडर्स का लाभ उठाकर सुरक्षा को बढ़ाता है, और प्रतिनिधित्व संबंधी संरेखण (representational alignment) के आधार पर इन-डिस्ट्रीब्यूशन नमूनों को OOD विसंगतियों से अलग करने के लिए उनके विक्षोभ-प्रेरित स्थिरता (perturbation-induced stability) का उपयोग करता है।

मूल लेखक: Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "When Confidence Lacks Concepts" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए स्पष्टीकरण दिया गया है।

बड़ी समस्या: अति-आत्मविश्वासी रोबोट डॉक्टर

एक अत्यधिक प्रशिक्षित रोबोट डॉक्टर की कल्पना करें जो मेडिकल इमेज (जैसे एक्स-रे या एंडोस्कोपी फोटो) से बीमारियों का निदान करने में माहिर है। उसने स्वस्थ पेट और विशिष्ट प्रकार के कैंसर की हज़ारों तस्वीरों का अध्ययन किया है।

हालाँकि, इस रोबोट में एक खतरनाक दोष है: यह अति-सामान्यीकरण (overgeneralization) करता है। यदि आप इसे किसी पूरी तरह से अलग अंग, या किसी अजीब चीज़, या किसी ऐसी बीमारी की तस्वीर दिखाते हैं जिसे इसने पहले कभी नहीं देखा है, तो यह फिर भी पूरे आत्मविश्वास के साथ कह सकता है, "मुझे पता है कि यह क्या है!" और निदान दे सकता है। वास्तविक दुनिया में, यह जोखिम भरा है क्योंकि रोबोट आत्मविश्वास के साथ गलत हो सकता है।

वर्तमान विधियाँ इन गलतियों को पकड़ने की कोशिश करती हैं, लेकिन वे रोबोट के "आंतरिक गणित" (जैसे कि वह कितना आश्वस्त महसूस कर रहा है) को देखती हैं। लेकिन समस्या यह है कि ये आंतरिक संकेत एक 'ब्लैक बॉक्स' की तरह हैं। हम जानते हैं कि रोबोट अनिश्चित है, लेकिन हम यह नहीं जानते कि क्यों। यह एक कार के डैशबोर्ड पर जलने वाली चेतावनी लाइट की तरह है जो कहती है "इंजन में समस्या है" लेकिन कोई विवरण नहीं देती। स्वास्थ्य सेवा में, हमें यह जानने की आवश्यकता है कि रोबोट क्यों अनिश्चित है ताकि हम उस पर भरोसा कर सकें।

समाधान: "कॉन्सेप्ट पर्टरबेशन" टेस्ट

इस पेपर के लेखक रोबोट का परीक्षण करने का एक नया तरीका प्रस्तावित करते हैं, जिसे वे CAPS (Class-conditioned Activation Perturbations) कहते हैं। केवल अंतिम उत्तर देखने के बजाय, वे रोबोट के सोचने की प्रक्रिया की स्थिरता को परखने के लिए उसके "मस्तिष्क" को थोड़ा छेड़ते हैं।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. बीमारी की "शब्दावली" सीखना (SAE)

सबसे पहले, शोधकर्ता रोबोट को सोचने का एक नया तरीका सिखाते हैं। वे एक उपकरण का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है।

उपमा: कल्पना करें कि रोबोट आमतौर पर शब्दों के एक विशाल, अव्यवस्थित सूप की तरह सोचता है। SAE एक अनुवादक (translator) की तरह कार्य करता है जो उस सूप को अलग-अलग, स्पष्ट सामग्रियों (concepts) में तोड़ देता है।
परिणाम: एक विशिष्ट बीमारी (जैसे, "पायलोरस") के लिए, रोबोट विशिष्ट "कॉन्सेप्ट वेक्टर्स" (concept vectors) को पहचानना सीख जाता है। ये एक स्वस्थ पायलोरस के मानसिक ब्लूप्रिंट की तरह हैं (जैसे, "गोल आकार," "गुलाबी रंग," "विशिष्ट द्वार")।

2. "क्या होगा अगर?" टेस्ट (द पर्टरबेशन)

जब रोबोट किसी नए मरीज़ की इमेज देखता है, तो वह एक अनुमान लगाता है। मान लीजिए कि वह "पायलोरस" का अनुमान लगाता है।

टेस्ट: शोधकर्ता उस विशिष्ट "पायलोरस ब्लूप्रिंट" (कॉन्सेप्ट वेक्टर) को लेते हैं और रोबोट की इमेज की आंतरिक समझ को उस दिशा में धीरे से धकेलते हैं। यह पूछने जैसा है: "यदि मैं इस इमेज को एक आदर्श पायलोरस की तरह थोड़ा और बना दूँ, तो क्या आपका आत्मविश्वास बदलता है?"

3. स्थिरता की जाँच (ID बनाम OOD)

यहीं पर असली जादू होता है। शोधकर्ता मापते हैं कि उस धक्के (nudge) के बाद रोबोट का आत्मविश्वास कितना बदलता है।

परिदृश्य A: वास्तविक मरीज़ (In-Distribution)
- स्थिति: इमेज वास्तव में एक वास्तविक पायलोरस की है।
- प्रतिक्रिया: रोबोट का मस्तिष्क पहले से ही "पायलोरस ब्लूप्रिंट" के साथ संरेखित (aligned) है। जब आप इसे उस ब्लूप्रिंट की ओर धकेलते हैं, तो इसमें बहुत कम बदलाव आता है। इसका आत्मविश्वास स्थिर रहता है।
- निर्णय: "यह एक सुरक्षित, ज्ञात नमूना है।"
परिदृश्य B: नकली/अज्ञात मरीज़ (Out-of-Distribution)
- स्थिति: इमेज वास्तव में एक अजीब आर्टिफैक्ट या कोई दूसरा अंग है, लेकिन रोबोट ने फिर भी "पायलोरस" का अनुमान लगाया।
- प्रतिक्रिया: रोबोट का मस्तिष्क वास्तव में "पायलोरस ब्लूप्रिंट" के साथ संरेखित नहीं है। जब आप इसे उस ब्लूप्रिंट की ओर धकेलते हैं, तो रोबोट भ्रमित हो जाता है। इसका आत्मविश्वास बहुत अधिक उतार-चढ़ाव दिखाता है क्योंकि इमेज उस कॉन्सेप्ट में फिट नहीं बैठती।
- निर्णय: "यह संदिग्ध है! रोबोट बिना किसी वास्तविक आधार के अनुमान लगा रहा है। इसे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) के रूप में चिह्नित करें।"

यह क्यों मायने रखता है: ब्लैक बॉक्स से ग्लास बॉक्स तक

पेपर का दावा है कि यह विधि विशेष है क्योंकि यह व्याख्या योग्य (interpretable) है।

पुराना तरीका: "रोबोट अनिश्चित है।" (हमें नहीं पता कि क्यों)।
नया तरीका: "रोबोट अनिश्चित है क्योंकि इमेज में उन विशिष्ट दृश्य विशेषताओं (concepts) की कमी है जो एक पायलोरस को परिभाषित करती हैं, भले ही रोबोट ने पायलोरस का अनुमान लगाया हो।"

शोधकर्ताओं ने तीन प्रकार की मेडिकल इमेजिंग पर इसका परीक्षण किया:

एंडोस्कोपी (पेट/आंतों के अंदर देखना)।
हिस्टोपैथोलॉजी (माइक्रोस्कोप के नीचे ऊतकों के नमूनों को देखना)।
ऑप्थल्मोलॉजी (आँख के रेटिनल स्कैन को देखना)।

विशेषज्ञों ने क्या कहा

यह साबित करने के लिए कि उनके "कॉन्सेप्ट्स" वास्तविक थे न कि केवल गणितीय कचरा, उन्होंने परिणाम एक मानव डॉक्टर (गैस्ट्रोएंटेरोलॉजिस्ट) को दिखाए।

निष्कर्ष: डॉक्टर ने पुष्टि की कि जब रोबोट "स्थिर" (stable) था, तो इमेज में स्पष्ट, वास्तविक मेडिकल लैंडमार्क्स (जैसे एपेंडिक्स का द्वार या एसोफैगस में Z-लाइन) दिखाई दे रहे थे।
विफलता: जब रोबोट "अस्थिर" (unstable) था (OOD नमूने), तो डॉक्टर ने पुष्टि की कि उन इमेज में वे लैंडमार्क्स गायब थे या उनमें ऐसी चीजें थीं जो वहां नहीं होनी चाहिए थीं (जैसे गलत जगह पर पोलिप या सॉफ्टवेयर ओवरले)।

सारांश

यह पेपर AI की गलतियों को पकड़ने के लिए एक विधि पेश करता है, जो यह जाँचती है कि क्या AI का आत्मविश्वास वास्तविक, समझने योग्य विशेषताओं में "ग्राउंडेड" है।

यदि AI आश्वस्त है और इमेज उस आत्मविश्वास के "कॉन्सेप्ट" से मेल खाती है, तो यह संभवतः सुरक्षित है।
यदि AI आश्वस्त है लेकिन इमेज उस "कॉन्सेप्ट" से मेल नहीं खाती (जिससे परीक्षण के दौरान बड़ा रिएक्शन होता है), तो यह संभवतः एक गलती है।

यह चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में AI को सुरक्षित बनाता है, न केवल गलतियों को पकड़कर, बल्कि यह समझाकर भी कि त्रुटि क्यों हो रही होगी।

तकनीकी सारांश: जब आत्मविश्वास में अवधारणाओं का अभाव हो: रिप्रजेंटेशन परटर्बेशन के माध्यम से व्याख्या योग्य OOD डिटेक्शन

समस्या विवरण
डीप न्यूरल नेटवर्क, विशेष रूप से मेडिकल इमेजिंग में, वितरण संबंधी बदलावों (जैसे कि इमेजिंग प्रोटोकॉल, रोगी जनसांख्यिकी, या नवीन रोगों में भिन्नता) का सामना करने पर ओवर-जनरलाइजेशन (overgeneralize) की प्रवृत्ति प्रदर्शित करते हैं। जबकि अविश्वसनीय भविष्यवाणियों के जोखिम को कम करने के लिए आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन विधियाँ मौजूद हैं, अधिकांश अपारदर्शी आंतरिक संकेतों (जैसे कि सॉफ्टमैक्स प्रोबेबिलिटीज़, एनर्जी स्कोर, या फीचर डिस्टेंस) पर निर्भर करती हैं जिनका अर्थ स्पष्ट रूप से समझ में नहीं आता है। व्याख्यात्मकता (interpretability) की यह कमी सुरक्षा-महत्वपूर्ण नैदानिक सेटिंग्स में विश्वास को सीमित करती है, जहाँ यह समझना कि किसी नमूने को विसंगति के रूप में क्यों चिह्नित किया गया है, उस पहचान से भी अधिक महत्वपूर्ण है। यह शोध पत्र एक ऐसे OOD डिटेक्शन फ्रेमवर्क की आवश्यकता को संबोधित करता है जो भेदभावपूर्ण (discriminative) और व्याख्या योग्य दोनों हो, और डिटेक्शन निर्णयों को विशिष्ट, नैदानिक रूप से सार्थक अवधारणाओं (concepts) से जोड़ता हो।

कार्यप्रणाली: क्लास-कंडीशन्ड एक्टिवेशन परटर्बेशन (CAPS)
प्रस्तावित फ्रेमवर्क, CAPS, रिप्रजेंटेशन स्पेस के भीतर क्लास-कंडीशन्ड सिमेंटिक परटर्बेशन के तहत मॉडल भविष्यवाणियों की स्थिरता की जांच करके कार्य करता है। कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

स्पार्स ऑटोएनकोडर (SAE) प्रशिक्षण:
लेखक घने मध्यवर्ती सक्रियणों (विशेष रूप से विजन ट्रांसफार्मर से [CLS] टोकन) को स्पार्स, सिमेंटिक रूप से सार्थक घटकों में विघटित करने के लिए स्पार्स ऑटोएनकोडर्स का उपयोग करते हैं। SAE एक स्पार्स लेटेंट रिप्रजेंटेशन $s(h)$ और एक डिकोडर $D$ सीखता है ताकि मूल एक्टिवेशन $h$ को डिकोडर कॉलम (फीचर्स) के एक लीनियर कॉम्बिनेशन द्वारा अनुमानित किया जा सके। प्रशिक्षण उद्देश्य पुनर्निर्माण निष्ठा (reconstruction fidelity) और स्पर्सिटी ( $L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$ ) के बीच संतुलन बनाता है।
क्लास-विशिष्ट अवधारणा निष्कर्षण (Class-Specific Concept Extraction):
प्रत्येक क्लास $c$ के लिए, लेखक इन-डिस्ट्रीब्यूशन (ID) ट्रेनिंग सैंपल्स पर विशिष्ट रूप से सक्रिय होने वाले SAE लेटेंट्स के एक उपसमूह की पहचान करने के लिए माध्य लेटेंट एक्टिवेशन की गणना करते हैं। उच्चतम माध्य एक्टिवेशन वाले टॉप- $k$ लेटेंट डायमेंशन को चुनकर एक क्लास-विशिष्ट कॉन्सेप्ट डिक्शनरी $K_c$ बनाई जाती है। ये डिकोडर कॉलम उन लीनियर दिशाओं का प्रतिनिधित्व करते हैं जो क्लास-डिफाइनिंग फीचर्स को एनकोड करते हैं।
परटर्बेशन और स्थिरता विश्लेषण:
अनुमान (inference) के समय, एक टेस्ट इनपुट $\bar{x}$ के लिए, मॉडल पहले एक क्लास $\hat{y}$ की भविष्यवाणी करता है। इसके बाद $\hat{y}$ के लिए चयनित कॉन्सेप्ट वेक्टर्स को एकत्रित और नॉर्मलाइज़ करके एक संगत कॉन्सेप्ट वेक्टर $v_{\hat{y}}$ बनाया जाता है। इस वेक्टर को फिर एक नियंत्रित परटर्बेशन के माध्यम से लेयर $l$ पर मॉडल के इंटरमीडिएट एक्टिवेशन में इंजेक्ट किया जाता है: $\tilde{h}_l = h_l + \beta v_{\hat{y}}$ , जहाँ $\beta$ परटर्बेशन स्ट्रेंथ को नियंत्रित करता है।

मुख्य परिकल्पना यह है कि ID सैंपल्स, जो क्लास-विशिष्ट सिमेंटिक दिशाओं के साथ संरेखित होते हैं, इन परटर्बेशंस के प्रति कम संवेदनशीलता (परिणामस्वरूप क्लास लॉजिट्स में छोटा बदलाव) प्रदर्शित करेंगे। इसके विपरीत, OOD सैंपल्स, जिनमें इन सीखी गई दिशाओं के साथ संरेखण की कमी होती है, लॉजिट्स में अधिक विचलन दिखाएंगे। OOD डिटेक्शन स्कोर को लॉजिट शिफ्ट $\Delta \ell_c$ के परिमाण के रूप में परिभाषित किया गया है। वे नमूने जो एक होल्ड-आउट ID सेट पर कैलिब्रेट किए गए थ्रेशोल्ड $\tau$ से अधिक होते हैं, उन्हें OOD के रूप में वर्गीकृत किया जाता है।

प्रमुख योगदान

नया फ्रेमवर्क: CAPS का प्रस्ताव, जो अपारदर्शी आउटपुट स्कोर के बजाय रिप्रजेंटेशन स्पेस में कॉन्सेप्ट-लेवल परटर्बेशन का लाभ उठाता है।
क्रॉस-डोमेन मूल्यांकन: तीन अलग-अलग मेडिकल इमेजिंग मोडैलिटीज: एंडोस्कोपी (Kvasir-v2), हिस्टोपैथोलॉजी (NCT-CRC-HE-100K/CRC-VAL-HE-7K), और ऑप्थैल्मिक इमेजिंग (Retinal OCT) में व्यापक मूल्यांकन।
नैदानिक व्याख्यात्मकता (Clinical Interpretability): यह प्रदर्शन कि निकाले गए SAE फीचर्स नैदानिक रूप से सार्थक विजुअल पैटर्न (जैसे कि पाइलोरिक ओपनिंग जैसे एनाटॉमिकल लैंडमार्क्स या बाइल स्टेनिंग जैसे फिजियोलॉजिकल फीचर्स) के अनुरूप हैं, जिसे ब्लाइंडेड क्लिनिकल एक्सपर्ट रिव्यू के माध्यम से सत्यापित किया गया है।

परिणाम
विधि का मूल्यांकन AUROC और FPR95 का उपयोग करके स्टेट-ऑफ-द-आर्ट बेसलाइन्स (Energy, MSP, Mahalanobis, ViM, और NERO सहित) के विरुद्ध किया गया था:

हिस्टोपैथोलॉजी: CAPS ने 95.28% AUROC और 23.17% FPR95 के साथ सर्वश्रेष्ठ प्रदर्शन किया।
OCT: CAPS ने 93.67% AUROC और 24.80% FPR95 प्राप्त किया, जो सभी बेसलाइन्स से बेहतर है।
Kvasir-v2 (एंडोस्कोपी): विधि ने 79.58% AUROC प्राप्त किया। लेखक यहाँ मध्यम प्रदर्शन का श्रेय छोटे डेटासेट आकार (2,400 सैंपल्स) को देते हैं, जो बड़े हिस्टोपैथोलॉजी और OCT डेटासेट्स (>50k सैंपल्स) की तुलना में SAE की अत्यधिक भेदभावपूर्ण, क्लास-विशिष्ट दिशाओं को सीखने की क्षमता को सीमित करता है।
मजबूती (Robustness): संवेदनशीलता विश्लेषण ने दिखाया कि पर्याप्त डेटा वाले डेटासेट्स के लिए विधि हाइपरपैरामीटर्स ( $k$ और $\beta$ ) की एक विस्तृत श्रृंखला में स्थिर है, हालांकि लो-डेटा Kvasir-v2 रिजीम में अस्थिरता देखी गई।

महत्व और दावे
पेपर का दावा है कि CAPS एक "भेदभावपूर्ण OOD सिग्नल और मॉडल अनसर्टेन्टी को चलाने वाले आंतरिक तंत्रों में एक व्याख्यात्मक लेंस प्रदान करता है।" डिटेक्शन को कॉन्सेप्ट-कंडीशंड स्टेबिलिटी एनालिसिस के रूप में फ्रेम करके, यह दृष्टिकोण हाई-परफॉर्मेंस डिटेक्शन और क्लिनिकल ट्रस्ट के बीच के अंतर को पाटता है। लेखक प्रदर्शित करते हैं कि OOD नमूनों का पता केवल इसलिए नहीं लगाया जाता क्योंकि वे "अलग" हैं, बल्कि इसलिए क्योंकि उनमें उन विशिष्ट, विशेषज्ञ-सत्यापित सिमेंटिक फीचर्स की कमी होती है जो इन-डिस्ट्रीब्यूशन क्लासेस के लिए कॉन्फिडेंट प्रेडिक्शन को संचालित करते हैं।

लेखक अपनी सीमाओं के संबंध में एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि लो-डेटा रिजीम में, सिमेंटिक रूप से सुसंगत दिशाओं को कैप्चर करने की कठिनाई विश्वसनीयता को प्रभावित कर सकती है। उनका मानना है कि जबकि मोडैलिटी-लेवल प्रीट्रेनिंग मदद करती है, डेटा-सीमित स्वास्थ्य सेवा वातावरणों के लिए अधिक मजबूत SAE ट्रेनिंग रणनीतियों को विकसित करना भविष्य के कार्य के लिए एक आवश्यक दिशा बनी हुई है। यह कार्य डीप न्यूरल नेटवर्क में रिप्रजेंटेशन-लेवल इंटरप्रिटेबिलिटी को विश्वसनीयता मूल्यांकन के साथ एकीकृत करने की दिशा में एक कदम के रूप में प्रस्तुत किया गया है।