⚡ electrical engineering

Probabilistic Robustness in Medical Image Classification

यह शोध पत्र मेडिकल इमेजिंग में डीप लर्निंग मॉडल्स के मूल्यांकन के लिए वर्स्ट-केस एडवर्सरियल रोबस्टनेस (worst-case adversarial robustness) के एक अधिक व्यावहारिक विकल्प के रूप में प्रोबेबिलिस्टिक रोबस्टनेस (probabilistic robustness) का समर्थन करता है, जो प्राकृतिक भ्रष्टाचार (natural corruptions) के तहत मेडमिनिस्ट v2 (MedMNIST v2) डेटासेट पर व्यवस्थित मूल्यांकन के माध्यम से यह प्रदर्शित करता है कि यह दृष्टिकोण विश्वसनीय नैदानिक परिनियोजन (clinical deployment) के लिए एक सांख्यिकीय रूप से पुष्ट दृष्टिकोण प्रदान करता है।

मूल लेखक: Yi Zhang, Siddartha Khastgir, Xingyu Zhao

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yi Zhang, Siddartha Khastgir, Xingyu Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट डॉक्टर है जो मरीज के बीमार या स्वस्थ होने का पता लगाने के लिए मानव कोशिकाओं की तस्वीरों को देखता है। यह रोबोट "डीप लर्निंग" पर आधारित है, जो इस काम में बहुत माहिर हो चुका है। आदर्श परिस्थितियों में, स्पष्ट और उच्च गुणवत्ता वाली तस्वीरों के साथ, यह लगभग पूर्ण (परफेक्ट) है।

हालाँकि, इस शोध पत्र के शोधकर्ताओं ने एक महत्वपूर्ण प्रश्न पूछा: क्या होगा जब फोटो एकदम सही न हो?

वास्तविक दुनिया में, मेडिकल फोटोज़ हमेशा एक स्वच्छ, आदर्श लैब में नहीं ली जाती हैं। कभी-कभी कैमरा थोड़ा धुंधला (ब्लर) होता है, रोशनी बहुत तेज़ या बहुत कम होती है, या इमेज थोड़ी दानेदार (ग्रेनी) हो जाती है। शोधकर्ता जानना चाहते थे: यदि हम इस रोबोट को एक थोड़ी अधूरी या खराब फोटो दिखाएं, तो क्या यह सही निर्णय ले पाएगा?

यहाँ उनके अध्ययन का विवरण सरल उपमाओं (analogies) के माध्यम से दिया गया है:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (Adversarial Robustness):
एक संग्रहालय के सुरक्षा गार्ड की कल्पना करें। गार्ड को परखने का पुराना तरीका यह है: "क्या कोई मास्टर चोर एक ऐसी नकली पेंटिंग लेकर घुस सकता है जो असली जैसी ही दिखती हो, लेकिन वास्तव में एक जाल हो, और गार्ड को धोखा दे सके?"
यह एक "सबसे खराब स्थिति" (worst-case scenario) है। यह मान लेता है कि कोई सक्रिय रूप से सिस्टम को एक सटीक, दुर्भावनापूर्ण झूठ से धोखा देने की कोशिश कर रहा है। यदि गार्ड एक बार भी विफल हो जाता है, तो उन्हें "मजबूत नहीं" (not robust) माना जाता है।

नया तरीका (Probabilistic Robustness):
इस शोध पत्र के शोधकर्ताओं ने कहा, "यह बहुत अधिक चरम है। वास्तविक जीवन में, कोई भी रोबोट डॉक्टर को एक सटीक नकली चीज़ से धोखा देने की कोशिश नहीं कर रहा है। इसके बजाय, फोटो बस गलती से थोड़ी खराब हो जाती हैं।"
इसलिए, उन्होंने परीक्षण बदल दिया। एक सटीक चाल की तलाश करने के बजाय, उन्होंने पूछा: "यदि हम यादृच्छिक रूप से (randomly) 1,000 फोटो को सामान्य तरीकों से बिगाड़ दें (जैसे धुंधला करना या ब्राइटनेस बदलना), तो उनमें से कितने को रोबोट अभी भी सही पहचान पाएगा?"
इसे प्रोबेबिलिस्टिक रोबस्टनेस (Probabilistic Robustness) कहा जाता है। यह पूछने जैसा है कि "यदि बारिश, बर्फबारी या कोहरा हो जाए, तो क्या रोबोट अभी भी सुरक्षित रूप से गाड़ी चला पाता है?" बजाय इसके कि "क्या कोई निंजा रोबोट को धोखा दे सकता है?"

2. प्रयोग

टीम ने दो लोकप्रिय "रोबोट दिमागों" (जिन्हें ResNet-18 और ResNet-50 कहा जाता है) को लिया और उन्हें कोलन टिश्यू (एक डेटासेट जिसे PathMNIST कहा जाता है) की हजारों मेडिकल इमेज दिखाईं।

पहले, उन्होंने उन्हें एकदम साफ, बेहतरीन फोटो दिखाईं। रोबोट अद्भुत थे, 90% से अधिक को सही पहचान रहे थे।
दूसरे, उन्होंने "प्राकृतिक विकृतियों" (natural corruptions) को लागू किया। इन्हें सामान्य फोटो ग्लिच समझें:
- डेफोकस (Defocus): कैमरा फोकस से बाहर है (धुंधला)।
- मोशन (Motion): फोटो लेते समय कैमरा हिल गया।
- ब्राइटनेस (Brightness): रोशनी बहुत तेज़ या बहुत कम है।
- स्टेन/सैचुरेट (Stain/Saturate): रंग अजीब या फीके दिख रहे हैं।

3. उन्हें क्या पता चला

परिणाम थोड़े चौंकाने वाले थे:

"परफेक्ट" स्कोर भ्रामक है: सिर्फ इसलिए कि रोबोट परफेक्ट फोटो पर 90%+ स्कोर करता है, इसका मतलब यह नहीं है कि वह सुरक्षित है। जब फोटो खराब हुई, तो रोबोट का प्रदर्शन काफी गिर गया।
- उपमा: कल्पना करें कि एक छात्र टेस्ट में 100% अंक प्राप्त करता है जब लाइट जल रही हो और कमरा शांत हो। लेकिन अगर आप टिमटिमाती लाइट चालू कर दें और तेज़ संगीत बजा दें, तो उसका स्कोर गिरकर 60% हो सकता है। इस शोध पत्र में पाया गया कि मेडिकल इमेजेस के लिए यह गिरावट बहुत बड़ी थी।
धुंधलापन (Blur) दुश्मन है: रोबोट ने रंग परिवर्तनों (जैसे थोड़ी ज्यादा ब्राइट फोटो) को ठीक से संभाल लिया, लेकिन वे धुंधलेपन (मोशन ब्लर या आउट-ऑफ-फोकस इमेज) के साथ बुरी तरह संघर्ष करते हैं।
- उपमा: यह किताब पढ़ने की कोशिश करने जैसा है जबकि कोई मेज को हिला रहा हो। अक्षर (मेडिकल विवरण) पहचानना बहुत कठिन हो जाता है।
बड़ा होना हमेशा बेहतर नहीं होता: उन्होंने एक "बड़ा" रोबोट (ResNet-50) और एक "छोटा" रोबोट (ResNet-18) का परीक्षण किया। बड़ा वाला परफेक्ट फोटो पढ़ने में थोड़ा बेहतर था, लेकिन वह खराब फोटो को संभालने में बहुत अधिक बेहतर नहीं था।
- निष्कर्ष: AI को अधिक जटिल बनाने से यह स्वतः ही नहीं बदल जाता कि वह वास्तविक दुनिया में चीजें गलत होने पर कितना विश्वसनीय होगा।

4. मुख्य निष्कर्ष

यह शोध पत्र तर्क देता है कि अस्पतालों में इन AI डॉक्टरों पर भरोसा करने के लिए, हम केवल यह नहीं देख सकते कि वे परफेक्ट डेटा पर कैसा प्रदर्शन करते हैं। हमें प्रोबेबिलिस्टिक रोबस्टनेस को मापने की आवश्यकता है।

इसे कार के परीक्षण की तरह समझें। आप केवल यह देखने के लिए इसे एक आदर्श, सूखे रेस ट्रैक पर नहीं चलाते कि यह सुरक्षित है या नहीं। आपको इसे बारिश, बजरी और कोहरे में भी टेस्ट करने की आवश्यकता है। यदि कार केवल रेस ट्रैक पर ही चलती है, तो वह वास्तविक दुनिया के लिए तैयार नहीं है।

संक्षेप में: इस अध्ययन ने मेडिकल AI के लिए एक नया "मौसम रिपोर्ट" तैयार किया है। इसने दिखाया कि हालांकि ये मॉडल स्मार्ट हैं, लेकिन जब इमेज थोड़ी धुंधली या अंधेरी हो जाती है, तो वे आश्चर्यजनक रूप से नाजुक हो जाते हैं। उन्हें अस्पतालों में सुरक्षित रूप से तैनात करने के लिए, हमें यह जानने की आवश्यकता है कि फोटो परफेक्ट न होने पर उनके गलती करने की कितनी संभावना है।

तकनीकी सारांश: मेडिकल इमेज वर्गीकरण में संभाव्य सुदृढ़ता (Probabilistic Robustness)

समस्या विवरण
यद्यपि डीप लर्निंग (DL) ने मेडिकल इमेज वर्गीकरण कार्यों—जैसे कि MRI और CT विश्लेषण से लेकर स्किन कैंसर और फेफड़ों के रोग के निदान तक—में मजबूत प्रदर्शन प्रदर्शित किया है, लेकिन सुरक्षा-महत्वपूर्ण क्लिनिकल सेटिंग्स में इसकी तैनाती विश्वसनीयता संबंधी चिंताओं के कारण बाधित है। मौजूदा सुदृढ़ता अनुसंधान मुख्य रूप से एडवर्सरियल रोबस्टनेस (AR) पर केंद्रित है, जो एक 'वर्स्ट-केस' (सबसे खराब स्थिति) परिप्रेक्ष्य अपनाता है और एक निर्धारित बाधा (norm ball) के भीतर उस एकल नियतात्मक विक्षेपण (deterministic perturbation) को खोजने का प्रयास करता है जो प्रेडिक्शन लॉस को अधिकतम करता है। लेखक तर्क देते हैं कि यह वर्स्ट-केस फॉर्मूलेशन वास्तविक दुनिया के मेडिकल अनुप्रयोगों का कम प्रतिनिधित्व करता है, जहाँ विक्षेपण अक्सर स्टोकेस्टिक (जैसे उपकरण का क्षरण, कैमरा डिफोकस) होते हैं न कि नियतात्मक हमले। फलस्वरूप, एक अधिक व्यावहारिक मॉडल विश्वसनीयता मापने की आवश्यकता है जो यथार्थवादी, यादृच्छिक विक्षेपणों के तहत त्रुटियों की संभावना को ध्यान में रखे।

कार्यप्रणाली (Methodology)
इस अंतर को दूर करने के लिए, अध्ययन संभाव्य सुदृढ़ता (Probabilistic Robustness - PR) की जांच करता है, जो एक सांख्यिकीय दृष्टिकोण है जो यादृच्छिक विक्षेपणों के तहत मॉडल के सही भविष्यवाणियों को बनाए रखने की समग्र संभावना का मूल्यांकन करता है। कार्यप्रणाली में तीन प्रमुख घटक शामिल हैं:

संभाव्य सुदृढ़ता की परिभाषा: AR के विपरीत, जो $\delta^* = \arg \max_{\|\delta\| \leq \gamma} L(x+\delta, y; \theta)$ को हल करता है, PR सुदृढ़ता को एक स्थानीय इनपुट वितरण $Pr(\cdot|x)$ से प्राप्त यादृच्छिक विक्षेपण $\delta$ के तहत मॉडल के भविष्यवाणियों के अपरिवर्तित रहने की अपेक्षित संभावना के रूप में परिभाषित करता है। औपचारिक रूप से, $R(x, \gamma) = \mathbb{E}_{\delta \sim Pr(\cdot|x), \|\delta\| \leq \gamma} [I\{f_\theta(x+\delta) = y\}]$ ।
प्राकृतिक भ्रष्टाचार सेटिंग्स (Natural Corruption Settings): लेखक मेडिकल इमेज वर्गीकरण के लिए मानक प्राकृतिक भ्रष्टाचार सेटिंग्स का निर्माण करते हैं, जिसमें सामान्य कंप्यूटर विज़न में व्यापक रूप से अध्ययन किए गए विक्षेपण प्रकारों को मेडिकल इमेजिंग डोमेन के अनुकूल बनाया गया है।
प्रायोगिक सेटअप: अध्ययन MedMNIST v2 डेटासेट, विशेष रूप से PathMNIST सबसेट (~107k नमूनों के साथ 9-क्लास कोलोरेक्टल पैथोलॉजी इमेज) का उपयोग करता है। दो सामान्य रूप से उपयोग किए जाने वाले CNN बैकबोन, ResNet-18 और ResNet-50 का मूल्यांकन किया जाता है। प्रदर्शन को क्लीन इमेजेस पर मानक मेट्रिक्स (Accuracy और AUC) के साथ-साथ छह विशिष्ट प्राकृतिक भ्रष्टाचारों: Defocus, Motion blur, Stain, Saturation, Pixelation, और Brightness variations के तहत PR मूल्यांकन का उपयोग करके मापा जाता है। PR मूल्यांकन PRBench द्वारा परिभाषित बेंचमार्किंग प्रोटोकॉल का अनुसरण करता है।

प्रमुख योगदान
पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

मेडिकल संदर्भ में PR की जांच: यह कार्य सुरक्षा-महत्वपूर्ण मेडिकल डायग्नोसिस सिस्टम के लिए संभाव्य सुदृढ़ता की व्यावहारिक प्रासंगिकता पर प्रकाश डालता है, और तर्क देता है कि यह यथार्थवादी विक्षेपण परिदृश्यों के लिए वर्स्ट-केस AR की तुलना में अधिक उपयुक्त है।
मानकीकृत भ्रष्टाचार ढांचा (Standardized Corruption Framework): लेखक सामान्य कंप्यूटर विज़न विक्षेपणों को अनुकूलित करके मेडिकल इमेज कार्यों के लिए विशेष रूप से प्राकृतिक भ्रष्टाचार सेटिंग्स का निर्माण और मानकीकरण करते हैं, जिससे एक अधिक यथार्थवादी सुदृढ़ता मूल्यांकन प्रोटोकॉल सक्षम होता है।
व्यवस्थित मूल्यांकन: पारंपरिक प्रेडिक्टिव एक्यूरेसी के साथ-साथ मेडिकल-इमेज भ्रष्टाचार सेटिंग्स के तहत ResNet-18 और ResNet-50 का एक व्यापक मूल्यांकन किया गया है।

परिणाम
PathMNIST पर प्रायोगिक परिणाम कई महत्वपूर्ण अंतर्दृष्टि प्रकट करते हैं:

प्रदर्शन में भारी गिरावट: जबकि मॉडल उच्च क्लीन-इमेज एक्यूरेसी (जैसे, ResNet-18: 90.68% ACC, 98.46% AUC) प्राप्त करते हैं, प्राकृतिक भ्रष्टाचार के तहत उनकी संभाव्य सुदृढ़ता काफी कम हो जाती है। उदाहरण के लिए, ब्राइटनेस वेरिएशंस के तहत, ResNet-18 के लिए PR गिरकर 62.84% और ResNet-50 के लिए 67.91% हो जाता है।
भ्रष्टाचार निर्भरता (Corruption Dependency): सुदृढ़ता भ्रष्टाचार के प्रकार पर अत्यधिक निर्भर है। दोनों मॉडल Pixelation, Stain, और Saturation के विरुद्ध अपेक्षाकृत सुदृढ़ रहते हैं, लेकिन Motion blur और Defocus के प्रति काफी अधिक संवेदनशील हैं। ब्राइटनेस वेरिएशंस भी पर्याप्त गिरावट का कारण बनते हैं।
क्लीन परफॉरमेंस बनाम सुदृढ़ता: उच्च क्लीन-इमेज परफॉरमेंस बेहतर संभाव्य सुदृढ़ता की गारंटी नहीं देती है। हालांकि ResNet-50, ResNet-18 की तुलना में उच्च ACC और AUC प्राप्त करता है, लेकिन यह सभी भ्रष्टाचार प्रकारों में लगातार बेहतर PR प्रदर्शित नहीं करता है।

महत्व और दावे
पेपर का दावा है कि वास्तविक विक्षेपणों के तहत DL मॉडल्स की विश्वसनीयता का आकलन करने के लिए संभाव्य सुदृढ़ता, वर्स्ट-केस सुदृढ़ता की तुलना में अधिक व्यावहारिक परिप्रेक्ष्य प्रदान करती है। एक सांख्यिकीय रूप से आधारित संदर्भ प्रदान करके, इस कार्य का उद्देश्य मेडिकल इमेजिंग में डीप लर्निंग सिस्टम के सुरक्षित परिनियोजन (deployment) में सहायता करना है। अध्ययन इस बात पर जोर देता है कि अभ्यास में सामान्य इमेज क्वालिटी के मुद्दे (जैसे उपकरण का क्षरण) कम विश्वसनीय भविष्यवाणियों का कारण बन सकते हैं, भले ही मॉडल्स में उच्च मानक सटीकता हो, जिसके लिए नियतात्मक एडवर्सियल उदाहरणों से परे मूल्यांकन ढांचे की आवश्यकता होती है।

1. पुराना तरीका बनाम नया तरीका

2. प्रयोग

3. उन्हें क्या पता चला

4. मुख्य निष्कर्ष

तकनीकी सारांश: मेडिकल इमेज वर्गीकरण में संभाव्य सुदृढ़ता (Probabilistic Robustness)

इसी तरह के और पेपर