When Explanations Mislead: A Systematic Audit of Saliency Map Localization Failures in Chest X-Ray AI Despite Correct Predictions
यह शोध पत्र व्यवस्थित रूप से प्रदर्शित करता है कि चेस्ट एक्स-रे एआई (chest X-ray AI) में, सही भविष्यवाणियाँ अक्सर गलत सैलिएंसी मैप (saliency map) स्पष्टीकरणों के साथ होती हैं, जो भविष्यवाणी की सटीकता और स्थानीयकरण निष्ठा (localization fidelity) के बीच एक महत्वपूर्ण अलगाव को प्रकट करता है, जिसके लिए नैदानिक परिनियोजन से पहले अनिवार्य सत्यापन थ्रेशोल्ड की आवश्यकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "AI" नाम का एक बहुत ही बुद्धिमान, लेकिन थोड़ा रहस्यमयी मेडिकल असिस्टेंट है। यह AI चेस्ट एक्स-रे को देखता है और बीमारियों को पहचानने में अविश्वसनीय रूप से कुशल है। यदि आप इससे पूछते हैं, "क्या यहाँ निमोनिया है?" तो यह लगभग हमेशा सही ढंग से "हाँ" या "नहीं" कहेगा।
इस AI को मानव डॉक्टरों के भरोसे के लायक बनाने के लिए, AI एक "हीट मैप" (heat map) दिखाता है। इस हीट मैप को एक चमकते हुए लाल स्पॉटलाइट की तरह समझें जिसे AI एक्स-रे पर इस तरह चमकाता है जैसे कह रहा हो, "यहाँ देखो! यहीं मुझे समस्या दिखी!"
वह बड़ी धारणा जिसे हर कोई मान रहा था, वह यह थी: "यदि AI सही उत्तर देता है, तो स्पॉटलाइट सही जगह पर ही चमक रही होगी।"
यह शोध पत्र, जो कोलंबिया यूनिवर्सिटी के सिद्धाध्र नंदा द्वारा लिखा गया है, एक सुरक्षा निरीक्षक (safety inspector) की तरह है जिसने इस धारणा का परीक्षण करने का निर्णय लिया। इसके परिणाम चिंताजनक हैं।
"गलत उत्तर, सही स्पॉटलाइट" बनाम "सही उत्तर, गलत स्पॉटलाइट"
निरीक्षक ने पाया कि AI अक्सर एक "सही उत्तर, गलत स्पॉटलाइट" मशीन है।
यहाँ इसकी उपमा दी गई है: कल्पना कीजिए कि एक जासूस ने सही पहचान की है कि घर के एक विशिष्ट कमरे में अपराध हुआ है। हालाँकि, जब उससे उस कमरे की ओर इशारा करने को कहा जाता है, तो वह आत्मविश्वास के साथ किचन की ओर इशारा करता है, भले ही अपराध बेडरूम में हुआ हो। जासूस अपराध के बारे में तो सही है, लेकिन स्थान के बारे में गलत है।
चिकित्सा जगत में, यह खतरनाक है। यदि एक डॉक्टर देखता है कि AI कहता है "निमोनिया का पता चला" (जो कि सही है) और फिर देखता है कि लाल स्पॉटलाइट फेफड़े के गलत हिस्से पर चमक रही है, तो डॉक्टर AI पर बहुत अधिक भरोसा कर सकता है। वे सोच सकते हैं, "ओह, AI निश्चित है क्योंकि यह सीधे उस जगह की ओर इशारा कर रहा है," यह जाने बिना कि AI वास्तव में गलत जगह की ओर इशारा कर रहा है।
बड़ा ऑडिट (The Big Audit)
लेखक ने इसका परीक्षण 336 एक्स-रे पर किया जहाँ AI ने निदान (diagnosis) 100% सही किया था। उन्होंने इन "स्पॉटलाइट्स" (जिन्हें सैलिएंसी मैप्स कहा जाता है: GradCAM, GradCAM++, Integrated Gradients, और LIME) को उत्पन्न करने के चार अलग-अलग तरीकों का उपयोग किया।
उन्होंने AI के चमकते हुए स्पॉटलाइट्स की तुलना विशेषज्ञ मानव रेडियोलॉजिस्ट द्वारा चिह्नित वास्तविक स्थानों से की।
चौंकाने वाला परिणाम:
- 100 में से 83 बार (83%), AI ने निदान तो सही किया, लेकिन स्पॉटलाइट पूरी तरह से बेकार या भ्रामक जगह पर चमक रही थी।
- "स्पॉटलाइट्स" इतनी खराब थीं कि वे वास्तविक रोग क्षेत्र के साथ बिल्कुल भी मेल नहीं खाती थीं।
- यहाँ तक कि सबसे "बेहतरीन" स्पॉटलाइट विधि (Integrated Gradients) भी 100 में से 76 बार स्थान के बारे में गलत थी।
- सबसे खराब विधि (LIME) 100 में से 92 बार गलत थी।
ऐसा क्यों होता है?
पेपर समझाता है कि AI एक ऐसे छात्र की तरह है जिसने तथ्यों को सीखने के बजाय परीक्षा के प्रश्न के "वाइब" (vibe) या आभास को रट लिया है।
- AI यह सीख सकता है कि "यदि फेफड़े का निचला हिस्सा एक निश्चित तरीके से दिखता है, या यदि पसलियों के बीच की दूरी एक निश्चित दूरी पर है, तो यह निमोनिया है।"
- इसलिए, जब वह निमोनिया देखता है, तो वह सही ढंग से कहता है "निमोनिया!"
- लेकिन जब वह यह समझाने की कोशिश करता है कि क्यों, तो वह अपने स्पॉटलाइट को फेफड़े के निचले हिस्से या पसलियों पर चमकाता है (वे सुराग जिनका उसने उपयोग किया था), न कि वास्तविक निमोनिया पर।
- मानवीय दृष्टि के लिए, स्पॉटलाइट फेफड़े पर दिखाई देती है, इसलिए यह तर्कसंगत लगता है। लेकिन वास्तव में यह गलत विशिष्ट क्षेत्र की ओर इशारा कर रहा होता है।
निष्कर्ष
यह पेपर तर्क देता है कि हम केवल इसलिए AI के "स्पष्टीकरण" (हीट मैप) पर भरोसा नहीं कर सकते क्योंकि AI ने अंतिम उत्तर सही दिया है। सही उत्तर बताने की क्षमता और सही जगह की ओर इशारा करने की क्षमता दो पूरी तरह से अलग कौशल हैं, और वर्तमान में, AI दूसरे कौशल में विफल हो रहा है।
लेखक की सिफारिश:
इससे पहले कि हम इन AI सिस्टम को डॉक्टरों की मदद के लिए अस्पतालों में आने दें, हमें एक नया नियम बनाना होगा। हमें केवल यह जाँच नहीं करनी चाहिए कि AI निदान सही दे रहा है या नहीं। हमें AI को एक "पॉइंटिंग टेस्ट" (pointing test) पास करने के लिए भी मजबूर करना चाहिए। यदि AI का स्पॉटलाइट कम से कम 60% बार वास्तविक बीमारी पर नहीं उतरता है, तो उसे डॉक्टरों को अपना हीट मैप दिखाने की अनुमति नहीं दी जानी चाहिए, क्योंकि यह उन्हें गुमराह कर सकता है।
संक्षेप में: एक सही अनुमान का मतलब अच्छा स्पष्टीकरण नहीं है। और चिकित्सा में, एक बुरा स्पष्टीकरण खतरनाक हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।