ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI
यह शोधपत्र ConceptSMILE को प्रस्तुत करता है, जो एक मॉडल-अज्ञेय (model-agnostic) ऑडिटिंग फ्रेमवर्क है जो इनपुट को विचलित करके कॉन्सेप्ट-रिस्पॉन्स शिफ्ट को मापने और सरोगेट मॉडल्स को फिट करके कॉन्सेप्ट-आधारित व्याख्यात्मक एआई (explainable AI) की विश्वसनीयता का मूल्यांकन करता है, जो रेटिनल फंडस छवियों पर विजुअल और सिमेंटिक कॉन्सेप्ट पाथवे की विश्वसनीयता की तुलना करने में इसकी प्रभावशीलता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट डॉक्टर बनाया है जो आँखों की तस्वीरें देखकर बता सकता है कि उनमें क्या खराबी है। आप उससे पूछते हैं, "तुम्हें क्यों लगता है कि यह आँख बीमार है?" और वह जवाब देता है, "क्योंकि मुझे एक घाव (lesion), एक रक्त वाहिका (blood vessel), और ऑप्टिक डिस्क दिखाई दे रही है।" सुनने में बहुत अच्छा लगता है, है ना? वह मानवीय शब्दों का उपयोग कर रहा है! लेकिन यहाँ एक ट्विस्ट है: सिर्फ इसलिए कि रोबट कहता है कि वह एक घाव देख रहा है, इसका मतलब यह नहीं है कि वह वास्तव में एक घाव ही देख रहा है। हो सकता है कि वह कैमरे के लेंस पर किसी अजीब धब्बे या फोटो पर छपे तारीख के स्टैम्प को देखकर धोखा खा रहा हो।
यह बिल्कुल वही है जिसकी जांच ConceptSMILE करता है। इसके लेखक "ट्रस्ट डिटेक्टिव्स" (विश्वास के जासूस) की तरह हैं। वे एक नया फ्रेमवर्क पेश करते हैं जिसे ConceptSMILE (Concept-level Statistical Model-agnostic Interpretability with Local Explanations) कहा जाता है, ताकि यह ऑडिट किया जा सके कि क्या ये "मानवीय शब्द" वाले स्पष्टीकरण वास्तव में भरोसेमंद हैं या सिर्फ दिखावटी झूठ।
बड़ा विचार: शब्दों पर भरोसा न करें, प्रतिक्रिया का परीक्षण करें
यह पेपर एक सामान्य धारणा के विरुद्ध तर्क देता है: कि यदि किसी AI का स्पष्टीकरण ऐसे शब्दों का उपयोग करता है जिन्हें हम समझते हैं (जैसे "घाव" या "रक्त वाहिका"), तो वह स्वतः ही विश्वसनीय हो जाता है। लेखक कहते हैं, "नहीं!" एक मॉडल एक आदर्श दिखने वाला उत्तर दे सकता है, जबकि वह छिपी हुई तरकीबों पर निर्भर हो, जैसे कि फोटो पर मौजूद कोई विशेष लोगो या फोटो लेने के तरीके से उत्पन्न कोई अजीब आर्टिफैक्ट (artifact)।
इन तरकीबों को पकड़ने के लिए, ConceptSMLE "क्या होगा अगर?" का खेल खेलता है।
- सेटअप: वे आँख की एक फोटो लेते हैं और AI से पूछते हैं, "तुम्हें क्या दिख रहा है?"
- ट्विस्ट: वे गुप्त रूप से फोटो के साथ छेड़छाड़ करते हैं। वे छवि के कुछ हिस्सों को ढक देते हैं (जैसे रक्त वाहिका के ऊपर काला पैच लगाना) या नकली चीजें जोड़ देते हैं (जैसे तारीख का स्टैम्प या लोगो)।
- परीक्षण: वे फिर से AI से पूछते हैं। "ठीक है, अब जब मैंने रक्त वाहिका को ढक दिया है, तो क्या तुम्हें अब भी वह दिख रही है?"
- यदि AI कहता है, "ओह, आपने इसे ढक दिया? तो अब मुझे यह नहीं दिख रही है," तो यह अच्छा है। इसका मतलब है कि AI वास्तव में उस वाहिका को देख रहा था।
- यदि AI कहता है, "मुझे अभी भी रक्त वाहिका दिख रही है!" भले ही वह ढकी हुई हो, तो यह बुरा है। इसका मतलब है कि AI या तो अनुमान लगा रहा था या पूरी तरह से किसी और चीज़ को देख रहा था।
दो दावेदार: "मैप मेकर" बनाम "स्टोरीटेलर"
अपने विचार का परीक्षण करने के लिए, लेखकों ने आँख की तस्वीरों से स्पष्टीकरण प्राप्त करने के दो अलग-अलग तरीकों के बीच मुकाबला कराया:
- मैप मेकर (MedSAM): यह AI एक नक्शा बनाता है। यह रक्त वाहिकाओं और ऑप्टिक डिस्क को एक पहेली की तरह अलग करता है। यह बहुत अच्छा है यह जानने में कि चीजें कहाँ हैं।
- स्टोरीटेलर (VLM): यह AI फोटो को देखता है और जो वह देखता है उसका वर्णन करने के लिए एक वाक्य लिखता है। यह भाषा का उपयोग करने में बहुत अच्छा है लेकिन सटीक स्थान के मामले में थोड़ा अस्पष्ट हो सकता है।
लेखकों ने चार अलग-अलग सार्वजनिक डेटासेट्स (HRF, APTOS, ODIR, और IDRiD) से 40 रेटिनल छवियों का उपयोग करके ConceptSMILE "टॉर्चर टेस्ट" के माध्यम से दोनों को परखने के लिए रखा।
उन्होंने क्या पाया (स्कोरबोर्ड)
परिणाम "वाह, यह कमाल है" और "ओह, सावधान रहें" का मिश्रण थे।
- सटीकता (Precision) पर मैप मेकर (MedSAM) की जीत: जब बात चीजों को सटीक रूप से पहचानने की आई, तो मैप मेकर चैंपियन था। इसने इस बात के लिए बहुत उच्च स्कोर हासिल किया कि इसकी आंतरिक तर्क प्रक्रिया फोटो में किए गए बदलावों से कितनी मेल खाती है। विशेष रूप से, "रक्त वाहिका" और "ऑप्टिक डिस्क" अवधारणाओं के लिए, इसका सरोगेट फिडेलिटी (एक माप कि एक सरल मॉडल इसके व्यवहार की भविष्यवाणी कितनी अच्छी तरह कर सकता है) R² = 0.8503 और R²w = 0.8465 था। यह सुझाव देता है कि जब मैप मेकर कहता है कि उसे एक वाहिका दिख रही है, तो वह आमतौर पर वाहिका को ही देख रहा होता है।
- वाहिकाओं के लिए "फिथफुलनेस" (Faithfulness) पर स्टोरीटेलर (VLM) की जीत: आश्चर्यजनक रूप से, स्टोरीटेलर रक्त वाहिकाओं के मामले में वास्तव में अधिक "फिथफुल" (निष्ठावान) था। इसका मतलब है कि जब शोधकर्ताओं ने वाहिका वाले हिस्से के साथ छेड़छाड़ की, तो स्टोरीटेलर का उत्तर सभी चार डेटासेट्स में बहुत सुसंगत और तार्किक तरीके से बदला। इसके सहसंबंध स्कोर (एक माप जो निष्ठा को दर्शाता है) r = 0.5794 से r = 0.7133 के बीच थे, जो सांख्यिकीय रूप से महत्वपूर्ण थे।
- "स्थिरता" का सरप्राइज: लेखकों ने परीक्षण किया कि यदि आप फोटो में एक नकली तारीख या अस्पताल का लोगो जोड़ते हैं तो क्या होता है।
- मैप मेकर ऑप्टिक डिस्क (आँख के केंद्र) को देखने में बहुत स्थिर था। नकली लोगो के साथ भी, इसने कुछ डेटासेट्स पर 98% बार डिस्क को सही ढंग से देखा।
- स्टोरीटेलर घावों (lesions) (आँख पर धब्बे) के बारे में बात करने में आश्चर्यजनक रूप से स्थिर था। नकली तारीखें जोड़ने के बावजूद इसने अपना धैर्य बनाए रखा, कुछ डेटासेट्स पर 1.00 (परफेक्ट स्टेबिलिटी) स्कोर किया।
पेच: यह कोई जादुई समाधान नहीं है
पेपर बहुत सावधानी से कहता है कि यह कोई हल की गई समस्या नहीं है। वे स्पष्ट रूप से कहते हैं कि कोई भी एक विधि हर श्रेणी में विजेता नहीं थी।
- कभी-कभी मैप मेकर वाहिकाओं को खोजने में महान था लेकिन घावों पर कमजोर।
- कभी-कभी स्टोरीटेलर सुसंगत होने में महान था लेकिन स्थानों को सटीक रूप से बताने में खराब।
- स्पष्टीकरण की "विश्वसनीयता" पूरी तरह से इस बात पर निर्भर करती है कि आप किस अवधारणा के बारे में बात कर रहे हैं और आप किस डेटासेट का उपयोग कर रहे हैं।
लेखक यह भी नोट करते हैं कि उनका परीक्षण एक सीमित सेट की छवियों (4 डेटासेट्स में से प्रत्येक से 10) का उपयोग करके एक "प्रूफ-ऑफ-कॉन्सेप्ट" था। उन्होंने अभी तक इसका परीक्षण हजारों रोगियों या वास्तविक अस्पताल में नहीं किया है। वे यह भी स्वीकार करते हैं कि छवि के कुछ हिस्सों को "ढकने" (मास्किंग) का उनका तरीका थोड़ा कृत्रिम है और शायद वास्तविक दुनिया की नेत्र रोगों की पूरी तरह से नकल न करे।
निचोड़ (The Bottom Line)
ConceptSMILE हमें यह नहीं बताता कि कौन सा AI "सबसे अच्छा" है। इसके बजाय, यह हमें एक रिपोर्ट कार्ड देता है जो दिखाता है कि प्रत्येक AI कहाँ मजबूत है और कहाँ वह केवल दिखावा कर रहा है।
मुख्य निष्कर्ष सरल है: सिर्फ इसलिए कि एक AI हमारी भाषा बोलता है, इसका मतलब यह नहीं है कि वह हमें समझता है। आपको इस तरह के निदान पर भरोसा करने से पहले उसे उकसाना, छेड़ना और देखना होगा कि वह कैसे प्रतिक्रिया देता है। लेखक सुझाव देते हैं कि चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में, हमें इस तरह के "ऑडिट लेयर" की आवश्यकता है ताकि यह सुनिश्चित किया जा सके कि AI केवल मनगढ़ंत बातें नहीं कर रहा है, भले ही वे बातें बहुत विश्वसनीय लगें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।