Position: Explanation Stability Is a Property of the Model Method Pair, Not the Model
यह स्थिति पत्र (position paper) तर्क देता है कि स्पष्टीकरण स्थिरता (explanation stability) किसी मॉडल का अंतर्निहित गुण नहीं है, बल्कि विशिष्ट मॉडल-विधि युग्म (model-method pair) की एक उभरती हुई विशेषता है, जिसके लिए सुरक्षा या विश्वसनीयता के भ्रामक दावों से बचने हेतु क्रॉस-मेथड सत्यापन (cross-method validation) आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि रोबोट शेफ ने आपका टोस्ट क्यों जला दिया। आप रोबोट से पूछते हैं, "आपने ऐसा क्यों किया?" और वह अपनी चमकती हुई उंगली ब्रेड की ओर इशारा करता है। लेकिन यहाँ एक पेंच है: रोबंतु के पास इशारा करने के दो अलग-अलग तरीके हैं। एक तरीका, जिसे हम "लेजर पॉइंटर" कह सकते हैं, उस सटीक स्थान को उजागर करता है जहाँ ब्रेड सबसे अधिक गर्म थी। दूसरा तरीका, "स्पॉटलाइट," पूरे टोस्टर के ऊपर एक व्यापक बीम फैलाता है, जो पूरे सामान्य क्षेत्र पर जोर देता है। यदि आप केवल लेजर पॉइंटर का उपयोग करते हैं, तो आपको लग सकता है कि रोबोट बहुत सुसंगत है। लेकिन यदि आप स्पॉटलाइट पर स्विच करते हैं, तो रोबोट अचानक रसोई के किसी पूरी तरह से अलग हिस्से की ओर इशारा कर सकता है! यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में एक बढ़ते हुए संकट का केंद्र है, विशेष रूप से एक्सप्लेनेबल एआई (XAI) नामक एक क्षेत्र में।
AI की दुनिया में, हम "मॉडल्स" (उन्हें सुपर-स्मार्ट डिजिटल दिमाग समझें) बनाते हैं जो निर्णय लेते हैं, जैसे कि एक्स-रे तस्वीरों में बीमारियों को पहचानना। लेकिन ये मॉडल्स अक्सर "ब्लैक बॉक्स" होते हैं—हम जानते हैं कि क्या अंदर जा रहा है और क्या बाहर आ रहा है, लेकिन हमें यह भी नहीं पता होता कि उन्होंने निर्णय कैसे लिया। इसे ठीक करने के लिए, वैज्ञानिक "एट्रिब्यूशन मेथड्स" (attribution methods) का उपयोग करते हैं। ये उपकरण हाईलाइटर की तरह काम करते हैं, जो हमें छवि के उन हिस्सों को दिखाते हैं (जैसे एक्स-रे में एक काला धब्बा) जो AI के निर्णय के लिए सबसे महत्वपूर्ण थे। लंबे समय तक, शोधकर्ताओं ने यह माना कि यदि एक AI मॉडल स्थिर और विश्वसनीय है, तो उसका हाईलाइटर हमेशा एक ही स्थान की ओर इशारा करेगा, चाहे आप हाइलाइट करने के लिए किसी भी टूल का उपयोग करें। यह पेपर तर्क देता है कि यह धारणा गलत है। यह सुझाव देता है कि स्पष्टीकरण की "स्थिरता" (stability) AI के मस्तिष्क का गुण नहीं है, बल्कि उस विशिष्ट हाइलाइटर टूल का परिणाम है जिसका आप उपयोग कर रहे हैं। यदि आप टूल बदलते हैं, तो AI द्वारा सुनाई जाने वाली कहानी पूरी तरह से बदल सकती है, भले ही AI का अंतिम उत्तर वही रहे।
द ग्रेट हाईलाइटर स्वैप (The Great Highlighter Swap)
इस पेपर के लेखक, काबिलन एलंगोवन और डैनियल टिंग ने इस विचार का परीक्षण करने के लिए चेस्ट एक्स-रे का उपयोग करके एक नियंत्रित प्रयोग किया। उन्होंने तीन प्रसिद्ध AI मॉडल्स—DenseNet201, ResNet50V2, और InceptionV3—को लिया और उन्हें पांच अलग-अलग फेफड़ों की स्थितियों (जिनमें निमोनिया और कोविड-19 शामिल हैं) को पहचानने के लिए प्रशिक्षित किया। उन्होंने इन मॉडल्स को अपना काम करने में इतना कुशल बनाया कि तीनों के लिए सफलता दर (AUC) 99% से अधिक रही। दूसरे शब्दों में, वे सभी बीमारी का निदान करने में समान रूप रूप से प्रतिभाशाली थे।
फिर आया एक ट्विस्ट। शोधकर्ताओं ने इन मॉडल्स से पूछा कि उन्होंने अपने निदान क्यों किए, इसके लिए उन्होंने दो बहुत ही अलग हाइलाइटर टूल्स का उपयोग किया: LayerCAM और Grad-CAM++।
- LayerCAM एक हाई-डेफिनिशन माइक्रोस्कोप की तरह है। यह पिक्सेल-दर-पिक्सेल छवि को देखता है, बारीक विवरणों और स्थानीय बनावटों को सुरक्षित रखता है।
- Grad-CAM++ एक वाइड-एंगल लेंस की तरह है। यह बड़े चित्र को देखता है, और समग्र महत्व के आधार पर छवि के विभिन्न हिस्सों को तौलने के लिए जटिल गणित का उपयोग करता है।
शोधकर्ता यह देखना चाहते थे कि: यदि वे मॉडल्स में थोड़ा बदलाव करते हैं (जिसे "फाइन-ट्यूनिंग" कहा जाता है), तो क्या हाइलाइटर स्थिर रहेंगे? क्या वे फेफड़ों के उन्हीं स्थानों की ओर इशारा करना जारी रखेंगे?
प्लॉट ट्विस्ट: यह टूल पर निर्भर करता है
यहीं से कहानी रोमांचक हो जाती है। परिणामों ने दिखाया कि स्पष्टीकरण की "स्थिरता" पूरी तरह से इस बात पर निर्भर थी कि आप किस हाइलाइटर टूल का उपयोग कर रहे हैं। यह एक पेंटिंग का वर्णन करने के लिए तीन अलग-अलग लोगों से पूछने जैसा था; एक व्यक्ति कह सकता है, "यह पेंटिंग स्थिर है क्योंकि रंग नहीं बदलते," जबकि दूसरा कह सकता है, "नहीं, आकार तेजी से बदल रहे हैं।" दोनों सही हो सकते हैं, लेकिन वे अलग-अलग नियमों का उपयोग कर रहे हैं।
InceptionV3 का सरप्राइज: जब शोधकर्ताओं ने LayerCAM (माइक्रोस्कोप) का उपयोग किया, तो InceptionV3 सबसे स्थिर मॉडल लगा। इसने अपना फोकस केंद्रित रखा, जिसका स्थिरता स्कोर (IoU) 0.777 था। यह एक आदर्श, विश्वसनीय AI जैसा लगा।
Grad-CAM++ का झटका: लेकिन जब उन्होंने Grad-CAM++ (वाइड-एंगल लेंस) पर स्विच किया, तो InceptionV3 बिखर गया। इसका स्थिरता स्कोर गिरकर 0.643 हो गया, जो 17.3% की भारी गिरावट थी। अचानक, वह मॉडल जो बहुत स्थिर दिख रहा था, केवल टूल बदलने के कारण बहुत अस्थिर हो गया।
DenseNet201 का हीरो: दूसरी ओर, DenseNet201 इस तूफान में शांत केंद्र बना रहा। चाहे उन्होंने माइक्रोस्कोप का उपयोग किया हो या वाइड-एंगल लेंस का, इसके स्थिरता स्कोर में बहुत कम बदलाव आया। यह 0.699 से 0.690 पर गया, जो केवल 1.3% का अंतर था। यह मॉडल एक "मेथड-अग्नोस्टिक" (विधि-निरपेक्ष) प्रकृति वाला प्रतीत हुआ, जिसका अर्थ है कि इसके स्पष्टीकरण टूल के बावजूद सुसंगत रहे।
ResNet50V2 का संघर्ष: ResNet50V2 का समय खराब रहा। इसने LayerCAM के तहत 0.519 का मध्यम स्कोर से शुरुआत की लेकिन Grad-CAM++ के तहत 0.383 पर गिर गई। यह हर स्थिति में अस्थिर था, लेकिन गिरावट विशेष रूप से नाटकीय थी।
सबसे चौंकाने वाली बात क्या थी? तीनों मॉडल्स अभी भी 99% बार सही निदान कर रहे थे। उनके "उत्तर" एकदम सही थे, लेकिन उनके "कारण" जिस टूल से उन्हें देखा जा रहा था, उसके आधार पर रेत के टीलों की तरह बदल रहे थे।
यह क्यों मायने रखता है: "इल्यूसरी सेफ्टी" (भ्रामक सुरक्षा) का जाल
पेपर का तर्क है कि यह खोज AI के प्रति हमारे विश्वास के एक प्रमुख नियम को तोड़ती है। वर्तमान में, यदि कोई शोधकर्ता कहता है, "हमारा AI मॉडल स्थिर और भरोसेमंद है," तो वे अक्सर इसे केवल एक ही हाइलाइटर टूल के परिणामों को दिखाकर सिद्ध करते हैं। यह पेपर कहता है कि यह वैज्ञानिक रूप से अमान्य है। यह दावा करने जैसा है कि एक कार "सुरक्षित" है क्योंकि उसने एक विशिष्ट प्रकार के एयरबैग के साथ क्रैश टेस्ट पास किया है, लेकिन कभी दूसरे एयरबैग के साथ परीक्षण नहीं किया।
लेखक बताते हैं कि यदि आप InceptionV3 को केवल LayerCAM लेंस के माध्यम से देखते हैं, तो आपको लग सकता है कि यह अस्पताल के लिए सबसे अच्छा विकल्प है। लेकिन यदि अस्पताल वास्तव में Grad-CAM++ का उपयोग करता है (या यदि सॉफ्टवेयर अपडेट होता है और टूल बदल जाता है), तो AI के स्पष्टीकरण अविश्वसनीय हो सकते हैं, जो डॉक्टरों को गुमराह कर सकते हैं। पेपर का सुझाव है कि स्पष्टीकरण की स्थिरता मॉडल का गुण नहीं है, बल्कि "मॉडल + विधि" (Model + Method) के जोड़े का गुण है। आप दोनों को अलग नहीं कर सकते।
निष्कर्ष: अपने टूल्स की जांच करें
तो, हमें क्या करना चाहिए? लेखक AI के अध्ययन करने के तरीके में कुछ बदलावों का प्रस्ताव देते हैं:
- एक अकेले टूल पर भरोसा न करें: शोधकर्ताओं को कभी भी यह दावा नहीं करना चाहिए कि एक मॉडल "स्थिर" है, जब तक कि उन्होंने कम से कम दो अलग-अलग हाइलाइटर विधियों के साथ इसका परीक्षण न किया हो। यदि परिणाम बहुत अधिक बदलते हैं, तो मॉडल स्थिर नहीं है; वह बस उस एक टूल के साथ भाग्यशाली है।
- नियामकों को विशिष्ट होने की आवश्यकता है: जब चिकित्सा उपकरणों को FDA जैसी एजेंसियों द्वारा अनुमोदित किया जाता है, तो स्पष्टीकरण उत्पन्न करने के लिए उपयोग किए जाने वाले विशिष्ट हाइलाइटर टूल को लॉक कर दिया जाना चाहिए। यदि अस्पताल बाद में टूल बदलता है, तो डिवाइस को फिर से अनुमोदन की आवश्यकता हो सकती है, क्योंकि AI द्वारा दिया जाने वाला "कारण" बदल सकता है।
- सही आर्किटेक्चर चुनें: यदि आप मेडिकल AI बना रहे हैं, तो आपको InceptionV3 जैसे मॉडल के बजाय DenseNet201 जैसे मॉडल को चुनने की आवश्यकता हो सकती है, जो विभिन्न टूल्स के बीच अपना आधार बनाए रखता है, जबकि InceptionV3 नाजुक है और विशिष्ट विधि पर बहुत अधिक निर्भर करता है।
संक्षेप में, यह पेपर एक चेतावनी है। यह हमें बताता है कि AI की दुनिया में, एक स्पष्टीकरण का "सच" केवल AI के मस्तिष्क के बारे में नहीं है; यह उस चश्मे के बारे में भी है जिससे हम उसे देखते हैं। यदि हम चिकित्सा जैसे जीवन-मरण के मामलों में AI पर भरोसा करना चाहते हैं, तो हमें यह सुनिश्चित करना होगा कि हमारे स्पष्टीकरण तब भी टिके रहें, चाहे हम कौन सा चश्मा पहन लें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।