Grad-CAM for Vision Transformers: A Systematic Taxonomy and Audit of Methodological Ambiguity in Explainable AI
यह शोध पत्र विजन ट्रांसफॉर्मर्स (Vision Transformers) के लिए Grad-CAM को अनुकूलित करने में व्यापक पद्धतिगत अस्पष्टता और कठोर कार्यान्वयन विवरणों की कमी को उजागर करने के लिए 175 अध्ययनों का एक व्यवस्थित वर्गीकरण और ऑडिट प्रस्तुत करता है, जिसमें यह तर्क दिया गया है कि इसे इसके सीएनएन (CNN) समकक्ष के एक मामूली विस्तार के रूप में मानना उन महत्वपूर्ण विकल्पों को छिपा देता है जो पुनरुत्पादकता (reproducibility) और व्याख्या को प्रभावित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक प्रतिभाशाली, सुपर-फास्ट जासूस किसी रहस्य को कैसे सुलझाता है। पुराने दिनों में, इस जासूस के पास औजारों का एक विशिष्ट सेट था: एक आवर्धक लेंस (magnifying glass) जो अपराध स्थल के छोटे, ग्रिड जैसे पैच को एक-एक करके देखता था। इस उपकरण को Grad-CAM कहा जाता था। यह इस बात के लिए प्रसिद्ध था कि यह फोटो के उन सटीक स्थानों को रोशन करता था जिन्होंने जासूस को यह तय करने में मदद की कि, "आहा! यह एक बिल्ली है!" या "यह एक कार है!" क्योंकि जासूस फोटो को एक व्यवस्थित ग्रिड में देखता था, इसलिए उपकरण आसानी से विशिष्ट वर्गों की ओर इशारा कर सकता था और कह सकता था, "हमने इस वर्ग में बिल्ली का कान देखा।"
लेकिन हाल ही में, उस जासूस को एक बड़ा अपग्रेड मिला है। ग्रिड के रूप में देखने के बजाय, नया जासूस (जिसे विज़न ट्रांसफॉर्मर या ViT कहा जाता है) पूरी तस्वीर को एक साथ देखता है, जिसे वह "टोकन" नामक छोटे नोट्स की एक लंबी सूची में तोड़ देता है। यह एक कहानी पढ़ने जैसा है जहाँ हर शब्द एक सुराग है, न कि एक मानचित्र को देखने जैसा। समस्या यह है कि पुराना आवर्धक लेंस (Grad-CAM) इस नए जासूस के नोट्स की सूची के लिए नहीं, बल्कि ग्रिड के लिए बनाया गया था। इसे नहीं पता कि सूची के एक "शब्द" की ओर कैसे इशारा किया जाए और यह कहा जाए, "यह शब्द महत्वपूर्ण है!"
तो, वैज्ञानिकों ने इस नए जासूस की सूची पर पुराने आवर्धक लेंस (Grad-CAM) को जबरदस्ती लागू करने की कोशिश शुरू कर दी। वे यह देखना चाहते थे कि नया जासूस अपने चुनाव क्यों कर रहा है। लेकिन पेच यह है कि कोई भी इस पर सहमत नहीं था कि इसे कैसे किया जाए। कुछ लोगों ने पहले नोट की ओर इशारा किया, कुछ ने बीच वाले की ओर, कुछ ने पूरी सूची की ओर, और कुछ ने बस अनुमान लगाया। यह शोध पत्र एक जासूसी निरीक्षक (detective inspector) की तरह है जो सभी रिपोर्टों का ऑडिट करने आया है। वे जानना चाहते हैं: "क्या हम वास्तव में उपकरण का सही उपयोग कर रहे हैं, या हम बस दिखावा कर रहे हैं?"
ऑडिट: एक व्यवस्थित अव्यवस्था
इस शोध पत्र के लेखक, केसी वॉल और उनकी टीम ने खुद जासूस बनने का फैसला किया। उन्होंने वैज्ञानिक साहित्य में एक व्यापक खोज की, और हर उस शोध पत्र को ढूँढा जिसने इस नए "विज़न ट्रांसफॉर्मर" जासूस पर पुराने "Grad-CAM" टूल का उपयोग करने की कोशिश की। उन्होंने 550 से अधिक पत्रों के एक विशाल ढेर से शुरुआत की। एक बहुत ही सावधानीपूर्ण स्क्रीनिंग प्रक्रिया के बाद, उन्होंने इसे 175 पत्रों तक सीमित कर दिया जिन्होंने वास्तव में इस पद्धति को लागू करने का प्रयास किया था।
जो उन्हें मिला वह थोड़ा अस्त-व्यस्त था। उन्होंने पाया कि इनमें से अधिकांश शोध पत्र नए जासूस की नोट्स की सूची के साथ वैसे ही व्यवहार कर रहे थे जैसे कि वह अभी भी पुराना ग्रिड हो। वे इस टूल का उपयोग बिना यह समझाए कर रहे थे कि वे इसे कैसे फिट कर रहे हैं।
यह शोध पत्र एक "वर्गीकरण" (taxonomy) पेश करता है, जो केवल एक विस्तृत चेकलिस्ट या विकल्पों के मेनू का एक फैंसी शब्द है। लेखकों ने महसूस किया कि जब आप विज़न ट्रांसफॉर्मर पर Grad-CAM का उपयोग करने की कोशिश करते हैं, तो आपको कई बड़े निर्णय लेने होते हैं, और लगभग कोई भी उन्हें लिख नहीं रहा था:
- कहाँ देखें: क्या आप जासूस द्वारा लिखा गया सबसे पहला नोट देखते हैं? बीच वाला? अंतिम सारांश?
- क्या मापें: क्या आप माप रहे हैं कि एक विशिष्ट नोट कितना महत्वपूर्ण है, या जासूस का "मुख्य विचार" ([CLS] टोकन) अन्य नोट्स के बारे में कितना परवाह करता है?
- इसे कैसे मिलाएं: यदि जासूस के पास कई अलग-अलग "हेड्स" (जैसे कई अलग-अलग दृष्टिकोण) हैं, तो क्या आप उन सभी का औसत निकालते हैं, या उन्हें एक-एक करके देखते हैं?
लेखकों ने यह दिखाने के लिए कुछ परीक्षण किए कि ये विकल्प कितने मायने रखते हैं। उन्होंने एक मानक मॉडल लिया और एक ही तस्वीर को उनके चेकलिस्ट के विभिन्न सेटिंग्स का उपयोग करके चलाया। परिणाम? "हीटमैप्स" (चमकती हुई तस्वीरें जो दिखाती हैं कि मॉडल ने क्या देखा) पूरी तरह से अलग दिख रहे थे, जो इस बात पर निर्भर करते थे कि आपने कौन से विकल्प चुने। एक सेटिंग कुत्ते को हाइलाइट कर सकती थी, जबकि दूसरी घास को हाइलाइट कर सकती थी, और तीसरी शायद कुछ भी नहीं दिखा सकती थी।
बड़ी समस्या: बिना निर्देशों के "प्लग-एंड-प्ले"
अध्ययन में पाया गया कि जिन 175 पत्रों को उन्होंने देखा, उनमें से एक बड़ा हिस्सा, यानी 101 पत्र (लगभग 58%) ने बस पुराने ग्रिड-आधारित जासूस के मूल शोध पत्र का हवाला दिया और यह नहीं बताया कि उन्होंने इसे नए सूची-आधारित जासूस के लिए कैसे अनुकूलित किया। अन्य 17 पत्रों ने केवल एक कोड लाइब्रेरी (एक GitHub रिपॉजिटरी) की ओर इशारा किया बिना गणित को समझाए। केवल 26 पत्रों (लगभग 15%) ने वास्तव में अपने विशिष्ट विकल्पों को समझाने या ऐसा करने वाले किसी पेपर का हवाला देने का समय निकाला।
लेखक तर्क देते हैं कि यह एक गंभीर समस्या है। जब कोई वैज्ञानिक कहता है, "हमने यह दिखाने के लिए Grad-CAM का उपयोग किया कि हमारा मॉडल निष्पक्ष है," लेकिन उन्होंने यह नहीं बताया कि उन्होंने Grad-CAM के किस संस्करण का उपयोग किया है, तो आप परिणाम पर भरोसा नहीं कर सकते। यह ऐसा ही है जैसे कोई शेफ कहे, "मैंने केक बनाया," लेकिन उसने यह नहीं बताया कि उसने आटा इस्तेमाल किया या रेत, या उसने इसे 10 मिनट के लिए पकाया या 10 घंटे के लिए। परिणाम एक केक जैसा दिख सकता है, लेकिन आप सुनिश्चित नहीं हो सकते कि यह वही केक है जिसके बारे में हर कोई बात कर रहा है।
यह शोध पत्र वास्तव में क्या कहता है (और क्या नहीं कहता)
शोध पत्र इस बात को लेकर बहुत सावधान है कि वह यह नहीं कहता कि, "यहाँ इसे करने का एक सही तरीका है।" इसके बजाय, वे सुझाव देते हैं कि अभी तक कोई एक "सही" उत्तर नहीं है। उन्होंने पाया कि क्षेत्र अभी तक इस पर एक मानक तरीका तय नहीं कर पाया है।
वे इस विचार को स्पष्ट रूप से खारिज करते हैं कि आप बिना सोचे-समझे बस पुराने फॉर्मूले को नए मॉडल पर थोप सकते हैं। वे दिखाते हैं कि ऐसा करने से "मेथोडोलॉजिकल एम्बिग्युटी" (methodological ambiguity) पैदा होती है, जो एक फैंसी तरीका है यह कहने का कि "उपकरण कैसे काम करता है, इस बारे में भ्रम है।"
लेखक सुझाव देते हैं कि क्षेत्र को आगे बढ़ने के लिए, शोधकर्ताओं को इन नए मॉडलों पर Grad-CAM को एक साधारण, स्वचालित चरण के रूप में मानना बंद करना होगा। उन्हें बिल्कुल स्पष्ट रूप से लिखना होगा कि उन्होंने कौन सा "फीचर" चुना, किस "ग्रेडिएंट" को मापा, और डेटा को वापस एक तस्वीर में कैसे "रीशेप" (reshape) किया।
यह क्यों मायने रखता है
यह केवल अकादमिक बहस नहीं है। इन हीटमैप्स का उपयोग यह साबित करने के लिए किया जाता है कि AI मॉडल सुरक्षित, निष्पक्ष और भरोसेमंद हैं, विशेष रूप से चिकित्सा निदान या सेल्फ-ड्राइविंग कारों जैसे महत्वपूर्ण कार्यों में। यदि स्पष्टीकरण अस्पष्ट है, तो हम यह सुनिश्चित नहीं कर सकते कि AI वास्तव में सही चीज़ देख रहा है। शोध पत्र निष्कर्ष निकालता है कि जब तक वैज्ञानिक अपने विकल्पों के बारे में बहुत विशिष्ट होना शुरू नहीं करते, तब तक शोध पत्रों में दिखने वाली चमकती तस्वीरें सच्चाई बताने के बजाय केवल "कूल" दिखने के बारे में हो सकती हैं।
संक्षेप में, शोध पत्र सुझाव देता है कि हमें अनुमान लगाना बंद करना चाहिए और अपनी रेसिपी लिखना शुरू करना चाहिए। जब तक, इन नए AI मॉडलों पर दिखने वाला "Grad-CAM" एक रहस्य बना रहेगा, और हम निश्चित नहीं हो सकते कि यह वास्तव में हमें क्या बता रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।