Enhancing Visual Feature Attribution via Weighted Integrated Gradients

यहाँ "Weighted Integrated Gradients के माध्यम से विज़ुअल फीचर एट्रिब्यूशन को बेहतर बनाना" नामक शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

इंटीग्रेटेड ग्रेडिएंट्स (IG) एक्सप्लेनेबल एआई (XAI), विशेष रूप से कंप्यूटर विज़न के लिए, फीचर एट्रिब्यूशन हेतु एक मौलिक विधि है। हालाँकि, इसकी प्रभावशीलता बेसलाइन (संदर्भ) इमेज के चयन पर अत्यधिक निर्भर करती है। उच्च-आयामी विज़न कार्यों में, कोई सार्वभौमिक रूप से "न्यूट्रल" बेसलाइन मौजूद नहीं है; सामान्य विकल्प (जैसे काला, सफेद, या रैंडम नॉइज़) अक्सर असंगत या शोर युक्त (noisy) स्पष्टीकरण देते हैं।

इसे कम करने के लिए, एक्सपेक्टेड ग्रेडिएंट्स (EG) कई बेसलाइनों पर IG एट्रिब्यूशन का औसत निकालता है। जबकि EG एकल बेसलाइन चयन के प्रति संवेदनशीलता को कम करता है, यह एक महत्वपूर्ण सीमा पर निर्भर करता है: यह सभी बेसलाइनों को समान भार (uniform weights) आवंटित करता है, जो अंतर्निहित रूप से यह मान लेता है कि वे समान रूप से सूचनात्मक हैं। लेखक तर्क देते हैं कि जटिल विज़न मॉडलों में, बेसलाइन की प्रासंगिकता एक विशिष्ट इनपुट के लिए काफी भिन्न होती है। यूनिफॉर्म एवरेजिंग (समान औसत) कम गुणवत्ता वाले या शोर युक्त बेसलाइनों को अंतिम एट्रिब्यूशन को कमज़ोर बना सकती है, जिससे अस्थिर और कम विश्वसनीय स्पष्टीकरण प्राप्त होते हैं।

कार्यप्रणाली: वेटेड इंटीग्रेटेड ग्रेडिएंट्स (WG)

यह शोध पत्र वेटेड इंटीग्रेटेड ग्रेडिएंट्स (WG) का प्रस्ताव करता है, जो IG का एक सिद्धांत आधारित विस्तार है जो एक विशिष्ट इनपुट के लिए उपयुक्तता के आधार पर विभिन्न बेसलाइनों को इनपुट-निर्भर भार (input-dependent weights) आवंटित करता है।

1. अनसुपरवाइज्ड फिटनेस मेजर ($D_\alpha$):
WG एक अनसुपरवाइज्ड मानदंड पेश करता है जो मैन्युअल एनोटेशन या डोमेन ज्ञान की आवश्यकता के बिना बेसलाइन की उपयुक्तता का मूल्यांकन करता है। यह 'परटर्बेशन' (विक्षोभ) के आधार पर एक "फिटनेस" स्कोर को परिभाषित करता है:

• परिभाषा: $D_\alpha$ उन न्यूनतम फीचर्स की संख्या है जिन्हें मॉडल के आउटपुट स्कोर को उसके मूल मान के $\alpha\%$ तक कम करने के लिए मास्क (छिपाना) करना आवश्यक है।
• तर्क: एक बेसलाइन जिसका $D_\alpha$ कम होता है, उसे अधिक "फिट" माना जाता है क्योंकि मॉडल के आत्मविश्वास को महत्वपूर्ण रूप से प्रभावित करने के लिए कम फीचर्स को हटाने की आवश्यकता होती है। इसका तात्पर्य है कि बेसलाइन प्रभावी ढंग से प्रभावशाली फीचर्स को उजागर करती है।
• वेटिंग (भार देना): $k$-वें बेसलाइन के लिए भार $w_k$ उसके फिटनेस स्कोर के व्युत्क्रमानुपाती होता है ($w_k \propto 1/D_\alpha$)। वे बेसलाइन जो अधिक निष्ठापूर्ण (faithful) स्पष्टीकरण प्रदान करती हैं (कम $D_\alpha$), उन्हें उच्च भार प्राप्त होता है।

2. कुशल गणना (एल्गोरिदम 1):
व्यापक खोज (exhaustive search) के माध्यम से $D_\alpha$ की गणना करना कम्प्यूटेशनल रूप से निषेधजनक ($O(n)$) है। लेखक एक बाइनरी सर्च रणनीति का प्रस्ताव करते हैं जो फीचर हटाने पर स्कोर में कमी की मोनोटोनिसिटी (एकदिशता) का लाभ उठाती है। महत्व स्कोर (जैसे IG एट्रिब्यूशन) के आधार पर फीचर्स को पुनरावर्ती रूप से मास्क करके, एल्गोरिदम प्रत्येक बेसलाइन के लिए $O(\log n)$ की समय जटिलता प्राप्त करता है।

3. सैद्धांतिक औचित्य (Theoretical Justification):

• स्वैच्छिक गुण (Axiomatic Properties): WG, IG के मुख्य सिद्धांतों (इम्प्लीमेंटेशन इनवेरिएंस और सेंसिटिविटी) को सुरक्षित रखता है और एक सामान्य पूर्णता (completeness) गुण को संतुष्ट करता है।
• संभाव्यता विश्लेषण: एक्सपेक्टेड प्रॉक्सी फिटनेस-रिलेवेंस मोनोटोनिसिटी (अर्थात, बेहतर फिटनेस स्कोर वाली बेसलाइन वास्तव में प्रासंगिक फीचर्स पर अधिक संभाव्यता द्रव्यमान (probability mass) रखती हैं) के अनुमान के तहत, लेखक सिद्ध करते हैं कि WG, यूनिफफॉर्म एवरेजिंग (EG) की तुलना में अपेक्षित प्रासंगिकता को बढ़ाता है।
• फाइनाइट-सैंपल गारंटी: शोध पत्र एक प्रमेय प्रदान करता है जो दिखाता है कि जब WG, औसत EG प्रासंगिकता पर एक सकारात्मक प्रासंगिकता मार्जिन प्राप्त करता है, तो एम्पिरिकल प्रावेलेंस फ्रैक्शन (empirical relevance fraction) EG औसत से घातांकीय दर (exponential rate) पर ऊपर केंद्रित होता है।

प्रमुख योगदान (Key Contributions)

1. रूपांतरण (Formulation): लेखक IG में बेसलाइन चयन को एक इनपुट-निर्भर वेटिंग समस्या के रूप में पुनर्गठित करते हैं, जो EG की यूनिफॉर्म धारणा से आगे बढ़ता है।
2. तंत्र (Mechanism): वे बेसलाइन उपयोगिता का अनुमान लगाने के लिए एक अनसुपरवाइज्ड, परटर्बेशन-आधारित फिटनेस स्कोर ($D_\alpha$) और अनुकूलित भार (adaptive weights) प्रस्तावित करते हैं।
3. विश्लेषण: वे एक सैद्धांतिक विश्लेषण प्रदान करते हैं जो दिखाता है कि, विशिष्ट मोनोटोनिसिटी मान्यताओं के तहत, फिटनेस-वेटेड एग्रीगेशन यूनिफॉर्म एवरेजिंग की तुलना में उच्च अपेक्षित प्रासंगिकता द्रव्यमान प्रदान करता है।
4. प्रायोगिक मूल्यांकन: वे मानक डेटासेट्स (ImageNet, COCO) पर विविध आर्किटेक्चर (कन्वोल्यूशनल और ट्रांसफॉर्मर) के माध्यम से WG का मूल्यांकन करते हैं, जिसमें एट्रिब्यूशन फिडेलिटी लाभ और कम्प्यूटेशनल ओवरहेड दोनों की रिपोर्ट दी गई है।

प्रायोगिक परिणाम (Experimental Results)

लेखकों ने सात बैकबोन मॉडल्स (DenseNet121, MobileNetV2, ResNet50/101, VGG16/19, और ViT-B/16) का उपयोग करके EG के विरुद्ध WG का मूल्यांकन किया।

• मेट्रिक्स:
  • AUC ऑफ डिलीशन (कमतर बेहतर है): यह मापता है कि शीर्ष-एट्रिब्यूटेड फीचर्स को हटाने पर मॉडल का आत्मविश्वास कितनी तेजी से गिरता है। WG ने लगातार EG से बेहतर प्रदर्शन किया, जिसमें मॉडल्स के बीच 19.36% से 36.01% तक का सापेक्ष सुधार देखा गया।
  • AUC ऑफ ओवरलैप (उच्चतर बेहतर है): एक सुपरवाइज्ड मेट्रिक जो ग्राउंड-ट्रुथ सेगमेंटेशन मास्क के साथ स्थानिक संरेखण (spatial alignment) को मापता है। WG ने 5.69% से 18.55% तक का सुधार दिखाया।
• दृश्य गुणवत्ता (Visual Quality): गुणात्मक विश्लेषण (सैलियंसी मैप्स) इंगित करता है कि EG की तुलना में WG मुख्य ऑब्जेक्ट्स पर अधिक शार्प और केंद्रित एट्रिब्यूशन उत्पन्न करता है।
• ट्रेड-ऑफ (Trade-off): लेखक स्पष्ट रूप से नोट करते हैं कि फिटनेस मूल्यांकन चरण के कारण WG अतिरिक्त कम्प्यूटेशनल लागत वहन करता है (उनके माप में EG से लगभग 5.7$\times$ धीमा)।

महत्व और दावे (Significance and Claims)

यह शोध पत्र WG को EG के एक तेज़ विकल्प के रूप में नहीं, बल्कि एक एट्रिब्यूशन-फिडेलिटी ट्रेड-ऑफ के रूप में स्थापित करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

• विश्वसनीयता: कम गुणवत्ता वाली बेसलाइनों को अनुकूल रूप से कम भार देकर, WG बिना किसी मैन्युअल बेसलाइन क्यूरेशन के अधिक विश्वसनीय एट्रिब्यूशन सुनिश्चित करता है।
• सिद्धांत आधारित दृष्टिकोण: यह पथ-आधारित एट्रिब्यूशन में "बेसलाइन समस्या" को संबोधित करने के लिए एक डेटा-संचालित तंत्र प्रदान करता है, जो इस धारणा से आगे जाता है कि सभी बेसलाइन समान योगदान देती हैं।
• अनुप्रयोग क्षमता: यह विधि विशेष रूप से उन सेटिंग्स के लिए उपयुक्त है जहाँ बेहतर स्पष्टीकरण की गुणवत्ता अतिरिक्त रनटाइम को न्यायसंगत बनाती है, जिससे महत्वपूर्ण विज़न अनुप्रयोगों में XAI की उपयोगिता बढ़ती है।

लेखक अपने सैद्धांतिक दावों के संबंध में एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि संभाव्यता गारंटी एक "अपेक्षित, प्रॉक्सी-आधारित" धारणा पर निर्भर करती है, और फिटनेस-रिलेवेंस मोनोटोनिसिटी को अनुभवजन्य रूप से सत्यापित किया गया है लेकिन प्रत्येक व्यक्तिगत इनपुट इंस्टेंस के लिए गारंटीकृत नहीं है। वे निष्कर्ष निकालते हैं कि WG डीप लर्निंग सिस्टम के लिए स्पष्ट और अधिक विश्वसनीय स्पष्टीकरण की दिशा में एक कदम है, बशर्ते कि कम्प्यूटेशनल ओवरहेड विशिष्ट उपयोग के मामले के लिए स्वीकार्य हो।