H-Sets: Hessian-Guided Discovery of Set-Level Feature Interactions in Image Classifiers

तकनीकी सारांश: H-Sets: इमेज क्लासिफायर में सेट-लेवल फीचर इंटरैक्शन की हेसियन-गाइडेड खोज

1. समस्या विवरण

मानक फीचर एट्रिब्यूशन विधियाँ (जैसे, इंटीग्रेटेड ग्रेडिएंट्स, LRP) मुख्य रूप से सीमांत प्रभावों (marginal effects) पर ध्यान केंद्रित करती हैं—जो व्यक्तिगत रूप से अलग-थलग फीचर्स के योगदान को दर्शाती हैं। हालाँकि, इमेज क्लासिफिकेशन में, अर्थपूर्ण अर्थ अक्सर फीचर इंटरैक्शन (feature interactions) से प्राप्त होता है, जहाँ फीचर्स के समूह गैर-योगात्मक (non-additive) तरीके से मॉडल के आउटपुट को प्रभावित करते हैं।

इन इंटरैक्शन को पकड़ने के मौजूदा प्रयास कई चुनौतियों का सामना करते हैं:

• खुरदरापन (Coarseness): कुछ विधियाँ सुपरपिक्सेल या सेगमेंट तक सीमित होती हैं, जिससे पिक्सेल-स्तरीय सूक्ष्मता खो जाती है।
• जटिलता: गेम-थ्योरेटिक दृष्टिकोण (जैसे, शापली-टेलर इंडिसेस) उच्च-आयामी छवियों के लिए गणनात्मक रूप से अव्यवहार्य (intractable) हैं।
• स्वयंसिद्ध विफलताएँ (Axiomatic Failures): कई विधियाँ मुख्य व्याख्यात्मक स्वयंसिद्धों (जैसे, मोनोटोनिसिटी, सुपरएडिटिविटी, या पूर्णता) को पूरा करने में विफल रहती हैं।
• सामंजस्य का अभाव: विधियाँ अक्सर शोर युक्त या स्थानिक रूप से असंबद्ध सैलियेंसी मैप्स (saliency maps) उत्पन्न करती हैं।

2. कार्यप्रणाली (Methodology)

लेखक H-Sets का प्रस्ताव करते हैं, जो उच्च-क्रम के फीचर इंटरैक्शन की खोज और एट्रिब्यूशन के लिए डिज़ाइन किया गया एक दो-चरणीय ढांचा है।

चरण 1: इंटरैक्शन सेट डिटेक्शन (हेसियन-गाइडेड)
मास्क खोजने के बजाय, H-Sets सांख्यिकीय गैर-योग्यता (non-additivity) की पहचान करने के लिए हेसियन मैट्रिक्स (Hessian matrix) (द्वितीय-क्रम के डेरिवेटिव) का उपयोग करता है।

• पेयरवाइज डिटेक्शन (Pairwise Detection): यह विधि उन फीचर्स के जोड़ों $(x_i, x_j)$ की पहचान करती है जहाँ मिश्रित आंशिक व्युत्पन्न (mixed partial derivative) $\frac{\partial^2 f_c(x)}{\partial x_i \partial x_j}$ एक थ्रेशोल्ड $\mu$ से अधिक होता है।
• रिकर्सिव एक्सपेंशन (Recursive Expansion): उच्च-क्रम के इंटरैक्शन ($|I| > 2$) खोजने के लिए, फ्रेमवर्क एक ब्रैथ-फर्स्ट रणनीति का उपयोग करता है। यह एक "सीड" फीचर (एक सेगमेंटेशन मास्क के भीतर उच्चतम-एट्रिब्यूटेड पिक्सेल) से शुरू होता है और आकार सीमा $\nu$ तक पहुँचने तक मजबूती से इंटरैक्ट करने वाले पड़ोसियों को एक सेट में पुनरावर्ती रूप से जोड़ता है।
• स्पेशियल प्रायर (Spatial Prior): स्थानिक सामंजस्य सुनिश्चित करने के लिए, लेखक एक स्थानिक समूहीकरण प्रायर के रूप में सेगमेंट एनीथिंग मॉडल (SAM) का उपयोग करते हैं। SAM विलय प्रक्रिया को निर्देशित करता है ताकि वह एक ही अर्थपूर्ण क्षेत्र के भीतर के फीचर्स को प्राथमिकता दे, हालांकि यह स्वयं ग्रेडिएंट गणनाओं को प्रभावित नहीं करता है।
• स्मूथिंग (Smoothing): ReLU की नॉन-डिफरेंशिएबिलिटी को संभालने के लिए, वे एक विशिष्ट स्मूथ एप्रोक्सिमेशन $h(z)$ का उपयोग करते हैं जो ReLU जैसा व्यवहार बनाए रखता है और स्थिर हेसियन गणना सुनिश्चित करता है।

चरण 2: इंटरैक्शन एट्रिब्यूशन (IDG-Vis)
एक बार सेट की पहचान हो जाने के बाद, फ्रेमवर्क IDG-Vis (इंटीग्रेटेड डायरेक्शनल ग्रेडिएंट्स फॉर विजन) का उपयोग करके उन्हें महत्व स्कोर प्रदान करता है, जो IDG फ्रेमवर्क का एक सेट-लेवल विस्तार है।

• डायरेक्शनल ग्रेडिएंट्स: एक सेट $I$ के लिए, एक दिशा वेक्टर $\hat{a}$ बनाया जाता है जो उस सेट के भीतर बेसलाइन से इनपुट तक के परिवर्तन का प्रतिनिधित्व करता है।
• पाथ इंटीग्रेशन (Path Integration): ग्रेडिएंट सैचुरेशन और शोर को कम करने के लिए, विधि एक रैखिक पथ के साथ डायरेक्शनल ग्रेडिएंट को इंटीग्रेट करती है।
• गेम-थ्योरेटिक एग्रीगेशन: इंटरैक्शन के अद्वितीय योगदान (व्यक्तिगत प्रभावों को छोड़कर) को अलग करने के लिए, विधि सहकारी गेम थ्योरी से हार्सानी डिविडेंड्स (Harsanyi dividends) का उपयोग करती है। यह इंटरैक्शन को सुपरएडिटिविटी और मोनोटोनिसिटी जैसे प्रमुख स्वयंसिद्धों को संतुष्ट करने की अनुमति देता है।

3. मुख्य योगदान

1. एक नवीन दो-चरणीय ढांचा: कर्वेचर-ड्रिवन डिटेक्शन (हेसियन) को पाथ-इंटीग्रेटेड एट्रिब्यूशन (IDG-Vis) के साथ जोड़ता है।
2. हेसियन-आधारित खोज: अनुमानित मास्क-सर्चिंग से आगे बढ़कर गैर-योगात्मक निर्भरताओं की एक सिद्धांतगत सांख्यिकीय पहचान की ओर बढ़ता है।
3. IDG-Vis: विजन-विशिष्ट अनुकूलन पेश करता है जो सेट-लेवल पर काम करता है।
4. स्वयंसिद्ध कठोरता (Axiomatic Rigor): एक ऐसी विधि प्रदान करता है जो गेम थ्योरी और एट्रिब्यूशन साहित्य दोनों से व्यापक सेट को संतुष्ट करती है।

4. परिणाम

लेखकों ने विभिन्न आर्किटेक्चर (VGG, ResNet, DenseNet, MobileNet) पर ImageNet और CUB डेटासेट पर H-Sets का मूल्यांकन किया।

• गुणात्मक प्रदर्शन: इंटीग्रेटेड ग्रेडिएंट्स (शोर युक्त/विस्तृत), आर्किपेलागो (कोर्स/खुरदरा), और MOXI (बहुत स्थानीयकृत) जैसे बेसलाइन्स की तुलना में, H-Sets ऐसे सैलियेंसी मैप्स बनाता है जो कॉम्पैक्ट, स्पार्स और अर्थपूर्ण रूप से सुसंगत होते हैं, जो सटीक रूप से भेदभावपूर्ण ऑब्जेक्ट पार्ट्स को हाइलाइट करते हैं।
• स्पार्सिटी (Sparsity): H-Sets ने लगातार उच्च जीनी इंडेक्स (Gini index) स्कोर प्राप्त किए, जिसका अर्थ है कि यह कम, अधिक निर्णायक फीचर्स पर महत्व को केंद्रित करके अधिक संक्षिप्त स्पष्टीकरण उत्पन्न करता है।
• फेथफुलनेस (Faithfulness): ROAD मेट्रिक (एरिया ओवर द पर्टरबेशन कर्व) का उपयोग करते हुए, H-Sets ने सभी बेसलाइन्स को पछाड़ दिया। यह इंगित करता है कि H-Sets द्वारा पहचाने गए फीचर्स को हटाने से मॉडल के आत्मविश्वास में अधिक महत्वपूर्ण और सटीक गिरावट आती है, जो यह सिद्ध करता है कि स्पष्टीकरण मॉडल के वास्तविक तर्क के प्रति अधिक "सत्यनिष्ठ" हैं।
• मजबूती (Robustness): एब्लेशन अध्ययनों ने दिखाया कि विधि हाइपरपैरामीटर ट्यूनिंग ($\mu$ और $\nu$) के प्रति मजबूत है और सफलतापूर्वक गैर-अर्थपूर्ण "डिकॉय" (decoy) फीचर्स की पहचान करती है (जैसा कि DecoyMNIST प्रयोग में दिखाया गया है), जो यह सिद्ध करता है कि स्थानिक प्रायर (SAM) मॉडल को अर्थपूर्ण शॉर्टकट्स की ओर बायस नहीं करता है।

5. महत्व

H-Sets, कंप्यूटर विज़न के लिए एक्सप्लेनेबल एआई (XAI) में एक महत्वपूर्ण कदम है। "कौन से पिक्सेल महत्वपूर्ण हैं" से हटकर "पिक्सेल के कौन से समूह निर्णय को चलाने के लिए इंटरैक्ट करते हैं" पर ध्यान केंद्रित करके, यह डीप न्यूरल नेटवर्क का अधिक मानव-समान और गणितीय रूप से ठोस स्पष्टीकरण प्रदान करता है। उच्च-निष्ठा वाले इंटरैक्शन डिटेक्शन के साथ स्थानिक सामंजस्य को संतुलित करने की इसकी क्षमता इसे उच्च-दांव वाले एआई अनुप्रयोगों में डिबगिंग और विश्वास बनाने के लिए एक शक्तिशाली उपकरण बनाती है।