तकनीकी सारांश: क्या एट्रिब्यूशन (Attributions) ही सब कुछ है? व्याख्यात्मकता का मेटागेम (The Metagame of Interpretability)

समस्या विवरण (Problem Statement)

एट्रिब्यूशन विधियाँ मशीन लर्निंग व्याख्यात्मकता (interpretability) के लिए मौलिक हैं, जो यह मात्रात्मक रूप से बताती हैं कि विशिष्ट चर (जैसे, इनपुट टोकन, प्रशिक्षण डेटा) मॉडल के व्यवहार को कैसे प्रभावित करते हैं। जबकि प्रथम-क्रम (first-order) विधियाँ (जैसे, Shapley values, Integrated Gradients, Attention) व्यापक रूप से उपयोग की जाती हैं, वे एकल चरों के प्रभाव को पकड़ने तक सीमित हैं, और अक्सर उच्च-क्रम की गतिशीलता जैसे कि सिनर्जी (synergies) और एंटी-सिनर्जी (antisynergies) को छोड़ देती हैं।

मौजूदा इंटरेक्शन विधियाँ दूसरे क्रम के प्रभावों (जैसे, Shapley interactions, Integrated Hessians) को मापने का प्रयास करके इसे संबोधित करने की कोशिश करती हैं। हालाँकि, इन दृष्टिकोणों के सामने महत्वपूर्ण सीमाएँ हैं:

1. इंटरेक्शन लीकेज (Interaction Leakage): सीरियल विधियाँ (एक विधि को अपने ही आउटपुट पर लागू करना) शुद्ध व्यक्तिगत प्रभावों को इंटरेक्शन प्रभावों से स्पष्ट रूप से अलग करने में विफल रहती हैं, जिससे इंटरेक्शन टर्म्स व्यक्तिगत घटकों में लीक हो जाते हैं।
2. दिशामकता (Directionality): सेट-आधारित इंटरेक्शन इंडेक्स (जैसे, Shapley interactions) इंटरेक्शन को एक अदिशात्मक उपसमुच्चय $\{i, j\}$ के रूप में मानते हैं, जो इस बात को पकड़ने में विफल रहते हैं कि एक फीचर दूसरे के एट्रिब्यूशन को कैसे प्रभावित करता है।
3. गणना और संरचनात्मक बाधाएं (Computational and Structural Constraints): इनपुट हेसियन (Hessians) पर निर्भर विधियों के लिए आर्किटेक्चरल संशोधनों की आवश्यकता होती है, बड़े इनपुट के लिए अत्यधिक गणना लागत आती है, और वे मानक ReLU नेटवर्क में अक्सर लुप्त हो जाते हैं।
4. संयोजन जटिलता (Combinatorial Complexity): इंटरेक्शन टर्म्स की संख्या कॉम्बिनेटोरियल रूप से ($O(d^k)$) बढ़ती है, जिससे उच्च-क्रम के इंटरेक्शन को समझना कठिन हो जाता है।

यह शोध पत्र पूछता है कि क्या किसी भी प्रथम-क्रम एट्रिब्यूशन विधि को इन सीमाओं के बिना उच्च-क्रम के इंटरेक्शन को पकड़ने के लिए प्रथम सिद्धांतों (first principles) से सामान्यीकृत किया जा सकता है।

कार्यप्रणाली: METAGAME फ्रेमवर्क

लेखक METAGAME नामक एक वैचारिक ढांचा पेश करते हैं, जो दूसरे क्रम के इंटरेक्शन प्रभावों को मापने के लिए एट्रिब्यूशन विधि को स्वयं एक सहकारी खेल (cooperative game) के रूप में मानता है।

मुख्य अवधारणा: मेटा-एट्रिब्यूशंस (Meta-Attributions)

किसी भी प्रथम-क्रम एट्रिब्यूशन $\phi_i(f)$ के लिए, जो एक मॉडल $f$ की व्याख्या करता है, यह ढांचा एक मेटा-एट्रिब्यूशन $\phi_{j \to i}(f)$ को परिभाषित करता है, जो फीचर $j$ का फीचर $i$ के एट्रिब्यूशन पर दिशात्मक प्रभाव को दर्शाता है।

1. मेटैगेम निर्माण (The Metagame Construction):

   • मॉडल $f$ का सीधे मूल्यांकन करने के बजाय, यह ढांचा प्रथम-क्रम एट्रिब्यूशन $\phi_i$ का मूल्यांकन एक नए सहकारी खेल के 'वैल्यू फंक्शन' के रूप में करता है।
   • इस खेल के "खिलाड़ी" इनपुट फीचर्स (या टोकन) हैं।
   • मेटैगेम में एक गठबंधन (coalition) $S$ का मूल्य, फीचर $i$ के एट्रिब्यूशन के रूप में परिभाषित किया जाता है जब $S \cup \{i\}$ में फीचर्स मौजूद होते हैं और अन्य को मास्क (एक बेसलाइन का उपयोग करके) किया जाता है।

2. दिशात्मक अपघटन (Directional Decomposition):

   • मेटा-एट्रिब्यूशन $\phi_{j \to i}$ की गणना इस मेटैगेम के भीतर फीचर $j$ के Shapley value के रूप में की जाती है, जो यह सख्ती से मापता है कि $i$ के स्थिर होने पर $j$ का $\phi_i$ में सीमांत योगदान (marginal contribution) क्या है।
   • पदानुक्रमित दक्षता (Hierarchical Efficiency): यह ढांचा सिद्ध करता है कि मूल प्रथम-क्रम एट्रिब्यूशन, इसके शुद्ध व्यक्तिगत प्रभाव और इसके दिशात्मक इंटरेक्शन का सटीक योग है:
     $$\phi_i(f, x) = \phi_{i \to i}(f, x) + \sum_{j \neq i} \phi_{j \to i}(f, x)$$
   • यह अपघटन शुद्ध व्यक्तिगत प्रभावों (डायगोनल टर्म्स) को इंटरेक्शन प्रभावों (ऑफ-डायगोनल टर्म्स) से अलग करता है, जिससे सीरियल विधियों में देखे गए लीकेज को हल किया जाता है।

3. सैद्धांतिक एकीकरण (Theoretical Unification):

   • लेखक सिद्ध करते हैं कि मौजूदा सेट-आधारित इंटरेक्शन इंडेक्स, प्रथम-क्रम एट्रिब्यूशंस के निहित पदानुक्रमित अपघटन हैं।
   • विशेष रूप से, Meta-Shapley values को Shapley-Taylor Interaction Index (STII) के दिशात्मक वेरिएंट के रूप में दिखाया गया है, और Meta-Integrated Gradients को Sum of Power (SOP) इंडेक्स के दिशात्मक वेरिएंट के रूप में दिखाया गया है।
   • सेट-आधारित विधियों के विपरीत, मेटा-एट्रिब्यूशंस दिशात्मकता बनाए रखते हैं (उदाहरण के लिए, $\phi_{j \to i} \neq \phi_{i \to j}$ ग्रेडिएंट-आधारित विधियों के लिए), जो असममित प्रभावों (asymmetric influences) को प्रकट करते हैं।

व्यावहारिक कार्यान्वयन

यह ढांचा मौजूदा एट्रिब्यूशन विधियों (जैसे, AttnLRP, Grad-ECLIP, ConceptAttention) के लिए एक यूनिवर्सल रैपर के रूप में डिज़ाइन किया गया है।

• दक्षता (Efficiency): छोटे गेम्स ($d < 20$) के लिए, सटीक Shapley values की गणना की जाती है। बड़े गेम्स के लिए, लेखक अत्याधुनिक अनुमानकों (जैसे, Monte Carlo sampling या shapiq लाइब्रेरी से रिग्रेशन-आधारित एस्टिमेटर्स) की सिफारिश करते हैं।
• ट्रांसफॉर्मर्स (Transformers): इस विधि को आधुनिक आर्किटेक्चर के लिए अनुकूलित किया गया है, जो जनरेटेड सीक्वेंस में टोकन एट्रिब्यूशंस को एकत्रित करता है (LLMs के लिए) या टेक्स्ट टोकन और इमेज पैचेस के बीच क्रॉस-मोडल इंटरेक्शन की गणना करता है (विज़न-लैंग्वेज एनकोडर्स के लिए)।

प्रमुख योगदान (Key Contributions)

1. सिद्धांतिक सामान्यीकरण (Principled Generalization): किसी भी प्रथम-क्रम एट्रिब्यूशन को दूसरे क्रम के इंटरेक्शन को मापने के लिए Shapley value के माध्यम से सामान्यीकृत करने की एक विधि, जिसे मेटा-एट्रिब्यूशंस कहा जाता है।
2. पदानुक्रमित अपघटन (Hierarchical Decomposition): एक ऐसा दृष्टिकोण जो दिशात्मक इंटरेक्शन में एट्रिब्यूशंस को विभाजित करके कॉम्बिनेटोरियल जटिलता का समाधान करता है, और यह सिद्ध करता है कि मौजूदा इंडेक्स जैसे Shapley interactions और Integrated Hessians स्पष्ट रूप से यह अपघटन करते हैं।
3. दिशात्मक विस्तार (Directional Extension): एक नवीन दिशात्मक इंटरेक्शन इंडेक्स के रूप में Meta-Shapley values और Meta-Integrated Gradients का परिचय, जो यह सिद्ध करता है कि वे मौजूदा सेट-आधारित इंटरेक्शन इंडेक्स (STII और SOP) के दिशात्मक विस्तार हैं।
4. अनुभवजन्य सत्यापन (Empirical Validation): तीन अलग-अलग AI डोमेन में METAGAME की उपयोगिता का प्रदर्शन:
   • इंस्ट्रक्शन-ट्यून्ड लार्ज लैंग्वेज मॉडल्स (LLMs) में टोकन इंटरेक्शन को मात्रात्मक रूप से समझना।
   • विज़न-लैंग्वेज एनकोडर्स में क्रॉस-मोडल समानता की व्याख्या करना।
   • मल्टीमॉडल डिफ्यूजन ट्रांसफॉर्मर्स में टेक्स्ट-टू-इमेज कॉन्सेप्ट्स की व्याख्या करना।

प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र तीन अनुप्रयोग परिदृश्यों में METAGAME को सत्यापित करता है:

1. लैंग्वेज मॉडल्स (Gemma 3):

   • Meta-AttnLRP का उपयोग करते हुए, यह ढांचा दिशात्मक टोकन इंटरेक्शन (जैसे, एक वीगन संदर्भ में "honey" कैसे "butter" के एट्रिब्यूशन को प्रभावित करता है) की पहचान करता है जो प्रथम-क्रम विधियाँ नहीं देख पातीं।
   • यह पता लगाता है कि मॉडल "embolism" की उपस्थिति में "pulmonary" पर अधिक ध्यान देता है, जबकि "pulmonary" को हटाने से "embolism" का महत्व बढ़ जाता है।
   • मात्रात्मक मूल्यांकन दिखाता है कि यह मानव-लेबल वाले टोकन इंटरेक्शन का पता लगाने में प्रथम-क्रम बेसलाइन्स की तुलना में बेहतर रिकॉल (recall) प्रदान करता है।

2. विज़न-लैंग्वेज एनकोडर्स (CLIP, SigLIP-2, MetaCLIP-2):

   • समानता मानचित्रों (similarity maps) की व्याख्या करने के लिए Meta-Grad-ECLIP और Meta-MaskSigLIP को लागू किया गया।
   • ImageNet-1k पॉइंटिंग इंटरेक्शन रिकग्निशन मेट्रिक पर, मेटा-एट्रिब्यूशंस ने लगातार प्रथम-क्रम विधियों (Attention, MaskCLIP, Grad-ECLIP) और यहाँ तक कि दूसरे क्रम के ब्लैक-बॉक्स बेसलाइन FIxLIP को भी पीछे छोड़ दिया।
   • विशेष रूप से, Meta-MaskSigLIP ने SigLIP-2 के लिए उच्चतम निष्ठा (faithfulness) प्राप्त की, और Meta-Attention ने बड़े MetaCLIP-2 मॉडल पर Meta-Grad-ECLIP को पछाड़ दिया।

3. मल्टीमॉडल डिफ्यूजन ट्रांसफॉर्मर्स (FLUX.1):

   • टेक्स्ट-टू-इमेज जनरेशन में कॉन्सेप्ट्स की व्याख्या करने के लिए Meta-ConceptAttention का उपयोग किया गया।
   • इस विधि ने मूल ConceptAttention की संदर्भ-निर्भरता (context-dependence) की सीमा को कम किया।
   • Pascal VOC और MS COCO सेगमेंटेशन बेंचमार्क पर, Meta-ConceptAttention ने मूल विधि की तुलना में सटीकता (accuracy), mIoU और mAP मेट्रिक्स में बेहतर प्रदर्शन (Pareto-dominate) किया, भले ही इन-कॉन्टेक्स्ट कॉन्सेप्ट्स की संख्या बढ़ गई हो।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि METAGAME फ्रेमवर्क पूर्ववर्ती विधियों की लीकेज और दिशात्मकता की समस्याओं के बिना दूसरे क्रम के इंटरेक्शन को समझने के लिए एक गणितीय रूप से सिद्धांतपूर्ण मार्ग प्रदान करता है। एट्रिब्यूशंस को सहकारी खेलों के रूप में मानकर, यह मौजूदा प्रथम-क्रम एट्रिब्यूशन विधियों और आधुनिक व्याख्यात्मकता की निरंतर गतिशीलता के बीच के अंतर को पाटता है।

लेखक इस कार्य को अधिक विश्वसनीय मशीन लर्निंग सिस्टम की ओर एक कदम के रूप में प्रस्तुत करते हैं। वे इस बात पर जोर देते हैं कि हालांकि यह ढांचा गणना लागत और संज्ञानात्मक भार (cognitive load) को बढ़ाता है, यह एट्रिब्यूशंस का एक कठोर पदानुक्रमित अपघटन प्रदान करता है जो यह प्रकट करता है कि फीचर्स एक-दूसरे के योगदान को वास्तव में कैसे प्रभावित करते हैं। यह कार्य अपने दायरे के प्रति विनम्र है, यह नोट करते हुए कि भाषा मॉडल विश्लेषण एक उदाहरण के रूप में कार्य करता है और व्यापक तुलनाओं के लिए कठोर निष्ठा माप (जैसे, insertion/deletion curves) भविष्य की आवश्यकता है। इस ढांचे को किसी भी प्रथम-क्रम एट्रिब्यूशन विधि के लिए लागू होने वाला एक सामान्य उपकरण माना गया है, जो प्रदान किए गए विशिष्ट उदाहरणों से परे जाता है।