🤖 machine learning

AGOP-IxG: A Gradient Covariance Filter for Local Feature Attribution on Tabular Data, with a Controlled Benchmark

यह शोध पत्र AGOP-IxG प्रस्तुत करता है, जो टैबुलर डेटा के लिए एक तेज़ प्रति-नमूना (per-sample) फीचर एट्रिब्यूशन विधि है जो सिंथेटिक बेंचमार्क पर सटीकता और गति में SHAP और LIME जैसे व्यापक रूप से उपयोग किए जाने वाले बेसलाइन से बेहतर प्रदर्शन करने के लिए एक ग्रेडिएंट कोवेरिएंस फ़िल्टर का लाभ उठाता है, जबकि वास्तविक दुनिया के डेटासेट पर तुलनीय वैश्विक निष्ठा (global faithfulness) प्रदर्शित करता है।

मूल लेखक: Raj Kiran Gupta Katakam

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raj Kiran Gupta Katakam

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन रहस्यमय रोबोट है जो ऋण की मंजूरी या चिकित्सा जोखिमों जैसी चीजों के बारे में निर्णय लेता है। आप जानते हैं कि उसने क्या निर्णय लिया, लेकिन आप नहीं जानते कि उसने ऐसा क्यों किया। इसे ठीक करने के लिए, हम "व्याख्या उपकरण" (explanation tools) का उपयोग करते हैं जो उन विशिष्ट सुरागों की ओर इशारा करने की कोशिश करते हैं जिनका उपयोग रोबोट ने अपने चुनाव के लिए किया था।

यहाँ उनके निष्कर्षों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "अंधा" मूल्यांकन

वर्तमान में, जब लोग एक व्याख्या उपकरण चुनते हैं, तो वे अक्सर इसे केवल इसलिए चुनते हैं क्योंकि यह प्रसिद्ध है या विशेषज्ञों को अच्छा लगता है। समस्या यह है कि वास्तविक दुनिया के डेटा पर, किसी को भी "सही" उत्तर का पता नहीं होता। यह एक छात्र के निबंध को बिना उत्तर कुंजी (answer key) के ग्रेड देने जैसा है; आप केवल अनुमान लगा सकते हैं कि वह सही है या नहीं।

लेखकों ने एक नियंत्रित प्रयोगशाला (सिंथेटिक डेटासेट) बनाई जहाँ उन्होंने वास्तव में एक उत्तर कुंजी बनाई थी। उन्होंने तीन विशिष्ट पहेलियाँ डिज़ाइन कीं:

रैखिक पहेली (The Linear Puzzle): एक सरल, सीधी रेखा वाला संबंध (आसान)।
स्पार्स नॉनलीनियर पहेली (The Sparse Nonlinear Puzzle): एक जटिल संबंध जहाँ केवल कुछ सुराग ही मायने रखते हैं (मध्यम)।
इंटरैक्शन पहेली (The Interaction Puzzle): एक ऐसी पहेली जहाँ सुराग तभी मायने रखते हैं जब उन्हें अन्य सुरागों के साथ जोड़ा जाता है (कठिन)।

क्योंकि उन्होंने ये पहेलियाँ बनाई थीं, वे ठीक से जानते थे कि कौन से सुराग महत्वपूर्ण थे और कौन से केवल "शोर" (नकली सुराग) थे।

2. नया उपकरण: AGOP-IxG

लेखकों ने AGOP-IxG नामक एक नई विधि बनाई।

यह कैसे काम करता है: कल्पना कीजिए कि रोबोट का मस्तिष्क दिशाओं का एक विशाल मानचित्र है। अधिकांश व्याख्या उपकरण केवल उस दिशा को देखते हैं जिस ओर रोबोट अभी संकेत दे रहा है। AGOP-IxG अधिक स्मार्ट है: यह इस बात का पूरा इतिहास देखता है कि रोबोट ने कैसे सीखा। यह उस इतिहास के आधार पर एक "शोर फिल्टर" (noise filter) बनाता है।
उपमा: रोबोट के निर्णय को एक रेडियो सिग्नल के रूप में सोचें। "सच्चे" सुराग संगीत हैं, और "शोर" स्टेटिक (static) है। AGOP-IxG एक उच्च श्रेणी के रेडियो ट्यूनर की तरह है जो जानता है कि संगीत आमतौर पर किन आवृत्तियों (frequencies) पर रहता है। यह संगीत को बढ़ाता है और स्टेटिक को पूरी तरह से शांत कर देता है। अन्य उपकरण अक्सर संगीत के साथ स्टेटिक को भी बढ़ा देते हैं।

3. परिणाम: गति और सटीकता

लेखकों ने अपनी पहेलियों पर AGOP-IxG और चार अन्य उपकरणों के बीच एक दौड़ आयोजित की।

सटीकता की दौड़ (The Accuracy Race):

शोर फ़िल्टरिंग (Noise Filtering): शोर को अनदेखा करने में AGOP-IxG सबसे अच्छा था। जबकि अन्य उपकरणों ने कभी-कभी नकली सुरागों की ओर इशारा किया, AGOP-IxG ने लगभग हमेशा उन्हें अनदेखा कर दिया।
रैंकिंग (Ranking): यह सुरागों को उनके महत्व के सही क्रम में रखने में सबसे सुसंगत था।
अपवाद: सबसे सरल पहेली (Linear) पर, एक पुराने उपकरण (LIME) ने शीर्ष सुराग को चुनने में थोड़ा बेहतर प्रदर्शन किया, लेकिन AGOP-IxG अभी भी उसके बहुत करीब था और नकली सुरागों को अनदेखा करने में बहुत बेहतर था।

गति की दौड़ (The Speed Race):

यहाँ AGOP-IxG भारी अंतर से जीतता है।
उपमा: यदि अन्य उपकरण एक स्प्रेडशीट में प्रत्येक संख्या की मैन्युअल रूप से जांच करने वाले 100 लेखाकारों की टीम की तरह हैं, तो AGOP-IxG एक सुपर-फास्ट कैलकुलेटर की तरह है जो एक पल में वही गणित करता है।
संख्याएँ: AGOP-IxG 350 से 1,650 गुना तेज़ था।
- AGOP-IxG: प्रति निर्णय लगभग 0.02 से 0.1 सेकंड लेता है।
- SHAP (सबसे लोकप्रिय प्रतिस्पर्धी): प्रति निर्णय लगभग 33 सेकंड लेता है।
- वास्तविक प्रभाव: यदि आपको दस लाख निर्णयों की व्याख्या करने की आवश्यकता थी, तो AGOP-IxG में 2 मिनट से कम समय लगेगा। SHAP में लगभग 9 घंटे लगेंगे।

4. वास्तविकता की जाँच: वास्तविक डेटा

लेखकों ने वास्तविक दुनिया के डेटा (Adult Income और Credit Card Default डेटासेट) पर भी इन उपकरणों का परीक्षण किया।

निष्कर्ष: वास्तविक डेटा पर, जहाँ कोई "उत्तर कुंजी" नहीं है, सभी पाँचों उपकरण लगभग समान रूप से प्रदर्शन करते हैं। वे सभी एक साथ क्लस्टर (समूह में) होते हैं।
सबक: यह सुझाव देता है कि ग्लोबल प्रश्नों (जैसे "पूरे बैंक के लिए शीर्ष 5 विशेषताएं क्या हैं?") के लिए, यह बहुत अधिक मायने नहीं रखता कि आप कौन सा उपकरण चुनते हैं। हालाँकि, लोकल प्रश्नों (जैसे "इस विशिष्ट व्यक्ति को ऋण क्यों नहीं दिया गया?") के लिए, AGOP-IxG बेहतर विकल्प है क्योंकि यह व्यक्तिगत स्तर पर तेज़ और अधिक सटीक है।

सारांश

यह पेपर तर्क देता है कि जबकि हम अक्सर आदत के कारण व्याख्या उपकरण चुनते हैं, हमें हमें प्रदर्शन के आधार पर चुनना चाहिए।

AGOP-IxG एक नया उपकरण है जो AI स्पष्टीकरणों के लिए नॉइज़-कैंसलिंग हेडफ़ोन की तरह कार्य करता है।
यह वर्तमान उपकरणों की तुलना में बहुत तेज़ है, जिससे व्यक्तिगत निर्णयों को वास्तविक समय में (जैसे कि जब आप ऋण के लिए आवेदन करते हैं तो तुरंत) समझाना संभव हो जाता है।
यह किसी निर्णय के वास्तविक कारणों को खोजने और नकली कारणों को अनदेखा करने में अधिक सटीक है, विशेष रूप से जटिल समस्याओं पर।

लेखक निष्कर्ष निकालते हैं कि AutoML सिस्टम को उन उपकरणों का उपयोग करना चाहिए जैसे कि AGOP-IxG, जब उन्हें व्यक्तिगत निर्णयों को तेज़ी से और सटीकता से समझाने की आवश्यकता हो, बजाय इसके कि वे धीमे, पुराने तरीकों पर निर्भर रहें।

तकनीकी सारांश: स्थानीय फीचर एट्रिब्यूशन के लिए AGOP-IxG (टेबुलर डेटा पर)

समस्या विवरण

ऑटोमेटेड मशीन लर्निंग (AutoML) पाइपलाइन्स तेजी से उच्च-जोखिम वाले डोमेन (जैसे क्रेडिट स्कोरिंग, मेडिकल रिस्क) में ब्लैक-बॉक्स मॉडल तैनात कर रही हैं, जिसके लिए नियामकों और उपयोगकर्ताओं के लिए प्रति-भविष्यवाणी (per-prediction) स्पष्टीकरण की आवश्यकता होती है। जबकि SHAP, इंटीग्रेटेड ग्रेडिएंट्स (IG), और LIME जैसे फीचर एट्रिब्यूशन तरीके मानक हैं, उनका चयन अक्सर मापनीय निष्ठा (measured fidelity) के बजाय परंपरा द्वारा संचालित होता है। एक मौलिक मूल्यांकन अंतराल मौजूद है: वास्तविक दुनिया के टेबुलर डेटा में ग्राउंड-ट्रुथ एट्रिब्यूशन का अभाव है, जो सर्कुलर प्रॉक्सी (जैसे, इंटर-मेथड एग्रीमेंट) या ग्लोबल मेट्रिक्स (जैसे, ROAR) पर निर्भरता को मजबूर करता है जो व्यक्तिगत प्रति-नमूना (per-sample) स्पष्टीकरणों की गुणवत्ता का आकलन नहीं करते हैं। फलस्वरूप, अभ्यासकर्ताओं के पास सटीकता, शोर मजबूती (noise robustness) और कम्प्यूटेशनल लागत के बीच संतुलन बनाने वाले एट्रिब्यूशन मेथड का चयन करने के लिए एक सिद्धांत-आधारित आधार की कमी है।

कार्यप्रणाली

प्रस्तावित विधि: AGOP-IxG

लेखक AGOP-IxG प्रस्तावित करते हैं, जो टेबुलर क्लासिफायर के लिए एक तेज़ प्रति-नमूना एट्रिब्यूशन विधि है जो InputXGradient को एवरेज ग्रेडिएंट आउटर प्रोडक्ट (AGOP) मैट्रिक्स से प्राप्त ग्रेडिएंट फ़िल्टर के साथ जोड़ती है।

प्रशिक्षण चरण (Fit):
- $n$ नमूनों के प्रशिक्षण सेट के लिए, प्रत्येक नमूने के लिए प्रेडिक्टेड क्लास स्कोर का ग्रेडिएंट ( $g_i = \nabla_x \hat{s}_{c_i}(x_i)$ ) की गणना की जाती है।
- AGOP मैट्रिक्स $M$ का निर्माण अनुभवजन्य ग्रेडिएंट आउटर-प्रोडक्ट के रूप में किया जाता है: $M = \frac{1}{n} \sum_{i=1}^n g_i g_i^\top$ ।
- $M$ का आइजनडीकंपोजिशन ( $M = V\Lambda V^\top$ ) किया जाता है। एक रैंक- $K$ ट्रंकेशन लागू किया जाता है, जिसमें केवल उन आइजनवेक्टर्स को रखा जाता है जहाँ आइजनवैल्यू $\lambda_{max}$ के 1% से अधिक होती है। यह एक लो-रैंक रिकंस्ट्रक्शन $M_K = V_K \Lambda_K V_K^\top$ बनाता है।
- यह प्रक्रिया एक शोर फिल्टर (noise filter) के रूप में कार्य करती है, जो हाई-वैरिएंस ट्रेनिंग-डिस्ट्रीब्यूशन दिशाओं के साथ संरेखित ग्रेडिएंट घटकों को बढ़ाती है और लो-आइजनवैल्यू शोर दिशाओं को शून्य कर देती है।
एट्रिब्यूशन चरण (Test):
- एक टेस्ट सैंपल $x$ और बेसलाइन $x'$ (प्रति-फीचर ट्रेनिंग मीन) के लिए, ग्रेडिएंट $g$ की गणना की जाती है।
- ग्रेडिएंट को ट्रंकेटेड AGOP मैट्रिक्स के साथ प्री-मल्टीप्लाई किया जाता है: $g_{attr} = g M_K$ ।
- अंतिम एट्रिब्यूशन $e_j$ फीचर अंतर और फ़िल्टर्ड ग्रेडिएंट का उत्पाद है: $e_j = (x_j - x'_j) \cdot (g_{attr})_j$ ।
- एट्रिब्यूशन को 1 के योग तक नॉर्मलाइज़ किया जाता है।

कम्प्यूटेशनल दक्षता: लो-रैंक फैक्टराइजेशन ( $M_K = V_K \Lambda_K V_K^\top$ ) का उपयोग करके, विधि पूर्ण $d \times d$ मैट्रिक्स बनाने से बचती है, जिसमें केवल दो मैट्रिक्स-वेक्टर उत्पादों की आवश्यकता होती है। इसके परिणामस्वरूप रनटाइम SHAP की तुलना में लगभग 350× से 1,650× तेज़ होता है।

मूल्यांकन ढांचा

पेपर एक दो-भाग वाला बेंचमार्क पेश करता है:

भाग 1: नियंत्रित सिंथेटिक बेंचमार्क: तीन मल्टी-क्लास टेबुलर टास्क (लीनियर, स्पार्स नॉनलीनियर, और फीचर इंटरेक्शन) उत्पन्न किए गए हैं जहाँ ग्राउंड-ट्रुथ एट्रिब्यूशन विश्लेषणात्मक या संख्यात्मक रूप से प्राप्त करने योग्य है। मेट्रिक्स में स्पीयरमन रैंक सहसंबंध (Spearman rank correlation), टॉप- $k$ प्रिसिजन, और नॉइज़ फीचर मास (अप्रासंगिक फीचर्स को दिया गया एट्रिब्यूशन) शामिल हैं।
भाग 2: वास्तविक-विश्व ग्लोबल फेथफुलनेस: Adult Income और Credit Card Default डेटासेट्स पर ROAR (Remove And Retrain) प्रोटोकॉल लागू किया गया है ताकि ग्लोबल फीचर रैंकिंग फिडेलिटी को मापा जा सके।

मुख्य योगदान

AGOP-IxG एल्गोरिदम: एक नवीन एट्रिब्यूशन स्कीम जो टॉप- $K$ रैंक-ट्रंकेटेड AGOP ग्रेडिएंट फ़िल्टर के साथ InputXGradient को संयोजित करती है। इसे विशेष रूप से प्रति-सैंपल लोकल एट्रिब्यूशन फिडेलिटी के लिए डिज़ाइन किया गया है।
नियंत्रित मूल्यांकन ढांचा: एक पैरामेट्रिक सिंथेटिक बेंचमार्क सूट (लीनियर, स्पार्स नॉनलीनियर, इंटरेक्शन) जिसमें ज्ञात ग्राउंड-ट्रुथ एट्रिब्यूशन है, जो प्रॉक्सी उपायों के बिना सीधे प्रति-सैंपल गुणवत्ता के मूल्यांकन को सक्षम बनाता है। यह ढांचा मॉडल-अग्नोस्टिक है और AutoML पाइपलाइनों में पुन: उपयोग के लिए डिज़ाइन किया गया है।
व्यापक अनुभवजन्य विश्लेषण: सिंथेटिक और वास्तविक डेटासेट्स पर चार बेसलाइन्स (SHAP, Integrated Gradients, InputXGradient, LIME) के विरुद्ध AGOP-IxG का तुलनात्मक विश्लेषण, जो लोकल फिडेलिटी और ग्लोबल रैंकिंग के बीच ट्रेड-ऑफ को उजागर करता है।

परिणाम

भाग 1: सिंथेटिक बेंचमार्क

नॉइज़ रोबस्टनेस: AGOP-IxG ने सभी तीन सिंथेटिक डेटासेट्स पर सबसे कम नॉइज़ फीचर मास प्राप्त किया, जो SHAP, IG, और LIME से काफी बेहतर रहा। यह शोर को फ़िल्टर करने में AGOP ट्रंकेशन की प्रभावकारिता की पुष्टि करता है।
रैंक सहसंबंध: AGOP-IxG ने तीनों डेटासेट्स पर स्पीयरमन रैंक सहसंबंध में बढ़त बनाई।
टॉप- $k$ प्रिसिजन:
- लीनियर टास्क: LIME ने AGOP-IxG से थोड़ा बेहतर प्रदर्शन किया (0.915 बनाम 0.895), जो लीनियर प्रक्रियाओं के लिए LIME की उपयुक्तता के अनुरूप है।
- स्पार्स नॉनलीनियर: AGOP-IxG और SHAP लगभग बराबरी पर थे (0.514 बनाम 0.515), हालांकि AGOP-IxG ने स्पीयरमन सहसंबंध में बढ़त बनाई।
- इंटरेक्शन: AGOP-IxG ने सभी मेट्रिक्स पर SHAP को पीछे छोड़ा (स्पीयरमन 0.534 बनाम 0.466)।
रनटाइम: AGOP-IxG, SHAP (~33s) की तुलना में कई गुना तेज़ था (0.02–0.10s प्रति डेटासेट)।

भाग 2: वास्तविक-विश्व डेटा (ROAR)

Adult Income और Credit Card Default डेटासेट्स पर, पांचों विधियों ने क्लस्टर्ड परिणाम दिए (AUC स्प्रेड < 0.01)।
किसी भी एकल विधि ने ग्लोबल फीचर रैंकिंग में प्रभुत्व नहीं जमाया। AGOP-IxG, Adult पर अंतिम और Credit पर तीसरे स्थान पर रहा, लेकिन अंतर मामूली था (~1.7% सापेक्ष परिवर्तन)।
लेखक कहते हैं कि यह AGOP-IxG के डिज़ाइन के अनुरूप है: यह लोकल प्रति-सैंपल फिडेलिटी के लिए अनुकूलित है, जबकि ROAR ग्लोबल रैंकिंग का मूल्यांकन करता है जो नॉर्मलाइज्ड वेक्टर्स के औसत से प्राप्त होती है।

महत्व और दावे

पेपर का दावा है कि AGOP-IxG रनटाइम से समझौता किए बिना लोकल प्रति-प्रेडिक्शन व्याख्यात्मकता के लिए एक मजबूत इंडक्टिव बायस प्रदान करता है, जो इसे सख्त समय बजट वाले AutoML पाइपलाइनों (जैसे, रियल-टाइम इन्फरेंस) के लिए ऑपरेशनल रूप से मूल्यवान बनाता है।

मेथड सिलेक्शन गाइडेंस: परिणाम सुझाव देते हैं कि एट्रिब्यूशन मेथड का चुनाव डाउनस्ट्रीम कंज्यूमर पर निर्भर होना चाहिए। प्रति-निर्णय स्पष्टीकरण के लिए (जैसे, विशिष्ट अस्वीकृतियों पर नियामक रिपोर्ट), AGOP-IxG बेहतर लोकल फिडेलिटी और नॉइज़ रोबस्टनेस प्रदान करता है। AutoML पाइपलाइन के भीतर ग्लोबल फीचर सिलेक्शन के लिए, एट्रिब्यूशन मेथड के चुनाव से अधिक फर्क नहीं पड़ता, क्योंकि विधियां ग्लोबल रैंकिंग प्रदर्शन में करीब रहती हैं।
डिप्लॉयबिलिटी: AGOP-IxG की सब-मिलीसेकंड प्रति-सैंपल लागत रियल-टाइम डिप्लॉयमेंट को सक्षम बनाती है (जैसे, हर क्रेडिट डिनायल के साथ कारण कोड जोड़ना), जबकि SHAP की लेटेंसी इसे बड़े पैमाने पर प्रोहिबिटिव बनाती है (जैसे, SHAP के साथ दस लाख निर्णयों को समझाने में ~9 घंटे लगेंगे बनाम AGOP-IxG के साथ <2 मिनट)।
बेंचमार्क यूटिलिटी: प्रस्तावित सिंथेटिक जनरेटर्स भविष्य के AutoML सिस्टम के लिए एक मेथड-अग्नोस्टिक टूल के रूप में कार्य करते हैं, जिससे परंपरा के बजाय मापी गई फिडेलिटी के आधार पर एट्रिब्यूशन मेथड्स को ऑटो-सेलेक्ट या ऑटो-ट्यून किया जा सकता है।

लेखक विनम्र रहते हुए स्वीकार करते हैं कि परिणाम MLPs और सिंथेटिक टास्क पर आधारित हैं, और वास्तविक डेटा पर ग्राउंड-ट्रुथ एट्रिब्यूशन उपलब्ध नहीं है। वे यह दावा नहीं करते कि AGOP-IxG सार्वभौमिक रूप से श्रेष्ठ है, बल्कि यह कि यह स्थानीय, शोर-रोधी, रियल-टाइम एट्रिब्यूशन के विशिष्ट क्षेत्र में उत्कृष्ट है।