🤖 machine learning

Tractable Shapley Values and Interactions via Tensor Networks

यह शोध पत्र TN-SHAP प्रस्तुत करता है, जो एक टेंसर नेटवर्क-आधारित विधि है जो व्यापक गठबंधन गणना (exhaustive coalition enumeration) को एक गुणनखंडित बहुरेखीय मानचित्र (factorized multilinear map) से बदलकर बहुपद जटिलता (polynomial complexity) के साथ शापली मानों (Shapley values) और इंटरेक्शन इंडेक्स का अनुमान लगाता है, जिससे सटीकता बनाए रखते हुए मौजूदा दृष्टिकोणों की तुलना में महत्वपूर्ण गति प्राप्त होती है।

मूल लेखक: Farzaneh Heidari, Chao Li, Guillaume Rabusseau

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Farzaneh Heidari, Chao Li, Guillaume Rabusseau

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जटिल मशीन है (जैसे कि एक परिष्कृत AI मॉडल) जो भविष्यवाणियां करती है। आप जानना चाहते हैं: "किस विशिष्ट नॉब और डायल (फीचर्स) ने इस विशिष्ट भविष्यवाणी को अंजाम दिया, और वे एक साथ कैसे काम कर रहे थे?"

AI की दुनिया में, इसे Shapley Values कहा जाता है। यह एक भविष्यवाणी के लिए सभी इनपुट फीचर्स के बीच "क्रेडिट" को निष्पक्ष रूप से बांटने का एक तरीका है।

हालाँकि, पारंपरिक तरीके के साथ एक बहुत बड़ी समस्या है: यह बहुत धीमा है।

पुराना तरीका: "कुकी जार" की समस्या

कल्पना कीजिए कि आपके पास 50 अलग-अलग प्रकार के कुकीज़ (फीचर्स) वाला एक जार है। यह पता लगाने के लिए कि प्रत्येक कुकी का अंतिम स्वाद में कितना योगदान है, पुराना तरीका कहता है कि आपको कुकीज़ के हर एक संभावित संयोजन को चखना होगा।

10 कुकीज़ के साथ, यह 1,024 संयोजन हैं।
50 कुकीज़ के साथ, इसमें इतने संयोजन हैं जितने ब्रह्मांड में परमाणु भी नहीं हैं ( $2^{50}$ )।

हर संयोजन को चखने की कोशिश करना असंभव है। इसमें बहुत समय लगता है, इसलिए हम आमतौर पर केवल अनुमान लगाते हैं या कुछ रैंडम मुट्ठी भर चीज़ों को चख लेते हैं, जो कि बहुत सटीक नहीं होता है।

नया तरीका: TN-SHAP (द "मैजिक रेसिपी कार्ड")

यह शोध पत्र एक नया तरीका पेश करता है जिसे TN-SHAP कहा जाता है। कुकीज़ के हर संभव संयोजन को चखने के बजाय, यह टेंसर नेटवर्क (एक प्रकार की गणितीय संरचना) और पॉलीनोमियल्स (गणितीय वक्र/curves) का उपयोग करने वाली एक चतुर तकनीक का उपयोग करता है।

यहाँ उपमा (analogy) दी गई है:

1. "मैजिक रेसिपी कार्ड" (द सरोगेट)

सबसे पहले, यह तरीका जटिल मशीन का एक सरल, "जादुई" संस्करण बनाता है। इसे एक रेसिपी कार्ड के रूप में सोचें जो जटिल मशीन के व्यवहार की सटीक नकल करता है, लेकिन एक बहुत ही संरचित और व्यवस्थित तरीके से।

शोध पत्र इसे Tensor Network Surrogate कहता है।
यह जटिल मशीन को छोटे, जुड़े हुए ब्लॉकों (जैसे लेगो ब्रिक्स की एक श्रृंखला) की एक श्रृंखला में तोड़ देता है। यह संरचना कुशल और समझने में आसान है।

2. "डायल" ट्रिक (डायगोनल सेलेक्टर्स)

सभी कुकी संयोजनों का परीक्षण करने के बजाय, यह तरीका एक विशेष डायल (एक गणितीय उपकरण जिसे सेलेक्टर मैट्रिक्स कहा जाता है) का उपयोग करता है।

कल्पना कीजिए कि आपके पास एक डायल है जो यह नियंत्रित करता है कि मिश्रण में कितनी कुकीज़ होनी चाहिए।
आप डायल को स्थिति 0 (कोई कुकी नहीं), स्थिति 0.5 (आधी कुकी), स्थिति 1 (पूरी कुकी), आदि पर घुमाते हैं।
क्योंकि "मैजिक रेसिपी कार्ड" एक विशेष गणितीय तरीके (जिसे मल्टीलीनियर कहा जाता है) से बना है, इस डायल को घुमाने से एक स्मूथ कर्व (एक पॉलीनोमियल) बनता है जो एक ही बार में सभी कुकीज़ के बीच होने वाली अंतःक्रियाओं (interactions) की जानकारी प्रकट कर देता है।

3. "मैथ डिटेक्टिव" (पॉलीनोमियल इंटरपोलेशन)

1,000,000 संयोजनों को चखने के बजाय, इस तरीके को उस डायल कर्व पर केवल 50 विशिष्ट बिंदुओं को चखने की आवश्यकता होती है।

यह उन 50 बिंदुओं को लेता है और पूरे कर्व को पुनर्गठित करने के लिए एक मानक गणितीय तकनीक (जिसे पॉलीनोमियल इंटरपोलेशन कहा जाता है) का उपयोग करता है।
एक बार जब इसके पास कर्व आ जाता है, तो यह तुरंत गणना कर सकता है कि प्रत्येक कुकी (और कुकीज़ के प्रत्येक समूह) को कितना क्रेडिट मिलना चाहिए।

यह एक बड़ी बात क्यों है?

शोध पत्र तीन प्रमुख जीत का दावा करता है:

गति (Speed):
- पुराना तरीका: घातांकीय (exponential) समय लेता है। यदि आप एक और फीचर जोड़ते हैं, तो समय दोगुना हो जाता है। 50 फीचर्स के लिए, इसमें वर्षों लग सकते हैं।
- TN-SHAP: रैखिक (linear) समय लेता है। यह धीरे-धीरे बढ़ता है। 50 फीचर्स के लिए, इसमें मिलीसेकंड लगते हैं।
- परिणाम: शोध पत्र दिखाता है कि यह समान स्तर की सटीकता बनाए रखते हुए वर्तमान सर्वोत्तम तरीकों (जैसे KernelSHAP-IQ) की तुलना में 25 से 1,000 गुना तेज़ है।
सटीकता (Accuracy):
- क्योंकि यह रैंडम अनुमान (सैंपलिंग) पर निर्भर नहीं है, यह "मैजिक रेसिपी कार्ड" के लिए सटीक उत्तर प्राप्त करता है।
- शोध पत्र सिद्ध करता है कि यदि "मैजिक रेसिपी कार्ड" वास्तविक मशीन की एक अच्छी प्रति है, तो स्पष्टीकरण सत्य के बहुत करीब होगा।
ग्रुप क्रेडिट (इंटरेक्शन):
- यह आपको केवल यह नहीं बताता कि कौन सी एकल कुकी महत्वपूर्ण है। यह आपको बताता है कि कुकीज़ के समूह एक साथ कैसे काम करते हैं (जैसे, "चॉकलेट और वैनिला एक साथ बेहतरीन लगते हैं, लेकिन चॉकलेट और नमक खराब लगते हैं")।
- यह एकल फीचर्स की तरह ही तेज़ी से इन समूह अंतःक्रियाओं (group interactions) की गणना कर सकता है।

सावधानी (सीमाएं)

शोध पत्र ईमानदार है कि यह कहाँ सबसे अच्छा काम करता है:

लोकल नेबरहुड (Local Neighborhoods): "मैजिक रेसिपी कार्ड" एक विशिष्ट क्षेत्र के लिए बनाया गया है। यदि आप मशीन से किसी ऐसे कुकी संयोजन के बारे में पूछते हैं जो उसने पहले कभी नहीं देखा है, तो कार्ड एकदम सही नहीं हो सकता है। यह तरीका तब सबसे अच्छा काम करता है जब आप एक विशिष्ट भविष्यवाणी और उसके आस-पास के परिवेश को देख रहे हों।
जटिलता (Complexity): यदि मशीन बहुत अधिक अराजक (chaotic) है और उसमें कोई संरचित पैटर्न नहीं है, तो सटीक होने के लिए "मैजिक रेसिपी कार्ड" को बहुत बड़ा होने की आवश्यकता हो सकती है। हालाँकि, शोध पत्र ने पाया कि वास्तविक दुनिया के जटिल डेटा (जैसे मधुमेह या कंक्रीट की मजबूती की भविष्यवाणी करना) के लिए भी, एक अपेक्षाकृत छोटा कार्ड पूरी तरह से काम कर गया।

सारांश

TN-SHAP एक मास्टर शेफ को काम पर रखने जैसा है जिसे यह जानने के लिए कि रेसिपी क्या है, हर एक संभव व्यंजन पकाने की आवश्यकता नहीं है। इसके बजाय, वे सामग्रियों को देखते हैं, फ्लेवर प्रोफाइल को समझने के लिए एक विशेष गणितीय शॉर्टकट का उपयोग करते हैं, और तुरंत आपको बता देते हैं कि कौन सी सामग्रियां भारी काम कर रही हैं और कौन सी आपस में मिलकर काम कर रही हैं। यह एक ऐसे कार्य को जो कभी वर्षों का काम था, एक पल की झपकी में बदल देता है।

तकनीकी सारांश: टेंसर नेटवर्क के माध्यम से सुलभ शापली मान और इंटरैक्शन (Tractable Shapley Values and Interactions via Tensor Networks)

समस्या विवरण (Problem Statement)

मशीन लर्निंग भविष्यवाणियों को शापली मानों (Shapley values) और उनके उच्च-क्रम सामान्यीकरणों (Shapley Interaction Indices, SII) के माध्यम से समझाना निर्णय समर्थन और व्याख्यात्मकता (interpretability) के लिए मौलिक है। हालाँकि, $n$ विशेषताओं वाले मॉडलों के लिए इन सूचकांकों की गणना करना कम्प्यूटेशनल रूप से अत्यधिक कठिन है, क्योंकि इसके लिए पारंपरिक रूप से $O(2^n)$ गठबंधन (coalitions) की गणना करने की आवश्यकता होती है। मौजूदा समाधान महत्वपूर्ण ट्रेड-ऑफ का सामना करते हैं:

संरचनात्मक धारणाएँ (Structural Assumptions): TreeSHAP या जेनेरालाइज्ड एडिटिव मॉडल्स (GAMs) जैसे तरीके विशिष्ट आर्किटेक्चर (जैसे, ट्री, लीनियर मॉडल) के लिए ही सटीक हैं।
सैंपलिंग-आधारित सन्निकटन (Sampling-Based Approximations): KernelSHAP या SHAP-IQ जैसे दृष्टिकोण भारी सैंपलिंग पर निर्भर करते हैं, जिनमें सूक्ष्म वेरिएंस ट्यूनिंग की आवश्यकता होती है और वे अक्सर भारी कम्प्यूटेशनल लागत के बिना उच्च-क्रम इंटरैक्शन तक स्केल करने में विफल रहते हैं।
एमोर्टाइज्ड एस्टीमेशन (Amortized Estimation): सहायक मॉडल (auxiliary models) प्रशिक्षित करने वाले तरीके महत्वपूर्ण प्रशिक्षण ओवरहेड का सामना करते हैं और उनमें व्याख्या की निष्ठा (fidelity) पर सैद्धांतिक गारंटी की कमी हो सकती है।

मुख्य चुनौती सामान्य प्रेडिक्टर्स के लिए घातीय गणना (exponential enumeration) या अत्यधिक सैंपलिंग के बिना शापली मानों और इंटरैक्शनों की सटीक (या नियंत्रित त्रुटि के साथ) गणना करना है।

कार्यप्रणाली: TN-SHAP (Methodology: TN-SHAP)

लेखक TN-SHAP का प्रस्ताव करते हैं, जो एक टेंसर नेटवर्क (TN) सरोगेट पर कुछ-मूल्यांकन योजना (few-evaluation scheme) के माध्यम से व्यापक गठबंधन गणना को प्रतिस्थापित करता है। यह दृष्टिकोण जटिलता को $O(2^n)$ से $O(n \cdot \text{poly}(\chi))$ में बदलने के लिए तीन प्रमुख अंतर्दृष्टि का लाभ उठाता है, जहाँ $\chi$ टेंसर नेटवर्क का अधिकतम बॉन्ड डायमेंशन (maximal bond dimension) है।

1. मल्टीलिनियर प्रतिनिधित्व और गुणांक निष्कर्षण (Multilinear Representation and Coefficient Extraction)

यह विधि मानती है कि प्रेडिक्टर $f$ को एक लिफ्टेड फीचर स्पेस में एक मल्टीलिनियर फंक्शन $g$ द्वारा अच्छी तरह से अनुमानित किया जा सकता है। एक मल्टीलिनियर विस्तार में, $f(x) = \sum_{T \subseteq N} c_T \prod_{j \in T} x_j$ , गठबंधन मान टेंसर गुणांकों के रैखिक संयोजन होते हैं। महत्वपूर्ण रूप से, शापली मान केवल आकार-एकत्रित मार्जिनल योगदान (आकार $s$ के गठबंधनों के लिए योगदानों का योग) पर निर्भर करते हैं, न कि विशिष्ट गठबंधन सदस्यता पर।

2. डायगोनल सेलेक्टर और पॉलिनॉमियल इंटरपोलेशन (Diagonal Selectors and Polynomial Interpolation)

व्यापक गठबंधन गणना के बजाय, TN-SHAP लिफ्टेड फीचर्स $\tilde{x}_r = [\phi(x_r), 1]^\top$ पर लागू डायगोनल सेलेक्टर मैट्रिसेस $S_r(t) = \text{Diag}(t, 1)$ का उपयोग करता है।

जहाँ फीचर्स को पैरामीटर $t$ द्वारा स्केल किया जाता है, वहाँ सरोगेट $g$ का मूल्यांकन करके, यह विधि $t^s$ के गुणांक में आकार $s$ के सभी गठबंधनों को एक बहुपद (polynomial) $P(t)$ में एकत्रित करती है।
विशेष रूप से, एक लक्षित फीचर $i$ के लिए, एक प्रोब फंक्शन $G_i(t)$ बनाया जाता है ताकि अन्य फीचर्स के सभी उपसमुच्चयों (subsets) में $i$ के मार्जिनल योगदान को अलग किया जा सके।
यह इस कम्प्यूटेशनल समस्या को पॉलिनॉमियल इंटरपोलेशन में बदल देता है। $n$ विशिष्ट बिंदुओं (जैसे, चेबिशेव-गॉस नोड्स) पर $G_i(t)$ का मूल्यांकन करके, सिस्टम आकार-एकत्रित मार्जिनल योगदानों $\{m_s^{(i)}\}$ को प्राप्त करने के लिए वेंडरमोंड (Vandermonde) रैखिक प्रणाली को हल करता है।
शापली मान को इन प्राप्त किए गए गुणांकों के भारित योग (weighted sum) के रूप में गणना किया जाता है।

3. टेंसर नेटवर्क सरोगेट्स (Tensor Network Surrogates)

बड़े पैमाने पर मल्टीलिनियर मैप के मूल्यांकन को व्यवहार्य बनाने के लिए, गुणांक टेंसर को एक टेंसर नेटवर्क (TN) (जैसे, टेंसर ट्रेन या हिरार्किकल ट्री) में फैक्टरयुक्त किया जाता है जिसका बॉन्ड डायमेंशन $\chi$ है।

फीचर मैप्स (Feature Maps): गैर-रेखीय वास्तविक दुनिया के डेटा को संभालने के लिए, स्केलर फीचर्स को मूल इनपुट स्पेस में गैर-रेखीयता को मॉडल करने की अनुमति देते हुए, $\phi_i: \mathbb{R} \to \mathbb{R}^{d_i-1}$ के माध्यम से सीखे गए या हस्तनिर्मित मैप्स द्वारा लिफ्ट किया जाता है। यह मूल इनपुट स्पेस में गैर-रेखीयता को मॉडल करने की अनुमति देते हुए लिफ्ट किए गए स्पेस में मल्टीलिनैरिटी को बनाए रखता है।
दक्षता (Efficiency): TN के माध्यम से प्रत्येक फॉरवर्ड पास की लागत $O(\text{poly}(\chi))$ होती है। चूंकि इंटरपोलेशन के लिए केवल $O(n)$ मूल्यांकन आवश्यक हैं, इसलिए $n$ में ऑर्डर- $k$ इंटरैक्शन की गणना के लिए कुल जटिलता बहुपद (polynomial) हो जाती है।

मुख्य योगदान (Key Contributions)

एकीकृत प्रोब-इंटरपोलेशन योजना: $O(2^n)$ क्वेरीज़ के बिना, एक मल्टीलिनियर TN सरोगेट पर शापली मानों और $k$ -वे इंटरैक्शन की गणना के लिए एक सटीक एल्गोरिदम।
फीचर-मैप-एन्हांस्ड सरोगेट्स: यह ढांचा प्रदर्शित करता है कि कैसे सीखे गए फीचर लिफ्ट्स मल्टीलिनैरिटी को बनाए रखते हैं जो सटीक गणना के लिए आवश्यक है और साथ ही सरोगेट की निष्ठा (fidelity) में सुधार करते हैं।
सैद्धांतिक गारंटी (Theoretical Guarantees):
- सटीकता (Exactness): यह विधि फिट किए गए मल्टीलिनियर सरोगेट पर शापली मानों की सटीक गणना करती है।
- अनुमान त्रुटि (Approximation Error): मूल मॉडल के सापेक्ष त्रुटि सरोगेट की वर्स्ट-केस गठबंधन सन्निकटन त्रुटि ( $\epsilon$ ) द्वारा सीमित है। शापली मानों के लिए, $|\phi^g_i - \phi^f_i| \leq 2\epsilon$ ।
- व्यवहार्यता (Tractability): घातीय से बहुपद समय जटिलता $O(n \cdot \text{poly}(\chi) + n^2)$ में प्रमाणित कमी।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक मल्टीलिनियर फंक्शन और MLP टीचर्स का उपयोग करके वास्तविक दुनिया के UCI रिग्रेशन डेटासेट्स (Concrete, Diabetes, Energy) पर TN-SHAP का मूल्यांकन किया।

सिंथेटिक वैलिडेशन: सटीक मल्टीलिनियर फंक्शन पर, TN-SHAP ने सैद्धांतिक सटीकता प्राप्त की और रनटाइम मिलीसेकंड स्केल में रहा, जो KernelSHAP-IQ को कई गुना पीछे छोड़ देता है (उदाहरण के लिए, $n=10$ के लिए 3.5ms बनाम 18.7ms; $n=50$ के लिए 19.7ms बनाम 447.3ms)।
वास्तविक दुनिया की सटीकता: MLP टीचर्स के साथ UCI डेटासेट्स पर:
- TN-SHAP ने तुलनीय सटीकता के साथ KernelSHAP-IQ पर 25–1000× वॉल-क्लॉक स्पीडअप प्राप्त किया।
- प्रथम-क्रम ( $k=1$ ) एट्रिब्यूशन के लिए, TN-SHAP ने ग्राउंड ट्रुथ के साथ लगभग पूर्ण कोसाइन समानता (0.994) प्राप्त की।
- उच्च-क्रम इंटरैक्शन ( $k=2, 3$ ) के लिए, TN-SHAP ने प्रतिस्पर्धी सटीकता बनाए रखी जबकि सैंपलिंग-आधारित बेसलाइन वेरिएंस के कारण संघर्ष कर रहे थे या समान फिडेलिटी तक पहुँचने के लिए बहुत अधिक कंप्यूट समय की आवश्यकता थी।
रैंक एब्लेशन (Rank Ablation): प्रयोगों ने दिखाया कि जब टीचर का रैंक 16 था, तो $R^2 > 0.99$ के साथ सभी इंटरैक्शन ऑर्डर्स को रिकवर करने के लिए स्टूडेंट TN रैंक $r=5-6$ पर्याप्त था। कम रैंक उच्च-क्रम इंटरैक्शन को अंडरफिट करते हैं।
उच्च-आयामी स्थिरता (High-Dimensional Stability): उच्च-आयामी सिंथेटिक सेटिंग्स ( $D=50, 100$ ) में, TN-SHAP ने लीनियर-कॉस्ट क्वेरी बजट के तहत उच्च सरोगेट फिडेलिटी ( $R^2 > 0.95$ ) और मजबूत Top- $k$ फीचर रिकवरी बनाए रखी।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि TN-SHAP सटीक शापली गणना की सैद्धांतिक कठोरता और दक्षता की व्यावहारिक आवश्यकता के बीच के अंतर को पाटता है। एक मल्टीलिनियर टेंसर नेटवर्क के माध्यम से इसकी संरचनात्मक शक्ति का लाभ उठाते हुए, यह विधि:

एक घातीय गणना समस्या को कुछ संरचित मूल्यांकनों में बदल देती है।
संरचनात्मक गारंटी (रैंक बाउंड के माध्यम से) प्रदान करती है जो LIME जैसे अनकन्स्ट्रेंड लोकल सरोगेट मेथड्स में सामान्य फिडेलिटी मुद्दों को संबोधित करती है।
स्थानीय शापली स्पष्टीकरणों को वैश्विक एडिटिव स्ट्रक्चर (GAMs) के साथ एकीकृत करती है, क्योंकि एक ऑर्डर- $k$ सरोगेट को फिट करना संगत GAM टर्म्स से सटीक $k$ -SII गुणांकों को प्राप्त करता है।
सैंपलिंग-आधारित तरीकों के लिए एक स्केलेबल विकल्प प्रदान करता है, विशेष रूप से उच्च-क्रम इंटरैक्शन के लिए जहाँ सैंपलिंग वेरिएंस आमतौर पर उच्च होता है।

लेखक नोट करते हैं कि विधि का प्रदर्शन TN सरोगेट फिट की गुणवत्ता और फीचर मैप के चयन पर निर्भर करता है, लेकिन प्रयोगात्मक परिणाम बताते हैं कि वास्तविक अभ्यास में जटिल कोलिशनल स्ट्रक्चर को कैप्चर करने के लिए मध्यम फीचर लिफ्ट और टेंसर रैंक भी पर्याप्त हैं।