🤖 AI

PolySHAP: Extending KernelSHAP with Interaction-Informed Polynomial Regression

यह शोध पत्र PolySHAP प्रस्तुत करता है, जो फीचर इंटरैक्शन को बेहतर ढंग से कैप्चर करने के लिए उच्च-डिग्री बहुपद प्रतिगमन (higher-degree polynomial regression) का उपयोग करके KernelSHAP का विस्तार करता है, साथ ही यह पहला सैद्धांतिक प्रमाण भी प्रदान करता है कि पेयर्ड सैंपलिंग (paired sampling), सेकंड-ऑर्डर PolySHAP के समकक्ष है, जिससे इसकी अनुभवजन्य सफलता को न्यायसंगत ठहराया जा सके।

मूल लेखक: Fabian Fumagalli, R. Teal Witter, Christopher Musco

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fabian Fumagalli, R. Teal Witter, Christopher Musco

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: हमें इसकी आवश्यकता क्यों है?

कल्पना कीजिए कि आपके पास एक जटिल मशीन (जैसे एक मशीन लर्निंग मॉडल) है जो कोई भविष्यवाणी करती है, जैसे कि "यह ऋण स्वीकृत किया जाना चाहिए" या "यह छवि एक बिल्ली की है।" आप जानना चाहते हैं कि क्यों। कौन से विशिष्ट फीचर्स (जैसे आय, आयु, या पिक्सेल के रंग) ने उस निर्णय में सबसे अधिक योगदान दिया?

AI की दुनिया में, हम इस प्रश्न का उत्तर देने के लिए Shapley Values नामक एक गणितीय उपकरण का उपयोग करते हैं। Shapley Values को एक टीम के खिलाड़ियों (फीचर्स) के बीच "पुरस्कार" (भविकीवाणी) को निष्पक्ष रूप से विभाजित करने के तरीके के रूप में समझें, यह देखते हुए कि प्रत्येक ने टीम को जिताने में कितनी मदद की।

समस्या:
सटीक Shapley Value की गणना करना एक स्पोर्ट्स टीम पर खिलाड़ियों के हर संभव संयोजन को गिनने की कोशिश करने जैसा है ताकि यह देखा जा सके कि कौन सबसे महत्वपूर्ण है। यदि आपके पास 10 फीचर्स हैं, तो 1,000 से अधिक संयोजन हैं। यदि आपके पास 20 फीचर्स हैं, तो दस लाख से अधिक हैं। उन सभी की जांच करने में बहुत समय लगता है।

वर्तमान समाधान (KernelSHAP):
वर्तमान लोकप्रिय विधि, जिसे KernelSHAP कहा जाता है, एक स्मार्ट शॉर्टकट की तरह है। हर संयोजन की जांच करने के बजाय, यह खिलाड़ियों के कुछ यादृच्छिक (random) समूहों को चुनता है, देखता है कि वे कैसा प्रदर्शन करते हैं, और फिर बाकी का अनुमान लगाने के लिए डेटा के माध्यम से एक सीधी रेखा खींचता है। यह मान लेता है कि फीचर्स के बीच का संबंध सरल और योगात्मक (additive) है (जैसे केक में सामग्री जोड़ना: 1 कप चीनी + 2 कप मैदा = एक विशिष्ट स्वाद)।

सीमा:
वास्तविक जीवन हमेशा एक सीधी रेखा नहीं होता है। कभी-कभी, सामग्रियां अजीब तरीकों से आपस में क्रिया (interact) करती हैं। शायद चीनी और मैदा मिलकर केक बनाते हैं, लेकिन चीनी अकेले कुछ नहीं करती, और मैदा अकेले केवल धूल है। एक सीधी रेखा उस "जादुई संयोजन" (interaction) को नहीं पकड़ सकती।

नया समाधान: PolySHAP

लेखक PolySHAP पेश करते हैं। डेटा के माध्यम से एक सीधी रेखा खींचने के बजाय, PolySHAP एक घुमावदार, लहरदार रेखा (एक बहुपद/polynomial) खींचता है।

उपमा: कल्पना कीजिए कि आप धूप और पानी के आधार पर एक पौधे की ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं।
- KernelSHAP (रैखिक/Linear): यह मानता है कि अधिक धूप का मतलब हमेशा अधिक ऊंचाई है, और अधिक पानी का मतलब हमेशा अधिक ऊंचाई है, और वे बस आपस में जुड़ जाते हैं।
- PolySHAP (बहुपद/Polynomial): यह महसूस करता है कि शायद पौधा तभी लंबा होता है जब उसे धूप और पानी दोनों एक साथ मिलते हैं। यह उस "इंटरेक्शन" को पकड़ता है।

इन घुमावदार रेखाओं का उपयोग करके, PolySHAP समझ सकता है कि फीचर्स कभी-कभी अलग होने के बजाय एक साथ बेहतर काम करते हैं। पेपर यह सिद्ध करता है कि यह विधि पुराने सीधे-रेखा वाले तरीके की तुलना में भविष्यवाणी का अधिक सटीक "निष्पक्ष विभाजन" देती है।

"जादुई ट्रिक": Paired Sampling

पेपर पुराने तरीके में उपयोग की जाने वाली एक लोकप्रिय ट्रिक की भी जांच करता है जिसे Paired Sampling कहा जाता है।

ट्रिक: केवल यादृच्छिक समूहों को चुनने के बजाय, आप एक समूह (जैसे, {धूप, पानी}) चुनते हैं और तुरंत उसका विपरीत (जैसे, {कोई धूप नहीं, पानी नहीं}) चुनते हैं। आप उन्हें हमेशा जोड़ों में देखते हैं।
रहस्य: सभी जानते थे कि यह ट्रिक परिणामों को बेहतर बनाती है, लेकिन कोई नहीं जानता था कि गणितीय रूप से यह इतनी अच्छी तरह से क्यों काम करती है।

पेपर की खोज:
लेखकों ने एक आश्चर्यजनक संबंध सिद्ध किया: Paired Sampling वास्तव में PolySHM के समान ही काम कर रहा है, जो एक विशिष्ट प्रकार के कर्व (2nd-degree polynomial) का उपयोग करता है, भले ही वह वास्तव में कर्व न बना रहा हो।

रूपक: यह एक जादूगर की तरह है जो टोपी से खरगोश प्रकट करता है। सभी को लगा कि जादूगर बस टोपी से खरगोश निकाल रहा है (एक भाग्यशाली अनुमान)। लेखकों ने सिद्ध किया कि जादूगर वास्तव में एक छिपे हुए मैकेनिकल ट्रैपडोर (2nd-degree polynomial तर्क) का उपयोग कर रहा था ताकि खरगोश प्रकट हो सके।
परिणाम: यही कारण है कि "Paired Sampling" की ट्रिक इतने वर्षों से इतनी सफल रही है। यह गुप्त रूप से उन "इंटरेक्शन" प्रभावों को पकड़ रहा था, बस बिना अतिरिक्त गणितीय लागत के।

उन्होंने वास्तव में क्या पाया?

बेहतर सटीकता: जब उन्होंने विभिन्न डेटासेट्स (जैसे घर की कीमतों की भविष्यवाणी करना, बीमारियों का निदान करना, या छवियों की पहचान करना) पर PolySHAP का परीक्षण किया, तो इसने मानक विधि की तुलना में लगातार अधिक सटीक स्पष्टीकरण दिए, विशेष रूप से जब उन्होंने गणित को अधिक जटिल इंटरैक्शन (जैसे 3-वे या 4-वे संयोजन) को देखने की अनुमति दी।
"मुफ्त" अपग्रेड: उन्होंने दिखाया कि यदि आप पुराने तरीके के साथ "Paired Sampling" ट्रिक का उपयोग करते हैं, तो आपको नए "2nd-degree" PolySHAP विधि के समान सटीकता मिलती है, लेकिन आपको कर्व फिट करने का अतिरिक्त काम नहीं करना पड़ता है।
कब क्या उपयोग करें:
- यदि आप केवल एक त्वरित, ठीक-ठाक उत्तर चाहते हैं, तो Paired Sampling के साथ पुराना तरीका बेहतरीन है।
- यदि आपको सबसे सटीक उत्तर चाहिए और आपके पास कंप्यूटिंग पावर है, तो उच्च-डिग्री कर्व्स (3 या 4 फीचर्स को एक साथ इंटरैक्ट करते हुए देखना) के साथ PolySHAP का उपयोग करना विजेता है।

सारांश

यह पेपर PolySHAP को पेश करता है, जो AI निर्णयों को समझाने का एक नया तरीका है जो फीचर्स के बीच "टीम वर्क" की तलाश करता है, न कि केवल व्यक्तिगत योगदान की। यह सिद्ध करता है कि Paired Sampling नामक एक लोकप्रिय शॉर्टकट वास्तव में इस नए तरीके का भारी काम गुप्त रूप से कर रहा था। esenciaतः, उन्होंने हमें AI मॉडल के भीतर जटिल इंटरैक्शन को नेविगेट करने के लिए एक बेहतर मानचित्र दिया है और समझाया है कि कैसे एक विशिष्ट दिशा-सूचक यंत्र (Paired Sampling) इतने समय से सही दिशा में संकेत दे रहा था।

तकनीकी सारांश: PolySHAP – इंटरैक्शन-इन्फॉर्म्ड पॉलिनॉमियल रिग्रेशन के साथ KernelSHAP का विस्तार

समस्या विवरण

शैपली वैल्यूज (Shapley values) व्याख्यात्मक एआई (XAI) में एक केंद्रीय गेम-थ्योरेटिक टूल हैं, जो किसी मॉडल के प्रेडिक्शन को उसके इनपुट फीचर्स के प्रति एट्रिब्यूट (attribute) करने के लिए उपयोग किए जाते हैं। हालाँकि, सटीक शैपली वैल्यूज की गणना करने के लिए सभी $2^d$ संभावित फीचर सबसेट्स पर मॉडल का मूल्यांकन करना आवश्यक है, जो $d$ फीचर्स वाले बड़े मॉडल्स के लिए कम्प्यूटेशनल रूप से अव्यवहार्य (infeasible) है।

KernelSHAP (Lundberg & Lee, 2017) कुशलतापूर्वक शैपली वैल्यूज का अनुमान लगाने के लिए एक अग्रणी विधि के रूप में उभरा है। यह एक वेटेड लीस्ट-स्क्वेयर्स रिग्रेशन (weighted least-squares regression) के रूप में कोऑपरेटिव गेम $\nu$ को एक लीनियर फंक्शन (linear function) के रूप में एप्रोक्सिमेट करता है, जिसे रैंडम फीचर सबसेट्स के सैंपल पर फिट किया जाता है। प्रभावी होने के बावजूद, यह लीनियर एप्रोक्सिमेशन स्वाभाविक रूप से फीचर एडिटिविटी (feature additivity) को मानता है, जिससे यह फीचर्स के बीच नॉन-लीनियर इंटरैक्शन (non-linear interactions) को पकड़ने में विफल रहता है। फलस्वरूप, जब मूल गेम में महत्वपूर्ण उच्च-क्रम के इंटरैक्शन (higher-order interactions) मौजूद होते हैं, तो KernelSHAP सब-ऑप्टिमल अनुमान दे सकता है।

कार्यप्रणाली: PolySHAP

लेखक PolySHAP का प्रस्ताव करते हैं, जो KernelSHAP का एक सामान्यीकरण (generalization) है, जो गेम $\nu$ को लीनियर फंक्शन के बजाय उच्च-डिग्री पॉलिनॉमियल्स (higher-degree polynomials) का उपयोग करके एप्रोक्सिमेट करता है। यह दृष्टिकोण स्पष्ट रूप से नॉन-लीनियर फीचर इंटरैक्शन को मॉडल करता है।

मुख्य तंत्र (Core Mechanism)

इंटरैक्शन-इन्फॉर्म्ड रिप्रेजेंटेशन: लीनियर मॉडल $\sum \phi_i \mathbb{1}[i \in S]$ को फिट करने के बजाय, PolySHAP बाइनरी फीचर इंडिकेटर्स $\mathbb{1}[i \in S]$ पर एक डिग्री- $k$ का पॉलिनॉमियल फिट करता है। इस एप्रोक्सिमेशन में एक "इंटरैक्शन फ्रंटियर" $\mathcal{I}$ शामिल है, जो इंटरैक्शन टर्म्स (दो या अधिक फीचर्स के सबसेट्स) का एक उपसमुच्चय (subset) है।
$\hat{\nu}(S) \approx \sum_{T \in \mathcal{D} \cup \mathcal{I}} \phi_T \prod_{j \in T} \mathbb{1}[j \in S]$
जहाँ $\mathcal{D}$ सिंगल फीचर्स को और $\mathcal{I}$ इंटरैक्शन टर्म्स को दर्शाता है।
रिग्रेशन फॉर्मूलेशन: PolySHAP एक वेटेड लीस्ट-स्क्वेयर्स समस्या को हल करता है जो KernelSHAP के समान है, लेकिन इसमें एक विस्तारित डिज़ाइन मैट्रिक्स (expanded design matrix) होता है जिसमें मुख्य प्रभावों (main effects) और चयनित इंटरैक्शन टर्म्स दोनों के लिए कॉलम होते हैं। इसका उद्देश्य सैंपल किए गए गेम वैल्यूज $\nu(S_\ell)$ और पॉलिनॉमियल एप्रोक्सिमेशन के बीच वेटेड $\ell_2$ लॉस को मिनिमाइज करना है।
शैपली वैल्यूज का निष्कर्षण (Extraction of Shapley Values): एक प्रमुख सैद्धांतिक परिणाम (Theorem 4.3) यह प्रदर्शित करता है कि मूल गेम की शैपली वैल्यूज को पॉलिनॉमियल एप्रोक्सिमेशन के गुणांकों (coefficients) से सीधे प्राप्त किया जा सकता है। विशेष रूप से, फीचर $i$ के लिए शैपली वैल्यू मुख्य प्रभाव $\phi_i$ और उन सभी इंटरैक्शन टर्म्स के गुणांकों का योग है जिनमें $i$ शामिल है, उन्हें उन इंटरैक्शन सेट्स के आकार से विभाजित किया जाता है:
$\phi_i^{SV} = \phi_i + \sum_{S \in \mathcal{I}: i \in S} \frac{\phi_S}{|S|}$
सैंपलिंग रणनीतियाँ: यह विधि मानक सैंपलिंग और पेयर्ड सैंपलिंग (सबसेट्स $S$ और उनके कॉम्प्लीमेंट्स $D \setminus S$ को सैंपल करना) का समर्थन करती है। लेखक अनुमान की गुणवत्ता में सुधार के लिए लीवरेज स्कोर सैंपलिंग (leverage score sampling) का उपयोग करते हैं, और नोट करते हैं कि उच्च-क्रम के इंटरैक्शन के लिए, ऑर्डर-1 लीवरेज स्कोर (सबसेट साइज के ऊपर यूनिफॉर्म) व्यवहार में अच्छा प्रदर्शन करते हैं।

प्रमुख योगदान

1. सैद्धांतिक निरंतरता और विस्तार (Theoretical Consistency and Extension)

पेपर यह सिद्ध करता है कि PolySHAP शैपली वैल्यूज के कंसिस्टेंट (consistent) अनुमान प्रदान करता है। जैसे-जैसे नमूनों की संख्या $m$ कुल सबसेट्स $2^d$ के करीब पहुँचती है, PolySHчески अनुमान सटीक रूप से वास्तविक शैपली वैल्यूज की ओर अभिसरित (converge) होते हैं (Theorem 4.3)। यह कुछ ट्री-आधारित एप्रोक्सिमेशन विधियों (जैसे, RegressionMSR) के विपरीत है जिन्हें निरंतरता प्राप्त करने के लिए अतिरिक्त रिग्रेशन एडजस्टमेंट स्टेप्स की आवश्यकता होती है।

2. पेयर्ड सैंपलिंग और 2-PolySHAP की सैद्धांतिक समानता

एक प्रमुख सैद्धांतिक योगदान यह प्रमाण है कि KernelSHAP पेयर्ड सैंपलिंग के साथ गणितीय रूप से 2-PolySHAP के समान है (Theorem 5.1)।

जब सबसेट्स को जोड़ों (pairs) में सैंपल किया जाता है ( $S$ और $D \setminus S$ ), तो KernelSHAP का लीनियर रिग्रेशन सॉल्यूशन ठीक वही शैपली वैल्यू एप्रोक्सिमेशन देता है जो एक सेकंड-ऑर्डर पॉलिनॉमियल रिग्रेशन (2-PolySHAP) देता है।
यह निष्कर्ष पेयर्ड सैंपलिंग की एम्पिरिकल सफलता के लिए पहला मजबूत सैद्धांतिक औचित्य प्रदान करता है, जो यह समझाता है कि यह स्पष्ट रूप से डिग्री-2 पॉलिनॉमियल को फिट किए बिना ही सभी सेकंड-ऑर्डर इंटरैक्शन को कैसे कैप्चर कर लेता है।

3. एम्पिरिकल प्रदर्शन (Empirical Performance)

15 लोकल एक्सप्लेनेशन गेम्स (टेबुलर, इमेज और लैंग्वेज डोमेन को कवर करते हुए) में व्यापक प्रयोगों से पता चलता है कि:

उच्च-क्रम सटीकता (Higher-order accuracy): यदि सैंपलिंग बजट पर्याप्त है, तो पॉलिनॉमियल डिग्री बढ़ाने (जैसे, 3-PolySHAP) से KernelSHAP (1-PolySHअप) और परम्यूटेशन सैंपलिंग की तुलना में एप्रोक्सिमेशन क्वालिटी (MSE, Precision@5, और Spearman correlation द्वारा मापा गया) में लगातार सुधार होता है।
पेयर्ड सैंपलिंग दक्षता: पेयर्ड सैंपलिंग के तहत, KernelSHAP का प्रदर्शन 2-PolySHAP के तुलनीय होता है, जो सैद्धांतिक समानता की पुष्टि करता है।
स्टेट-ऑफ-द-आर्ट परिणाम: कम-से-मध्यम आयामी (low-to-moderate dimensional) सेटिंग्स में, PolySHAP (विशेष रूप से 3-PolySHAP) अक्सर अन्य बेसलाइन्स, जिनमें RegressionMSR (जो XGBoost एप्रोक्सिमेशन पर निर्भर है) और SVARM शामिल हैं, से बेहतर प्रदर्शन करता है।

महत्व और दावे

पेपर का दावा है कि यह व्यापक रूप से उपयोग किए जाने वाले KernelSHAP फ्रेमवर्क का एक सिद्धांत-आधारित विस्तार प्रदान करता है। लीनियर से पॉलिनॉमियल एप्रोक्सिमेशन की ओर बढ़कर, PolySHAP फीचर इंटरैक्शन को अनदेखा करने की सीमा को संबोधित करता है, जिससे जटिल मॉडल्स के लिए अधिक सटीक स्पष्टीकरण मिलते हैं।

महत्वपूर्ण रूप से, यह कार्य ह्यूरिस्टिक प्रथाओं और सिद्धांत के बीच के अंतर को पाटता है। यह सिद्ध करके कि लोकप्रिय "पेयर्ड सैंपलिंग" ह्यूरिस्टिक, सेकंड-ऑर्डर इंटरैक्शन मॉडलिंग के समान है, लेखक यह ठोस आधार प्रदान करते हैं कि यह सैंपलिंग रणनीति व्यवहार में इतनी अच्छी क्यों काम करती है। लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि उच्च-क्रम के इंटरैक्शन सटीकता में सुधार करते हैं, लेकिन उन्हें बड़े सैंपलिंग बजट की आवश्यकता होती है, और बहुत उच्च-आयामी सेटिंग्स ( $d \ge 60$ ) में, इंटरैक्शन टर्म्स के कॉम्बिनेटोरियल विस्फोट के कारण लाभ सीमित हो जाते हैं।

पेपर निष्कर्ष निकालता है कि PolySHAP शैपली वैल्यू एस्टीमेशन के लिए एक मजबूत, कंसिस्टेंट और एम्पिरिकली श्रेष्ठ तरीका है, विशेष रूप से तब जब मूल गेम में नॉन-लीनियर फीचर इंटरैक्शन शामिल हों।