📊 statistics

Fast approximate estimation of conditional Shapley values when using a linear explainer

यह शोध पत्र तीन नई विधियों को प्रस्तुत करता है, जिसमें एक सटीक दृष्टिकोण और दो अनुमानित दृष्टिकोण शामिल हैं, जो रैखिक मॉडलों के लिए सभी उप-मॉडलों की संयुक्त रूप से गणना करके कंडीशनल शापली मानों (Shapley values) का तेजी से और सटीक रूप से अनुमान लगाने के लिए कंस्ट्रेंड गॉसियन मार्कोव रैंडम फील्ड सिद्धांत और स्पार्स मैट्रिक्स बीजगणित का लाभ उठाते हैं, जिससे सटीकता को बनाए रखते हुए या उसमें सुधार करते हुए मौजूदा क्रमिक या पुनरावृत्ति तकनीकों की तुलना में गणना समय में काफी कमी आती है।

मूल लेखक: Fredrik Lohne Aanes

प्रकाशित 2026-07-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Fredrik Lohne Aanes

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि किसी जटिल कंप्यूटर प्रोग्राम, जैसे कि ऋण स्वीकृति प्रणाली या चिकित्सा निदान उपकरण द्वारा कोई विशिष्ट भविष्यवाणी क्यों की गई थी। आप जानना चाहते हैं: "आपकी आयु ने कितना योगदान दिया? आपकी आय ने कितना योगदान दिया?" डेटा विज्ञान की दुनिया में, इसे "शापली वैल्यूज़" (Shapley values) ज्ञात करना कहा जाता है। इसे एक टीम प्रोजेक्ट की तरह समझें जहाँ हर किसी को एक ग्रेड मिलता है, लेकिन आपको यह गणना करने की आवश्यकता है कि प्रत्येक टीम सदस्य वास्तव में अंतिम स्कोर के लिए कितना श्रेय पाने का हकदार है। पेचीदा बात यह है कि ये टीम सदस्य (डेटा फीचर्स) अक्सर एक-दूसरे पर निर्भर होते हैं। यदि आप जानते हैं कि कोई लंबा है, तो आप अनुमान लगा सकते हैं कि वह उम्र में बड़ा है, इसलिए आप उन्हें अकेले नहीं देख सकते; आपको यह देखना होगा कि वे एक साथ मिलकर कैसे काम करते हैं।

इसे गणितीय रूप से करने के लिए, वैज्ञानिक एक "लीनियर एक्सप्लेनर" (linear explainer) का उपयोग करते हैं, जो अनिवार्य रूप से एक उपकरण है जो कई छोटे, सरल मॉडल बनाता है ताकि यह देखा जा सके कि विभिन्न सूचनाओं को जोड़ने या हटाने से भविष्यवाणी कैसे बदलती है। हालाँकि, एक बहुत बड़ी समस्या है: यदि आपके पास 20 अलग-अलग प्रकार की जानकारी है, तो संभावित संयोजनों (combinations) की संख्या बीस लाख ( $2^{20}$ ) से अधिक है। प्रत्येक संयोजन के लिए एक-एक करके मॉडल बनाने की कोशिश करना समुद्र तट पर रेत के हर एक कण को एक-एक करके उठाने और गिनने की कोशिश करने जैसा है। इसमें बहुत समय लगता है, और कंप्यूटर अक्सर अटक जाते हैं या उनकी मेमोरी खत्म हो जाती है। यह वह बाधा है जो जटिल AI भविष्यवाणियों को समझाने की प्रक्रिया को इतना धीमा और कठिन बना देती है।

फ्रेडरिक लोहने एनेस द्वारा लिखित यह शोध पत्र, इस गणना की समस्या को हल करने का एक चतुर नया तरीका पेश करता है। एक-एक करके लाखों मॉडल बनाने के बजाय, लेखक एक विशाल "सुपर-मॉडल" बनाने का सुझाव देते हैं जिसमें सभी छोटे मॉडल एक साथ समाहित हों, और इसके लिए "स्पार्स मैट्रिसेस" (sparse matrices - जो संख्याओं के ऐसे ग्रिड हैं जहाँ अधिकांश स्थान खाली शून्य होते हैं) से जुड़े कुछ विशेष गणितीय तरीकों का उपयोग किया जाता है। यह शोध पत्र इन मानों का तेजी से अनुमान लगाने के लिए तीन नई विधियाँ प्रस्तावित करता है। इनमें से दो "अनुमानित" (approximate) हैं, जिसका अर्थ है कि वे एक गणितीय शॉर्टकट का उपयोग करती हैं जिससे उत्तर लगभग पूरी तरह से सही मिलता है, जबकि तीसरी विधि "सटीक" (exact) है, जिसका अर्थ है कि यह बिना किसी शॉर्टकट के उत्तर को पूरी तरह से सटीक प्राप्त करती है।

लेखक ने इन नई विधियों का वर्तमान मानक सॉफ्टवेयर (जिसे shapr कहा जाता है) के विरुद्ध वास्तविक दुनिया के वयस्क आय के डेटा, सिम्युलेटेड डेटा और वैश्विक जीवन प्रत्याशा के आंकड़ों का उपयोग करके परीक्षण किया। परिणाम आश्चर्यजनक थे। उन मामलों में जहाँ पुराना सॉफ्टवेयर लगभग हर संभव संयोजन की जांच करने के कारण गणना करने में घंटों लगा रहा था, नए तरीकों ने यह काम सेकंडों या मिनटों में पूरा कर दिया। उदाहरण के लिए, वयस्क आय के डेटासेट पर, पुराने तरीके को लगभग 17 से 19 मिनट लगे, जबकि नए तरीकों को केवल 2.5 से 9 सेकंड लगे। यहाँ तक कि एक सिमुलेशन में जहाँ पुराना तरीका तेज़ था क्योंकि उसने केवल कुछ ही संयोजनों की जांच की थी, नए तरीकों ने 3 मिनट से कम समय में सभी 20 लाख संभावित संयोजनों की जांच करने में सफलता प्राप्त की।

शोध पत्र सुझाव देता है कि जबकि अनुमानित विधियाँ अविश्वसनीय रूप से तेज़ हैं, "एक्ज़ैक्ट ट्रांसफॉर्मेशन मेथड" (Exact transformation method) सबसे अच्छा विकल्प है क्योंकि इसमें समायोजन के लिए किसी 'ट्यूनिंग नॉब' की आवश्यकता नहीं होती है और यह अन्य विधियों जितनी ही सटीक परिणाम देती है। लेखक निष्कर्ष निकालते हैं कि इन नई तकनीकों का उपयोग करके, हम जटिल मॉडलों को बहुत तेज़ी से समझा सकते हैं, भले ही उनमें कई अलग-अलग चर (variables) हों, और ऐसा करते हुए सटीकता से कोई समझौता नहीं करना पड़ता। यह एक धीमी, मैनुअल गिनती की प्रक्रिया को एक हाई-स्पीड स्कैनर से बदलने जैसा है जो एक ही नज़र में पूरे समुद्र तट को देख लेता है।

तकनीकी सारांश: रैखिक व्याख्याकारों के साथ सशर्त शापली मानों का तीव्र अनुमानित आकलन

समस्या विवरण

यह शोध पत्र रैखिक प्रतिगमन मॉडल (linear regression models) के लिए सशर्त शापली मानों (conditional Shapley values) के आकलन से जुड़ी कम्प्यूटेशनल बाधा को संबोधित करता है जब सहचर (covariates) परस्पर निर्भर होते हैं। जबकि शापली मान किसी विशिष्ट भविष्यवाणी के लिए फीचर योगदान का खेल-सिद्धांत (game-theoretic) आधारित विवरण प्रदान करते हैं, सशर्त रूप से उनकी गणना करने के लिए सभी संभावित उपसमुच्चयों (coalitions) के लिए अपेक्षित मॉडल आउटपुट का अनुमान लगाना आवश्यक होता है।

$p$ भविष्यवक्ताओं वाले मॉडल के लिए, $2^p$ संभावित उपसमुच्चय होते हैं। shapr R-पैकेज के मौजूदा तरीके, जैसे कि Sequential और Iterative दृष्टिकोण, महत्वपूर्ण चुनौतियों का सामना करते हैं:

Sequential Estimation: इसके लिए $2^p$ अलग-अलग प्रतिगमन मॉडल फिट करने की आवश्यकता होती है, जो $p$ के बढ़ने पर कम्प्यूटेशनल रूप से अव्यवहार्य हो जाता है।
Iterative Estimation: यह अभिसरण मानदंड (convergence criterion) को पूरा करने तक उपसमुच्चयों का नमूना (sample) लेता है। हालांकि कम उपसमुच्चयों के मामले में यह तेज़ होता है, लेकिन कठिन मामलों में अभिसरण प्राप्त करने के लिए इसे अभी भी सभी $2^p$ उपसमुच्चयों के एक बड़े हिस्से की आवश्यकता हो सकती है, जिससे रनटाइम (घंटों में) सीक्वेंशियल विधि के समान ही लंबा हो जाता है।
Feature Dependence: मार्जिनल शापली मानों के विपरीत, सशर्त मानों को सहचरों के बीच निर्भरता संरचना को ध्यान में रखना चाहिए, जिसके लिए जटिल सशर्त अपेक्षा (conditional expectation) गणनाओं की आवश्यकता होती है।

लेखकों का लक्ष्य ऐसे तरीकों को विकसित करना है जो सभी $2^p$ उप-मॉडलों (submodels) के गुणांकों (coefficients) का एक साथ और तेजी से अनुमान लगा सकें, जो अंतर्निहित गणितीय संरचनाओं की विरलता (sparsity) का लाभ उठाते हैं।

कार्यप्रणाली (Methodology)

प्रस्तावित दृष्टिकोण सभी उप-मॉडलों के गुणांकों का संयुक्त रूप से अनुमान लगाने के लिए Constrained Gaussian Markov Random Field (GMRF) सिद्धांत और स्पार्स मैट्रिक्स बीजगणित (sparse matrix algebra) का उपयोग करता है। लेखक तीन विशिष्ट एल्गोरिदम निकालते हैं:

1. डायगोनल करेक्शन विधि (Diagonal Correction Method - अनुमानित)

यह विधि पूर्ण मॉडल के प्रिसिजन मैट्रिक्स ( $Q = X^T X$ ) को संशोधित करके बाधित प्रतिगमन (constrained regression) का अनुमान लगाती है।

तंत्र (Mechanism): एक बाधा लागू करने के लिए जहाँ एक विशिष्ट गुणांक शून्य है (अर्थात, फीचर को उपमॉडल से बाहर रखा गया है), प्रिसिजन मैट्रिक्स के संगत डायगोनल तत्व में एक बड़ा स्केलर मान $\kappa$ जोड़ा जाता है।
सैद्धांतिक आधार: वुडबरी मैट्रिक्स पहचान (Woodbury matrix identity) पर आधारित, $Q$ में $\kappa A^T A$ (जहाँ $A$ एक बाधा मैट्रिक्स है) जोड़ने से $\kappa \to \infty$ होने पर सशर्त सहप्रसरण मैट्रिक्स (conditional covariance matrix) का अनुमान मिलता है।
कार्यान्वयन: सभी $2^p$ मॉडलों के लिए एक संयुक्त बाधा मैट्रिक्स $A$ बनाया जाता है। विधि $(Q_F + \kappa A^T A)^{-1}m$ को हल करती है, जहाँ $Q_F$ एक ब्लॉक-डायगोनल मैट्रिक्स है जिसमें पूर्ण मॉडल का प्रिसिजन मैट्रिक्स $2^p$ बार दोहराया गया है।
ट्यूनिंग: इसके लिए एक ट्यूनिंग पैरामीटर $\kappa$ की आवश्यकता होती है, जिसे मूल प्रिसिजन मैट्रिक्स के सबसे बड़े आइगेनवैल्यू (eigenvalue) का $10^5$ गुना बताया गया है।

2. प्रोजेक्शन विधि (Projection Method - अनुमानित)

यह विधि पैरामीटर स्पेस को बाधित पैरामीटर्स को हटाने के लिए प्रोजेक्ट करती है।

तंत्र: एक प्रोजेक्शन मैट्रिक्स $Z = I - A^T A$ को प्रिसिजन मैट्रिक्स पर लागू किया जाता है। बाधित मॉडल को एक अंतर्निहित (intrinsic) GMRF के रूप में माना जाता है। संख्यात्मक स्थिरता (positive definiteness) सुनिश्चित करने के लिए, प्रोजेक्टेड प्रिसिजन मैट्रिक्स के डायगोनल में एक छोटा स्केलर $\epsilon$ जोड़ा जाता है ( $Z Q Z + \epsilon I$ )।
सैद्धांतिक आधार: जैसे-जैसे $\epsilon \to 0^+$ होता है, समाधान सटीक बाधित अनुमानों की ओर अभिसरित होता है।
कार्यान्वयन: $Z(Z Q_F Z + \epsilon I)^{-1} Z m$ को हल करता है।
ट्यूनिंग: इसके लिए एक छोटे ट्यूनिंग पैरामीटर $\epsilon$ (जैसे, $10^{-5}$ ) की आवश्यकता होती है, जिसे $Q$ के सबसे छोटे आइगेनवैल्यू के सापेक्ष छोटा लेकिन स्थिर चोलेस्की अपघटन (Cholesky decomposition) के लिए पर्याप्त बड़ा चुना जाता है।

3. सटीक रूपांतरण विधि (Exact Transformation Method - सटीक)

यह विधि बिना किसी अनुमान त्रुटि या ट्यूनिंग पैरामीटर के एक सटीक समाधान प्रदान करती है।

तंत्र: यह विधि समस्या को केवल गैर-शून्य (non-zero) पैरामीटर्स वाले निम्न-आयामी स्थान में बदलकर काम करती है।
कार्यान्वयन: केवल सक्रिय पैरामीटर्स को चुनने के लिए एक मैपिंग मैट्रिक्स $E$ बनाया जाता है। सिस्टम को $(E Q_F E^T)^{-1} E m$ के रूप में हल किया जाता है।
लाभ: यह बड़े पेनल्टी टर्म ( $\kappa$ ) या छोटे रेगुलाइजेशन टर्म ( $\epsilon$ ) की आवश्यकता को समाप्त करता है, जिससे संभावित संख्यात्मक अस्थिरता या अनुमानित पूर्वाग्रह (approximation bias) से बचा जा सकता है।

तीनों विधियाँ कुशलतापूर्वक हजारों मॉडलों के संयुक्त अनुमान को संभालने के लिए स्पार्स मैट्रिक्स बीजगणित (विशेष रूप से चोलेस्की अपघटन) का उपयोग करती हैं। संयुक्त प्रिसिजन मैट्रिक्स अत्यधिक स्पार्स (sparse) होता है क्योंकि मॉडल स्वतंत्र होते हैं (ब्लॉक-डायगोनल संरचना), और ऑफ-डायगोनल शून्य सशर्त स्वतंत्रता को दर्शाते हैं।

मुख्य योगदान

तीन नए एल्गोरिदम: शोध पत्र रैखिक प्रतिगमन में सभी उप-मॉडलों के संयुक्त अनुमान के लिए दो अनुमानित विधियों (Diagonal Correction, Projection) और एक सटीक विधि (Exact Transformation) को पेश करता है।
अभिसरण प्रमाण (Convergence Proofs): लेखक गणितीय प्रमाण प्रदान करते हैं जो यह दर्शाते हैं कि अनुमानित विधियाँ अपने संबंधित ट्यूनिंग पैरामीटर्स ( $\kappa \to \infty$ और $\epsilon \to 0^+$ ) के साथ वास्तविक सशर्त अनुमानों की ओर अभिसरित होती हैं।
कम्प्यूटेशनल दक्षता: स्पर्सिटी और संयुक्त अनुमान का लाभ उठाकर, ये विधियाँ गणना समय को घंटों (typcial of shapr) से घटाकर सेकंड या मिनटों में कर देती हैं, भले ही सभी $2^p$ उपसमुच्चयों की गणना की जा रही हो।
अनुभवजन्य सत्यापन (Empirical Validation): तीन डेटासेट्स: Adult Income, एक सिम्युलेटेड Gaussian डेटासेट, और WHO Life Expectancy डेटासेट पर shapr पैकेज (दोनों Sequential और Iterative संस्करण) के विरुद्ध व्यापक संख्यात्मक अध्ययन किए गए।

परिणाम

संख्यात्मक केस स्टडीज निम्नलिखित निष्कर्ष प्रदान करती हैं:

सटीकता (Accuracy): नई विधियों द्वारा उत्पादित शापली मान अनुमान, shapr में Sequential विधि (जिसे पूर्ण गणना के लिए ग्राउंड ट्रुथ के रूप में उपयोग किया गया है) के लगभग समान हैं।
- Adult dataset ( $p=11$ ) में, नई विधियों और Sequential विधि के बीच मीडियन एब्सोल्यूट एरर (MedAE) $10^{-9}$ के क्रम में था।
- Simulated dataset ( $p=21$ ) में, MedAE $10^{-7}$ से $10^{-5}$ के क्रम में था।
- WHO dataset ( $p=16$ ) में, MedAE $10^{-6}$ के क्रम में था।
गति (Speed):
- Adult Dataset: नई विधियों ने 2.5 से 9 सेकंड में काम किया, जबकि shapr (Sequential और Iterative) ने 17 से 19 मिनट लिए।
- Simulated Dataset: नई विधियों ने सभी $2^{21} \approx 2.1$ मिलियन मॉडलों का अनुमान लगाने में 1.4 से 2.5 मिनट लिए। shapr का Iterative विधि तेज़ था (6.48 सेकंड) लेकिन इसने केवल 200 उपसमुच्चयों का अनुमान लगाया, पूरे सेट का नहीं।
- WHO Dataset: नई विधियों ने 1.1 से -1.2 मिनट लिए। shapr की Sequential विधि ने 131 मिनट (2.2 घंटे) लिए, और Iterative विधि ने (पैरेलल) 16 मिनट या (सीरियल) 36 मिनट लिए।
स्केलेबिलिटी (Scalability): विधियों ने सिम्युलेटेड अध्ययन में मिनटों के भीतर बीस लाख से अधिक उप-मॉडलों का सफलतापूर्वक अनुमान लगाया। पहचाना गया प्राथमिक प्रतिबंध मेमोरी बाधा (Curse of Dimensionality) है जब $p$ मानक हार्डवेयर पर ~21 से अधिक हो जाता है, हालांकि लेखक नोट करते हैं कि इसे अधिक RAM या विशेष स्पार्स मैट्रिक्स पैकेज के साथ कम किया जा सकता है।

महत्व और दावे

शोध पत्र का दावा है कि प्रस्तावित विधियाँ सटीकता से समझौता किए बिना सशर्त शापली मान अनुमान के लिए कम्प्यूटेशनल दक्षता में पर्याप्त सुधार प्रदान करती हैं।

पूर्ण गणना में श्रेष्ठता: जब shapr की Iterative विधि को अभिसरण के लिए बड़ी संख्या में उपसमुच्चयों की आवश्यकता होती है (जैसा कि Adult और WHO डेटासेट में देखा गया), तो नई विधियाँ "काफी तेज़" हैं जबकि "समान या बेहतर सटीकता" बनाए रखती हैं।
व्यापक गणना (Comprehensive Enumeration): इटरेटिव दृष्टिकोण के विपरीत जो उपसमुच्चयों का नमूना लेता है, नई विधियाँ सभी $2^p$ उप-मॉडलों का पूर्ण गणना (enumeration) प्रदान करती हैं, जिससे यह सुनिश्चित होता है कि सैंपलिंग वेरिएंस के कारण कोई जानकारी खो न जाए।
सिफारिश: लेखक व्यावहारिक उपयोग के लिए Exact Transformation Method की सिफारिश करते हैं। हालांकि तीनों विधियाँ तुलनीय परिणाम देती हैं, लेकिन Exact विधि में कोई ट्यूनिंग पैरामीटर नहीं है, जिससे अनुमानित त्रुटि और हाइपरपैरामीटर चयन की आवश्यकता समाप्त हो जाती है।
भविष्य की क्षमता: लेखक सुझाव देते हैं कि इस कार्यप्रणाली को स्प्लाइन्स (जैसे, rms पैकेज से) को संभालने के लिए विस्तारित किया जा सकता है और पैरेललाइजेशन (जैसे, OpenMP के माध्यम से) रनटाइम को और कम कर सकता है, हालांकि वर्तमान कार्यान्वयन shapr के पैरेललाइज्ड संस्करण के साथ निष्पक्ष तुलना के लिए सीरियल निष्पादन (serial execution) पर निर्भर करता है।

शोध पत्र निष्कर्ष निकालता है कि ये विधियाँ मिश्रित सहचर प्रकारों वाले रैखिक मॉडल के लिए सशर्त शापली मानों की सटीक गणना को उन परिदृश्यों में भी व्यवहार्य बनाती हैं जहाँ यह पहले कम्प्यूटेशनल रूप से निषेध (prohibitive) था।