🤖 AI

Joint Distribution-Informed Shapley Values for Sparse Counterfactual Explanations

यह शोध पत्र COLA को पेश करता है, जो एक मॉडल-अज्ञेय (model-agnostic) पोस्ट-हॉक फ्रेमवर्क है जो काउंटरफैक्टुअल स्पष्टीकरणों को परिष्कृत करने के लिए ऑप्टिमल ट्रांसपोर्ट और शापली-आधारित एट्रिब्यूशन का लाभ उठाता है, जो भविष्यवाणी परिवर्तनों को बनाए रखते हुए और मूल इनपुट के निकटता सुनिश्चित करते हुए आवश्यक फीचर संपादन की संख्या को काफी कम कर देता है।

मूल लेखक: Lei You, Yijun Bian, Lele Cao

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lei You, Yijun Bian, Lele Cao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप बैंक के AI सिस्टम से ऋण (loan) स्वीकृत कराने की कोशिश कर रहे हैं। AI कहता है "नहीं।" आप पूछते हैं, " 'हाँ' पाने के लिए मुझे क्या बदलने की ज़रूरत है?"

AI आपको एक काउंटरफैक्चुअल स्पष्टीकरण (counterfactual explanation) देता है: "यदि आप अपनी आय में $50,000 की वृद्धि करते हैं, एक नई कार खरीदते हैं, अपनी नौकरी बदलते हैं और दूसरे शहर में बस जाते हैं, तो आपको स्वीकृति मिल जाएगी।"

तकनीकी रूप से सही होने के बावजूद, यह सलाह बेकार है। यह आपसे सब कुछ बदलने के लिए कह रहा है। आप रातों-रात नया शहर नहीं बस सकते या कार नहीं खरीद सकते। आपको एक वास्तविक, न्यूनतम योजना चाहिए: "बस अपनी आय में $5,000 की वृद्धि करें।"

यह पेपर एक नया टूल पेश करता है जिसे COLA (Counterfactuals with Limited Actions) कहा जाता है ताकि इस समस्या को ठीक किया जा सके। यह एक अव्यवस्थित, भारी-भरकम बदलावों की सूची को एक सरल, कार्रवाई योग्य (actionable) टू-डू लिस्ट में बदल देता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए यहाँ दिया गया है:

1. समस्या: "किचन का नवीनीकरण" बनाम "पेंट का काम"

वर्तमान AI विधियाँ अक्सर एक ऐसे ठेकेदार की तरह व्यवहार करती हैं जो, नल ठीक करने के लिए पूछे जाने पर, पूरा किचन तोड़ने और एक नया आइलैंड लगाने का निर्णय लेता है। वे एक ऐसा समाधान ढूंढ लेते हैं जो काम करता है, लेकिन वह बहुत ज़्यादा है। वे बहुत अधिक चीज़ों (आय, नौकरी, स्थान, कार) को बदल देते हैं जब केवल एक या दो में सुधार की आवश्यकता थी।

लक्ष्य "पेंट जॉब" समाधान खोजना है: परिवर्तनों का सबसे छोटा, सस्ता सेट जो अभी भी आपको बैंक से "हाँ" दिला सके।

2. समाधान: COLA (स्मार्ट एडिटर)

COLA एक "post-hoc" फ्रेमवर्क है। इसका मतलब है कि यह उस AI को नहीं बदलता जिसने आपको गलत सलाह दी थी; बल्कि यह एक स्मार्ट एडिटर के रूप में कार्य करता है जो AI की लंबी, अव्यवस्थित बदलावों की सूची को लेता है और उसे छाँटकर छोटा कर देता है।

यह दो मुख्य चरणों में काम करता है:

चरण A: "डांस पार्टनर" मैच (Optimal Transport)

कल्पना कीजिए कि आपके पास उन लोगों का एक समूह है जिन्हें अस्वीकार कर दिया गया (Factuals) और स्वीकृत लोगों का एक समूह है (Counterfactuals)।

पुरानी विधि: AI किसी अस्वीकृत व्यक्ति को किसी स्वीकृत व्यक्ति के साथ केवल इसलिए जोड़ सकता है क्योंकि वे एक ही कमरे में हैं। इससे अजीब सलाह मिलती है (जैसे, एक 20 वर्षीय छात्र को एक 60 वर्षीय CEO की आदतों को कॉपी करने के लिए कहना)।
COLA की विधि (Optimal Transport): COLA एक सख्त डांस इंस्ट्रक्टर की तरह कार्य करता है। यह प्रत्येक अस्वीकृत व्यक्ति के लिए परफेक्ट पार्टनर खोजने के लिए गणित का उपयोग करता है। यह पूछता है: "'स्वीकृत' समूह में इस विशिष्ट 'अस्वीकृत' व्यक्ति के लिए सबसे समान व्यक्ति कौन है?"
- यह 20 वर्षीय छात्र को 22 वर्षीय जूनियर कर्मचारी के साथ जोड़ता है जिसे स्वीकृत किया गया था।
- यह 60 वर्षीय CEO को एक रिटायर्ड एग्जीक्यूटिव के साथ जोड़ता है जिसे स्वीकृत किया गया था।
- यह क्यों मायने रखता है: समान लोगों को जोड़ने से, सलाह वास्तविक हो जाती है। आपको किसी अजनबी की नकल करने के लिए नहीं कहा जाता; बल्कि आपको अपने जैसे ही सफल व्यक्ति के समान छोटे बदलाव करने के लिए कहा जाता है।

चरण B: "शैपली स्कोरकार्ड" (p-SHAP)

एक बार जब पार्टनर्स मैच हो जाते हैं, तो हमें पता होना चाहिए कि वास्तव में क्या बदला है।

पुराना तरीका: कभी-कभी, AI केवल यह देखता है कि कौन सी विशेषताएं आम तौर पर महत्वपूर्ण हैं (जैसे, "आय हमेशा महत्वपूर्ण होती है!")। लेकिन शायद इस विशिष्ट व्यक्ति के लिए, आय मुद्दा नहीं है; बल्कि उनका ऋण-से-आय अनुपात (debt-to-income ratio) है।
COLA का तरीका (p-SHAP): यह एक विशेष स्कोरिंग सिस्टम है। यह विशिष्ट "डांस पार्टनर" जोड़ी को देखता है और गणना करता है कि प्रत्येक विशेषता ने सफलता में कितना योगदान दिया।
- यह कहता है: "इस विशिष्ट जोड़ी के लिए, आय में $5k की वृद्धि सफलता का 80% कारण थी। कार बदलने का योगदान 0% था।"
- इसके बाद यह उन शीर्ष परिवर्तनों को चुनता है जो सबसे अधिक लाभ (biggest bang for the buck) देते हैं।

3. परिणाम: न्यूनतम कार्य योजना (Minimal Action Plan)

COLA के काम करने के बाद, सलाह बदल जाती है:

"अपनी नौकरी बदलें, शहर बदलें, कार खरीदें और अपनी आय दोगुनी करें।"

से बदलकर:

"बस अपनी बचत में $2,000 की वृद्धि करें।"

मुख्य बातें

कम ही अधिक है (Less is More): प्रयोगों में, COLA ने अन्य विधियों के समान "हाँ" का परिणाम प्राप्त किया, लेकिन इसमें केवल 26% से 45% परिवर्तनों की आवश्यकता थी। इसने अनावश्यक चीज़ों को हटा दिया।
यह हर जगह काम करता है: इसे इस बात से फर्क नहीं पड़ता कि आप किस प्रकार का AI मॉडल उपयोग कर रहे हैं (न्यूरल नेटवर्क, डिसीजन ट्री, आदि) या मूल स्पष्टीकरण कैसे उत्पन्न किया गया था। यह बस आउटपुट को लेता है और उसे परिष्कृत करता है।
सैद्धांतिक गारंटी: गणित यह सिद्ध करता है कि COLA की परिष्कृत सलाह आपकी वर्तमान वास्तविकता से मूल, अव्यवस्थित सलाह की तुलना में कभी भी अधिक दूर नहीं होगी। यह एक सुरक्षित दांव है।

संक्षेप में

COLA को AI सलाह के लिए एक व्यक्तिगत स्टाइलिस्ट के रूप में समझें। यदि AI कहता है, "अच्छा दिखने के लिए, आपको नए कपड़ों, नए हेयरकट और एक नई कार की आवश्यकता है," तो COLA हस्तक्षेप करता है और कहता है, "वास्तव में, आपको बस अपनी शर्ट और टाई बदलने की आवश्यकता है। आप शानदार दिखेंगे, और आप बहुत सारे पैसे बचाएंगे।"

यह AI स्पष्टीकरण को कार्रवाई योग्य (actionable), वास्तविक और मानव-अनुकूल बनाता है।

यहाँ शोध पत्र "Joint Distribution-Informed Shapley Values for Sparse Counterfactual Explanations" (COLA), जो ICLR 2026 में एक कॉन्फ्रेंस पेपर के रूप में प्रकाशित हुआ है, का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र काउंटरफैक्टुअल स्पष्टीकरण (Counterfactual Explanations - CE) की एक महत्वपूर्ण सीमा को संबोधित करता है: मौजूदा विधियाँ अक्सर मॉडल के प्रेडिक्शन (prediction) को बदलने के लिए बहुत अधिक फीचर्स (features) में बदलाव का सुझाव देती हैं, जिससे स्पष्टीकरण की स्पष्टता और कार्यक्षमता (actionability) कम हो जाती है। जबकि फीचर एट्रिब्यूशन (Feature Attribution - FA) विधियाँ (जैसे शापली वैल्यूज़) महत्वपूर्ण फीचर्स की पहचान करती हैं, वे अक्सर CE से अलग होती हैं, जिससे उप-इष्टतम (suboptimal) या भ्रामक कार्य योजनाएं उत्पन्न होती हैं।

मुख्य समस्या को एक अनुकूलन कार्य (optimization task) के रूप में तैयार किया गया है:
एक तथ्यात्मक इंस्टेंस (factual instance) $x$ और एक लक्षित परिणाम (target outcome) $y^*$ दिया गया है, एक ऐसा काउंटरफैक्टुअल इंस्टेंस $z$ खोजें जो लक्ष्य प्राप्त करे और साथ ही फीचर संशोधनों की संख्या (sparsity) को न्यूनतम करे।
$\min_{c, z} D(f(z), y^*) \quad \text{s.t.} \quad D(z, x) \le \epsilon, \quad \sum c_{ik} \le C$
जहाँ $c$ फीचर परिवर्तनों के लिए एक बाइनरी इंडिकेटर है, और $C$ अधिकतम अनुमत परिवर्तन है। चुनौती इस विवेकी (discrete) स्पैरसिटी समस्या की NP-hard प्रकृति और एक ऐसे एकीकृत ढांचे (unified framework) के अभाव में निहित है जो बिना किसी कड़े अनुमानों (जैसे कि डिफरेंशिएबिलिटी) के विभिन्न CE जनरेटरों और मॉडल प्रकारों पर काम कर सके।

2. कार्यप्रणाली: COLA फ्रेमवर्क

लेखक COLA (COunterfactuals with Limited Actions) प्रस्तावित करते हैं, जो एक मॉडल- और जनरेटर-अज्ञेय (agnostic) पोस्ट-हॉक फ्रेमवर्क है। COLA किसी भी मौजूदा काउंटरफैक्टुअल सेट $r$ (जो किसी भी CE एल्गोरिदम द्वारा जनरेट किया गया हो) को एक नवीन एट्रिब्यूशन विधि जिसे p-SHAP कहा जाता है, का उपयोग करके एक स्पार्स सेट $z$ में परिष्कृत (refine) करता है।

यह फ्रेमवर्क चार मुख्य चरणों में कार्य करता है:

काउंटरफैक्टुअल जनरेशन (ACE): एक मनमाना CE एल्गोरिदम तथ्यात्मक डेटा $x$ के करीब काउंटरफैक्टुअल्स का एक सेट $r$ जनरेट करता है।
ऑप्टिमल ट्रांसपोर्ट (OT) कपलिंग: यह मान लेने के बजाय कि तथ्यात्मक (factuals) और काउंटरफैक्टुअल्स (counterfactuals) के बीच कोई रैंडम या निश्चित संरेखण (alignment) है, COLA ऑप्टिमल ट्रांसपोर्ट (OT) का उपयोग करके $x$ $x$ और $r$ $r$ के बीच एक संयुक्त वितरण (joint distribution/coupling) $p$ $p$ की गणना करता है।
- OT प्लान $p_{OT}$ , तथ्यात्मक और काउंटरफैक्टुअल वितरणों के बीच परिवहन लागत (feature modification distance) को न्यूनतम करता है।
- यह चरण "एलाइनमेंट समस्या" को हल करता है, यह निर्धारित करता है कि कौन सा काउंटरफैक्टुअल $r_j$ किस तथ्यात्मक $x_i$ के अनुरूप सबसे अच्छा है ताकि परिवर्तन की लागत को न्यूनतम किया जा सके।
p-SHAP एट्रिब्यूशन: लेखक p-SHAP नामक एक सामान्यीकृत शापली वैल्यू विधि पेश करते हैं।
- मानक शापली विधियों के विपरीत, जो एक रैंडम बेसलाइन या एक विशिष्ट काउंटरफैक्टुअल वितरण का उपयोग करती हैं, p-SHAP शापली गणना के लिए बैकग्राउंड वितरण को परिभाषित करने हेतु OT-व्युत्पन्न संयुक्त वितरण $p$ का उपयोग करता है।
- यह विभिन्न शापली विधियों (Baseline, Random, Counterfactual) को एक एकल ढांचे के तहत एकीकृत करता है जहाँ कपलिंग $p$ संरेखण (alignment) को निर्देशित करती है।
- सैद्धांतिक रूप से, p-SHAP तथ्यात्मक परिणाम और लक्ष्य के बीच $W_1$ (Wasserstein-1) डाइवर्जेंस के ऊपरी स्तर (upper bound) को न्यूनतम करता है, यह सुनिश्चित करता है कि चयनित फीचर्स लक्ष्य तक पहुँचने का सबसे कुशल मार्ग हैं।
स्पार्स एक्शन सिलेक्शन:
- शापली वैल्यूज़ को एक प्रोबेबिलिटी मैट्रिक्स $\phi$ बनाने के लिए नॉर्मलाइज़ किया जाता है।
- एक ग्रीडी सिलेक्शन प्रक्रिया $\phi$ के आधार पर $C$ फीचर इंडेक्स को सैंपल करती है ताकि यह निर्धारित किया जा सके कि किन फीचर्स को संशोधित करना है।
- इन फीचर्स के मानों को संरेखित काउंटरफैक्टुअल्स $r$ से प्राप्त वैल्यू असाइनमेंट स्ट्रैटेजी (जैसे $A_{max}^{Value}$ या $A_{avg}^{Value}$ ) का उपयोग करके अपडेट किया जाता है।

3. मुख्य योगदान

नवीन फ्रेमवर्क (COLA): पहला पोस्ट-हॉक फ्रेमवर्क जो किसी विशिष्ट CE जनरेटर या मॉडल आर्किटेक्चर से बंधे बिना व्यवस्थित रूप से CE को स्पैरसिटी (sparsity) के लिए परिष्कृत करता है।
p-SHAP विधि: एक नई शापली एट्रिब्यूशन विधि जो तथ्यात्मक और काउंटरफैक्टुअल वितरणों के बीच संरेखण को संभालने के लिए ऑप्टिमल ट्रांसपोर्ट को एकीकृत करती है। यह सैद्धांतिक रूप से गारंटी देता है कि परिष्कृत काउंटरफैक्टुअल्स मूल प्रस्तावों की तुलना में तथ्यात्मक $x$ से अधिक दूर नहीं जाएंगे।
सैद्धांतिक गारंटी:
- थ्योरम 4.1: सिद्ध करता है कि OT कपलिंग तथ्यात्मक और लक्षित परिणामों के बीच $W_1$ डाइवर्जेंस के ऊपरी स्तर को न्यूनतम करती है, जो फीचर मॉडिफिकेशन लागत को सीधे काउंटरफैक्टुअल प्रभाव से जोड़ती है।
- थ्योरम 5.1: सिद्ध करता है कि परिष्कृत काउंटरफैक्टुअल $z$ , संरेखित संदर्भ $q$ की तुलना में तथ्यात्मक $x$ के अधिक निकट (या बराबर) है, जिससे यह सुनिश्चित होता है कि कोई अतिरिक्त डाइवर्जेंस उत्पन्न नहीं हुआ है।
अज्ञेय डिज़ाइन (Agnostic Design): यह किसी भी ब्लैक-बॉक्स मॉडल और किसी भी CE जनरेटर (जैसे DiCE, AReS, KNN, GlobeCE) के साथ काम करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने 4 डेटासेट्स (HELOC, German Credit, Hotel Bookings, COMPAS), 12 मॉडल्स (लीनियर रिग्रेशन से लेकर डीप न्यूरल नेटवर्क तक) और 5 CE जनरेटर्स पर COLA का मूल्यांकन किया।

एक्शन रिडक्शन: COLA बेसलाइन CE विधियों द्वारा आवश्यक मूल फीचर एडिट्स के केवल 26%–45% का उपयोग करके समान लक्षित काउंटरफैक्टुअल प्रभाव (80–100%) प्राप्त करता है। कुछ परिदृश्यों में, यह एडिट्स को घटाकर 13% तक कम कर देता है।
p-SHAP की श्रेष्ठता: एब्लेशन स्टडीज (ablation studies) दिखाती हैं कि p-SHAP (OT कपलिंग का उपयोग करके) स्पैरसिटी और लक्षित प्रभाव प्राप्त करने के मामले में अन्य शापली वेरिएंट्स (Baseline, Random, और Standard Counterfactual Shapley) से काफी बेहतर प्रदर्शन करता है।
निकट-इष्टतमता (Near-Optimality): एक छोटे पैमाने के बेंचमार्क (German Credit) पर, जहाँ इष्टतम समाधान MILP (Mixed Integer Linear Programming) के माध्यम से निकाला गया था, COLA ने निकट-इष्टतम प्रदर्शन प्रदर्शित किया, जो NP-hard स्पैरसिटी समस्या को हल करने में इसकी प्रभावशीलता की पुष्टि करता है।
मजबूती (Robustness): यह विधि विभिन्न डाइवर्जेंस मेट्रिक्स (OT, MMD, Mean Difference) और मॉडल प्रकारों में लगातार प्रदर्शन करती है।

5. महत्व और प्रभाव

व्यावहारिक कार्यक्षमता (Practical Actionability): आवश्यक फीचर परिवर्तनों की संख्या को भारी मात्रा में कम करके, COLA काउंटरफैक्टुअल स्पष्टीकरणों को अंतिम उपयोगकर्ताओं (जैसे, ऋण आवेदक को स्वीकृत कराने के लिए कम वेरिएबल्स बदलने की आवश्यकता है) के लिए अधिक व्यावहारिक बनाता है।
सैद्धांतिक एकीकरण: यह फीचर एट्रिब्यूशन और काउंटरफैक्टुअल स्पष्टीकरण के बीच के अंतर को पाटता है, यह दिखाते हुए कि प्रभावी एट्रिब्यूशन के लिए उचित संरेखण (OT के माध्यम से) महत्वपूर्ण है।
सामान्य प्रयोज्यता (General Applicability): एक पोस्ट-हॉक फ्रेमवर्क के रूप में, इसे मौजूदा CE पाइपलाइनों में फिट किया जा सकता है, जिससे मूल मॉडल या CE जनरेटर को पुन: प्रशिक्षित (retraining) किए बिना उनके प्रदर्शन को बढ़ाया जा सकता है।
नैतिक विचार: शोध पत्र स्पष्ट रूप से नैतिक जोखिमों को संबोधित करता है, यह नोट करते हुए कि हालांकि COLA एडिट्स की संख्या को कम करता है, यह स्वाभाविक रूप से निष्पक्षता (fairness) या कारण वैधता (causal validity) की गारंटी नहीं देता है। यह उच्च-जोखिम वाले डोमेन में अपरिवर्तनीय गुणों (जैसे जाति, लिंग) पर प्रतिबंध और मानवीय निरीक्षण की आवश्यकता पर जोर देता है।

संक्षेप में, COLA "स्पार्स काउंटरफैक्टुअल्स" की समस्या के लिए एक गणितीय रूप से सुदृढ़, कुशल और लचीला समाधान प्रदान करता है, जो सबसे लागत-प्रभावी कार्य योजनाओं की ओर शापली वैल्यूज़ को निर्देशित करने के लिए ऑप्टिमल ट्रांसपोर्ट का लाभ उठाता है।