📊 statistics

Local MDI+: Local Feature Importances for Tree-Based Models

यह शोध पत्र Local MDI+ (LMDI+) को प्रस्तुत करता है, जो एक नवीन विधि है जो वैश्विक MDI+ फ्रेमवर्क का विस्तार करती है ताकि ट्री-आधारित मॉडलों के लिए स्थिर, संरचना-जागरूक स्थानीय फीचर महत्व प्रदान किया जा सके, जो इंस्टेंस-विशिष्ट भविष्य कहने वाले फीचर्स की पहचान करने में मौजूदा बेसलाइनों से बेहतर प्रदर्शन करता है और काउंटरफैक्चुअल जनरेशन जैसे उन्नत व्याख्यात्मकता उपयोग के मामलों को सक्षम बनाता है।

मूल लेखक: Zhongyuan Liang, Zachary T. Rewolinski, Abhineet Agarwal, Tiffany M. Tang, Bin Yu

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhongyuan Liang, Zachary T. Rewolinski, Abhineet Agarwal, Tiffany M. Tang, Bin Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, जटिल रोबोट (एक "ट्री-बेस्ड मॉडल" जैसे कि रैंडम फॉरेस्ट) है जो घरों की कीमतों या चिकित्सा निदान जैसी चीजों के बारे में भविष्यवाणी करता है। आप जानते हैं कि रोबोट अनुमान लगाने में अच्छा है, लेकिन यह थोड़ा "ब्लैक बॉक्स" जैसा है। आप जानना चाहते हैं: "इस रोबोट ने इस विशेष व्यक्ति के लिए यह विशिष्ट अनुमान क्यों लगाया?"

यहीं पर लोकल फीचर इम्पॉर्टेंस (LFI) काम आता है। यह रोबोट से यह पूछने जैसा है कि केक मीठा होने के पीछे रेसिपी के कौन से विशिष्ट सामग्रियां (ingredients) जिम्मेदार हैं।

वर्तमान विधियों के साथ समस्या

वर्तमान में, रोबोट से "क्यों?" पूछने के सबसे लोकप्रिय तरीके LIME और TreeSHAP जैसे हैं। शोध पत्र का तर्क है कि ये विधियाँ एक अनाड़ी जासूस की तरह हैं:

वे चीज़ों को हिलाकर अंदाज़ा लगाते हैं: वे एक भविष्यवाणी को समझाने के लिए डेटा के साथ रैंडम तरीके से छेड़छाड़ (perturbations) करते हैं और देखते हैं कि रोबलेट कैसे प्रतिक्रिया देता है। यह कार के इंजन के शोर का पता लगाने के लिए उसे हथौड़े से मारते रहने जैसा है और फिर शोर सुनने जैसा है।
वे अस्थिर हैं: यदि आप जासूस से एक ही सवाल दो बार पूछते हैं, तो वे आपको दो अलग उत्तर दे सकते हैं क्योंकि उनकी "रैंडम शेकिंग" थोड़ी अलग थी।
वे वास्तविक संकेत (signal) को मिस कर देते हैं: कभी-कभी वे असली सामग्रियों के बजाय गलत चीजों (शोर/noise) को दोष देते हैं।

नया समाधान: Local MDI+

लेखक एक नई विधि प्रस्तावित करते हैं जिसे Local MDI+ कहा जाता है। इसे एक मास्टर आर्किटेक्ट के रूप में सोचें जो केवल अंदाज़ा नहीं लगाता; बल्कि वह रोबोट के वास्तविक ब्लूप्रिंट (नक्शे) को देखता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

ब्लूप्रिंट (द ट्री स्ट्रक्चर): अंदाज़ा लगाने के बजाय, Local MDI+ रोबोट के मस्तिष्क के भीतर झांकता है। यह देखता है कि निर्णय लेने के लिए रोबोट किन निर्णय वृक्षों (decision trees/flowcharts) का उपयोग करता है।
अनुवाद (लीनियर रिग्रेशन): शोध पत्र ने एक चतुर ट्रिक खोजी है: आप रोबोट के जटिल निर्णय वृक्ष को एक सरल गणितीय समीकरण (एक लीनियर मॉडल) में बदल सकते हैं। कल्पना कीजिए कि एक जटिल, घुमावदार भूलभुलैया को देखने के बाद आपको एहसास होता है कि वह वास्तव में एक सीधी रेखा है यदि आप उसे सही कोण से देखें।
"आउट-ऑफ-बैग" सुरक्षा जाल: रोबोट को बहुत सारे डेटा पर प्रशिक्षित किया जाता है। आमतौर पर, इसका परीक्षण उसी डेटा पर किया जाता है जिससे इसने सीखा है, जो कि एक छात्र द्वारा उन्हीं प्रश्नों के टेस्ट देने जैसा है जिन्हें उसने रट लिया है। Local MDI+ एक विशेष "आउट-ऑफ-बैग" तकनीक का उपयोग करता है, जहाँ यह रोबोट का परीक्षण उस डेटा पर करता है जिसे इसने याद नहीं किया है। यह रोबोट को नकल करने से रोकता है और एक सच्चा स्कोर देता है कि वास्तव में क्या महत्वपूर्ण है।
परिणाम: रोबोट के आंतरिक मानचित्र के साथ इस "सुरक्षा जाल" गणित को जोड़कर, Local MDI+ आपको सटीक रूप से बता सकता है कि इस विशिष्ट व्यक्ति के लिए कौन से फीचर्स महत्वपूर्ण थे, बिना डेटा को रैंडम तरीके से हिलाए बिना।

यह बेहतर क्यों है? (पेपर के दावे)

शोध पत्र ने इस नई विधि का पुराने तरीकों (LIME, TreeSHAP, और Local MDI) के विरुद्ध 12 वास्तविक दुनिया के डेटासेट्स (जैसे हाउसिंग डेटा और मेडिकल डेटा) पर परीक्षण किया। यहाँ उनके निष्कर्ष दिए गए हैं:

यह वास्तविक सुराग ढूंढता है: जब शोधकर्ताओं ने नकली डेटा पर परीक्षण किया जहाँ उन्हें उत्तर पता था, तो Local MDI+ वास्तविक "सिग्नल" फीचर्स को खोजने और "नॉइज़" को अनदेखा करने में बहुत बेहतर था। यह एक ऐसे जासूस की तरह था जो छाया के आधार पर अंदाज़ा लगाने के बजाय वास्तव में उंगलियों के निशान ढूंढ लेता है।
यह सुसंगत (Consistent) है: यदि आप अलग-अलग रैंडम सीड्स के साथ रोबोट को 100 बार चलाते हैं, तो Local MDI+ हर बार महत्वपूर्ण फीचर्स की एक ही रैंकिंग देता है। पुराने तरीके अपना मन बदल लेते थे। यह भरोसे के लिए महत्वपूर्ण है; आप नहीं चाहेंगे कि डॉक्टर का निदान केवल इसलिए बदल जाए क्योंकि कंप्यूटर रीस्टार्ट हुआ था।
यह अस्त-व्यस्त डेटा को संभालता है: जब फीचर्स अत्यधिक सह-संबंधित (correlated) होते हैं (जैसे "इंच में ऊंचाई" और "सेंटिमीटर में ऊंचाई"), तो पुराने तरीके भ्रमित हो जाते हैं और गलत चीज़ को दोष देते हैं। Local MDI+ शांत रहता है और महत्वपूर्ण चीज़ों को सही ढंग से रैंक करता है।
यह "क्या-अगर" (What-If) सवालों के लिए काम करता है: पेपर ने दिखाया कि Local MDI+ "काउंटरफैक्चुअल" (counterfactuals) खोजने में बेहतर है। इसका मतलब है कि यदि कोई ऋण (loan) अस्वीकार कर दिया गया था, तो Local MDI+ बता सकता है कि स्वीकृत होने के लिए आवश्यक सबसे छोटा, सबसे वास्तविक बदलाव क्या है (जैसे, "आय में $500 की वृद्धि करें" न कि "अपना नाम बदलें")। यह प्रतिरोध के सबसे आसान मार्ग को खोज लेता है।
यह छिपे हुए समूहों को ढूंढता है: मियामी हाउसिंग डेटा के एक केस स्टडी में, इस पद्धति ने घरों को भौगोलिक और वित्तीय रूप से सार्थक पड़ोस (neighborhoods) में वर्गीकृत किया। इसने पाया कि एक क्लस्टर के घर इसलिए सस्ते थे क्योंकि वे छोटे और दूर थे, जबकि दूसरा क्लस्टर इसलिए महंगा था क्योंकि वे बहुत बड़े थे, भले ही वे समान क्षेत्रों में थे।

निचोड़ (The Bottom Line)

Local MDI+ ट्री-बेस्ड AI मॉडल के निर्णय लेने के तरीके को समझाने के लिए एक नया उपकरण है। चीज़ों को रैंडम तरीके से तोड़ने के बजाय, यह मॉडल की आंतरिक संरचना को देखता है, एक स्मार्ट गणितीय अनुवाद का उपयोग करता है, और अपने काम की जांच उस डेटा पर करता है जिसे उसने पहले नहीं देखा है। परिणाम एक ऐसा स्पष्टीकरण है जो वर्तमान लोकप्रिय विधियों की तुलना में अधिक सटीक, अधिक स्थिर और अधिक विश्वसनीय है।

नोट: शोध पत्र स्पष्ट रूप से उल्लेख करता है कि इसका कार्यान्वयन imodels पैकेज में उपलब्ध है और यह रैंडम फॉरेस्ट और ग्रेडिएंट बूस्टिंग मॉडल के साथ काम करता है। यह दावा नहीं करता है कि यह डीप लर्निंग मॉडल या सामान्य उदाहरणों के अलावा विशिष्ट क्लिनिकल परिणामों पर काम करता है।

तकनीकी सारांश: लोकल MDI+ (LMDI+)

समस्या विवरण

ट्री-आधारित एंसेम्बल्स (ensembles), जैसे कि रैंडम फॉरेस्ट्स (RFs) और ग्रेडिएंट बूस्टिंग, अपनी भविष्यवाणात्मक प्रदर्शन और गणनात्मक दक्षता के कारण सारणीबद्ध डेटा (tabular data) के लिए अत्याधुनिक बने हुए हैं। फलस्वरूप, उन्हें स्वास्थ्य सेवा और आपराधिक न्याय जैसे उच्च-दांव वाले क्षेत्रों में व्यापक रूप से तैनात किया जाता है, जिससे विश्वसनीय स्थानीय व्याख्याओं (local interpretations) की आवश्यकता होती है।

वर्तमान स्थानीय फीचर महत्व (LFI) विधियाँ, जैसे कि LIME और TreeSHAP, महत्वपूर्ण सीमाओं का सामना करती हैं:

परटर्बेशन (Perturbations) पर निर्भरता: ये मॉडल-अज्ञेयवादी (model-agnostic) दृष्टिकोण मॉडल के व्यवहार का अनुमान लगाने के लिए रैंडम परटर्बेशन या फीचर परम्यूटेशन पर निर्भर करते हैं। यह मॉडल की आंतरिक संरचना की अनदेखी करता है, जिससे अस्थिर व्याख्याएँ होती हैं और डेटा जनरेटिंग प्रोसेस (DGPs) में वास्तविक सिग्नल फीचर्स को पहचानने में विफलता होती है।
अस्थिरता: मौजूदा विधियाँ अक्सर विभिन्न रैंडम सीड्स के साथ बार-बार मॉडल फिट करने पर असंगत फीचर रैंकिंग उत्पन्न करती हैं।
ट्री-आधारित विधियों में पूर्वाग्रह: पारंपरिक ट्री-आधारित स्थानीय महत्व (Local MDI) उन पूर्वाग्रहों से ग्रस्त है जहाँ उच्च एंट्रॉपी या कम सहसंबंध वाले फीचर्स को बढ़ाकर महत्व दिया जाता है। इसके अलावा, ट्री-आधारित मॉडल एडिटिव (additive) और स्मूथ फंक्शन्स को कैप्चर करने में अक्षम होते हैं।

जबकि वैश्विक फीचर महत्व विधि MDI+ ने ट्रांसफॉर्मड नोड बेसिस पर लीस्ट स्क्वायर्स और निर्णय वृक्षों (decision trees) के बीच समानता का लाभ उठाकर इन पूर्वाग्रहों को दूर किया, लेकिन यह एक वैश्विक मीट्रिक बना हुआ है। यह सैंपल-विशिष्ट परिणामों की व्याख्या नहीं कर सकता, जो अक्सर अद्वितीय व्यक्तिगत विशेषताओं पर निर्भर करते हैं।

कार्यप्रणाली: LMDI+ फ्रेमवर्क

लेखक लोकल MDI+ (LMDI+) का प्रस्ताव करते हैं, जो सैंपल-विशिष्ट सेटिंग के लिए MDI+ फ्रेमवर्क का एक नया विस्तार है। इसे वेरिडिकल डेटा साइंस (veridical data science) के लिए प्रेडिक्टेबिलिटी-कंप्यूटेबिलिटी-स्टेबिलिटी (PCS) फ्रेमवर्क के तहत विकसित किया गया है। LMDI+ का लक्ष्य बिना किसी परटर्बेशन पर निर्भर रहे, निष्ठापूर्वक और सुसंगत रूप से इंस्टेंस-विशिष्ट सिग्नल फीचर्स की पहचान करना है।

यह फ्रेमवर्क डिकिज़न ट्री प्रेडिक्शन्स और ट्रांसफॉर्मड बेसिस (स्टंप फंक्शन्स) पर ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) रिग्रेशन के बीच समानता का लाभ उठाता है। LMDI+ प्रक्रिया में तीन मुख्य चरण शामिल हैं:

विस्तारित प्रतिनिधित्व (Expanded Representation): प्रत्येक ट्री के लिए, विधि एक फीचर मैप $\tilde{\Psi}(X)$ $\tilde{Ψ} (X)$ का निर्माण करती है जिसमें शामिल हैं:
- इन-बैग (in-bag) और आउट-ऑफ-बैग (OOB) सैंपल्स पर आधारित ट्री स्ट्रक्चर से प्राप्त ट्रांसफॉर्मड स्टंप फंक्शन्स $\Psi(X; S)$ ।
- मैप में जोड़े गए कच्चे फीचर मान $x_k$ । यह संवर्धन मॉडल को उन लीनियर और एडिटिव स्ट्रक्चर्स को कैप्चर करने की अनुमति देता है जिन्हें शुद्ध ट्री स्प्लिट्स मिस कर सकते हैं।
रेगुलराइज्ड GLM फिटिंग: OLS के बजाय, LMDI+ ट्रांसफॉर्मड डेटा पर एक रेगुलराइज्ड जनरल लाइनियर मॉडल (GLM) (जैसे कि इलास्टिकनेट) फिट करता है। यह चरण ओवरफिटिंग को कम करता है और सहसंबंधित फीचर्स को मानक ट्री-आधारित महत्व मापों की तुलना में बेहतर तरीके से संभालता है।
सैंपल-विशिष्ट एट्रिब्यूशन (Sample-Specific Attribution): एक विशिष्ट ऑब्जर्वेशन $x$ के लिए, $k$ -वें फीचर का महत्व रैखिक मॉडल के भीतर उस फीचर के योगदान के रूप में गणना किया जाता है:
$\text{LMDI}^+_k(x) = \tilde{\Psi}^{(k)}(x)^\top \hat{\beta}^{(k)}_\lambda$
जहाँ $\hat{\beta}^{(k)}_\lambda$ GLM कोएफिशिएंट्स (coefficients) हैं। यदि कोई फीचर कभी भी स्प्लिट में नहीं आता है, तो उसका योगदान शून्य होता है। अंतिम एंसेबल स्कोर इन सभी ट्रीज़ के माध्यम से इन स्कोर्स का औसत है।

प्रमुख योगदान और परिणाम

पेपर बारह वास्तविक दुनिया के बेंचमार्क डेटासेट्स (छह रिग्रेशन, छह क्लासिफिकेशन) और विभिन्न सिंथेटिक सेटिंग्स में LMDI+ को मान्य करता है।

1. सिग्नल फीचर्स की श्रेष्ठ पहचान

सिंथेटिक प्रयोग: विभिन्न सिग्नल-टू-नॉइज़ रेशियो (SNR), सैंपल साइज और रिस्पॉन्स फंक्शन्स (लीनियर, पॉलिनॉमियल और लोकली-स्पाइकी-स्पार्स) के साथ डेटा-प्रेरित सिमुलेशन में, LMDI+ ने सिग्नल से नॉन-सिग्नल फीचर्स को अलग करने में LIME, TreeSHAP और Local MDI की तुलना में लगातार उच्च AUROC स्कोर प्राप्त किया।
सहसंबंध के प्रति मजबूती (Robustness to Correlation): अत्यधिक सहसंबंधित फीचर्स वाले सेटिंग्स में, LMDI+ ने सिग्नल फीचर्स को सबसे महत्वपूर्ण के रूप में सही ढंग से रैंक किया। इसके विपरीत, LIME और TreeSHAP जैसे बेसलाइन्स ने अक्सर उच्च सहसंबंध ( $\rho \ge 0.9$ ) होने पर अनकोरिलेटेड नॉन-सिग्नल फीचर्स को गलत तरीके से प्राथमिकता दी।
वास्तविक दुनिया का प्रदर्शन: एक "रिमूव-एंड-रिट्रेन" मूल्यांकन तकनीक का उपयोग करते हुए, LMDI+ ने दिखाया कि इसके द्वारा चुने गए फीचर्स व्यक्तिगत परिणामों के अधिक भविष्यवेत्ता (predictive) थे। केवल शीर्ष $k\%$ फीचर्स वाले मास्क किए गए डेटा पर रिट्रेनिंग करने पर, LMDI+ ने बेसलाइन्स की तुलना में उच्च $R^2$ (रिग्रेशन) और AUROC (क्लासिफिकेशन) स्कोर प्राप्त किया, जिसमें केवल चयनित फीचर्स का उपयोग करने पर भविष्यवाणात्मक प्रदर्शन में औसतन 10% सुधार हुआ।

2. उन्नत स्थिरता (Enhanced Stability)

LMDI+ ने विभिन्न रैंडम सीड्स के साथ अलग-अलग मॉडल फिट्स के बीच सबसे सुसंगत फीचर रैंकिंग प्रदान की।
स्टेबिलिटी प्रयोगों ने दिखाया कि LMDI+ ने विभिन्न मॉडल फिट्स में सबसे कम अद्वितीय फीचर्स चुने, जो यह दर्शाता है कि इसकी महत्व रैंकिंग मॉडलिंग विविधताओं के प्रति मजबूत है, जो विश्वसनीय व्याख्याओं के लिए एक महत्वपूर्ण आवश्यकता है।

3. सामान्यीकरण और एब्लेशन (Generalizability and Ablation)

घटक विश्लेषण: एब्लेशन अध्ययनों ने पुष्टि की कि LMDI+ का प्रत्येक घटक (OOB सैंपल्स, रॉ फीचर ऑग्मेंटेशन और रेगुलराइज्ड GLMs) प्रदर्शन लाभ में योगदान देता है।
ट्री के भीतर मॉडल अज्ञेयवाद: सुधार केवल रैंडम फॉरेस्ट तक ही सीमित नहीं रहे बल्कि ग्रेडिएंट बूस्टिंग मॉडल्स तक भी विस्तारित हुए, जो विभिन्न ट्री एंसेबल्स के लिए फ्रेमवर्क की प्रयोज्यता को प्रदर्शित करते हैं।

4. व्यावहारिक अनुप्रयोग

काउंटरफैक्चुअल स्पष्टीकरण (Counterfactual Explanations): सिग्नल फीचर्स को प्राथमिकता देकर, LMDI+ ने ऐसे काउंटरफैक्चुअल्स की पहचान की (भविष्यवाणी को बदलने के लिए न्यूनतम परिवर्तन) जिनमें बेसलाइन्स की तुलना में छोटे संशोधनों (कम $\ell_1$ दूरी) की आवश्यकता थी।
सबग्रुप डिस्कवरी: मियामी हाउसिंग डेटासेट पर एक केस स्टडी में, LMDI+ स्कोर के आधार पर सैंपल्स को क्लस्टर करने से होमोजेनियस (समरूप) सबग्रुप्स का पता चला। इन सबग्रूप्स पर सरल OLS मॉडल फिट करने से ग्लोबल मॉडल की तुलना में प्रेडिक्शन एरर (MSE) में काफी कमी आई, जहाँ LMDI+ ने सबग्रुप होमोजेनिटी में अन्य LFI विधियों को पछाड़ दिया।

महत्व और दावे

पेपर दावा करता है कि LMDI+ वैश्विक ट्री-आधारित महत्व और स्थानीय, सैंपल-विशिष्ट व्याख्यात्मकता की आवश्यकता के बीच के महत्वपूर्ण अंतर को संबोधित करता है। परटर्बेशन-आधारित सन्निकटन (approximations) के बजाय, ट्री एंसेबल्स की आंतरिक लीनियर संरचना का लाभ उठाकर, LMDI+ निम्नलिखित प्रदान करता है:

निष्ठा (Faithfulness): यह अधिक सटीक रूप से उन वास्तविक सिग्नल फीचर्स की पहचान करता है जो व्यक्तिगत भविष्यवाणियों को संचालित करते हैं।
स्थिरता (Stability): यह मॉडल रन के दौरान सुसंगत स्पष्टीकरण प्रदान करता है, जिससे उच्च-दांव वाली सेटिंग्स में अविश्वसनीय निर्णय लेने का जोखिम कम हो जाता है।
कार्यक्षमता (Actionability): यह कुशल काउंटरफैक्चुअल्स उत्पन्न करने और होमोजेनियस डेटा सबग्रुप खोजने जैसे व्यावहारिक उपयोग के मामलों को सक्षम बनाता है।

लेखक LMDI+ को वेरिडिकल डेटा साइंस की ओर एक कदम के रूप में प्रस्तुत करते हैं, यह सुनिश्चित करते हुए कि स्थानीय व्याख्याएं न केवल कंप्यूट करने योग्य हैं, बल्कि प्रेडिक्टेबल और स्थिर भी हैं। हालांकि यह विधि GLM को फिट करने और बेसिस को ट्रांसफॉर्म करने के लिए एक बार का ओवरहेड पेश करती है, नए सैंपल्स के लिए इन्फरेंस चरण कुशल है (सरल लीनियर मल्टीप्लिकेशन), जिससे यह व्यावहारिक परिनियोजन (deployment) के लिए व्यवहार्य हो जाता है जहाँ मॉडल संरचना स्थिर रहती है।