Evaluating Local Explainability Metrics for Machine Learning Models on Tabular Data
यह शोध पत्र 32 सारणीबद्ध (tabular) डेटासेट्स और विभिन्न मॉडलों में स्थानीय व्याख्यात्मकता मेट्रिक्स (LIME, SHAP, और फीचर एब्लेशन) की विश्वसनीयता का मूल्यांकन करता है, जो यह प्रकट करता है कि स्पष्टीकरण की गुणवत्ता मॉडल के भविष्य कहनेवाला प्रदर्शन (predictive performance) की तुलना में डेटासेट की जटिलता और फीचर वितरण पर अधिक निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, लेकिन रहस्यमय, "ब्लैक बॉक्स" मशीन है जो ऋण अनुमोदन (loan approvals) या चिकित्सा निदान (medical diagnoses) जैसी चीजों के बारे में निर्णय लेती है। आप जानते हैं कि यह अच्छा काम करती है, लेकिन आप यह नहीं जानते कि इसने एक विशिष्ट चुनाव क्यों किया। इसे ठीक करने के लिए, हम "एक्सप्लेनेशन टूल्स" (जैसे LIME, SHAP, और Feature Ablation) का उपयोग करते हैं जो एक अनुवादक की तरह कार्य करते हैं, जो समझाने की कोशिश करते हैं, "मशीन ने 'ना' कहा क्योंकि आपकी आय कम थी।"
लेकिन समस्या यह है: सिर्फ इसलिए कि अनुवादक विश्वसनीय लगता है, इसका मतलब यह नहीं है कि वह सच बोल रहा है।
यह शोध पत्र इन अनुवादकों के लिए एक गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) की तरह है। लेखकों ने पूछा: जब हम जटिल डेटा (जैसे संख्याओं और श्रेणियों से भरी स्प्रेडशीट) पर निर्णय समझाने के लिए इन उपकरणों का उपयोग करते हैं, तो क्या वे वास्तव में उस तरीके के बारे में ईमानदार होते हैं जिससे मशीन सोचती है, या वे बस ऐसी चीजें बना रहे होते हैं जो सुनने में अच्छी लगती हैं?
यहाँ उन्होंने क्या किया और उन्हें क्या मिला, इसका विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:
1. सेटअप: "टेस्ट ऑफ टेस्ट" (स्वाद परीक्षण)
शोधकर्ताओं ने 32 अलग-अलग डेटासेट (सोचिए ये हजारों सामग्रियों वाली 32 अलग-अलग रेसिपी बुक हैं) एकत्र किए। उन्होंने तीन अलग-अलग प्रकार के "शेफ" (मशीन लर्निंग मॉडल) को भविष्यवाणियां बनाने के लिए प्रशिक्षित किया:
- लॉजिस्टिक्स रिग्रेशन (Logistic Regression): एक सरल, सीधा शेफ जो एक बुनियादी रेसिपी का पालन करता है।
- रैंडम फॉरेस्ट और XGBoost (Random Forest & XGBoost): जटिल, सुपर-शेफ जो कई अलग-अलग तकनीकों का उपयोग करते हैं और बहुत जटिल रेसिपी को संभाल सकते हैं।
इसके बाद उन्होंने तीन "अनुवादकों" (LIME, SHAP, और Feature Ablation) से शेफ के निर्णयों की व्याख्या करने के लिए कहा।
2. तीन परीक्षण
यह देखने के लिए कि अनुवादक कितने विश्वसनीय थे, उन्होंने तीन विशिष्ट परीक्षण चलाए:
- वफादारी (Faithfulness - "सच्चाई का परीक्षण"): क्या व्याख्या शेफ के वास्तविक तर्क से मेल खाती है?
- उपमा: यदि अनुवादक कहता है, "शेफ ने नमक की वजह से सूप को खारिज कर दिया," तो क्या सूप वास्तव में नमक की वजह से खराब हुआ है? या अनुवादक केवल अनुमान लगा रहा है?
- मजबूती (Robustness - "स्थिरता का परीक्षण"): यदि आप सामग्रियों में थोड़ा सा बदलाव करते हैं (जैसे नमक का एक छोटा सा चुटकी भर अधिक डालना), तो क्या व्याख्या वही रहती है, या यह पूरी तरह से बदल जाती है?
- उपमा: यदि आप रेसिपी को थोड़ा सा बदलते हैं, तो क्या अनुवादक अचानक कहता है, "ओह रुको, यह वास्तव में काली मिर्च थी!"? एक अच्छा अनुवादक मामूली बदलावों पर अपनी बात नहीं बदलना चाहिए।
- जटिलता (Complexity - "सरलता का परीक्षण"): अनुवादक निर्णय के लिए कितने घटकों (ingredients) को जिम्मेदार ठहराता है?
- उपमा: एक अच्छी व्याख्या एक छोटे वाक्य की तरह है: "यह नमक था।" एक खराब, जटिल व्याख्या एक उपन्यास की तरह है: "यह नमक, काली मिर्च, तापमान, समय और कटोरे का रंग था।"
3. बड़ा आश्चर्य: "सही उत्तर" का मतलब "अच्छा स्पष्टीकरण" नहीं है
शोधकर्ताओं ने दो समूहों के भविष्यवाणियों को देखा:
- कंसेंसस-करेक्ट (Consensus-Correct): जब सभी शेफ सही उत्तर प्राप्त करते हैं।
- कंसेंसस-रॉन्ग (Consensus-Wrong): जब सभी शेफ गलत उत्तर प्राप्त करते हैं।
निष्कर्ष: उन्हें उम्मीद थी कि जब शेफ सही उत्तर देंगे, तो अनुवादक भी ईमानदार होंगे। वे गलत थे।
व्याख्या की गुणवत्ता का इस बात से बहुत कम लेना-देना था कि मशीन का उत्तर सही था या गलत। यहाँ तक कि जब मशीन गलती कर रही थी, तब भी अनुवादक एक बहुत ही "स्थिर" और "तर्कसंगत" व्याख्या दे सकता था।
4. असली अपराधी: "मैसी किचन" (अव्यवस्थित रसोई)
अध्ययन में पाया गया कि व्याख्या की विश्वसनीयता मशीन के प्रदर्शन पर कम और डेटा कितना अव्यवस्थित (messy) है इस पर अधिक निर्भर करती है।
- उपमा: कल्पना कीजिए कि आप एक रेसिपी की व्याख्या करने की कोशिश कर रहे हैं। यदि रसोई में 5 सामग्रियां हैं, तो समझाना आसान है। यदि रसोई में 1,700 सामग्रियां हैं (एक बहुत ही जटिल डेटासेट), तो अनुवादक के लिए यह पता लगाना अविश्वसनीय रूप से कठिन हो जाता है कि किस विशिष्ट सामग्री के कारण परिणाम आया।
- परिणाम: डेटा जितना अधिक जटिल होता गया (अधिक कॉलम, अधिक फीचर्स), अनुवादकों के लिए वफादार और स्थिर रहना उतना ही कठिन होता गया। डेटा की "अव्यवस्था" ने अनुवादकों को भ्रमित कर दिया, चाहे मशीन कितनी भी स्मार्ट क्यों न हो।
5. अनुवादकों का प्रदर्शन कैसा रहा
- LIME: यह सबसे अधिक स्थिर (stable) था (इसमें मामूली बदलावों के साथ बहुत अधिक उतार-चढ़ाव नहीं हुआ), लेकिन यह अक्सर अवफादार (unfaithful) था (यह हमेशा मशीन की सोच के बारे में सच नहीं बताता था)। यह एक शांत झूठ बोलने वाले की तरह है।
- Kernel SHAP: यह अक्सर वफादार (faithful) था (सच बताता था), लेकिन यह अस्थिर (unstable) था। यदि आप डेटा में थोड़ा सा बदलाव करते, तो इसकी व्याख्या अनियंत्रित हो सकती थी। यह एक ऐसे सत्यवादी की तरह है जो बहुत घबरा जाता है और अगर आप उसे तिरछी नजर से भी देखें तो अपनी कहानी बदल देता है।
- Feature Ablation: यह विधि (जो यह परीक्षण करती है कि किसी सामग्री को हटाने से क्या होता है) आम तौर पर सबसे अधिक स्पार्स (sparse) थी (इसने सरल व्याख्याएं दीं), लेकिन इसमें "वर्स्ट-केस" स्पाइक्स हो सकते थे जहाँ यह बहुत अस्थिर हो जाती थी।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हम केवल इसलिए किसी स्पष्टीकरण पर भरोसा नहीं कर सकते क्योंकि मशीन सटीक है।
यदि आपके पास सैकड़ों कॉलम वाली एक जटिल स्प्रेडशीट है, तो आज हम जिन "अनुवादकों" का उपयोग कर रहे हैं, वे आपको एक ऐसी कहानी दे सकते हैं जो तर्कसंगत लगती है और सुसंगत रहती है, लेकिन वह वास्तव में उस तरीके को प्रतिबिंबित नहीं करती है जिससे मशीन ने अपना निर्णय लिया है। डेटा की जटिलता ही सबसे बड़ा कारक है कि ये व्याख्या उपकरण भरोसेमंद हैं या नहीं, न कि निर्णय लेने वाली मशीन का कौशल।
संक्षेप में: एक स्मार्ट मशीन द्वारा सही भविष्यवाणी करना एक सच्ची व्याख्या की गारंटी नहीं देता है। यदि डेटा बहुत जटिल है, तो व्याख्या उपकरण केवल अनुमान लगा रहे हो सकते हैं, भले ही वे बहुत प्रभावशाली लगें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।