How Class Imbalance Treatments Distort SHAP Attribution Fidelity: A Monte Carlo Investigation of Ranking and Magnitude Errors
एक व्यापक मोंटे कार्लो जांच के माध्यम से, यह शोध पत्र प्रदर्शित करता है कि जबकि प्रशिक्षण नमूना आकार SHAP एट्रिब्यूशन फिडेलिटी का प्राथमिक चालक है, सामान्य क्लास इम्बैलेंस उपचार अक्सर फीचर रैंकिंग और परिमाणों को विकृत कर देते हैं, जिससे लेखक SHAP व्याख्यात्मकता को प्राथमिकता देने के लिए रीबैलेंसिंग के बजाय क्लास वेटिंग अपनाने की सिफारिश करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं। आपके पास एक कंप्यूटर सहायक (मशीन लर्निंग मॉडल) है जो सुरागों (डेटा) को देखकर यह पता लगाता है कि अपराधी कौन है। इस कंप्यूटर पर भरोसा करने के लिए, आप उससे पूछते हैं कि उसने किसी विशेष संदिग्ध की ओर इशारा क्यों किया। वह कारणों की एक सूची देता है, कहता है, "सुराग A 40% जिम्मेदार था, सुराग B 10% था," इत्यादि। इस स्पष्टीकरण उपकरण को SHAP कहा जाता है।
अब, कल्पना कीजिए कि अपराध बहुत दुर्लभ है। शायद हर 100 मामलों में से केवल 1 मामला अपराध का है, जबकि 99 निर्दोष लोग हैं। इसे क्लास इम्बैलेंस (class imbalance) कहा जाता है। क्योंकि "अपराध" के उदाहरण इतने कम हैं, कंप्यूटर भ्रमित हो जाता है। इसे ठीक करने के लिए, डेटा वैज्ञानिक अक्सर कंप्यूटर को सिखाने से पहले प्रशिक्षण डेटा को "संतुलित" करने की कोशिश करते हैं। वे ऐसा कर सकते हैं:
- दुर्लभ अपराध के उदाहरणों को कॉपी-पेस्ट करना (Random Oversampling)।
- अधिकांश निर्दोष उदाहरणों को फेंक देना (Random Undersampling)।
- वास्तविक जैसे दिखने वाले नकली अपराध के उदाहरण बनाना (SMOTE/ADASYN)।
- डेटा को बदले बिना कंप्यूटर को विशेष ध्यान देने के लिए कहना (Class Weighting)।
बड़ा सवाल यह है कि यह पेपर पूछता है: जब हम डेटा असंतुलन को ठीक करते हैं, तो क्या हम अनजाने में कंप्यूटर के स्पष्टीकरण को बिगाड़ देते हैं? क्या "सबसे महत्वपूर्ण सुरागों" की सूची वही रहती है? क्या संख्याएँ (जैसे "40% जिम्मेदार") सटीक रहती हैं?
लेखक, रिद्वन कारा (Rıdvan Kara) ने एक विशाल सिमुलेशन चलाया (जैसे एक ही प्रयोग को अलग-अलग सेटिंग्स के साथ 14,000 बार चलाना) यह पता लगाने के लिए कि क्या होता है। यहाँ उन्होंने क्या खोजा, सरल उपमाओं का उपयोग करते हुए:
1. क्लास का आकार सुधार (Fix) से अधिक महत्वपूर्ण है
सबसे महत्वपूर्ण खोज यह है कि आपके पास कितने उदाहरण हैं यह इस बात से कहीं अधिक मायने रखता है कि आप कौन सा बैलेंसिंग ट्रिक इस्तेमाल करते हैं।
- उपमा: कल्पना कीजिए कि आप सूप का स्वाद पहचानने की कोशिश कर रहे हैं। यदि आपके पास केवल एक छोटा चम्मच है (छोटा सैंपल साइज), तो इससे कोई फर्क नहीं पड़ता कि आप उस चम्मच में नमक, चीनी या काली मिर्च मिलाते हैं; आपका अनुमान अस्थिर होगा। लेकिन यदि आपके पास सूप का एक बड़ा बर्तन है (बड़ा सैंपल साइज), तो आपके द्वारा सामग्री में क्या भी किया गया हो, आपका अनुमान सटीक होगा।
- परिणाम: आप कंप्यूटर को जो डेटा खिलाते हैं उसकी मात्रा बढ़ाना, विश्वसनीय स्पष्टीकरण प्राप्त करने का सबसे अच्छा तरीका है। बैलेंसिंग विधि का चुनाव डेटा होने की तुलना में लगभग 3 से 5 गुना कम महत्वपूर्ण है।
2. "रैंकिंग" बनाम "मैग्निट्यूड" का जाल
पेपर दो प्रकार के स्पष्टीकरणों के बीच एक महत्वपूर्ण अंतर बनाता है:
- रैंकिंग (Ranking): "मुख्य संदिग्ध कौन है?" (क्या सुराग A, सुराग B से अधिक महत्वपूर्ण है?)
- मैग्निट्यूड (Magnitude): "सुराग A ने कितना योगदान दिया?" (क्या इसने 10% योगदान दिया या 50%?)
अध्ययन में पाया गया कि कुछ बैलेंसिंग ट्रिक्स क्रम (order) को सही पाने में बेहतरीन हैं लेकिन संख्याओं (numbers) को सही पाने में बहुत खराब हैं।
- उपमा: एक दौड़ की कल्पना करें।
- रैंडम ओवरसैंपलिंग (Random Oversampling) (दुर्लभ उदाहरणों को कॉपी-पेस्ट करना) एक ऐसे कोच की तरह है जो यह सुनिश्चित करता है कि जो धावक जीतना चाहिए वह पहले स्थान पर आए (रैंकिंग अच्छी है)। हालांकि, फिर कोच सबको बताता है कि विजेता वास्तव में जितनी तेज़ दौड़ा था, उससे दोगुनी तेज़ दौड़ा था (मैग्निट्यूड बढ़ा हुआ/गलत है)।
- रैंडम अंडरसैंपलिंग (Random Undersampling) (डेटा फेंक देना) एक ऐसे कोच की तरह है जो टीम के आधे सदस्यों को निकाल देता है। अब, वे यह भी नहीं बता सकते कि सबसे अच्छा धावक कौन है, और गति की संख्याएं पूरी तरह से गलत हो जाती हैं। वे रैंकिंग और मैग्निट्यूड दोनों में विफल रहते हैं।
3. सर्वश्रेष्ठ "कुछ न करने वाला" और "सॉफ्ट" समाधान
सबसे ईमानदार स्पष्टीकरण की तलाश करते समय, पेपर ने दो विजेताओं को पाया जिन्होंने डेटा को संतुलित दिखाने की कोशिश नहीं की:
- कोई रीबैलेंसिंग नहीं (No Rebalancing): बस अस्त-व्यस्त, असंतुलित डेटा का उपयोग करें जैसा वह है।
- क्लास वेटिंग (Class Weighting): कंप्यूटर को कहें, "हे, दुर्लभ अपराध महत्वपूर्ण हैं, इसलिए उन पर विशेष ध्यान दें," लेकिन कोई डेटा डिलीट या कॉपी न करें।
ये दोनों विधियाँ "पारेटो फ्रंटियर" (Pareto frontier) पर स्थित थीं, जिसका अर्थ है कि वे क्रम को सही रखने और संख्याओं को सटीक रखने, दोनों में सर्वश्रेष्ठ थीं। ये "न्यूनतम दखल देने वाले" उपचार हैं।
4. सिंथेटिक "नकली" डेटा की समस्या
नकली डेटा बनाने वाली विधियाँ (SMOTE और ADASYN) संदिग्धों के क्रम को सही पाने में ठीक थीं, लेकिन उन्होंने संख्याओं के साथ गड़बड़ी की।
- उपमा: यह एक ऐसे कलाकार की तरह है जो फोटो में खाली जगह भरने के लिए एक नकली चेहरा बनाता है। चेहरा एक व्यक्ति जैसा दिखता है (रैंकिंग ठीक है), लेकिन यदि आप आंखों के बीच की दूरी मापने की कोशिश करते हैं, तो माप गलत होता है क्योंकि चेहरा असली नहीं है।
5. "अत्यधिक दुर्लभता" का खतरा क्षेत्र
पेपर ने पाया कि ये समस्याएं तब बहुत बढ़ जाती हैं जब अपराध अत्यधिक दुर्लभ (5% से कम मामले) होता है और आपके पास बहुत कम डेटा होता है।
- उपमा: यदि आप घास के ढेर में सुई खोजने की कोशिश कर रहे हैं, और आपके पास देखने के लिए घास का केवल एक छोटा टुकड़ा है, तो आप घास को "बैलेंस" करने के लिए जो भी ट्रिक इस्तेमाल करेंगे, वह या तो आपको सुई खोजने से रोक देगी या सुई के आकार का गलत अनुमान लगाएगी। लेकिन यदि आपके पास घास का एक पूरा खलिहान है, तो आप सुई को आसानी से ढूंढ सकते हैं, और ट्रिक्स का महत्व कम हो जाता है।
सिफारिशों का सारांश
यदि आप AI का उपयोग निर्णयों को समझाने के लिए कर रहे हैं (जैसे चिकित्सा निदान या क्रेडिट स्कोरिंग में) और आपके पास असंतुलित डेटा है:
- पहले अधिक डेटा प्राप्त करें। यह सबसे शक्तिशाली उपकरण है।
- डेटा को कॉपी-पेस्ट या फेंकें नहीं यदि आपको सटीक संख्याओं की आवश्यकता है। ये विधियाँ स्पष्टीकरण के "कितना" वाले हिस्से को विकृत कर देती हैं।
- यदि आपको बैलेंस करना ही है, तो क्लास वेटिंग (Class Weighting) (मॉडल को अधिक ध्यान देने के लिए कहना) का उपयोग करें या डेटा को वैसे ही छोड़ दें। ये स्पष्टीकरण को ईमानदार रखते हैं।
- क्रम और संख्याओं दोनों की जाँच करें। केवल यह न देखें कि कौन सी विशेषता नंबर 1 है; यह भी जाँचें कि क्या प्रतिशत योगदान समझ में आता है, क्योंकि कुछ विधियाँ अपनी गलतियों को संख्याओं के पीछे छिपा लेती हैं।
पेपर निष्कर्ष निकालता है कि जबकि डेटा को बैलेंस करना कंप्यूटर को बेहतर अनुमान (predict) लगाने में मदद करता है, यह अक्सर कंप्यूटर की खुद को सटीक रूप से समझाने (explain) की क्षमता को बिगाड़ देता है। यदि आपको एक भरोसेमंद स्पष्टीकरण की आवश्यकता है, तो सबसे कोमल दृष्टिकोण (क्लास वेटिंग) या कोई भी दृष्टिकोण न अपनाना ही आमतौर पर सबसे अच्छा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।