An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification
यह शोध पत्र इस बात की जांच करता है कि असंतुलित वर्गीकरण (imbalanced classification) में संतुलन विधियाँ (balancing methods) कैसे "ओब्स्क्योरिटी" (obscurity) नामक एक नए मीट्रिक को पेश करके और भविष्यवाणात्मक बहुलता (predictive multiplicity - रशोमोन प्रभाव) को बढ़ाती हैं, तथा पूर्वानुमान सटीकता और मॉडल चयन अनिश्चितता के बीच के समझौते की जिम्मेदारी से निगरानी करने के लिए एक विस्तारित प्रदर्शन-लाभ प्लॉट (performance-gain plot) का प्रस्ताव करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: "कई सही उत्तरों" की समस्या
कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि शतरंज का खेल कौन जीतेगा। आपके पास पिछले खेलों का एक डेटासेट है, लेकिन एक समस्या है: 90% खेल 'सफेद' (White) द्वारा जीते गए थे, और केवल 10% 'काले' (Black) द्वारा। इसे इम्बैलेंस्ड डेटासेट (Imbalanced Dataset) कहा जाता है।
यदि आप इस डेटा को ठीक किए बिना एक कंप्यूटर मॉडल को प्रशिक्षित करते हैं, तो कंप्यूटर आलसी हो जाता है। वह सीख जाता है कि "सफेद हमेशा जीतता है," इसलिए वह हर नए खेल के लिए "सफेद" का अनुमान लगाता है। उसे 90% सटीकता (accuracy) मिलती है, लेकिन वह काले की जीत का अनुमान लगाने में पूरी तरह विफल रहता है।
इसे ठीक करने के लिए, डेटा वैज्ञानिक बैलेंसिंग मेथड्स (Balancing Methods) का उपयोग करते हैं। वे एक रसोइए की तरह काम करते हैं जो सूप में सामग्री मिलाता है:
- ओवरसैंपलिंग (Oversampling): वे दुर्लभ "काले की जीत" वाले खेलों की प्रतियां बनाते हैं ताकि उनकी संख्या बढ़ सके (जैसे नमक की मात्रा बढ़ाना)।
- अंडरसैंपलिंग (Undersampling): वे सामान्य "सफेद की जीत" वाले कुछ खेलों को हटा देते हैं ताकि बर्तन छोटा हो जाए (जैसे अतिरिक्त पानी निकालना)।
लक्ष्य यह है कि कंप्यूटर अल्पसंख्यक वर्ग (minority class) पर ध्यान दे। लेकिन यह शोध पत्र एक डरावना सवाल पूछता है: क्या डेटा को ठीक करने से एक नया प्रकार का भ्रम पैदा होता है?
राशोमोन प्रभाव (The Rashomon Effect): "कई सत्यों" की घटना
यह शोध पत्र राशोमोन प्रभाव नामक एक अवधारणा का उपयोग करता है। कल्पना कीजिए कि एक अपराध स्थल पर पांच अलग-अलग गवाह पांच अलग-अलग कहानियाँ सुनाते हैं। पांचों कहानियाँ तर्कसंगत हैं और तथ्यों के साथ समान रूप से फिट बैठती हैं, लेकिन वे एक-दूसरे के विरोधाभासी हैं।
मशीन लर्निंग में, राशोमोन सेट (Rashomon Set) विभिन्न कंप्यूटर मॉडलों का एक समूह है जो सभी लगभग एक जैसा प्रदर्शन करते हैं (वे सभी "तर्कसंगत" हैं), लेकिन वे एक ही व्यक्ति या स्थिति के लिए अलग-अलग भविष्यवाणियां करते हैं।
- मॉडल A कहता है: "यह ऋण आवेदक सुरक्षित है।"
- मॉडल B कहता है: "यह ऋण आवेदक जोखिम भरा है।"
- दोनों मॉडलों का कुल सटीकता स्कोर समान है।
यदि आप केवल एक मॉडल को यादृच्छिक रूप से चुनते हैं (ब्लाइंड सिलेक्शन), तो आप गलती से उस मॉडल को चुन सकते हैं जो एक अच्छे व्यक्ति को ऋण देने से मना कर देता है, भले ही दूसरा समान रूप से सटीक मॉडल उसे मंजूरी दे देता। इसे प्रेडिक्टिव मल्टीप्लिसिटी (Predictive Multiplicity) कहा जाता है।
प्रयोग: जब हम डेटा को संतुलित करते हैं तो क्या होता है?
लेखक यह जानना चाहते थे कि: क्या बैलेंसिंग मेथड्स (oversampling/undersampling) का उपयोग करने से यह "कई सत्यों" वाली समस्या बदतर हो जाती है?
उन्होंने 21 अलग-अलग वास्तविक दुनिया के डेटासेट (जैसे स्पैम डिटेक्शन, क्रेडिट कार्ड धोखाधड़ी और वाइन की गुणवत्ता) लिए और उन्हें एक "मॉडल फैक्ट्री" (Forester नामक टूल) के माध्यम से चलाया जो प्रत्येक डेटासेट के लिए सैकड़ों थोड़े अलग मॉडल बनाता है। उन्होंने यह दो बार किया:
- मूल, असंतुलित डेटा का उपयोग करके।
- संतुलित डेटा का उपयोग करके (बैलेंसिंग मेथड्स लागू करने के बाद)।
फिर उन्होंने यह मापने के लिए तीन चीजें मापीं कि उनके मॉडल एक-दूसरे से कितने असहमत हैं:
- एम्बिग्युटी (Ambiguity - अस्पष्टता): कितने लोगों को विरोधाभासी उत्तर मिलते हैं? (जैसे, "100 में से 5 लोगों को अलग-अलग भविष्यवाणियां मिलती हैं।")
- डिस्क्रिपेंसी (Discrepancy - विसंगति): सबसे खराब स्थिति (worst-case scenario) क्या है? (जैसे, "एक विशिष्ट मॉडल अन्य मॉडलों की तुलना में 20 लोगों पर असहमत है।")
- ऑब्सक्यूरिटी (Obscurity - धुंधलापन) (एक नया मीट्रिक): यह इस शोध पत्र का नया विचार है। यह औसत भ्रम की मात्रा को मापता है। केवल यह पूछने के बजाय कि "क्या कोई संघर्ष है?", यह पूछता है कि "औसत रूप से संघर्ष कितना अस्त-व्यस्त है?" इसे डेटा पर छाई "धुंध" को मापने के रूप में समझें।
निष्कर्ष: "फिक्स" ने धुंध को और घना कर दिया
यहाँ उनका निष्कर्ष है:
- बैलेंसिंग मेथड्स भ्रम को बढ़ाते हैं: जब उन्होंने बैलेंसिंग मेथड्स (जैसे SMOTE या रैंडम ओवरसैंपलिंग) का उपयोग किया, तो Obscurity और Discrepancy बढ़ गए।
- उपमा: कल्पना कीजिए कि आप एक पार्क में खोए हुए कुत्ते को खोजने की कोशिश कर रहे हैं। मूल पार्क (असंतुलित डेटा) में, सभी खोज कुत्ते सहमत हैं कि कुत्ता कहाँ है। लेकिन जब आप "बैलेंसिंग" जोड़ते हैं (जैसे अधिक खोज कुत्तों को जोड़ना या इलाके को बदलना), तो खोज कुत्ते अलग-अलग दिशाओं में भौंकने लगते हैं। वे अभी भी "अच्छे" कुत्ते हैं, लेकिन वे स्थान पर सहमत नहीं हो पा रहे हैं।
- "आंशिक" समाधान काम नहीं आया: कुछ विशेषज्ञों ने सुझाव दिया कि "आंशिक रीसैंपलिंग" (केवल थोड़ा सा संतुलन, 100% नहीं) का उपयोग करके इस गड़बड़ी से बचा जा सकता है। लेखकों ने इसका परीक्षण किया, लेकिन पाया कि इससे कोई मदद नहीं मिली। भ्रम उच्च बना रहा, चाहे उन्होंने डेटा को कितना भी संतुलित किया हो।
- वैरिएबल इम्पोर्टेंस (Variable Importance) बदल गया: उन्होंने यह भी जांचा कि क्या मॉडल अलग-अलग सुरागों को देख रहे थे। उदाहरण के लिए, एक मॉडल सोच सकता है कि "आय" सबसे महत्वपूर्ण कारक है, जबकि दूसरा सोच सकता है कि "आयु" है। उन्होंने पाया कि हालांकि सांख्यिकीय अर्थों में महत्व का क्रम नाटकीय रूप से नहीं बदला, लेकिन बैलेंसिंग मेथड्स ने मॉडलों के समग्र व्यवहार को बदल दिया।
समाधान: एक नया डैशबोर्ड
चूंकि वे भ्रम को होने से रोक नहीं सके, इसलिए लेखकों ने इसे निगरानी (monitor) करने का एक तरीका प्रस्तावित किया।
उन्होंने एक एक्सटेंडेड परफॉर्मेंस-गेन प्लॉट (Extended Performance-Gain Plot) का सुझाव दिया।
- कल्पना कीजिए कि दो डायल वाला एक डैशबोर्ड है।
- डायल 1 (क्षैतिज/Horizontal): दिखाता है कि मॉडल सही भविष्यवाणी करने में कितना बेहतर होता है (परफॉर्मेंस गेन)।
- डायल 2 (लंबवत/Vertical): दिखाता है कि मॉडल आपस में कितने असहमत हैं (मल्टीप्लिसिटी/ऑब्सक्यूरिटी)।
सबक: आपको केवल डायल 1 को नहीं देखना चाहिए। आप एक ऐसा तरीका पा सकते हैं जो सटीकता में सुधार करता है (डायल 1 ऊपर जाता है), लेकिन एक बड़ा असहमति विस्फोट पैदा करता है (डायल 2 बहुत ऊपर जाता है)। लेखक कहते हैं कि आपको दोनों डायल को देखने की आवश्यकता है ताकि एक जिम्मेदार निर्णय लिया जा सके।
शोध पत्र के दावों का सारांश
- डेटा को संतुलित करना आवश्यक है, लेकिन इसकी एक छिपी हुई लागत है।
- बैलेंसिंग मेथड्स "प्रेडिक्टिव मल्टीप्लिसिटी" को बढ़ाते हैं। वे ऐसी स्थिति पैदा करते हैं जहाँ कई मॉडल समान रूप से सटीक होते हैं लेकिन एक ही व्यक्ति को दिए जाने वाले जवाबों में विरोधाभासी होते हैं।
- नया मीट्रिक: उन्होंने "ऑब्सक्यूरिटी" पेश किया जो यह मापता है कि उनके मॉडल के भविष्यवाणियों में औसतन कितना "धुंधलापन" या संघर्ष है।
- आंशिक रीसैंपलिंग कोई जादुई समाधान नहीं है। यह बढ़े हुए भ्रम की समस्या को हल नहीं करता है।
- जिम्मेदार AI: एक मॉडल चुनते समय, आपको न केवल यह देखना चाहिए कि वह कितना सटीक है, बल्कि यह भी कि वह कितना स्थिर (stable) है। यदि आप बैलेंसिंग मेथड्स द्वारा बनाए गए "राशोमोन सेट" से अंधाधुंध मॉडल चुनते हैं, तो आप अनजाने में ऐसे निर्णय लेने का जोखिम उठाते हैं जो व्यक्तियों को नुकसान पहुँचाते हैं।
शोध पत्र निष्कर्ष निकालता है कि हालांकि बैलेंसिंग मेथड्स असंतुलित डेटा को हल करने के लिए एक "शरणस्थल" (haven) हैं, शोधकर्ताओं को सावधान रहना चाहिए कि वे विरोधाभासी भविष्यवाणियों की धुंध में अंधे होकर न चलें। उन्हें सटीकता और स्थिरता के बीच के ट्रेड-ऑफ को देखने के लिए नए "डैशबोर्ड" (एक्सटेंडेड प्लॉट) का उपयोग करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।