Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

कल्पना कीजिए कि आप एक जासूस हैं जो 100 लोगों की भीड़ में छिपे एक अकेले चोर को खोजने की कोशिश कर रहे हैं। उनमें से बानवे लोग निर्दोष हैं, और केवल आठ दोषी हैं। यदि आप बस यह अनुमान लगाते हैं कि "हर कोई निर्दोष है," तो आप 92% बार सही होंगे! लेकिन आप एक भी चोर नहीं पकड़ पाएंगे। कंप्यूटर विज्ञान की दुनिया में, इसे "क्लास इम्बैलेंस" (वर्ग असंतुलन) की समस्या कहा जाता है। यह तब होता है जब एक कंप्यूटर मॉडल को ऐसे डेटा पर प्रशिक्षित किया जाता है जहाँ एक परिणाम (जैसे ऋण चुकाना) दूसरे परिणाम (जैसे ऋण न चुका पाना) की तुलना में बहुत अधिक बार होता है। क्योंकि कंप्यूटर "अच्छे" उदाहरणों को बहुत अधिक देखता है, इसलिए वह आलसी हो जाता है और सभी के लिए "अच्छा" होने का अनुमान लगाने लगता है, जिससे वह दुर्लभ "बुरे" मामलों को पहचानने में विफल हो जाता है।

वर्षों से, इसका मानक समाधान SMOTE नामक एक तकनीक रहा है। SMOTE को दुर्लभ मामलों के लिए एक फोटोकॉपी मशीन के रूप में समझें। यदि आपके पास चोरों की केवल आठ तस्वीरें हैं, तो SMOTE वास्तविक तस्वीरों के विवरणों को आपस में मिलाकर नई कृत्रिम (सिंथेटिक) तस्वीरें बनाता है, इस उम्मीद में कि इससे कंप्यूटर को पैटर्न सीखने के लिए पर्याप्त अभ्यास मिल सके। लेकिन एक और तरीका भी है। कुछ विशेष मॉडल, विशेष रूप से एक शक्तिशाली प्रकार जिसे XGBoost कहा जाता है, उनमें गलतियों के लिए एक इन-बिल्ट "वॉल्यूम नॉब" (आवाज़ नियंत्रित करने वाला बटन) होता है। नकली डेटा बनाने के बजाय, आप बस कंप्यूटर को कह सकते हैं, "हे, अगर तुम एक चोर को चूक जाते हो, तो यह एक बहुत बड़ी गलती है! अगर तुम एक निर्दोष व्यक्ति को चूक जाते हो, तो यह एक छोटी गलती है।" यह मॉडल को मूल डेटा को छुए बिना ही दुर्लभ मामलों पर अतिरिक्त ध्यान देने के लिए मजबूर करता है।

बड़ा सवाल यह है: क्या नकली अभ्यास डेटा बनाना (SMOTE) बेहतर है, या गलतियों पर वॉल्यूम बढ़ा देना (इन-बिल्ट नॉब)? पंजाब इंजीनियरिंग कॉलेज के अथर्व तिवारी द्वारा किया गया एक नया अध्ययन यह देखने के लिए इन दोनों दृष्टिकोणों को आमने-सामने रखता है कि कौन सा वास्तव में क्रेडिट स्कोरिंग की वास्तविक दुनिया में अधिक चोरों को पकड़ता है।

---

द ग्रेट क्रेडिट कार्ड शोडाउन (महान क्रेडिट कार्ड मुकाबला)

इस अध्ययन में, शोधकर्ता ने 3,00,000 से अधिक ऋण आवेदनों के वास्तविक दुनिया के डेटासेट का उपयोग करके एक विशाल प्रयोग आयोजित किया। इस भीड़ में, 92% लोगों ने अपने ऋण चुका दिए और केवल 8% ने डिफॉल्ट किया (ऋण नहीं चुकाया)। यह परीक्षण करने के लिए एकदम सही सेटअप था कि विभिन्न कंप्यूटर मॉडल 92% से विचलित हुए बिना 8% को कितनी अच्छी तरह पहचान सकते हैं।

शोधकर्ता ने केवल एक मॉडल नहीं चुना; उन्होंने तीन अलग-अलग "जासूसों" का परीक्षण किया:

1. लॉजिस्टिक्स रिग्रेशन (Logistic Regression): वह पुराना, भरोसेमंद जासूस जो सख्त नियमों का पालन करता है।
2. रैंडम फॉरेस्ट (Random Forest): जासूसों की एक टीम जहाँ प्रत्येक सदस्य सुरागों को अलग तरह से देखता है और उत्तर पर वोट देता है।
3. XGBoost: एक सुपर-स्मार्ट जासूस जो अपनी गलतियों से एक-एक करके सीखता है और हर दौर के साथ और भी तेज होता जाता है।

प्रत्येक जासूस को तीन अलग-अलग प्रशिक्षण रणनीतियाँ दी गईं:

• "कुछ न करने" की रणनीति: बस कच्चा डेटा उन्हें दे दें और देखें कि क्या होता है।
• "वॉल्यूम नॉब" की रणनीति: मॉडल की इन-बिल्ट सेटिंग्स का उपयोग करें ताकि डिफॉल्टर को चूकने पर भारी दंड मिले (कोई नकली डेटा नहीं)।
• "फोटोकॉपीयर" की रणनीति: संतुलन बनाने के लिए नकली डिफॉल्टर बनाने के लिए SMOTE का उपयोग करें।

चौंकाने वाला परिणाम

परिणाम एक रहस्यमयी फिल्म के प्लॉट ट्विस्ट की तरह थे। "कुछ न करने" वाली रणनीति सभी के लिए बुरी तरह विफल रही, जिसमें लगभग कोई डिफॉल्टर नहीं पकड़ा गया (2.2% से कम रिकॉल)। यह अपेक्षित था। लेकिन "वॉल्यूम नॉब" और "फोटोकॉपीयर" के बीच की लड़ाई दिलचस्प थी।

जब शोधकर्ता ने XGBoost का उपयोग किया, तो इन-बिल्ट "वॉल्यूम नॉब" रणनीति ने प्रतियोगिता को पछाड़ दिया। इसने वास्तविक डिफॉल्टर्स में से 64.8% को पकड़ लिया। "फोटोकॉपीयर" रणनीति (SMOTE), जो दशकों से एक मानक समाधान रहा है, केवल 43.3% को पकड़ पाया। यह 21.5 प्रतिशत अंक का एक बड़ा अंतर है। शोधकर्ता ने सख्त सांख्यिकीय परीक्षण (जिसे McNemar's टेस्ट कहा जाता है) चलाए और पुष्टि की कि यह कोई इत्तेफाक नहीं था; अंतर इतना बड़ा था कि यह सांख्यिकीय रूप से निश्चित था ($p < 10^{-6}$)।

हालाँकि, कहानी पूरी तरह से बदल गई जब उन्होंने रैंडम फॉरेस्ट पर स्विच किया। इस मॉडल के लिए, "वॉल्यूम नॉब" मुश्किल से काम आया (केवल 7.8% डिफॉल्टर पकड़े गए), जबकि "फोटोकॉपीयर" (SMOTE) बहुत बेहतर प्रदर्शन कर गया, जिसने 41.2% डिफॉल्टर्स को पकड़ा।

यह सुझाव देता है कि असंतुलित डेटा को ठीक करने के लिए कोई एक "जादुई समाधान" नहीं है। जो एक प्रकार के कंप्यूटर मॉडल के लिए काम करता है, वह दूसरे के लिए विफल हो सकता है। अध्ययन बताता है कि विशेष रूप से शक्तिशाली XGBoost मॉडल के लिए, केवल मॉडल को दुर्लभ गलतियों के प्रति अधिक संवेदनशील बनाना, सिंथेटिक, नकली डेटा खिलाने की तुलना में कहीं अधिक बेहतर है।

फोटोकॉपीयर क्यों विफल हुआ (और नॉब क्यों जीता)

तो, नकली डेटा बनाने से XGBoost मॉडल को नुकसान क्यों पहुँचा? शोधकर्ता बताते हैं कि जब आपके पास 192 अलग-अलग फीचर्स (जैसे आय, आयु और क्रेडिट इतिहास) वाला एक जटिल डेटासेट होता है, तो दो वास्तविक लोगों को मिलाकर एक नकली व्यक्ति बनाने से एक ऐसा "दानव" (monster) बन सकता है जो वास्तविकता में मौजूद ही नहीं है। यह एक बिल्ली और कुत्ते की तस्वीर को मिलाकर एक नया जानवर बनाने की कोशिश करने जैसा है; परिणाम अजीब हो सकता है और कंप्यूटर को भ्रमित कर सकता है। मॉडल वास्तविक पैटर्न के बजाय शोर (noise) से सीख रहा होता है।

इन-बिल्ट "वॉल्यूम नॉब" इस जाल से पूरी तरह बच जाता है। यह डेटा को नहीं छूता और न ही नकली उदाहरण बनाता है। यह बस पर्दे के पीछे गणित को बदल देता है ताकि यह कहा जा सके, "दुर्लभ मामलों को मत छोड़ना!" इसने प्रशिक्षण को साफ रखा और XGBoost को अपने सर्वश्रेष्ठ प्रदर्शन करने की अनुमति दी।

"क्यों" के पीछे का "कौन"

यह सुनिश्चित करने के लिए कि जीतने वाला मॉडल केवल रैंडम अनुमान लगाने वाला कोई 'ब्लैक बॉक्स' नहीं था, शोधकर्ता ने SHAP (जिसका अर्थ है SHapley Additive exPlanations) नामक टूल का उपयोग किया। SHAP को एक आवर्धक लेंस (magnifying glass) के रूप में समझें जो दिखाता है कि जासूस ने निर्णय लेने के लिए किन सुरागों का उपयोग किया।

विश्लेषण से पता चला कि मॉडल तार्किक रूप से व्यवहार कर रहा था। सबसे महत्वपूर्ण सुराग एक्सटर्नल ब्यूरो स्कोर (अन्य बैंकों से प्राप्त क्रेडिट स्कोर) था। यह पूरी तरह से तर्कसंगत है: यदि किसी व्यक्ति का अन्य ऋणदाताओं को भुगतान करने का इतिहास अच्छा है, तो वे आपसे भी ऋण चुकाने की संभावना रखते हैं। मॉडल ने ऋण राशि और पुनर्भुगतान राशि के अनुपात और उधारकर्ता की आयु पर भी ध्यान दिया। महत्वपूर्ण रूप से, मॉडल का तर्क पारदर्शी और बचाव योग्य था, जो बैंकों के लिए बहुत बड़ी बात है जिन्हें नियामकों को अपने निर्णय समझाने पड़ते हैं।

निष्कर्ष

अध्ययन यह निष्कर्ष निकालता है कि असंतुलन को ठीक करने के लिए हजारों नकली डेटा बिंदु उत्पन्न करने से पहले, आपको उन सरल, इन-बिल्ट टूल्स का उपयोग करना चाहिए जो आपके मॉडल के पास पहले से मौजूद हैं। XGBoost के लिए, इन-बिल्ट वेटिंग (भार देना) न केवल उपयोग में आसान था, बल्कि काफी अधिक प्रभावी भी था, जिसने पारंपरिक पद्धति की तुलना में लगभग 22% अधिक डिफॉल्टर्स को पकड़ा।

हालाँकि, शोधकर्ता चेतावनी देते हैं कि यह कोई सार्वभौमिक नियम नहीं है। चूंकि रैंडम फॉरेस्ट ने "फोटोकॉपीयर" विधि के साथ बेहतर प्रदर्शन किया, इसलिए आप यह मान नहीं सकते कि एक तकनीक हर मॉडल के लिए काम करती है। सबसे अच्छा दृष्टिकोण पूरी तरह से इस बात पर निर्भर करता है कि आप किस "जासूस" का उपयोग कर रहे हैं। बैंकिंग की विनियमित दुनिया में, जहाँ डिफॉल्टर्स को पकड़ना महत्वपूर्ण है लेकिन निर्णयों को समझाना अनिवार्य है, यह निष्कर्ष एक स्पष्ट और अधिक कुशल मार्ग प्रदान करता है: पहले सरल 'नॉब' को आजमाएं, लेकिन हमेशा यह जांच लें कि क्या यह आपके विशिष्ट मॉडल के अनुकूल है।