Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

जब भी कोई व्यक्ति क्रेडिट कार्ड या छोटे ऋण के लिए आवेदन करता है, तो पृष्ठभूमि में एक गुप्त गणना होती है। बैंकों और ऋणदाताओं को यह तय करना होता है कि क्या वे उस व्यक्ति पर भरोसा कर सकते हैं, एक ऐसा निर्णय जो इस बात की भविष्यवाणी करने पर निर्भर करता है कि क्या वे भुगतान करने में विफल रहेंगे। यह केवल एक अनुमान नहीं है; यह एक उच्च-दांव वाला वित्तीय निर्णय है जो यह निर्धारित करता है कि किसे अर्थव्यवस्था तक पहुंच मिलेगी और किस लागत पर। इन निर्णयों को लेने के लिए, संस्थान कंप्यूटर मॉडल पर भरोसा करते हैं जो व्यक्ति के इतिहास को स्कैन करते हैं—उनकी आय, उनके पिछले बिल, और उन्होंने पहले ऋण को कैसे संभाला है। इन मॉडलों को सटीक होना चाहिए, लेकिन उन्हें निष्पक्ष और पारदर्शी भी होना चाहिए। संयुक्त राज्य अमेरिका में कानून यह आवश्यक बनाते हैं कि यदि ऋण अस्वीकार कर दिया जाता है, तो ऋणदाता को ठीक-ठीक कारण बताना होगा। इसका अर्थ यह है कि कंप्यूटर केवल "नहीं" नहीं कह सकता; इसे उन विशिष्ट कारणों की ओर संकेत करना चाहिए, जैसे कि कोई विलंबित भुगतान या उच्च शेष राशि, जिसके कारण निर्णय लिया गया। यदि मॉडल एक 'ब्लैक बॉक्स' है जिसे कोई समझ नहीं सकता, तो यह उधारकर्ताओं के लिए कानूनी जोखिम और अनुचित परिणाम पैदा करता है।

वर्षों से, शोधकर्ताओं ने डिफ़ॉल्ट (भुगतान न कर पाना) की भविष्यवाणी करने के लिए बेहतर मॉडल बनाने का प्रयास किया है, जिसमें अक्सर जटिल कृत्रिम बुद्धिमत्ता (AI) का उपयोग किया गया है। हालाँकि, एक नया अध्ययन बताता है कि इनमें से कई पिछले प्रयास कमजोर आधार पर बने थे। शोधकर्ताओं ने पाया कि इन मॉडलों के परीक्षण में सामान्य अभ्यास अक्सर पद्धतिगत त्रुटियाँ पेश करते हैं, जिससे कंप्यूटर वास्तव में जितने बुद्धिमान हैं उससे कहीं अधिक स्मार्ट दिखाई देते हैं। उन्होंने यह भी पाया कि डेटा समस्याओं को ठीक करने के लिए उपयोग किए जाने वाले कुछ लोकप्रिय तरीके वास्तव में अनावश्यक हैं। एक सख्त और अधिक ईमानदार तरीके से इन प्रणालियों का परीक्षण करके, टीम ने पहचाना कि कौन से मॉडल वास्तव में सबसे अच्छा काम करते हैं और बिना किसी भ्रम के उनके निर्णयों को कैसे समझाया जा सकता है। उनका कार्य एक नया, विश्वसनीय मानक प्रदान करता है कि वित्तीय संस्थानों को उन उपकरणों का मूल्यांकन कैसे करना चाहिए जो तय करते हैं कि किसे क्रेडिट मिलेगा।

अध्ययन ने ताइवान की एक क्रेडिट कार्ड कंपनी के वास्तविक दुनिया के डेटा के एक विशाल संग्रह पर ध्यान केंद्रित किया, जिसमें तीस हजार ग्राहक शामिल थे। इनमें से लगभग बाईस प्रतिशत ग्राहक अंततः अपने बिलों का भुगतान करने में विफल रहे, जिससे ऐसी स्थिति उत्पन्न हुई जहाँ "डिफ़ॉल्ट" के मामले "अच्छे" मामलों की तुलना में कम थे। वित्त में यह असंतुलन आम है और इसने कई शोधकर्ताओं को 'सिंथेटिक ओवरसैंपलिंग' नामक तकनीक का उपयोग करने के लिए प्रेरित किया है। यह विधि संख्याओं को संतुलित करने के लिए नकली डेटा बिंदु बनाती है, इस उम्मीद में कि इससे कंप्यूटर बेहतर सीख पाएगा। हालाँकि, इस अध्ययन के शोधकर्ताओं ने परीक्षण किया कि क्या यह अतिरिक्त चरण वास्तव में आवश्यक था। उन्होंने एक कठोर परीक्षण प्रोटोकॉल बनाया जिसने डेटा को सख्ती से अलग रखा, यह सुनिश्चित करते हुए कि कंप्यूटर सीखने के दौरान कभी भी परीक्षण के उत्तर न देख सके। उन्होंने परिणामों को स्थिर रखने और यह सुनिश्चित करने के लिए कि वे केवल एक भाग्यशाली संयोग नहीं हैं, दस अलग-अलग यादृच्छिक शुरुआती बिंदुओं के साथ परीक्षण किए।

जब उन्होंने छह अलग-अलग प्रकार के कंप्यूटर मॉडलों की तुलना की, तो परिणाम स्पष्ट थे। सबसे शक्तिशाली उपकरण 'ग्रेडिएंट बूस्टिंग एन्सेम्बल' नामक मॉडलों का एक परिवार है। ये वे प्रणालियाँ हैं जो एक एकल, अत्यधिक सटीक भविष्यवाणी करने के लिए कई सरल निर्णय वृक्षों (decision trees) को जोड़ती हैं। इन मॉडलों के तीन विशिष्ट संस्करण—XGBoost, LightGBM और CatBoost—लगभग समान रूप से प्रदर्शन करते हैं, जो एक शीर्ष स्तर बनाते हैं जो पुराने, सरल तरीकों जैसे लॉजिस्टिक रिग्रेशन और नए डीप लर्निंग दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करता है। शीर्ष मॉडलों ने लगभग सतहत्तर प्रतिशत बार डिफ़ॉल्ट के जोखिम को सही ढंग से रैंक किया, जो कि सांख्यिकीय रूप से एक-दूसरे से अविभेद्य था लेकिन विकल्पों से स्पष्ट रूप से बेहतर था। अध्ययन ने पाया कि इन शीर्ष तीन मॉडलों के बीच के अंतर इतने कम थे कि किसी एक को पूर्ण विजेता घोषित नहीं किया जा सकता था; वे बस इस प्रकार की समस्या के लिए उत्कृष्ट विकल्प हैं।

शायद सबसे आश्चर्यजनक निष्कर्ष सिंथेटिक डेटा से संबंधित था। शोधकर्ताओं ने परीक्षण किया कि क्या उन नकली, संतुलित डेटा बिंदुओं को जोड़ने से मॉडलों में सुधार हुआ। उन्होंने पाया कि ऐसा नहीं हुआ। एक बार जब शोधकर्ताओं ने एक अलग सत्यापन सेट (validation set) के आधार पर निर्णय सीमा (decision threshold)—वह विशिष्ट बिंदु जहाँ कंप्यूटर "हाँ" या "ना" कहने का निर्णय लेता है—को समायोजित कर दिया, तो सिंथेटिक डेटा की आवश्यकता समाप्त हो गई। वास्तव में, इस प्रकार के मध्यम रूप से असंतुलित वित्तीय डेटा के लिए, केवल निर्णय बिंदु को ट्यून करना ही असंतुलन को संभालने के लिए पर्याप्त था। नकली डेटा बिंदु बनाना न केवल अनावश्यक था बल्कि इसमें शोर (noise) भी शामिल हो सकता था जो मॉडल को भ्रमित कर सकता है। यह सुझाव देता है कि वित्तीय संस्थान सिंथेटिक डेटा उत्पन्न करने के जटिल चरण को छोड़ सकते हैं और इसके बजाय अपने निर्णय नियमों को सावधानीपूर्वक कैलिब्रेट करने पर ध्यान केंद्रित कर सकते हैं।

केवल यह भविष्यवाणी करने के अलावा कि कौन डिफ़ॉल्ट करेगा, अध्ययन ने इस बात पर भी गौर किया कि ये मॉडल अपने निर्णयों को कितनी अच्छी तरह समझा सकते हैं, जो कि कानूनी अनुपालन की एक आवश्यकता है। शोधकर्ताओं ने इन स्पष्टीकरणों को उत्पन्न करने के लिए दो अलग-अलग विधियों का उपयोग किया: एक गेम थ्योरी (game theory) पर आधारित और दूसरा स्थानीय सन्निकटन (local approximations) पर आधारित। उन्होंने पाया कि जबकि ये दो विधियाँ आम तौर पर सबसे महत्वपूर्ण कारकों पर सहमत थीं, वे हमेशा हर एक व्यक्ति के लिए सहमत नहीं थीं। लगभग बासठ प्रतिशत मामलों के लिए, स्पष्टीकरण काफी सुसंगत थे, लेकिन कुछ व्यक्तियों के लिए, दोनों विधियाँ अस्वीकृति के अलग-अलग कारणों की ओर इशारा करती थीं। यह असहमति एक गंभीर जोखिम है। यदि कोई बैंक ग्राहक को यह बताने के लिए केवल एक विधि पर निर्भर करता है कि उसे क्यों अस्वीकार किया गया, और वह विधि अस्थिर है, तो बैंक को कानूनी चुनौतियों का सामना करना पड़ सकता है। अध्ययन निष्कर्ष निकालता है कि संस्थानों को विभिन्न स्पष्टीकरण उपकरणों के बीच सहमति की जांच करनी चाहिए और उन मामलों की समीक्षा के लिए मानव विशेषज्ञों को रखना चाहिए जहाँ कंप्यूटर का तर्क अस्पष्ट हो।

शोधकर्ताओं ने अपने निष्कर्षों का परीक्षण जर्मनी के एक छोटे, पुराने डेटासेट पर भी किया ताकि यह देखा जा सके कि क्या परिणाम कम डेटा के साथ भी कायम रहते हैं। उन्होंने पाया कि कम उदाहरणों के साथ, जटिल मॉडलों का सरल मॉडलों पर लाभ सांख्यिकीय रूप से सिद्ध करना कठिन हो गया, जो यह सुझाव देता है कि इन उन्नत उपकरणों की शक्ति सीखने के लिए पर्याप्त डेटा होने पर निर्भर करती है। अंत में, टीम ने पुरुषों और महिलाओं या विभिन्न शिक्षा स्तरों के लोगों जैसे विभिन्न समूहों में निष्पक्षता की जाँच की। उन्होंने पाया कि मॉडल द्वारा इन समूहों के साथ किए गए व्यवहार में केवल मामूली अंतर थे, लेकिन उन्होंने नोट किया कि बहुत छोटे समूहों के लिए, डेटा इतना विरल था कि निश्चित निष्कर्ष नहीं निकाले जा सकते थे। अध्ययन इस बात पर जोर देता है कि हालांकि मॉडल कुल मिलाकर अच्छा प्रदर्शन करते हैं, वे विशिष्ट ऐतिहासिक डेटा पर प्रशिक्षित होते हैं और बिना पुनर्मूल्यांकन के उन्हें अलग-अलग आबादी या आर्थिक संकटों पर अंधाधुंध लागू नहीं किया जा सकता है।

यह कार्य क्रेडिट स्कोरिंग मॉडल का परीक्षण करने का एक नया, स्वच्छ तरीका स्थापित करता है। यह सिद्ध करता है कि सबसे प्रभावी उपकरण पहले से ही उपलब्ध हैं और उन्हें ठीक से काम करने के लिए कृत्रिम डेटा ट्रिक्स की आवश्यकता नहीं है। इससे भी महत्वपूर्ण बात यह है कि यह रेखांकित करता है कि सटीकता ही पर्याप्त नहीं है; निर्णयों के पीछे के स्पष्टीकरण सुसंगत और विश्वसनीय होने चाहिए। अध्ययन में वर्णित सख्त, लीकेज-मुक्त प्रोटोकॉल का पालन करके, वित्तीय संस्थान ऐसे सिस्टम बना सकते हैं जो न केवल अधिक सटीक हैं बल्कि अधिक भरोसेमंद और कानूनी रूप से सुदृढ़ भी हैं। इस शोध में उपयोग किया गया कोड और डेटा अब किसी के भी उपयोग के लिए खुला है, जिससे यह सुनिश्चित होता है कि इस नए मानक को व्यापक समुदाय द्वारा अपनाया और सत्यापित किया जा सके।