Beyond Aggregate Calibration: Decomposing Income-Conditional Recall Disparities in Automated Credit Default Prediction
यह शोध पत्र प्रकट करता है कि क्रेडिट डिफॉल्ट भविष्यवाणी में डेटा-केंद्रित फ़िल्टरिंग पाइपलाइन अनजाने में उच्च और निम्न आय वाले उधारकर्ताओं के बीच गंभीर रिकॉल असमानताएं पैदा करती हैं, जो न केवल प्रत्यक्ष आय विशेषताओं और संस्थागत मूल्य निर्धारण पूर्वाग्रहों से प्रेरित हैं, बल्कि ऋण राशि और गृह स्वामित्व जैसे संरचनात्मक प्रॉक्सी चरों द्वारा भी संचालित होती हैं जो संवेदनशील विशेषताओं को हटा दिए जाने पर भी बने रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान ढूँढने के बजाय, आप संख्याओं को देख रहे हैं। यह कहानी मशीन लर्निंग (machine learning) की दुनिया में बसी है, जहाँ कंप्यूटरों को विशाल पुराने डेटा का अध्ययन करके भविष्यवाणियाँ करना सिखाया जाता है। इसे एक छात्र की तरह समझें जो हजारों पुराने पेपर पढ़कर परीक्षा की तैयारी कर रहा है। इन कंप्यूटरों द्वारा ली जाने वाली एक विशिष्ट परीक्षा है क्रेडिट स्कोरिंग (credit scoring): यह तय करना कि क्या कोई व्यक्ति ऋण चुकाएगा या वह डिफ़ॉल्ट (भुगतान करने में विफल) हो जाएगा।
लेकिन यहाँ एक पेचीदा बात है: कभी-कभी कंप्यूटर जिस डेटा का अध्ययन करता है, वह अस्त-व्यस्त होता है। शायद कोई लेबल गलत है, या शायद कंप्यूटर भ्रमित हो गया है। इसे ठीक करने के लिए, वैज्ञानिक अक्सर "कॉन्फिडेंस स्कोर" (विश्वास स्कोर) का उपयोग करते हैं। यदि कंप्यूटर किसी भविष्यवाणी के बारे में बहुत अनिश्चित है, तो वह कह सकता है, "मुझे इस डेटा पॉइंट पर भरोसा नहीं है; चलो इसे हटा देते हैं।" इसे डेटा क्लीनिंग (data cleaning) कहा जाता है। इस क्षेत्र में एक और बड़ा विचार निष्पक्षता (fairness) है। हम चाहते हैं कि कंप्यूटर सभी के साथ समान व्यवहार करे, चाहे वे कितना भी पैसा कमाते हों। निष्पक्षता का एक प्रमुख नियम है जिसे इक्वल अपॉर्चुनिटी (equal opportunity) कहा जाता है, जिसका सीधा अर्थ है: यदि वास्तव में कोई ऋण चुकाने में विफल रहता है, तो कंप्यूटर को उस विफलता को पहचानने में समान रूप से सक्षम होना चाहिए, चाहे वह व्यक्ति अमीर हो या गरीब।
बड़ा सवाल यह है: क्या कंप्यूटर का अपना डेटा "साफ" करने का तरीका अनजाने में चीज़ों को अन्यायपूर्ण बना देता है? और यदि हम संवेदनशील जानकारी (जैसे आय) को कंप्यूटर से छिपा देते हैं ताकि उसे निष्पक्ष होने के लिए मजबूर किया जा सके, तो क्या यह वास्तव में काम करता है? यह शोध पत्र इस प्रश्न की जांच करता है, और यह देखने के लिए वास्तविक ऋण डेटा का उपयोग करता है कि क्या कंप्यूटर गुप्त रूप से डेटा का गलत प्रतिनिधित्व कर रहा है।
शोध पत्र की कहानी: जब डेटा की "सफाई" उसे और गंदा कर देती है
शोधकर्ता ने 'लेंडिंगक्लब' (LendingClub) नामक कंपनी के 1.3 मिलियन से अधिक ऋणों के विशाल डेटासेट को देखकर शुरुआत की। उन्होंने देखा कि जब उन्होंने डेटा को साफ करने के लिए मानक "कॉन्फिडेंस स्कोर" पद्धति का उपयोग किया, तो कुछ अजीब हो रहा था। कंप्यूटर ने तय किया कि कुछ ऋण आवेदन "नॉइज़ी" (शोर युक्त) या अविश्वसनीय थे और उन्हें हटाने के लिए चिह्नित कर दिया।
यहाँ एक मोड़ है: कंप्यूटर उच्च आय वाले उन कर्जदारों के "नॉइज़ी" लेबल को हटाने के लिए बहुत अधिक इच्छुक था जिन्होंने वास्तव में डिफ़ॉल्ट किया था, बजाय कम आय वाले कर्जदारों के जिन्होंने डिफ़ॉल्ट किया था। यह एक शिक्षक की तरह है जो कागज़ों के ढेर को ग्रेड दे रहा है और यह तय कर रहा है कि अमीर बच्चों के गलत उत्तर केवल "गलतियाँ" हैं जिन्हें अनदेखा किया जाना चाहिए, जबकि गरीब बच्चों के गलत उत्तरों को वास्तविक साक्ष्य के रूप में माना जाना चाहिए। संख्याओं में, कंप्यूटर ने उच्च-आय वाले डिफ़ॉल्टर्स के 2.40% को शोर मानकर हटा दिया, लेकिन कम-आय वाले डिफ़ॉल्टर्स के केवल 0.38% को। यह डेटा के साथ किए गए व्यवहार में एक बहुत बड़ा अंतर है।
लेकिन असली आश्चर्य तब आया जब उन्होंने केवल "सफाई" को देखना बंद किया और वास्तविक भविष्यवाणियों को देखा। उन्होंने इक्वल अपॉर्चुनिटी नियम का उपयोग करके जाँच की: "यदि वास्तव में कोई डिफ़ॉल्ट करता है, तो कंप्यूटर उन्हें कितनी बार पकड़ पाता है?"
परिणाम चौंकाने वाले थे। कंप्यूटर कम-आय वाले डिफ़ॉल्टर्स को पकड़ने में बहुत अच्छा था (उसने उनमें से 72.84% को ढूँढ निकाला)। लेकिन वास्तव में डिफ़ॉल्ट करने वाले उच्च-आय वाले कर्जदारों के लिए, कंप्यूटर केवल 55.98% को ही पकड़ पाया। यह 16.86 प्रतिशत अंक का अंतर है। कंप्यूटर मूल रूप से अमीर लोगों के प्रति अंधा था जो भुगतान करने में विफल रहे, जबकि वह गरीब लोगों के प्रति बहुत सतर्क था जो विफल हुए।
जासूसी का काम: ऐसा क्यों हुआ?
शोधकर्ता केवल इस अंतर को खोजने पर ही नहीं रुके; वे जानना चाहते थे कि क्यों। उन्होंने सीक्वेंशियल फीचर ब्लाइंडिंग (sequential feature blinding) नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि आप "20 सवाल" का खेल खेल रहे हैं जहाँ आप एक गुप्त रहस्य का अनुमान लगाने की कोशिश कर रहे हैं। पहले, आप कंप्यूटर को सब कुछ देखने देते हैं। फिर, आप उसकी आँखें ढक देते हैं ताकि वह कर्जदार की आय नहीं देख सके। फिर, आप उसकी आँखें फिर से ढक देते हैं ताकि वह ब्याज दर तक न देख सके।
यहाँ उन्होंने परतों को हटाकर क्या खोजा, इसका विवरण है:
- प्रत्यक्ष आय का सुराग (The Direct Income Clue): जब उन्होंने कंप्यूटर से केवल "वार्षिक आय" का नंबर छिपा दिया, तो अंतर 16.86 अंकों से घटकर 7.49 अंक रह गया। इसका मतलब है कि कंप्यूटर सीधे आय के नंबर का उपयोग यह तय करने के लिए कर रहा था कि कौन जोखिम भरा है।
- अपस्ट्रीम ट्रैप (ब्याज दरें): लेकिन आय को छिपाने के बाद भी, अंतर गायब नहीं हुआ। शोधकर्ता को एहसास हुआ कि कंप्यूटर ब्याज दर का उपयोग एक गुप्त कोड के रूप में कर रहा था। बैंक उन लोगों को कम ब्याज दरें देते हैं जिन्हें वे सुरक्षित समझते हैं। चूंकि अमीर लोग आमतौर पर कम दरें पाते हैं, इसलिए कंप्यूटर ने सीखा: "कम ब्याज दर = सुरक्षित व्यक्ति।" इसलिए, जब एक अमीर व्यक्ति वास्तव में डिफ़ॉल्ट करता, तो कंप्यूटर उसे अनदेखा कर देता क्योंकि ब्याज दर ने उसे बताया था कि वह सुरक्षित है। जब उन्होंने ब्याज दर को भी छिपा दिया, तो अंतर और घटकर लगभग 3.55 अंक रह गया।
- रेसिडुअल घोस्ट (अवशिष्ट भूत): आय और ब्याज दर दोनों को छिपाने के बाद भी, एक छोटा लेकिन वास्तविक अंतर (लगभग 2.56 से 3.55 अंक) बना रहा। कंप्यूटर अभी भी आय का अनुमान लगाने का कोई तरीका खोज रहा था। कैसे? ऋण राशि (loan amount) और घर के स्वामित्व (home ownership) को देखकर। अमीर लोग अक्सर बड़ी राशि उधार लेते हैं और बंधक (mortgage) के साथ घर के मालिक होते हैं। कंप्यूटर ने यह समझने के लिए इन "प्रॉक्सिस" (विकल्प सुरागों) का उपयोग किया कि कौन अमीर है, भले ही उसे आय का नंबर देखने की अनुमति नहीं दी गई थी।
बड़ा सबक
यह शोध पत्र दिखाता है कि कंप्यूटर को केवल यह कहना कि "आय मत देखो" उसे निष्पक्ष नहीं बनाता है। कंप्यूटर एक बहुत ही स्मार्ट जासूस की तरह है जो अन्य सुरागों, जैसे ऋण के आकार या बैंक द्वारा दी गई ब्याज दर को देखकर रहस्य को सुलझा सकता है।
लेखक ने पाया कि संस्थागत पूर्वाग्रह (institutional bias) (कैसे बैंक ब्याज दरें तय करते हैं) और व्यवहार संबंधी प्रॉक्सी (behavioral proxies) (लोग कितना पैसा उधार लेते हैं) मिलकर सच को छिपाते हैं। भले ही आप डेटा को साफ करने की कोशिश करें, कंप्यूटर अन्य संकेतों का उपयोग करके अन्याय को फिर से बना लेता है।
इसलिए, यदि कोई बैंक वास्तव में निष्पक्ष होना चाहता है, तो वह केवल अपने स्प्रेडशीट से "आय" वाला कॉलम हटाकर काम नहीं चला सकता। उन्हें यह समझना होगा कि पूरा सिस्टम—मानव अंडरराइटर द्वारा निर्धारित ब्याज दर से लेकर व्यक्ति द्वारा लिए गए ऋण के आकार तक—एक दूसरे से जुड़ा हुआ है। यदि वे पूरे चक्र को ठीक नहीं करते हैं, तो कंप्यूटर अमीर और गरीब कर्जदारों के साथ अलग-अलग व्यवहार करने के तरीके खोजता रहेगा, भले ही उसे ऐसा करने से मना किया गया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।