Do Fair Models Reason Fairly? Counterfactual Explanation Consistency for Procedural Fairness in Credit Decisions
यह शोध पत्र काउंटरफैक्चुअल एक्सप्लेनेशन कंसिस्टेंसी (CEC) को प्रस्तुत करता है, जो क्रेडिट निर्णय मॉडलों में "छिपे हुए प्रक्रियात्मक पूर्वाग्रह" का पता लगाने और उसे कम करने के लिए डिज़ाइन किया गया एक ढांचा है, यह सुनिश्चित करते हुए कि समान परिणामों वाले व्यक्तियों को सुसंगत तर्क प्राप्त हों, जो एक महत्वपूर्ण निष्पक्षता आयाम है जिसे मानक परिणाम-आधारित मेट्रिक्स द्वारा अनदेखा कर दिया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऋण (लोन) के लिए आवेदन कर रहे हैं। आपका क्रेडिट स्कोर बहुत अच्छा है, आपकी नौकरी स्थिर है, और आपके पास इसे चुकाने के लिए पर्याप्त पैसा है। आपको मंजूरी मिल जाती है। अब, कल्पना कीजिए कि आपके पड़ोसी ने भी बिल्कुल वैसी ही वित्तीय प्रोफाइल के साथ आवेदन किया, लेकिन वह एक अलग जनसांख्यिकीय समूह (जैसे कि एक अलग जाति या लिंग) से संबंधित है। उन्हें भी मंजूरी मिल जाती है।
सतही तौर पर, सब कुछ निष्पक्ष दिखता है। आप दोनों को एक ही परिणाम मिला। लेकिन क्या होगा अगर बैंक के कंप्यूटर सिस्टम ने आपको "हाँ" कहने के लिए और आपके पड़ोसी को "हाँ" कहने के लिए बिल्कुल अलग कारणों का उपयोग किया हो?
- आपके लिए: कंप्यूटर ने आपके क्रेडिट स्कोर और आय को देखा।
- आपके पड़ोसी के लिए: कंप्यूटर ने उनके क्रेडिट स्कोर को नजरअंदाज कर दिया और इसके बजाय उनके रोजगार के इतिहास और कोलेटरल (collateral) को बहुत अधिक महत्व दिया।
यह उस शोध पत्र (paper) के मूल मुद्दे को दर्शाता है। लेखक इसे "हिडन प्रोसीजरल बायस" (Hidden Procedural Bias - छिपा हुआ प्रक्रियात्मक पूर्वाग्रह) कहते हैं। यह वैसा ही है जैसे दो न्यायाधीश एक अदालती मामले में एक ही फैसला देते हैं, लेकिन एक न्यायाधीश ने प्रतिवादी के 'एलिबाई' (alibi) के आधार पर निर्णय दिया, जबकि दूसरे न्यायाधीश ने पूरी तरह से उसके कपड़ों के आधार पर निर्णय दिया। परिणाम एक ही है, लेकिन प्रक्रिया अनुचित थी।
समस्या: "आउटकम" (परिणाम) का जाल
AI के लिए वर्तमान में उपलब्ध अधिकांश फेयरनेस टूल्स (निष्पक्षता उपकरण) एक ऐसे शिक्षक की तरह हैं जो केवल अंतिम परीक्षा के स्कोर की जांच करता है। यदि समूह A और समूह B दोनों का औसत स्कोर 80% है, तो शिक्षक कहता है, "बहुत बढ़िया, सिस्टम निष्पक्ष है!"
लेखक तर्क देते हैं कि यह एक जाल है। आप सटीक टेस्ट स्कोर (परिणाम) प्राप्त कर सकते हैं जबकि शिक्षक ने अलग-अलग छात्रों के लिए पूरी तरह से अलग ग्रेडिंग रूब्रिक्स (grading rubrics) का उपयोग किया हो। ऋण देने की दुनिया में, यह 'इक्वल क्रेडिट अपॉर्चुनिटी एक्ट' (ECOA) जैसे कानूनों के तहत अवैध है, जो कहता है कि आप विभिन्न समूहों के लिए अलग-अलग नियम लागू नहीं कर सकते, भले ही अंतिम मंजूरी दरें समान दिखती हों।
समाधान: "CEC" फ्रेमवर्क
लेखक एक नया टूल प्रस्तावित करते हैं जिसे काउंटरफैक्चुअल एक्सप्लेनेशन कंसिस्टेंसी (Counterfactual Explanation Consistency - CEC) कहा जाता है। इसे AI के लिए एक "रियलिटी चेक" के रूप में समझें।
यह यहाँ कैसे काम करता है, एक सरल उदाहरण के माध्यम से:
"क्या होता अगर" वाला बदलाव (Counterfactuals):
कल्पना कीजिए कि आपके पास एक ऋण आवेदन है। AI कहता है "हाँ" क्योंकि आपकी आय अधिक है। CEC टूल आपके आवेदन को लेता है और पूछता है: "अगर यही व्यक्ति, जिसकी आय और क्रेडिट स्कोर बिल्कुल समान है, किसी अन्य जनसांख्यिकीय समूह से होता तो क्या होता?"
केवल फॉर्म पर नाम या जाति बदलने के बजाय (जो नकली, असंभव डेटा बनाता है), यह टूल डेटाबेस में एक वास्तविक व्यक्ति को खोजता है जो वित्तीय रूप से बिल्कुल आपके जैसा दिखता है लेकिन दूसरे समूह से संबंधित है। यह आपको उस दूसरे समूह के इस "जुड़वां" (twin) के साथ जोड़ देता है।"रीजनिंग" ऑडिट (व्याख्या की निरंतरता):
अब, टूल AI से पूछता है कि उसने आप दोनों को क्यों मंजूरी दी।
- क्या उसने आप दोनों के लिए आय और क्रेडिट स्कोर को एक ही तरह से तौला?
- या क्या इसने अचानक यह तय कर दिया कि दूसरे व्यक्ति के लिए, नौकरी का इतिहास ही एकमात्र महत्वपूर्ण चीज़ है?
यदि AI इन दो वित्तीय जुड़वाओं के लिए अलग-अलग "वेट्स" (weights) या कारणों का उपयोग करता है, तो CEC टूल अलार्म बजा देता है। यह मापता है कि दो समूहों के बीच तर्क (reasoning) में कितना "उतार-चढ़ाव" आता है।
- सुधार (AI को प्रशिक्षित करना):
लेखकों ने केवल एक डिटेक्टर ही नहीं बनाया; उन्होंने एक शिक्षक भी बनाया। उन्होंने AI की प्रशिक्षण प्रक्रिया में एक नया नियम जोड़ा।
- पुराना नियम: "सुनिश्चित करें कि मंजूरी दरें समान हों।"
- नया नियम: "सुनिश्चित करें कि मंजूरी दरें समान हों और यह भी सुनिश्चित करें कि आप वहां तक पहुँचने के लिए बिल्कुल एक ही तर्क का उपयोग करें।"
अब, यदि AI अलग-अलग समूहों के लिए अलग तर्क का उपयोग करने की कोशिश करता है, तो उसे दंडित (एक गणितीय "लॉस फंक्शन" के माध्यम से) किया जाता है, भले ही अंतिम निर्णय समान हो।
उन्होंने क्या पाया
लेखकों ने वास्तविक दुनिया के डेटा (जैसे जर्मन क्रेडिट रिकॉर्ड, अमेरिकी आय डेटा और मॉर्टगेज रिकॉर्ड) और सिंथेटिक डेटा पर इसका परीक्षण किया।
- चौंकाने वाला तथ्य: उन्होंने पाया कि कई मौजूदा "फेयर" AI मॉडल वास्तव में इस पूर्वाग्रह को छिपा रहे थे। वे सभी मानक निष्पक्षता परीक्षणों (समान मंजूरी दरें) को पास कर सकते थे, लेकिन फिर भी वे अलग-अलग लोगों के लिए अलग तर्क का उपयोग कर रहे थे। उनके अध्ययन में, कुछ मॉडलों में 90% तक आवेदक इस "हिडन बायस" के जाल में फंसे हुए थे।
- सफलता: जब उन्होंने अपने नए CEC मेथड का उपयोग किया, तो AI ने अलग-अलग नियम बनाना बंद कर दिया। इसने वित्तीय जुड़वाओं के साथ एक जैसा व्यवहार करना शुरू कर दिया, चाहे उनकी पृष्ठभूमि कुछ भी हो।
- लागत: सबसे अच्छी बात? AI "बेवकूफ" नहीं हुआ। इसने अभी भी सटीक रूप से भविष्यवाणी की कि कौन ऋण चुकाएगा, और इसने समग्र प्रदर्शन के मामले में बहुत कम नुकसान उठाया। यह बस सोचने के तरीके में अधिक निष्पक्ष हो गया।
बड़ी तस्वीर
शोध पत्र निष्कर्ष निकालता है कि निष्पक्षता केवल परिणाम के बारे में नहीं है; यह रेसिपी (विधि) के बारे में है।
यदि आप दो लोगों के लिए केक बनाते हैं, तो केवल इतना पर्याप्त नहीं है कि दोनों को एक ही आकार का टुकड़ा मिले। यदि आपने एक व्यक्ति के लिए एक गुप्त सामग्री का उपयोग किया और दूसरे के लिए एक अलग सामग्री का, तो प्रक्रिया अनुचित है। CEC फ्रेमवर्क यह सुनिश्चित करता है कि AI हर किसी के लिए एक ही "रेसिपी" (तर्क) का उपयोग करे, जिससे यह सुनिश्चित हो सके कि कानून और नैतिकता की दृष्टि में, "समान मामलों के साथ समान व्यवहार" किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।