Counterfactual Explanations and the Scope of Contestability
यह शोध पत्र तर्क देता है कि प्रति-तथ्यात्मक स्पष्टीकरण (counterfactual explanations) निर्णय को चुनौती देने के अधिकार को किसी निर्णय के निरसन (revocation) की मांग करने के रूप में परिभाषित करके, यह विश्लेषण करके कि कैसे ऐसे स्पष्टीकरण एल्गोरिद्मिक त्रुटियों का पता लगाने में मदद करते हैं, और उनकी प्रभावशीलता बढ़ाने के लिए एक मल्टी-शॉट क्वेरीइंग दृष्टिकोण प्रस्तावित करके, स्वचालित निर्णय लेने में एजेंसी को पुनर्स्थापित कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, कंप्यूटर तेजी से उन भारी निर्णयों को ले रहे हैं जो हमारे जीवन को आकार देते हैं। वे तय करते हैं कि किसे ऋण मिलेगा, किसे नौकरी के लिए काम पर रखा जाएगा, और किसे चिकित्सा देखभाल मिलेगी। ये प्रणालियाँ अक्सर "ब्लैक बॉक्स" के रूप में कार्य करती हैं, जिसका अर्थ है कि उनका आंतरिक तर्क इतना जटिल है कि जिन लोगों ने उन्हें बनाया है, वे भी आसानी से यह नहीं समझा सकते कि कोई विशिष्ट निर्णय कैसे लिया गया। यह अपारदर्शिता मानवीय एजेंसी (human agency) के लिए एक समस्या पैदा करती है: यदि हम यह नहीं समझते कि निर्णय क्यों लिया गया, तो हम इसे प्रभावी ढंग से चुनौती नहीं दे सकते यदि हमें लगता है कि यह गलत है। इसे ठीक करने के लिए, कई विशेषज्ञों ने "व्याख्या के अधिकार" का प्रस्ताव दिया है, यह सुझाव देते हुए कि जब कोई एल्गोरिदम हमें अस्वीकार करता है, तो उसे हमें बताना चाहिए कि क्यों। इन स्पष्टीकरणों को प्रदान करने का एक लोकप्रिय तरीका "काउंटरफैक्चुअल" (counterfactual) है। यह एक सरल, काल्पनिक कथन है जो व्यक्ति को बताता है कि किस छोटे से बदलाव से एक अलग परिणाम प्राप्त होता, जैसे, "यदि आपकी आय पांच हजार डॉलर अधिक होती, तो आपका ऋण स्वीकृत हो जाता।" हालांकि यह मददगार लगता है, दार्शनिकों और कंप्यूटर वैज्ञानिकों एलिस सी.डब्ल्यू. हुआंग और थॉमस ग्रोट का एक नया शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: क्या इस तरह का स्पष्टीकरण वास्तव में लोगों को अनुचित स्वचालित निर्णयों के खिलाफ लड़ने की शक्ति देता है?
लेखक यह स्पष्ट करने से शुरुआत करते हैं कि किसी निर्णय को चुनौती देने का वास्तव में क्या अर्थ है। वे तीन अलग-अलग लक्ष्यों के बीच अंतर करते हैं जिन्हें स्पष्टीकरण पूरा कर सकते हैं। पहला है औचित्य (justification), जो यह सिद्ध करने के बारे में है कि संपूर्ण कंप्यूटर प्रणाली सभी के लिए विश्वसनीय और निष्पक्ष है। दूसरा है रिकोर्स (recourse), जो भविष्योन्मुखी है; यह व्यक्ति को बताता है कि भविष्य में बेहतर परिणाम प्राप्त करने के लिए वे क्या कदम उठा सकते हैं, जैसे कि रिज्यूमे को बेहतर बनाने के लिए अधिक कार्य अनुभव प्राप्त करना। तीसरा, और इस शोध पत्र का मुख्य विषय, है कंटेस्टेबिलिटी (contestability - चुनौती देने की क्षमता)। यह भूतकाल संबंधी है। यह एक व्यक्ति की क्षमता है कि वह पहले से हो चुके निर्णय को देखे, उसमें गलती खोजे और निर्णय को रद्द करने की मांग करे। शोधकर्ता कंटेस्टेबिलिटी को संकीर्ण रूप से परिभाषित करते हैं: इसके लिए पर्याप्त जानकारी प्रदान करना आवश्यक है जिससे एक व्यक्ति यह सिद्ध कर सके कि एक विशिष्ट निर्णय संभवतः एक त्रुटि थी, जिससे उसे समीक्षा की मांग करने के लिए एक ठोस आधार मिले।
जब लेखकों ने यह परीक्षण किया कि क्या काउंटरफैक्चुअल स्पष्टीकरण इस प्रकार की कंटेस्टेबिलिटी को सक्षम करने में अच्छे हैं, तो परिणाम आश्चर्यजनक रूप से निराशाजनक थे। उन्होंने स्वचालित निर्णयों के गलत होने के कई सामान्य तरीकों की जांच की। भेदभाव के मामलों में, एक काउंटरफैक्चुअल दिखा सकता है कि एक व्यक्ति को तब काम पर रखा जाता यदि वह एक अलग जाति या लिंग का होता। हालांकि यह एक मजबूत प्रमाण जैसा दिखता है, शोधकर्ताओं ने "राशोमन समस्या" (Rashomon problem) नामक एक बड़ी बाधा पाई। यह विचार है कि किसी निर्णय के लिए शायद ही कभी केवल एक एकल कारण होता है। एक कंप्यूटर कह सकता है कि कम आय के कारण ऋण अस्वीकार कर दिया गया था, लेकिन यह भी सच हो सकता है कि यदि आवेदक का कार्य इतिहास अलग होता, तो ऋण स्वीकृत हो जाता। क्योंकि एक अलग परिणाम प्राप्त करने के लिए इनपुट को बदलने के कई अलग-अलग तरीके होते हैं, कंप्यूटर प्रणाली केवल उस स्पष्टीकरण को चुन सकती है जो संस्थान के लिए कम हानिकारक हो, और उस स्पष्टीकरण को अनदेखा कर सकती है जो भेदभाव को सिद्ध करता हो। बिना इस तरह के तरीके के कि सिस्टम को सभी संभावित कारणों को दिखाने के लिए मजबूर किया जा सके, एक व्यक्ति उस विशिष्ट काउंटरफैक्चुअल को कभी नहीं देख पाएगा जो यह सिद्ध करता है कि उसके साथ अन्याय हुआ है।
समस्या तब और बढ़ जाती है जब त्रुटि निष्पक्षता के बारे में नहीं, बल्कि कंप्यूटर द्वारा किसी विशिष्ट व्यक्ति की स्थिति को गलत समझने के बारे में होती है। कल्पना कीजिए कि एक स्वास्थ्य मॉडल भविष्यवाणी करता है कि एक व्यक्ति थकान के जोखिम पर है क्योंकि वह शाकाहारी (vegan) है, यह मानते हुए कि आहार में आयरन की कमी है। यदि उस व्यक्ति में वास्तव में आयरन ओवरलोड का कारण बनने वाली एक दुर्लभ रक्त स्थिति है, तो मॉडल का तर्क उनके लिए गलत है, भले ही वह अधिकांश लोगों के लिए सही हो। एक काउंटरफैक्चुअल स्पष्टीकरण केवल यह कह सकता है, "यदि आप शाकाहारी नहीं होते, तो आप जोखिम में नहीं होते।" यह व्यक्ति को यह सिद्ध करने में मदद नहीं करता कि वह नियम का अपवाद है; यह केवल मॉडल की त्रुटिपूर्ण धारणा को दोहराता है। इसे चुनौती देने के लिए, व्यक्ति को यह समझाने के लिए गहरे चिकित्सा ज्ञान की आवश्यकता होगी कि मॉडल का सामान्य नियम उनके विशिष्ट जीव विज्ञान पर क्यों लागू नहीं होता है। इसी तरह, यदि निर्णय किसी साधारण लिपिकीय त्रुटि (clerical error) के कारण गलत है, जैसे कि बैंक के पास किसी व्यक्ति के कर्ज का गलत नंबर है, तो एक काउंटरफैक्चुअल स्पष्टीकरण अक्सर बेकार होता है। सिस्टम कह सकता है, "यदि आपका कर्ज कम होता, तो आप स्वीकृत हो जाते," जो सच तो है लेकिन स्पष्ट है। यह व्यक्ति को यह नहीं बताता कि बैंक के रिकॉर्ड ही गलत हैं, जो कि वास्तविक कारण है जिसे उन्हें ठीक करने की आवश्यकता है।
शोधकर्ता निष्कर्ष निकालते हैं कि जबकि काउंटरफैक्चुअल स्पष्टीकरण लोगों को भविष्य की योजना बनाने में मदद करने के लिए उत्कृष्ट हैं, वे अक्सर अतीत की गलतियों से लड़ने में मदद करने के लिए बहुत कमजोर होते हैं। गलती को सिद्ध करने के लिए आवश्यक जानकारी अक्सर बहुत जटिल, व्यक्ति के लिए बहुत विशिष्ट, या सिस्टम की यह दिखाने की क्षमता द्वारा बहुत आसानी से छिपाई जाने वाली होती है कि कौन सा स्पष्टीकरण दिखाया जाए। इसे ठीक करने के लिए, लेखक स्पष्टीकरणों के विचार को छोड़ने का सुझाव नहीं देते हैं, बल्कि उन्हें दिए जाने के तरीके को बदलने का सुझाव देते हैं। वे एक "मल्टी-शॉट" (multi-shot) दृष्टिकोण का प्रस्ताव करते हैं। एक व्यक्ति को एक एकल, पूर्व-निर्मित उत्तर देने के बजाय, सिस्टम व्यक्ति को कंप्यूटर से कई प्रश्न पूछने की अनुमति देगा। एक व्यक्ति विभिन्न विचारों का परीक्षण कर सकता है, जैसे, "क्या होता यदि मेरे पास अधिक अनुभव होता?" या "क्या होता यदि मैं किसी अन्य पड़ोस में रहता?" यह उपयोगकर्ता को सूचना के निष्क्रिय प्राप्तकर्ता से एक सक्रिय अन्वेषक में बदल देता है।
हालाँकि, लेखक चेतावनी देते हैं कि यह अकेले पर्याप्त नहीं है। अधिकांश लोग नहीं जानते कि कौन से प्रश्न पूछने हैं या उत्तरों की व्याख्या कैसे करनी है, विशेष रूप से जब उनके पास विशिष्ट ज्ञान की कमी हो। इसे हल करने के लिए, वे सुझाव देते हैं कि लोगों को केस वर्कर्स (case workers) द्वारा समर्थित किया जाना चाहिए—ऐसे विशेषज्ञ जो सिस्टम के कानूनी और तकनीकी विवरणों को समझते हैं। ये सहायक व्यक्तियों को मार्गदर्शन दे सकते हैं कि कौन से प्रश्न पूछने हैं और जवाबों का उपयोग करके मामला कैसे बनाना है। शोध पत्र का तर्क है कि इस प्रकार के मानवीय समर्थन और कई प्रश्न पूछने की क्षमता के बिना, एल्गोरिदम के निर्णय को चुनौती देने की क्षमता का वादा एक खाली वादे के समान है। इन स्पष्टीकरणों को उत्पन्न करने की तकनीक मौजूद है, लेकिन उन्हें उपयोग करने का वर्तमान तरीका अपर्याप्त है ताकि प्रभावित लोगों को वास्तविक एजेंसी वापस मिल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।