Ensuring Fairness with Transparent Auditing of Quantitative Bias in AI Systems
यह शोधपत्र एक ओपन-सोर्स, पारदर्शी व्हाइट-बॉक्स ऑडिटिंग फ्रेमवर्क और टूल प्रस्तुत करता है जो तीसरे पक्ष के ऑडिटरों, डेवलपर्स और जनता को COMPAS पुनरावृत्ति मॉडल (recidivism model) जैसे मात्रात्मक पूर्वाग्रहों का सांख्यिकीय रूप से पता लगाकर एआई प्रणालियों में निष्पक्षता का व्यवस्थित रूप से आकलन करने और सुनिश्चित करने में सक्षम बनाता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, स्वचालित रेफरी है जिसका नाम "AI" है जो हमारे लिए महत्वपूर्ण निर्णय लेता है, जैसे कि किसे नौकरी मिलनी चाहिए, किसे ऋण मिलना चाहिए, या यहाँ तक कि किसकी अपराध करने की संभावना अधिक है। यह शोध पत्र तर्क देता है कि हालांकि यह रेफरी तेज़ और स्मार्ट है, लेकिन इसमें कभी-कभी एक छिपा हुआ पूर्वाग्रह (bias) होता है, जैसे कि एक ऐसा रेफरी जो अनजाने में एक टीम का पक्ष लेता है।
लेखक, चियह-चेंग रेक्स युआन (Chih-Cheng Rex Yuan) और बो-यॉव वांग (Bow-Yaw Wang) ने एक पारदर्शी "फेयरनेस चेकर" टूल बनाया है जो इस AI रेफरी के लिए एक स्वतंत्र रेफरी के रूप में कार्य करता है। वे इस समस्या और अपने समाधान को सरल उपमाओं (analogies) का उपयोग करके इस प्रकार समझाते हैं:
समस्या: पक्षपाती रेफरी
शोध पत्र एक प्रसिद्ध वास्तविक दुनिया के उदाहरण का उपयोग करता है: COMPAS सिस्टम। यह अमेरिकी न्याय प्रणाली में उपयोग किया जाने वाला एक AI है जो यह भविष्यवाणी करता है कि क्या कोई अपराधी दोबारा अपराध करेगा।
- मुद्दा: 2016 में, पत्रकारों ने पाया कि COMPAS अनुचित था। यह एक ऐसे तराजू की तरह था जिसमें वजन एक तरफ झुका हुआ था: यह अश्वेत प्रतिवादियों को उच्च "जोखिम स्कोर" (यह भविष्यवाणी करना कि वे दोबारा अपराध करेंगे) देने की प्रवृत्ति रखता था, भले ही उन्होंने ऐसा न किया हो, जबकि श्वेत प्रतिवादियों को कम स्कोर देता था, भले ही उन्होंने अपराध किया हो।
- खतरा: यदि हम बिना जांच किए केवल AI पर भरोसा करते हैं, तो यह अन्याय और भेदभाव को बढ़ा सकता है, जिससे विशिष्ट समूहों के लोगों को नुकसान पहुँच सकता है।
समाधान: "व्हाइट-बॉक्स" ऑडिट
AI को "ब्लैक बॉक्स" (जहाँ आप डेटा डालते हैं और बिना यह जाने कि अंदर क्या हुआ उत्तर प्राप्त करते हैं) के रूप में देखने के बजाय, लेखक एक "व्हाइट-बॉक्स" दृष्टिकोण की वकालत करते हैं।
- उपमा: कल्पना कीजिए कि AI एक 'मैजिक 8-बॉल' है। एक ब्लैक-बॉक्स ऑडिट केवल बॉल को हिलाता है और देखता है कि उत्तर "हाँ" है या "ना"। एक व्हाइट-बॉक्स ऑडिट उस बॉल को खोलता है, उसके अंदर की मशीनरी को देखता है, और यह जाँचता है कि क्या उसके वजन संतुलित हैं।
- टूल: लेखकों ने एक ओपन-सोर्स सॉफ्टवेयर टूल (एक पायथन पैकेज) बनाया है जो फेयरनेस के कैलकुलेटर की तरह काम करता है। यह केवल अनुमान नहीं लगाता; यह यह देखने के लिए विशिष्ट गणितीय परीक्षण चलाता है कि क्या AI विभिन्न समूहों के साथ समान व्यवहार कर रहा है।
"फेयरनेस" के नियम (स्कोरकार्ड)
शोध पत्र में निष्पक्षता मापने के कई अलग-अलग तरीके सूचीबद्ध हैं, जिन्हें यह टूल जाँचता है। इन्हें एक खेल के नियमों के रूप में समझें:
- डेमोग्राफिक पैरिटी (डेमोग्राफिक समानता - "समान अवसर" का नियम): क्या AI पृष्ठभूमि की परवाह किए बिना सभी को समान संख्या में "पास" देता है? (उदाहरण के लिए, क्या 50% पुरुष और 50% महिलाएँ नौकरी पाती हैं?)
- इक्वलाइज्ड ऑड्स (समान अवसर - "सत्य बोलने" का नियम): यह COMPAS मामले के लिए सबसे महत्वपूर्ण है। यह पूछता है: "यदि कोई व्यक्ति वास्तव में दोबारा अपराध करता है, तो क्या AI सभी के लिए समान दर से उन्हें पकड़ पाता है?" और "यदि कोई व्यक्ति कभी अपराध नहीं करता है, तो क्या AI सभी के लिए समान दर से उन्हें गलत तरीके से दोषी ठहराता है?"
- निष्कर्ष: टूल ने पुष्टि की कि COMPAS इस नियम में विफल रहा। इसने अश्वेत लोगों को गलत तरीके से अपराध करने के लिए बहुत अधिक बार दोषी ठहराया, भले ही उन्होंने ऐसा न किया हो।
- ओवरऑल एक्यूरेसी इक्वैलिटी (कुल सटीकता समानता - "स्कोरकीपर" का नियम): क्या AI सभी के लिए समान रूप से सही होने में सक्षम है? टूल ने पाया कि COMPAS दोनों समूहों के लिए वास्तव में समान रूप से सटीक था, लेकिन क्योंकि इसकी भविष्यवाणियों में बहुत अधिक पूर्वाग्रह था, इसलिए यह फिर भी अनुचित महसूस हुआ।
व्यवहार में यह टूल कैसे काम करता है
लेखकों ने अपने टूल का परीक्षण COMPAS डेटा (10,000 से अधिक लोगों का डेटासेट) पर किया।
- सेटअप: उन्होंने टूल को बताया, "'अफ्रीकी-अमेरिकी' को वह समूह मानें जिसके साथ अन्याय होने की हमें चिंता है।"
- परिणाम: टूल ने "स्कोरकार्ड" चलाया और लाल बत्तियाँ जलाईं। इसने दिखाया कि जबकि AI सामान्य रूप से अपराध करने की भविष्यवाणी करने में अच्छा था, यह अफ्रीकी अमेरिकियों के प्रति अनुचित रूप से कठोर था। इसने "इक्वलाइज्ड ऑड्स" के नियम का उल्लंघन किया, जिससे पहले की समाचार रिपोर्टों की पुष्टि हुई।
- आश्चर्य: टूल ने यह भी दिखाया कि अन्य समूहों (जैसे विभिन्न आयु समूहों) के लिए, AI कभी निष्पक्ष था और कभी अनुचित। उदाहरण के लिए, यह युवाओं के प्रति बहुत अनुचित था (उन्हें गलत तरीके से दोषी ठहराना) और बुजुर्गों के प्रति भी बहुत अनुचित था (उन्हें पहचानने में चूक जाना), लेकिन मध्यम आयु वर्ग के लोगों के प्रति निष्पक्ष था।
मुख्य निष्कर्ष (Takeaway)
शोध पत्र निष्कर्ष निकालता है कि हम केवल AI पर भरोसा नहीं कर सकते। हमें थर्ड-पार्टी ऑडिटर्स (जैसे कि लेखकों द्वारा बनाया गया टूल) की आवश्यकता है जो "व्हाइट बॉक्स" को खोलें, ये सांख्यिकीय परीक्षण चलाएं, और हमें बताएं कि क्या AI निष्पक्ष खेल रहा है।
- इसे कौन उपयोग कर सकता है? कोई भी: डेवलपर्स, ऑडिटर, या आम जनता।
- यह क्या करता है? यह डेटा लेता है, इन निष्पक्षता नियमों को लागू करता है, और एक स्पष्ट "पास" या "फेल" रिपोर्ट देता है।
- लक्ष्य: AI निर्णय लेने की प्रक्रिया को पारदर्शी और जवाबदेह बनाना, यह सुनिश्चित करना कि "रेफरी" किसी के भी खिलाफ पक्षपाती न हो।
लेखक इस बात पर जोर देते हैं कि उनका टूल मुफ्त है, ओपन-सोर्स है, और यह जाँचने के लिए कि क्या कोई AI सिस्टम निष्पक्ष है, इसे कोई भी डाउनलोड और उपयोग करने के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।