Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool
यह शोधपत्र एक ओपन-सोर्स अनसुपरवाइज्ड बायस डिटेक्शन टूल प्रस्तुत करता है जिसने छात्रों के जोखिमों का आकलन करने के लिए उपयोग किए जाने वाले डच सरकार के एक बड़े पैमाने के एल्गोरिदम में असमानताओं की सफलतापूर्वक पहचान की है, जो गोपनीयता संबंधी बाधाओं के कारण संरक्षित जनसांख्यिकीय डेटा उपलब्ध न होने पर भी उच्च-दांव वाले निर्णय लेने वाली प्रणालियों के ऑडिटिंग के लिए इसकी प्रभावशीलता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल स्कूल डिस्ट्रिक्ट के प्रमुख हैं। आपके पास छात्रवृत्ति (scholarships) के लिए एक सीमित बजट है, और आपको यह सुनिश्चित करना है कि जो छात्र दावा करते हैं कि वे घर से दूर रहते हैं, वे वास्तव में ऐसा ही कर रहे हों। इसे करने के लिए, आप एक रोबोटिक सहायक (एक एल्गोरिदम) को काम पर रखते हैं जो हजारों छात्रों की फाइलों को स्कैन करता है और उन सभी को चिह्नित (flag) करता है जिनके झूठ बोलने की संभावना हो सकती है।
रोबोट को तीन सरल चीजों को देखने के लिए कहा गया है:
- वे किस प्रकार के स्कूल जाते हैं (व्यावसायिक बनाम विश्वविद्यालय)।
- उनकी उम्र कितनी है।
- उनके घर का पता उनके माता-पिता के घर से कितनी दूर है।
यदि रोबोट को लगता है कि कोई छात्र जांच के लिए "उच्च जोखिम" (High Risk) वाला है, तो एक मानव अन्वेषक जांच करने और सवाल पूछने के लिए वहां पहुंच जाता है।
समस्या:
एक दशक से अधिक समय तक, यह रोबोट कुछ छात्रों को दूसरों की तुलना में बहुत अधिक बार जांच के लिए चिह्नित कर रहा था। विशेष रूप से, यह गैर-यूरोपीय प्रवासी पृष्ठभूमि वाले छात्रों को निशाना बना रहा था। लेकिन यहाँ पेच यह है: रोबोट को उनकी जाति या पृष्ठभूमि का पता नहीं था। वह केवल ऊपर दिए गए तीन सरल नियमों को देख रहा था।
यह पाया गया कि गैर-यूरोपीय पृष्ठभूमि वाले छात्र सांख्यिकीय रूप से व्यावसायिक स्कूलों में जाने, विशिष्ट तरीकों से थोड़े बड़े या छोटे होने और अपने माता-पिता के घरों के करीब रहने की अधिक संभावना रखते थे। क्योंकि रोबोट इन तीन कारकों के प्रति बहुत सख्त था, उसने अनजाने में नस्ल के लिए एक "प्रॉक्सी" (proxy) बना दिया। यह एक क्लब के बाउंसर जैसा था जो कहता है, "मैं आपकी नस्ल का न्याय नहीं कर रहा हूँ, मैं बस यह देख रहा हूँ कि आपने लाल जूते पहने हैं या नहीं," लेकिन संयोग से उस विशिष्ट पड़ोस के लगभग सभी लोग लाल जूते पहनते हैं। परिणाम? अप्रत्यक्ष भेदभाव।
ऑडिटर्स के लिए चुनौती:
अब, कल्पना कीजिए कि आप एक ऑडिटर हैं जिन्हें इस रोबोट की निष्पक्षता की जांच करने के लिए काम पर रखा गया है। आप यह देखना चाहते हैं कि क्या यह विभिन्न नस्लीय समूहों के साथ अनुचित व्यवहार कर रहा है। लेकिन एक समस्या है: गोपनीयता कानून (Privacy laws)! स्कूल डिस्ट्रिक्ट (और कानून) कहता है कि आप छात्रों की नस्ल या पृष्ठभूमि के डेटा को नहीं देख सकते। आप आंखों पर पट्टी बांधे हुए हैं। यदि आप देख नहीं सकते कि समूह कौन से हैं, तो आप पक्षपात (bias) की जांच कैसे करेंगे?
समाधान: "अनसुपरवाइज्ड" जासूस (The "Unsupervised" Detective)
यह शोध पत्र एक चतुर नए उपकरण पेश करता है, जो एक ऐसे जासूस की तरह है जिसे अपराधियों को खोजने के लिए संदिग्धों के नाम जानने की आवश्यकता नहीं है। संदिग्धों की पहचान (Race) को खोजने के बजाय, यह टूल डेटा में स्वयं पैटर्न को देखता है।
इसे रंगीन कंचों (marbles) के एक बड़े मिश्रित बैग को छांटने की तरह समझें। आप नहीं जानते कि कौन से कंचे लाल, नीले या हरे हैं (क्योंकि आप लेबल नहीं देख सकते)। लेकिन आप देखते हैं कि कुछ कंचे भारी हैं, कुछ चिकने हैं और कुछ खुरदरे हैं। यह टूल इन भौतिक गुणों के आधार पर कंचों को समूहों में बांटने के लिए एक स्मार्ट सॉर्टिंग मशीन (Unsupervised Clustering Algorithm) का उपयोग करता है।
एक बार जब कंचों को ढेरों में छांट दिया जाता है, तो जासूस जांच करता है: "क्या ढेर A के कंचों को बाउंसर द्वारा अन्य ढेरों (ढेर B) की तुलना में बहुत अधिक बार खारिज किया जाता है?"
उन्होंने क्या पाया:
जब शोधकर्ताओं ने डच छात्र डेटा पर इस टूल का उपयोग किया:
- टूल ने स्कूल के प्रकार, आयु और घर से दूरी के आधार पर छात्रों को स्वचालित रूप से तीन समूहों में विभाजित कर दिया।
- इसने पाया कि समूह 3 को 50% बार "उच्च जोखिम" के रूप में चिह्नित किया जा रहा था, जबकि समूह 1 को केवल 3% बार चिह्नित किया गया था।
- भले ही टूल को यह नहीं पता था कि वे कौन थे, शोधकर्ताओं ने बाद में "छिपे हुए" जनसांख्यिकीय डेटा (जिस तक उनके पास केवल इस अध्ययन के लिए पहुंच थी) की जांच की और पाया कि समूह 3 में मुख्य रूप से गैर-यूरोपीय पृष्ठभूमि वाले छात्र शामिल थे।
इस टूल ने बिना यह जाने कि वे कौन थे, "अनुचित समूह" को सफलतापूर्वक ढूंढ लिया। इसने "लाल जूतों" को ढूंढ लिया बिना यह जाने कि वे लाल थे।
यह क्यों महत्वपूर्ण है:
- यह बिना जासूसी किए काम करता है: यह तरीका ऑडिटर्स को पक्षपात की जांच करने की अनुमति देता है भले ही गोपनीयता कानून उन्हें नस्ल या धर्म जैसे संवेदनशील डेटा को देखने से रोकते हों।
- यह ओपन सोर्स है: लेखकों ने केवल एक पेपर नहीं लिखा; उन्होंने एक मुफ्त, उपयोग में आसान टूल (जैसे डाउनलोड करने योग्य ऐप) बनाया है जिसे कोई भी अपने एल्गोरिदम के छिपे हुए पक्षपात की जांच करने के लिए उपयोग कर सकता है।
- यह एक शुरुआत है: यह टूल अपने आप में भेदभाव को साबित नहीं करता है। यह एक स्मोक अलार्म (धुआं पहचानने वाले यंत्र) की तरह है। यह बजता है और कहता है, "हे, इस समूह में कुछ अजीब हो रहा है! एक मानव विशेषज्ञ को यहां जांच करने की आवश्यकता है!"
निष्कर्ष:
एल्गोरिदम हमेशा "तटस्थ" नहीं होते हैं, भले ही वे नस्ल का उपयोग चर (variable) के रूप में न करें। वे अन्य सुरागों का उपयोग करके भेदभाव करना सीख सकते हैं जो एक विकल्प (stand-in) के रूप में कार्य करते हैं। यह शोध पत्र हमें दिखाता है कि हम छिपे हुए पैटर्न को खोजने के लिए एक "अंधे जासूस" टूल का उपयोग कैसे कर सकते हैं, जिससे यह सुनिश्चित होता है कि हमारे स्वचालित सिस्टम अनजाने में अनुचित गेटकीपर न बन जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।