Counterfactual, Per-Decision Bias Auditing for Automated Hiring: Localizing and Explaining Disparate Impact in Applicant Tracking Systems
यह शोध पत्र एआई बायस फायरवॉल (AIBF) को प्रस्तुत करता है, जो एक नवीन ऑडिटिंग पद्धति है जो हस्ताक्षरित प्रति-निर्णय प्रतितथ्यात्मक बदलावों (counterfactual shifts) और सरल भाषा में स्पष्टीकरण उत्पन्न करके स्वचालित भर्ती में असमान प्रभाव को स्थानीयकृत और स्पष्ट करती है, जो वास्तविक दुनिया के डेटासेट पर अनुचित निर्णयों की पहचान करने में उच्च सटीकता प्रदर्शित करती है और व्यक्तिगत सुधारों के माध्यम से पूर्ण कानूनी समानता प्राप्त करने की सीमाओं को रेखांकित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कार्यस्थल में, कई नौकरियों के लिए पहला द्वारपाल अब कोई मानव भर्तीकर्ता नहीं बल्कि एक सॉफ्टवेयर है। ये स्वचालित प्रणालियाँ बायोडाटा (रेज़्यूमे) को स्कैन करती हैं, उम्मीदवारों को रैंक करती हैं, और यह तय करती हैं कि किसे साक्षात्कार मिलेगा और किसे अस्वीकार किया जाएगा। जैसे-जैसे ये उपकरण अधिक सामान्य होते जा रहे हैं, कानून भी इनका पीछा कर रहा है। न्यूयॉर्क शहर और यूरोपीय संघ जैसी जगहों में नए नियम अब कंपनियों के लिए यह साबित करना अनिवार्य करते हैं कि उनके भर्ती एल्गोरिदम निष्पक्ष हैं। चुनौती यह है कि निष्पक्षता की जांच करने के लिए उपयोग किए जाने वाले वर्तमान उपकरण दो बहुत अलग स्तरों पर काम करते हैं। एक प्रकार का उपकरण व्यापक तस्वीर देखता है, जो पूरे समूहों के लिए सांख्यिकी की गणना करता है ताकि यह देखा जा सके कि क्या किसी संरक्षित समूह, जैसे कि महिलाओं या नस्लीय अल्पसंख्यकों को दूसरों की तुलना में उच्च दर पर अस्वीकार किया जा रहा है। हालांकि यह सिद्ध कर सकता है कि एक समस्या मौजूद है, लेकिन यह किसी विशिष्ट व्यक्ति को यह नहीं बता सकता कि उसे क्यों अस्वीकार किया गया या यह सटीक रूप से संकेत नहीं दे सकता कि किस क्षण प्रणाली ने एक अनुचित विकल्प लिया। दूसरा प्रकार का उपकरण एक अकेले व्यक्ति को देखता है, जो यह स्पष्ट करता है कि उनके बायोडाटा के किन कारकों ने स्कोर को प्रभावित किया, लेकिन यह नहीं जानता कि एक वैध योग्यता और एक छिपे हुए पूर्वाग्रह के बीच क्या अंतर है, और न ही यह उस स्पष्टीकरण को भेदभाव के कानूनी मानकों से जोड़ पाता है जिसका उपयोग निर्णय लेने के लिए किया जाता है। यह एक अंतराल छोड़ देता है: नियामकों और उम्मीदवारों को न केवल यह जानने की आवश्यकता है कि औसत रूप से एक प्रणाली अनुचित है, बल्कि यह भी कि कौन से व्यक्तिगत निर्णय अनुचित थे और क्यों।
इस अंतराल को पाटने के लिए, शोधकर्ताओं ने 'एआई बायस फायरवॉल' (AI Bias Firewall) नामक एक नई विधि विकसित की है। यह दृष्टिकोण भर्ती सॉफ्टवेयर के लिए एक फॉरेंसिक अन्वेषक की तरह कार्य करता है, जो एक समय में एक निर्णय की जांच करता है कि क्या संरक्षित विशेषताओं ने गुप्त रूप से परिणाम को प्रभावित किया है। इसका मूल विचार प्रत्येक आवेदक के लिए एक "क्या होगा यदि" (what if) परिदृश्य बनाना है। कल्पना कीजिए कि एक उम्मीदवार को अस्वीकार कर दिया गया। सिस्टम उस व्यक्ति के आवेदन को लेता है और उसकी एक प्रति बनाता है, लेकिन इसमें एक महत्वपूर्ण परिवर्तन होता है: यह उन हिस्सों को निष्प्रभावी (neutralize) कर देता है जो संरक्षित गुणों के प्रतिनिधि (proxies) के रूप में कार्य करते हैं, जैसे कि लिंग, नस्ल या आयु, और उन्हें एक मानक आधार (baseline) पर सेट कर देता है जो सबसे विशेषाधिकार प्राप्त समूह का प्रतिनिधित्व करता है। फिर यह संशोधित आवेदन को उसी भर्ती सॉफ्टवेयर के माध्यम से चलाता है ताकि यह देखा जा सके कि उसे क्या स्कोर प्राप्त होता। यदि स्कोर महत्वपूर्ण रूप से बदल जाता है, या यदि निर्णय अस्वीकृति से स्वीकृति में बदल जाता है, तो सिस्टम जान जाता है कि संरक्षित गुण ही निर्णायक कारक थे। स्कोर में यह अंतर उस विशिष्ट व्यक्ति के लिए पूर्वाग्रह का माप है।
शोधकर्ताओं ने इस पद्धति का परीक्षण दो वास्तविक दुनिया के डेटासेट पर किया जो निष्पक्षता का अध्ययन करने के लिए व्यापक रूप से उपयोग किए जाते हैं: एक जिसमें आय के बारे में जनगणना का डेटा है और दूसरा जिसमें आपराधिक न्याय जोखिम मूल्यांकन का डेटा है। उन्होंने काल्पनिक नंबरों का उपयोग नहीं किया; उन्होंने वास्तविक रिकॉर्ड का उपयोग किया जहाँ ऐतिहासिक असमानताएं पहले से ही ज्ञात थीं। जब उन्होंने अपनी पद्धति लागू की, तो उन्होंने पाया कि व्यक्तिगत माप पूरी तरह से ज्ञात समूह-स्तरीय सांख्यिकी से मेल खाते थे। उदाहरण के लिए, आय डेटासेट पर, पद्धति ने गणना की कि, औसतन, संरक्षित गुणों ने विशेषाधिकार प्राप्त समूह के स्कोर में लगभग 7.5 अंक जोड़े और वंचित समूह के स्कोर में लगभग 8 अंक घटा दिए। इसने पुष्टि की कि पद्धति विश्वसनीय थी: यह केवल व्यक्तियों के लिए संख्याएँ नहीं बना रही थी, बल्कि वास्तविक दुनिया की असमानता को सटीक रूप से दर्शा रही थी जो डेटा में मौजूद है।
शायद सबसे उल्लेखनीय निष्कर्ष यह था कि यह पद्धति पुराने तरीकों की तुलना में विशिष्ट अनुचित निर्णयों को खोजने में कितनी बेहतर थी। अतीत में, यदि कोई ऑडिटर पक्षपाती अस्वीकृतियों को खोजना चाहता था, तो वे केवल उन आवेदकों को चिह्नित कर सकते थे जो एक वंचित समूह से संबंधित थे और उनकी फाइलों की समीक्षा कर सकते थे। शोधकर्ताओं ने पाया कि यह दृष्टिकोण अक्षम था। जब उन्होंने अपने नए तरीके का उपयोग करके उन फाइलों को प्राथमिकता देने के लिए किया जिनकी समीक्षा की जानी चाहिए, तो उन्होंने पाया कि केवल कुल निर्णयों के पांच प्रतिशत को देखकर, वे उन लोगों में से पचास-पांच प्रतिशत को उजागर कर सके जिन्हें पूर्वाग्रह के कारण गलत तरीके से अस्वीकार किया गया था। इसके विपरीत, दर्ज किए गए उम्मीदवारों को खोजने के लिए समूह सदस्यता द्वारा समीक्षा करने वाले पुराने तरीके को समान संख्या में प्रभावित उम्मीदवारों को खोजने के लिए सभी निर्णयों की बत्तीस प्रतिशत समीक्षा करने की आवश्यकता होती। इसका अर्थ है कि नया टूल मानव ऑडिटरों के काम को तीस गुना अधिक कुशल बनाता है, जिससे वे अपना सीमित समय वास्तव में आवश्यक मामलों पर केंद्रित कर सकते हैं।
अध्ययन ने यह भी खुलासा किया कि इस प्रकार के सुधार की एक कठिन सीमा है। शोधकर्ताओं ने यह देखने की कोशिश की कि क्या होगा यदि वे हर उस निर्णय को स्वचालित रूप से ठीक कर दें जिसे सिस्टम ने पक्षपाती के रूप में चिह्नित किया है, यानी सॉफ्टवेयर को उन उम्मीदवारों को वही स्कोर देने के लिए मजबूर करना जो उन्हें तब प्राप्त होता जब संरक्षित प्रॉक्सी मौजूद नहीं होते। हालांकि इससे समग्र निष्पक्षता के आंकड़ों में काफी सुधार हुआ, लेकिन इसने समस्या को पूरी तरह से हल नहीं किया। असमानता बनी रही क्योंकि सॉफ्टवेयर ने अन्य विशेषताओं, जैसे शिक्षा स्तर या कार्य के घंटों को सीखना शुरू कर दिया था, जो कानून द्वारा संरक्षित नहीं हैं लेकिन फिर भी नस्ल और लिंग के साथ सह-संबंधित हैं। इन "योग्यता" विशेषताओं में पूर्वाग्रह का एक छिपा हुआ अवशेष था जिसे सिस्टम केवल स्पष्ट संरक्षित श्रेणियों को निष्प्रभावी करके नहीं हटा सका। यह निष्कर्ष एक चेतावनी के रूप में कार्य करता है: मॉडल से संरक्षित श्रेणियों को हटा देना ही निष्पक्षता सुनिश्चित करने के लिए पर्याप्त नहीं है, क्योंकि पूर्वाग्रह डेटा के अन्य हिस्सों में छिप सकता है।
अंततः, एआई बायस फायरवॉल को मानवीय निर्णय को बदलने या भर्ती निर्णयों को स्वचालित रूप से ठीक करने के लिए डिज़ाइन नहीं किया गया है। इसके बजाय, यह स्पष्टीकरण और जवाबदेही के लिए एक उपकरण है। यह प्रत्येक चिह्नित निर्णय के लिए एक स्पष्ट, सरल भाषा की रिपोर्ट तैयार करता है, जिसमें यह सूचीबद्ध होता है कि किन कारकों के कारण स्कोर कम हुआ और कितना। यह एक अस्वीकृत उम्मीदवार को अपनी अस्वीकृति को चुनौती देने के लिए एक ठोस कारण देता है और एक कंपनी को समीक्षा के लिए विशिष्ट मामलों की एक सूची प्रदान करता है। शोधकर्ता इस बात पर जोर देते हैं कि यह उपकरण सॉफ्टवेयर से यह पूछकर काम करता है कि वह एक ही आवेदन को दो बार चलाए—एक जैसा है और एक संरक्षित प्रॉक्सी को निष्प्रभावी करने के बाद—बिना मॉडल को पुन: प्रशिक्षित किए या उसके आंतरिक कोड को समझे। एक जटिल सांख्यिकीय समस्या को व्यक्तिगत, व्याख्या योग्य "क्या होगा यदि" परीक्षणों की एक श्रृंखला में बदलकर, यह पद्धति निष्पक्षता की कानूनी आवश्यकता और स्वचालित भर्ती प्रणालियों के ऑडिटिंग की व्यावहारिक वास्तविकता के बीच की लुप्त कड़ी को प्रदान करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।