Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency
यह शोध पत्र बार्सिलोना एक्टिवा के अर्ध-स्वचालित भर्ती तंत्र का पहला स्वतंत्र एंड-टू-एंड निष्पक्षता ऑडिट प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि कुल मिलाकर लैंगिक समानता मौजूद है, लेकिन वेतन स्तरों, आयु समूहों और लैंगिक पहचानों के बीच महत्वपूर्ण असमानताएं बनी हुई हैं, जो स्वचालित प्रसंस्करण, मानवीय विवेक और विक्रेता अपारदर्शिता के बीच जटिल अंतःक्रियाओं के कारण हैं जो पारंपरिक मॉडल-स्तरीय मूल्यांकनों के लिए अदृश्य हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप नौकरी खोजने की कोशिश कर रहे हैं, लेकिन किसी व्यक्ति को अपना बायोडाटा देने के बजाय, आप एक विशाल, उच्च-तकनीकी भूलभुलैया में प्रवेश कर रहे हैं। यह एल्गोरिद्मिक निष्पक्षता (algorithmic fairness) की दुनिया है, जो एक सरल लेकिन पेचीदा सवाल पूछती है: जब कंप्यूटर भर्ती जैसे बड़े निर्णय लेने में मदद करते हैं, तो क्या वे सभी के साथ समान व्यवहार करते हैं, या वे अनजाने में कुछ लोगों को डेड एंड (बंद रास्तों) की ओर धकेल देते हैं? लंबे समय तक, विशेषज्ञ मुख्य रूप से कंप्यूटर के "मस्तिष्क" यानी कोड की जांच करते थे ताकि यह देखा जा सके कि उसमें कोई पक्षपात है या नहीं। लेकिन यह शोध पत्र तर्क देता है कि केवल मस्तिष्क की जांच करना एक कार के इंजन की जांच करने जैसा है जबकि ड्राइवर, सड़क की स्थिति और यातायात के नियमों को अनदेखा किया जा रहा हो। तथ्य यह है कि यदि इंजन उत्तम भी हो, तो भी कार दुर्घटनाग्रस्त हो सकती है यदि ड्राइवर विचलित हो या नक्शा गलत हो। यह सभी के लिए महत्वपूर्ण है क्योंकि भर्ती एल्गोरिदम हमारे जीवनयापन के द्वारपाल बनते जा रहे हैं, और यदि वे दोषपूर्ण हैं, तो वे बिना किसी को पता चले चुपचाप लोगों को अवसरों से बाहर कर सकते हैं।
यह शोध पत्र बार्सिलोना, स्पेन में एक वास्तविक जीवन की भर्ती भूलभुलैया की एक जासूसी कहानी है। शोधकर्ताओं ने, स्वतंत्र ऑडिटर्स के रूप में कार्य करते हुए, केवल कंप्यूटर कोड को ही नहीं देखा; बल्कि उन्होंने पाँच साल की यात्रा (2017 से 2022 तक) के हर एक चरण में 4,97,000 नौकरी चाहने वालों का पीछा किया ताकि यह देखा जा सके कि सिस्टम कहाँ चूक कर रहा है। उन्होंने एक अर्ध-स्वचालित प्रणाली का अध्ययन किया जहाँ एक मानव विश्लेषक "टैलेंटक्ल्यू" (TalentClude) नामक तीसरे पक्ष के सॉफ़्टवेयर का उपयोग करके नियोक्ताओं के लिए उम्मीदवारों को खोजता है। इसे सात चरणों वाली एक रिले रेस की तरह समझें: नियोक्ता नौकरी पोस्ट करता है, मानव विश्लेषक कीवर्ड चुनता है, कंप्यूटर सूची को फ़िल्टर करता है, मानव एक शॉर्टलिस्ट चुनता है, और अंत में नियोक्ता किसी को काम पर रखता है।
इस कहानी का सबसे आश्चर्यजनक मोड़ क्या था? यदि आप केवल अंतिम फिनिश लाइन को देखते, तो दौड़ निष्पक्ष दिखती। चुने गए पुरुषों और महिलाओं की संख्या लगभग समान थी। यह दो टीमों के समान अंतिम स्कोर को देखकर यह मान लेने जैसा था कि खेल पूरी तरह से संतुलित था। लेकिन जब ऑडिटर्स ने टेप को पीछे घुमाया और दौड़ के हर चरण को देखा, तो उन्हें एक अलग कहानी मिली। वह "निष्पक्ष" अंतिम स्कोर वास्तव में रास्ते में हो रही बहुत सारी नाइंसाफी को छिपा रहा था।
यहीं पर सिस्टम लोगों को उलझाना शुरू कर देता है:
- वेतन का जाल (The Salary Trap): हालांकि कुल मिलाकर पुरुषों और महिलाओं को समान दर पर काम पर रखा गया था, लेकिन महिलाओं के मध्यम-स्तर की वेतन वाली नौकरियों (15,000 € से 24,000 € के बीच) के लिए शॉर्टलिस्ट होने की संभावना बहुत कम थी। वास्तव में, इन विशिष्ट नौकरियों के लिए, महिलाओं को पुरुषों के 9.45% की तुलना में केवल 7.43% की दर से शॉर्टलिस्ट किया गया था। यह ऐसा है जैसे सिस्टम का एक छिपा हुआ नियम था जो कहता था, "आप नौकरी पा सकते हैं, लेकिन शायद बेहतर वाली नहीं।"
- आयु की दीवार (The Age Wall): सिस्टम में उम्रदराज श्रमिकों के प्रति एक अंधापन दिखाई दिया। 55 वर्ष और उससे अधिक आयु के लोग स्थानीय कार्यबल का 15.6% हिस्सा थे, लेकिन वे भर्ती प्रक्रिया से पूरी तरह गायब थे। यह ऐसा था जैसे भूलभुलैया में एक ऐसी दीवार थी जिसे 55 से अधिक उम्र का कोई भी व्यक्ति देख नहीं सकता था, और न ही उसे पार कर सकता था।
- "अन्य" की समस्या (The "Other" Problem): उन उम्मीदवारों के लिए, जो नॉन-बाइनरी (न तो पूरी तरह पुरुष और न ही महिला) के रूप में पहचाने जाते थे, संभावनाएं अविश्वसनीय रूप से कम थीं। उन्हें पुरुषों की तुलना में एक-तिहाई से भी कम दर से शॉर्टलिस्ट किया गया था। हालांकि, शोधकर्ता नोट करते हैं कि डेटा में ऐसे बहुत कम उम्मीदवार (केवल 285) थे, इसलिए हालांकि यह असमानता स्पष्ट है, वे अभी यह नहीं कह सकते कि पूरी आबादी के लिए यह समस्या कितनी बड़ी है।
- शिक्षा का विरोधाभास (The Education Paradox): दिलचस्प बात यह है कि उच्च शिक्षा प्राप्त लोग केवल हाई स्कूल डिप्लोमा वाले लोगों की तुलना में शॉर्टलिस्ट होने के लिए कम संभावित थे। चूंकि इस डेटासेट में महिलाओं के पास उच्च शिक्षा की डिग्री अधिक है, इसलिए इस नियम ने अनजाने में महिलाओं की संभावनाओं को और भी नुकसान पहुँचाया।
यह पत्र एक प्रमुख संचार विफलता को भी उजागर करता है। भर्ती एजेंसी (बार्सिलोना एक्टिवा) चलाने वाले लोगों को वास्तव में यह पता नहीं था कि कंप्यूटर सॉफ़्टवेयर (टैलेंटक्ल्यू) उन्हें किसे दिखाना तय करता है। यह एक शेफ को काम पर रखने जैसा था लेकिन आपको उसकी रेसिपी या सामग्री देखने की अनुमति नहीं थी। एजेंसी यह जांच नहीं कर सकती थी कि कंप्यूटर पक्षपाती है या नहीं क्योंकि सॉफ़्टवेयर कंपनी ने अपने "सीक्रेट सॉस" (गुप्त नुस्खे) को छिपा कर रखा था।
अंत में, शोधकर्ताओं ने पाया कि सिस्टम स्थिर नहीं था; यह समय के साथ बदलता रहा। 2017 से 2022 के बीच पुरुषों और महिलाओं को शॉर्टलिस्ट करने के बीच का अंतर कम होता गया, लेकिन केवल इसलिए क्योंकि दोनों लिंगों के कम लोग कुल मिलाकर शॉर्टलिस्ट हो रहे थे। यह एक ऐसी दौड़ की तरह है जहाँ धावकों के बीच का अंतर इसलिए कम हो जाता है क्योंकि सभी धीमे दौड़ रहे हैं, न कि इसलिए कि ट्रैक अधिक निष्पक्ष हो गया है।
बड़ी सीख यह है कि आप केवल एक बार कंप्यूटर के कोड की जांच करके उसे "निष्पक्ष" नहीं कह सकते। आपको पूरी प्रक्रिया को देखना होगा—इंसान, डेटा, सॉफ़्टवेयर और वह समय जो इसमें लगता है। यदि आप केवल अंतिम परिणाम को देखते हैं, तो आप इस तथ्य को मिस कर सकते हैं कि सिस्टम चुपचाप कुछ समूहों को बेहतरीन अवसरों से दूर मोड़ रहा है। लेखक का सुझाव है कि केवल एक बार की जांच करने के बजाय, कंपनियों को अपने भर्ती सिस्टम पर निरंतर नज़र रखनी चाहिए, जैसे कि एक लाइटहाउस लहरों पर नज़र रखता है, ताकि यह सुनिश्चित किया जा सके कि नौकरी का रास्ता हर दिन सभी के लिए खुला रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।