Fairness Hazard Analysis for Socio-Technical Processes: A Multiple-Case Study in Bias-sensitive Organisational Settings
यह शोधपत्र फेयरनेस हेज़र्ड एनालिसिस (FHA) को प्रस्तुत करता है और अनुभवजन्य रूप से मान्य करता है, जो आवश्यकताओं के इंजीनियरिंग (requirements engineering) के दौरान सामाजिक-तकनीकी प्रक्रियाओं में निष्पक्षता संबंधी खतरों को व्यवस्थित रूप से पहचानने और कम करने के लिए एक संरचित कार्यप्रणाली है, तथा संगठनात्मक परिवेशों में फोकस समूहों और एक बहु-मामला अध्ययन के माध्यम से इसकी व्यावहारिक प्रभावशीलता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल मशीन बना रहे हैं जो यह तय करती है कि किसे नौकरी मिले, किसे ऋण मिले या किसे विश्वविद्यालय में प्रवेश मिले। आप सोच सकते हैं कि गलत होने वाली एकमात्र चीज़ यह हो सकती है कि मशीन के गियर जाम हो जाएं या उसके कोड में कोई बग आ जाए। लेकिन वास्तविक दुनिया में, ये मशीनें केवल धातु और कोड नहीं हैं; वे "सामाजिक-तकनीकी" (socio-technical) प्रणालियाँ हैं। यह कहने का एक शानदार तरीका है कि वे कंप्यूटर, मानव प्रबंधकों, कार्यालय के नियमों और नौकरी के लिए आवेदन करने वाले लोगों के बीच एक जटिल नृत्य की तरह हैं। कभी-कभी, मशीन पूरी तरह से काम करती है, लेकिन जिन नियमों का वह पालन करती है वे अनुचित होते हैं, या बटन दबाने वाले इंसान थके हुए या पक्षपाती होते हैं।
यहीं पर "निष्पक्षता" (Fairness) का विचार आता है। निष्पक्षता को केवल "दयालु होने" के रूप में नहीं, बल्कि यह सुनिश्चित करने के रूप में सोचें कि मशीन अनजाने में कुछ लोगों को इसलिए न कुचल दे क्योंकि इसे इस तरह बनाया गया था या इसका उपयोग इस तरह किया गया है। वैज्ञानिक लंबे समय से जानते हैं कि यदि आप इन अन्यायपूर्ण समस्याओं को अनदेखा करते हैं, तो वे गायब नहीं होतीं; वे अदृश्य ऋण की तरह जमा होती रहती हैं, जो समय के साथ बड़ी और ठीक करने में कठिन होती जाती हैं। इसे रोकने के लिए, शोधकर्ता सुरक्षा इंजीनियरों से एक तरकीब उधार लेने की कोशिश कर रहे हैं। जिस तरह इंजीनियर कारों को चलाने देने से पहले पुल की "खतरों" (जैसे कमजोर बिंदु जो ढहने का कारण बन सकते हैं) की जांच करते हैं, हमें अपनी भर्ती मशीनों की भी "निष्पक्षता खतरों" के लिए जांच करनी चाहिए, इससे पहले कि वे जीवन बदलने वाले निर्णय लें।
यह शोध पत्र फेयरनेस हैजर्ड एनालिसिस (FHA) नामक एक नए उपकरण के बारे में है। शोधकर्ता यह देखना चाहते थे कि क्या यह उपकरण वास्तव में वास्तविक दुनिया में काम करता है, न कि केवल कागज पर। उन्होंने अपने तरीके को लिया, जिसका परीक्षण पहले एक काल्पनिक उदाहरण पर किया गया था, और इसे दो बहुत अलग वास्तविक संगठनों पर लागू किया: एक विशाल अंतर्राष्ट्रीय मशीनरी कंपनी और एक युवा, बढ़ती हुई विश्वविद्यालय संस्था। उन्होंने केवल सॉफ्टवेयर को नहीं देखा; उन्होंने नौकरी के विज्ञापन से लेकर अंतिम हाथ मिलाने तक की पूरी प्रक्रिया को देखा।
यहाँ उन्हें क्या मिला:
जासूसी का काम
शोधकर्ताओं ने निष्पक्षता के जासूसों की तरह काम किया। उन्होंने प्रत्येक संगठन द्वारा लोगों को नियुक्त करने के तरीके को चरण-दर-चरण सटीक रूप से मैप किया। फिर, उन्होंने खतरों (hazards) को स्कैन करने के लिए FHA का उपयोग किया—ऐसी जगहें जहाँ अन्याय चुपके से घुस सकता है। उन्होंने पाया कि निष्पक्षता की समस्याएँ केवल AI सॉफ्टवेयर में ही नहीं छिपी थीं। वास्तव में, उन्होंने नौकरी के विवरणों में, बैठकों में मनुष्यों के आपस में बात करने के तरीके में, रेज़्यूमे (resume) को पढ़ने के क्रम में, और यहाँ तक कि इस बात में भी खतरे पाए कि कंपनी आंतरिक रूप से बनाम बाहरी रूप से भर्ती करने का निर्णय कैसे लेती है।
बड़ी मशीनरी कंपनी (संगठन A) में, उन्हें 15 अलग-अलग निष्पक्षता खतरे मिले। ये उनके भर्ती प्रक्रिया के लगभग 27% चरणों को कवर करते थे। विश्वविद्यालय स्कूल (संगठन B) में, उन्हें 14 खतरे मिले, जो उनके लगभग 17% चरणों को कवर करते थे।
पैटर्न
भले ही ये दोनों संगठन पूरी तरह से अलग थे—एक मशीनें बनाता था, दूसरा छात्रों को पढ़ाता था—लेकिन उन्होंने एक ही प्रकार की समस्याओं को बार-बार उभरते हुए पाया।
- "द्वारपाल" (Gatekeeper) की समस्या: कभी-कभी, नौकरी का वर्णन करने का तरीका या उसे पोस्ट करने के माध्यम अनजाने में लोगों के कुछ समूहों के लिए दरवाजा बंद कर देते हैं।
- "मानवीय त्रुटि" (Human Glitch): मनुष्य थक जाते हैं। यदि एक भर्तीकर्ता लगातार 50 रेज़्यूमे पढ़ता है, तो 50वाँ रेज़्यूमे केवल इसलिए खराब रेटिंग पा सकता है क्योंकि भर्तीकर्ता थक गया है, न कि इसलिए कि उम्मीदवार बुरा है।
- "AI की गूँज" (AI Echo): यदि एक कंप्यूटर नौकरी का विज्ञापन या साक्षात्कार के प्रश्न लिखता है, तो वह अनजाने में इंटरनेट से सीखी गई पुरानी रूढ़ियों या पूर्वाग्रहों को दोहरा सकता है।
- "आंतरिक घेरा" (Inner Circle): कभी-कभी, जिन्हें आप पहले से जानते हैं या जो कंपनी के अंदर काम करते हैं, उन्हें काम पर रखना आसान लगता है, लेकिन यह बाहरी लोगों के लिए अनुचित हो सकता है जिन्हें कभी मौका ही नहीं मिलता।
समाधान (और एक पेच)
शोधकर्ताओं ने केवल समस्याओं की ओर इशारा नहीं किया; उन्होंने सुधार के सुझाव भी दिए। ये केवल "कोड डिलीट करें" वाले सुधार नहीं थे। उन्होंने निम्नलिखित सुझाव दिए:
- नौकरी के विज्ञापनों की एक स्वतंत्र व्यक्ति द्वारा जांच करना ताकि यह सुनिश्चित हो सके कि वे पक्षपाती नहीं हैं।
- साक्षात्कार के लिए एक मानक चेकलिस्ट का उपयोग करना ताकि सभी का मूल्यांकन समान चीजों पर किया जाए।
- यह सुनिश्चित करना कि अंतिम भर्ती निर्णय केवल एक बॉस द्वारा नहीं, बल्कि लोगों के एक समूह द्वारा लिया जाए।
हालाँकि, शोध पत्र एक बहुत ही महत्वपूर्ण बात कहता है: सिर्फ इसलिए कि एक सुधार का सुझाव दिया गया है, इसका मतलब यह नहीं है कि वह सभी के लिए काम करेगा। जब शोधकर्ताओं ने सुधारों की अपनी सूची वास्तविक कंपनियों को दिखाई, तो कंपनियों ने कहा, "यह एक अच्छा विचार है, लेकिन..."
- मशीनरी कंपनी ने कहा, "हम उम्मीदवारों के साथ व्यक्तिगत होना पसंद करते हैं; एक मानक टेम्पलेट हमारे लिए बहुत रोबोटिक लगता है।"
- विश्वविद्यालय ने कहा, "हम पहले से ही इनमें से कुछ चीजें करते हैं, लेकिन एक बड़ी समिति की बैठक आयोजित करना एक दुस्वप्न जैसा है।"
बड़ी सीख
अध्ययन यह सुझाव देता है कि FHA एक शक्तिशाली टॉर्च है। यह संगठनों को उन निष्पक्षता समस्याओं को देखने में मदद करता है जिनके बारे में उन्हें पता भी नहीं था, और यह उन्हें यह समझने में मदद करता है कि उनकी कुछ पुरानी आदतें वास्तव में अच्छे सुरक्षा उपाय हैं। लेकिन यह कोई जादू की छड़ी नहीं है। आप एक कंपनी से दूसरे कंपनी में समाधान को कॉपी-पेस्ट नहीं कर सकते। आपको अपनी विशिष्ट प्रक्रिया, अपने विशिष्ट लोगों और अपने विशिष्ट नियमों को देखना होगा।
शोधकर्ता आश्वस्त हैं कि यह तरीका समस्याओं को खोजने और समाधान सुझाने के लिए काम करता है, लेकिन वे स्वीकार करते हैं कि उन्होंने अभी तक यह परीक्षण नहीं किया है कि क्या ये समाधान वास्तव में लंबे समय में भर्ती को अधिक निष्पक्ष बनाते हैं। यह अगला कदम है। फिलहाल, उन्होंने यह साबित कर दिया है कि यदि आप एक निष्पक्ष प्रणाली बनाना चाहते हैं, तो आपको केवल उस रोबोट को नहीं देखना है जो नेतृत्व कर रहा है, बल्कि पूरे नृत्य को देखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।