Secondary Bounded Rationality: A Theory of How Algorithms Reproduce Structural Inequality in AI Hiring
यह शोधपत्र "द्वितीयक सीमित तर्कसंगतता" (सेकेंडरी बाउंडेड रेशनैलिटी) के सिद्धांत को प्रस्तुत करता है ताकि यह समझाया जा सके कि कैसे एआई भर्ती प्रणालियाँ ऐतिहासिक सामाजिक और सांस्कृतिक असमानताओं को प्रत्यक्ष रूप से वस्तुनिष्ठ एल्गोरिद्मिक निर्णयों में परिवर्तित करती हैं, जिससे क्षमता के पक्षपाती प्रॉक्सी (प्रतिनिधियों) के अनुकूलन के माध्यम से प्रणालीगत बहिष्कार को सुदृढ़ किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "गलतियाँ करने वाला दर्पण" (The Mirror that Makes Mistakes)
कल्पना कीजिए कि आप एक रेस्टोरेंट के लिए एक नया शेफ रख रहे हैं। आप अपने अंतर्ज्ञान (gut feeling) का उपयोग करना बंद करने का निर्णय लेते हैं और "परफेक्ट" उम्मीदवार खोजने के लिए हजारों बायोडाटा को स्कैन करने के लिए एक हाई-टेक रोबोट का उपयोग करते हैं। आप सोचते हैं, "अंततः! अब कोई मानवीय पूर्वाग्रह नहीं। रोबोट केवल तथ्यों की परवाह करता है!"
लेकिन एक समस्या है। रोबोट शून्य में पैदा नहीं हुआ था; इसे पिछले 50 वर्षों में नियुक्त किए गए प्रत्येक शेफ को देखकर प्रशिक्षित किया गया था। क्योंकि, ऐतिहासिक रूप से, अधिकांश हेड शेफ महंगे कुलीनता वाले स्कूलों से आए थे और उनके उद्योग में "संपर्क" (connections) थे, इसलिए रोबोट एक गुप्त, त्रुटिपूर्ण नियम सीख जाता है: "एक अच्छा शेफ़ होने के लिए, आपने स्कूल X में पढ़ाई की होनी चाहिए और व्यक्ति Y को जानना चाहिए।"
यह शोध पत्र तर्क देता है कि AI मानवीय पूर्वाग्रहों को ठीक नहीं करता है; बल्कि यह उन्हें "लॉन्ड्रिंग" (launder) करता है। यह हमारे अव्यवस्थित, अनुचित मानवीय पूर्वाग्रहों को लेता है और उन्हें "गणित" में बदल देता है, जिससे वे वस्तुनिष्ठ (objective) और वैज्ञानिक तथ्य लगने लगते हैं।
दो बड़े विचार
इस शोध पत्र को समझने के लिए, आपको केवल दो मुख्य विचारों को समझने की आवश्यकता है:
1. बाउंडेड रेशनैलिटी (सीमित तर्कशीलता - "धुंधला लेंस")
अर्थशास्त्र में, "तर्कसंगतता" (rationality) का अर्थ है सही निर्णय लेना। लेकिन मनुष्यों में "बाउंडेड रेशनैलिटी" होती है—हम पूर्ण नहीं हैं। हमारे पास सीमित समय, सीमित मानसिक क्षमता और सीमित जानकारी होती है। हम निर्णय लेने के लिए शॉर्टकट (heuristics) का उपयोग करते हैं।
लेखक इसे "सेकेंडरी बाउंडेड रेशनैलिटी" कहते हैं। इसका अर्थ है कि AI भी "सीमित" है। भले ही AI एक सुपरकंप्यूटर है, लेकिन यह उस डेटा से बंधा हुआ है जो हम इसे देते हैं। यह एक जासूस की तरह है जो अपराध को सुलझाने की कोशिश कर रहा है, लेकिन उसे केवल एक छोटे, धुंधले छेद (keyhole) के माध्यम से सुराग देखने की अनुमति है। जासूस तेज़ तो हो सकता है, लेकिन वह कभी भी पूरी सच्चाई नहीं देख पाएगा।
2. कल्चरल कैपिटल (सांस्कृतिक पूंजी - "गुप्त हाथ मिलाना")
यह शोध पत्र "बौर्दिएसियन कैपिटल" (Bourdieusian capital) नामक एक सिद्धांत का उपयोग करता है। इसे "अदृश्य बैकपैक" के रूप में समझें।
कुछ लोग नौकरी के साक्षात्कार (interview) में एक ऐसा बैकपैक लेकर आते हैं जो "सोने" से भरा होता है: वे प्रतिष्ठित संस्थानों से पढ़े हैं, उनके बात करने का एक खास तरीका है, और उनके "संपर्क" हैं। अन्य लोग एक ऐसा बैकपैक लेकर आते हैं जो "औजारों" (tools) से भरा होता है: वे मेहनती और कुशल हैं, लेकिन वे फैंसी स्कूलों में नहीं गए या वे "सही" लोगों को नहीं जानते।
AI को बैकपैक में मौजूद "सोने" को खोजने के लिए प्रोग्राम किया गया है क्योंकि "सोना" मापना आसान है (यह एक डेटा पॉइंट है)। यह "औजारों" को अनदेखा कर देता है क्योंकि उन्हें नंबरों में बदलना कठिन है।
"रिकर्सिव साइकिल" (पुनरावृत्ति चक्र - द फीडबैक लूप)
यह शोध पत्र एक खतरनाक चक्र के बारे में चेतावनी देता है। यह इस प्रकार काम करता है:
- अतीत: ऐतिहासिक रूप से, कुछ समूहों को उच्च वेतन वाली नौकरियों से बाहर रखा गया था।
- डेटा: AI अतीत को देखता है और देखता है कि "सफल लोग" सभी एक निश्चित तरीके से दिखते और व्यवहार करते हैं।
- निर्णय: AI अधिक लोगों को काम पर रखता है जो उसी तरह दिखते और व्यवहार करते हैं।
- परिणाम: "सफल" समूह वही रहता है, डेटा और भी अधिक पक्षपाती हो जाता है, और यह चक्र दोहराया जाता है।
यह एक GPS की तरह है जो केवल समृद्ध इलाकों के रास्तों का सुझाव देता है क्योंकि अतीत में उसने वहां सबसे अधिक कारें चलते देखी थीं। अंततः, GPS ऐसा बना देगा जैसे गरीब इलाके अस्तित्व में ही नहीं हैं।
हम इसे कैसे ठीक करें?
लेखक सुझाव देते हैं कि हमें केवल "गणित" पर भरोसा नहीं करना चाहिए। वे प्रस्ताव देते हैं:
- काउंटरफैक्चुअल फेयरनेस (Counterfactual Fairness): AI से पूछना, "यदि इस उम्मीदवार के पास बिल्कुल समान कौशल होते लेकिन वह किसी दूसरे स्कूल से आया होता, तो क्या आप अभी भी उसे काम पर रखते?"
- कैपिटल-अवेयर ऑडिटिंग (Capital-Aware Auditing): AI की जांच करना कि क्या वह अनजाने में वास्तविक प्रतिभा के बजाय "फैंसी बैकपैक" को पुरस्कृत कर रहा है।
- विनियमन (Regulation): यह सुनिश्चित करना कि कंपनियाँ यह कहकर पल्ला न झाड़ सकें कि, "कंप्यूटर ने निर्णय लिया, इसलिए यह हमारी गलती नहीं है।"
एक वाक्य में सारांश:
AI भर्ती उपकरण निष्पक्ष न्यायाधीश नहीं हैं; वे हमारे पुराने सामाजिक असमानताओं को प्रतिबिंबित करने वाले हाई-स्पीड दर्पण हैं जो उन्हें "योग्यता" (merit) समझ लेते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।