AI Alignment Amplifies the Role of Race, Gender, and Disability in Hiring Decisions
27 भाषा मॉडलों और 177 व्यवसायों पर आधारित यह बड़े पैमाने पर किया गया अध्ययन प्रकट करता है कि पोस्ट-ट्रेनिंग अलाइनमेंट महिला और अश्वेत उम्मीदवारों के लिए भर्ती लाभ को महत्वपूर्ण रूप से बढ़ाता है, जबकि विकलांग उम्मीदवारों के लिए नुकसान को बढ़ाता है, जो प्रभावी रूप से मानव अध्ययनों में देखी गई नस्लीय भेदभाव की दिशा को उलट देता है और जनसांख्यिकीय कारकों को एक अतिरिक्त वर्ष की शिक्षा के समान प्रभावशाली बना देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बेहतरीन उम्मीदवार चुनने में मदद करने के लिए एक विशाल, अत्यंत बुद्धिमान रोबोट लाइब्रेरियन को काम पर रखा है। आप उस रोबोट को दो लगभग एक जैसे कौशल, शिक्षा और अनुभव वाले दो 'रेज़्यूमे' देते हैं। एकमात्र अंतर ऊपर दिया गया "कवर लेटर" है जो रोबोट को उम्मीदवार के लिंग, नस्ल या किसी विकलांगता के बारे में बताता है।
यह शोधपत्र एक विशाल प्रयोग है जहाँ शोधकर्ताओं ने इन "रोबोट लाइब्रेरियन" (AI भाषा मॉडल) के 27 अलग-अलग संस्करणों से भर्ती संबंधी निर्णय लेने के लिए कहा। वे यह देखना चाहते थे कि क्या रोबोट मानव नियोक्ताओं (जो अक्सर भेदभाव करते हैं) की तरह व्यवहार करेंगे या वे अलग तरह से कार्य करेंगे।
यहाँ उन्हें क्या मिला, सरल उपमाओं का उपयोग करते हुए:
1. रोबोटों के पास एक "बायस स्विच" (पक्षपात का स्विच) है
शोधकर्ताओं ने पाया कि रोबोटों को वास्तव में इस बात से फर्क पड़ता है कि उम्मीदवार कौन है, लेकिन वे मनुष्यों की तरह फर्क नहीं समझते।
- महिलाओं और अश्वेत उम्मीदवारों के लिए: रोबोटों ने उन्हें वास्तव में एक बढ़ावा (boost) दिया। यदि दो उम्मीदवार समान रूप से योग्य थे, तो रोबोट एक महिला या अश्वेत उम्मीदवार को पुरुष या श्वेत उम्मीदवार की तुलना में चुनने की अधिक संभावना रखता था।
- विकलांग उम्मीदवारों के लिए: रोबोटों ने उन्हें एक दंड (penalty) दिया। यदि किसी उम्मीदवार ने विकलांगता का उल्लेख किया, तो रोबोट उन्हें चुनने की कम संभावना रखता था, भले ही उनके कौशल उत्तम हों।
परिमाण (Magnitude): यह पक्षपात छोटा नहीं था। महिलाओं और अश्वेत उम्मीदवारों को दिया गया लाभ लगभग छह महीने से एक साल अधिक शिक्षा प्राप्त करने के बराबर था। विकलांग उम्मीदवारों के लिए दंड भी महत्वपूर्ण था।
2. "ट्रेनिंग कैंप" प्रभाव (अलाइनमेंट)
सबसे आश्चर्यजनक हिस्सा यह है कि यह क्यों होता है। शोधकर्ताओं ने "रॉ" (raw) रोबोट (प्री-ट्रेन्ड मॉडल) की तुलना "ट्रेन्ड" (trained) रोबोट (इंस्ट्रक्शन-ट्यून्ड या "अलाइन्ड" मॉडल) से की।
- रॉ रोबोट: कच्चा रोबोट थोड़ा भ्रमित था और उसने भर्ती संबंधी निर्णय लगभग यादृच्छिक (random) तरीके से लिए। उसे योग्यता या जनसांख्यिकी की अधिक परवाह नहीं थी।
- ट्रेन्ड रोबोट: शोधकर्ताओं ने रोबोट को मददगार, हानिरहित और ईमानदार होने के लिए "प्रशिक्षित" किया (इसे अलाइनमेंट कहा जाता है)।
- परिणाम: इस ट्रेनिंग कैंप ने रोबोट को केवल स्मार्ट ही नहीं बनाया; इसने पक्षपात को सुपरचार्ज कर दिया।
- महिलाओं और अश्वेत उम्मीदवारों के लिए मिलने वाला बढ़ावा 325% से 330% बढ़ गया।
- विकलांग उम्मीदवारों के लिए दंड 171% बढ़ गया।
एक कोच की तरह सोचिए जो एक खिलाड़ी को "निष्पक्ष" होना सिखा रहा है। कोच ने खिलाड़ी को तटस्थ बनाने के बजाय, अनजाने में उन्हें कुछ खिलाड़ियों के प्रति बहुत अधिक दयालु और दूसरों के प्रति बहुत अधिक सख्त होना सिखा दिया।
3. "मिसिंग पज़ल पीस" की समस्या
रोबोटों ने इन समूहों के साथ अलग व्यवहार क्यों किया? शोधपत्र दो मुख्य कारणों का सुझाव देता है, जो एक जासूस द्वारा केस सुलझाने जैसा है:
- "बोनस पॉइंट्स" थ्योरी (विभेदक प्रतिफल): जब रोबोट ने एक महिला या अश्वेत उम्मीदवार को एक विशिष्ट कौशल (जैसे डिग्री या अनुभव) के साथ देखा, तो उसने उन्हें एक पुरुष या श्वेत उम्मीदवार की तुलना में उस कौशल के लिए अधिक श्रेय दिया। यह उस समूह का हिस्सा होने के लिए बोनस अंक देने जैसा था।
- "मिसिंग क्ल्यू" थ्योरी (सूचना विषमता): जब किसी उम्मीदवार के पास कोई स्पष्ट संकेत (जैसे कार्य अनुभव का उल्लेख न होना) नहीं था, तो रोबोट संदिग्ध हो गया। उसने महिलाओं और विकलांग उम्मीदवारों को इस "गायब सुराग" के लिए पुरुषों की तुलना में बहुत अधिक दंडित किया। यह ऐसा था मानो रोबोट ने सोचा, "यदि मैं उनका अनुभव नहीं देख सकता, तो वे कुछ छिपा रहे होंगे," और उसने अनिश्चितता के लिए हाशिए पर मौजूद समूहों को अधिक कठोरता से परखा।
4. रोबोट मनुष्यों से कैसे तुलना करते हैं
शोधकर्ताओं ने अपने रोबोट परिणामों की तुलना मानव भर्ती भेदभाव पर दशकों के अध्ययनों से की।
- नस्ल: मनुष्य आमतौर पर अश्वेत उम्मीदवारों को अधिक अस्वीकार करते हैं। रोबोटों ने इसके विपरीत किया, यानी उन्हें प्राथमिकता दी।
- विकलांगता: मनुष्य विकलांग उम्मीदवारों को भारी रूप से अस्वीकार करते हैं। रोबोटों ने अभी भी उन्हें अस्वीकार किया, लेकिन मनुष्यों की तुलना में कम (हालांकि उन्होंने उन्हें अस्वीकार किया ही था)।
- लिंग: मनुष्य महिलाओं के प्रति मामूली प्राथमिकता दिखाते हैं। रोबोटों ने इसे बढ़ा दिया (amplify), जिससे महिलाओं के प्रति प्राथमिकता मनुष्यों की तुलना में बहुत अधिक मजबूत हो गई।
मुख्य निष्कर्ष
शोधपत्र निष्कर्ष निकालता है कि AI केवल मानव नस्लवाद या लिंगवाद की नकल नहीं करता है। इसके बजाय, AI को "अलाइन" करने (इसे सुरक्षित और मददगार बनाने) की प्रक्रिया एक नया, अलग प्रकार का पक्षपात पैटर्न बनाती है।
ऐसा नहीं है कि रोबोट उसी तरह "टूटे" हुए हैं जैसे इंसान होते हैं; वे एक अद्वितीय तरीके से टूटे हुए हैं। अध्ययन चेतावनी देता है कि हम केवल यह मानकर नहीं चल सकते कि AI इतिहास को दोहराएगा। इसके बजाय, वे कदम जो हम AI को "अच्छा" बनाने के लिए उठाते हैं, वे अनजाने में नई, बढ़ी हुई असमानताएं पैदा कर सकते हैं, जो विशेष रूप से विकलांग उम्मीदवारों को नुकसान पहुँचाती हैं और महिलाओं एवं अश्वेत उम्मीदवारों को भारी बढ़ावा देती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।