Can LLMs Hire Fairly? Racial Bias in Resume Screening
यह शोध पत्र चौदह बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) का ऑडिट करता है और पाता है कि जहाँ एक 2023 के मॉडल ने मानव भेदभाव के समान श्वेत-पक्षपाती भर्ती पूर्वाग्रह प्रदर्शित किया, वहीं 2024 या उसके बाद जारी किए गए सभी मॉडलों ने या तो कोई पूर्वाग्रह नहीं दिखाया या एक महत्वपूर्ण प्रो-ब्लैक रिवर्सल (अश्वेत-पक्षपाती उलटफेर) प्रदर्शित किया, जो एल्गोरिद्मिक भर्ती निष्पक्षता में एक पीढ़ीगत बदलाव को चिह्नित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी नौकरी के लिए भर्ती कर रहे हैं, लेकिन एक इंसान के बजाय, आप एक बहुत ही बुद्धिमान कंप्यूटर रोबोट को निर्णय लेने के लिए कहते हैं। आप जानना चाहते हैं: क्या यह रोबोट निष्पक्ष है?
यह शोध पत्र एक विशाल "मिस्ट्री शॉपर" प्रयोग की तरह है। शोधकर्ताओं ने 14 अलग-अलग AI रोबोटों (लार्ज लैंग्वेज मॉडल्स) को हायरिंग मैनेजर के रूप में काम करने के लिए काम पर रखा। उन्होंने प्रत्येक रोबोट को हजारों नकली रेज़्यूमे (resumes) के जोड़े दिए जो हर तरह से एक समान थे—समान शिक्षा, समान कार्य इतिहास, समान आयु और समान कौशल। एकमात्र चीज़ जो बदल गई थी, वह था रेज़्यूमे पर लिखा नाम।
यहाँ बताया गया है कि उन्होंने क्या पाया, जिसे कुछ सरल उपमाओं के माध्यम से बताया गया है:
1. "पुराना रोबोट" बनाम "नए रोबोट"
AI मॉडल्स को स्मार्टफोन के विभिन्न पीढ़ियों की तरह समझें।
- 2023 मॉडल (द "ओल्ड फोन"): शोधकर्ताओं ने एक पुराने मॉडल (GPT-3.5-turbo) का परीक्षण किया। इस रोबोट ने बिल्कुल उन पक्षपाती इंसानों की तरह व्यवहार किया जो पिछले अध्ययनों में पाए गए थे। जब इसने एक ऐसा नाम देखा जो अश्वेत (Black) लग रहा था, तो यह श्वेत (White) नाम की तुलना में कम संभावना के साथ कहता कि "हाँ, इस व्यक्ति को बुलाएं।" इसने स्पष्ट रूप से श्वेत नामों के प्रति प्राथमिकता दिखाई।
- 2024+ मॉडल (द "न्यू फोन्स"): फिर, उन्होंने 2024 और 2025 में जारी किए गए 13 नए मॉडलों का परीक्षण किया। इन रोबोटों ने कुछ आश्चर्यजनक किया। वे केवल तटस्थ (neutral) नहीं हुए; वे दूसरी दिशा में झुक गए। उन्होंने श्वेत नामों के बजाय अश्वेत नामों को प्राथमिकता देना शुरू कर दिया।
उपमा: कल्पना कीजिए कि एक तराजू है।
- पुराने रोबोट ने तराजू को भारी रूप से श्वेत पक्ष की ओर झुका दिया।
- नए रोबलों ने तराजू को भारी रूप से अश्वेत पक्ष की ओर झुका दिया।
- सबसे नए रोबोट (2026 के) तराजू को पूरी तरह से संतुलित करने की कोशिश कर रहे हैं, जिससे बिना किसी पक्षपात के लगभग कोई प्राथमिकता नहीं दिख रही है।
2. पुरुषों और महिलाओं के लिए भी वही कहानी
उन्होंने ठीक वही परीक्षण चलाया लेकिन नामों को बदलकर यह देखने के लिए कि क्या रोबोट पुरुषों या महिलाओं के प्रति पक्षपाती है।
- पुराना रोबोट: महिलाओं की तुलना में पुरुषों को प्राथमिकता दी।
- नए रोबोट: पुरुषों की तुलना में महिलाओं को प्राथमिकता दी।
- सबसे नए रोबोट: फिर से तटस्थ हो रहे हैं।
3. ऐसा क्यों हुआ?
शोध पत्र का सुझाव है कि यह कोई तकनीकी खराबी नहीं है; यह इस बात का परिणाम है कि रोबोटों को कैसे "सिखाया" गया था।
- ट्रेनिंग डेटा: पुराने रोबोट ने इंटरनेट से वैसा ही सीखा जैसा वह था, जिसमें बहुत सारा ऐतिहासिक मानवीय पूर्वाग्रह (श्वेत पुरुषों को प्राथमिकता देना) शामिल है।
- "एलाइनमेंट" सुधार: जो कंपनियां नए रोबोट बना रही थीं, उन्हें एहसास हुआ कि यह अनुचित है। उन्होंने एक विशेष "प्रशिक्षण कक्षा" (जिसे एलाइनमेंट कहा जाता है) जोड़ी ताकि रोबोटों को निष्पक्ष होना सिखाया जा सके।
- ओवर-करेक्शन (अति-सुधार): ऐसा लगता है कि नए रोबोट निष्पक्ष होने के लिए थोड़े ज्यादा उत्साहित हो गए। केवल तटस्थ होने के बजाय, उन्होंने उन समूहों को सक्रिय रूप से प्राथमिकता देना शुरू कर दिया जिनके साथ पहले भेदभाव किया गया था। यह एक ऐसे शिक्षक की तरह है, जिसने यह देखने के बाद कि एक छात्र को परेशान किया गया है, यह तय किया कि उस छात्र को हर परीक्षा में अतिरिक्त अंक (extra credit) दिए जाएं, भले ही उसने उन्हें अर्जित न किया हो।
4. मुख्य निष्कर्ष
इस शोध पत्र का मुख्य सबक यह है कि AI पूर्वाग्रह (bias) कोई स्थिर चीज़ नहीं है। यह इस पर निर्भर करता है कि आप किस संस्करण के रोबोट का उपयोग कर रहे हैं और वह कब बनाया गया था।
- 2023 रोबोट: उन्होंने पुरानी मानवीय गलतियों को दोहराया (श्वेत पुरुषों को प्राथमिकता देना)।
- 2024-2025 रोबोट: उन्होंने इसे ठीक करने की कोशिश की लेकिन दूसरी दिशा में बहुत अधिक झुक गए (अश्वेत महिलाओं को प्राथमिकता देना)।
- 2026 रोबोट: वास्तव में तटस्थ होने के करीब आ रहे हैं।
सार (Bottom Line):
शोध पत्र निष्कर्ष निकालता है कि सिर्फ इसलिए कि कोई उपकरण "AI" है, इसका मतलब यह नहीं है कि वह निष्पक्ष है। कभी-कभी यह एक तरफ बहुत पक्षपाती होता है, और कभी-कभी यह दूसरी तरफ बहुत पक्षपाती होता है। किसी विशिष्ट AI हायरिंग टूल के निष्पक्ष होने का एकमात्र तरीका इसे लगातार टेस्ट करना है, क्योंकि AI का "व्यक्तित्व" हर नए अपडेट के साथ बदलता है।
यह शोध पत्र क्या नहीं कहता:
- यह नहीं कहता कि ये रोबोट वर्तमान में सभी कंपनियों द्वारा उपयोग किए जा रहे हैं (हालांकि यह एक कंपनी, वर्कडे (Workday) के खिलाफ मुकदमे का उल्लेख करता है)।
- यह नहीं कहता कि हमें AI का उपयोग करना बंद कर देना चाहिए।
- यह नहीं कहता कि "प्रो-ब्लैक" (अश्वेत समर्थक) पूर्वाग्रह एक अच्छी चीज़ है; लेखक तर्क देते हैं कि कोई भी पूर्वाग्रह (एक समूह को दूसरे समूह की तुलना में प्राथमिकता देना) निष्पक्षता के लिए बुरा है। लक्ष्य एक तटस्थ तराजू है, न कि एक झुका हुआ तराजू।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।