Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation
यह शोध पत्र प्रदर्शित करता है कि 19 बड़े भाषा मॉडलों और 4 मिलियन से अधिक एनोटेशन निर्णयों में, नाम और बोलियों जैसे सूक्ष्म पहचान संकेत व्यवस्थित रूप से नस्लीय रूढ़ियों को सक्रिय करते हैं, जिससे अल्पसंख्यक समूहों से जुड़े ग्रंथों को अधिक आक्रामक, कम पेशेवर और कम आत्मविश्वासी के रूप में रेट किया जाता है, जिससे अनुसंधान और निर्णय लेने में उपयोग किए जाने वाले स्वचालित डेटासेट में ये पूर्वाग्रह समाहित हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने लोगों के बारे में हजारों लघु कथाओं को पढ़ने में मदद करने के लिए 19 अलग-अलग रोबोटों की एक टीम को काम पर रखा है। आपका लक्ष्य इन रोबोटों को "जज" (निर्णायक) के रूप में कार्य करने के लिए कहना है, जो कहानियों के पात्रों को कुछ चीजों पर रेटिंग देंगे जैसे: क्या वे बुद्धिमान हैं? क्या वे क्रोधित हैं? क्या आप उन्हें नौकरी के लिए रखेंगे? क्या वे पेशेवर हैं?
आप रोबोट्स से कहते हैं, "बस शब्दों को देखो और हमें एक स्कोर दो।" आप उन्हें यह नहीं बताते कि वे लोग कौन हैं।
लेकिन यहाँ एक मोड़ है: रोबोटों ने बोलने का तरीका सीखने के लिए पूरे इंटरनेट को पढ़ा है। दुर्भाग्य से, इंटरनेट नस्ल के बारे में पुराने, अनुचित रूढ़िबद्ध विचारों (stereotypes) से भरा हुआ है। भले ही आपने रोबोट्स को पात्रों की नस्ल के बारे में नहीं बताया, लेकिन रोबोटों ने सूक्ष्म सुरागों—जैसे कि किसी व्यक्ति का नाम या उनके बोलने का तरीका देखकर खुद ही इसका पता लगा लिया।
यह शोध पत्र इस बात की एक व्यापक जांच है कि जब ये रोबोट इन सुरागों के आधार पर लोगों का निर्णय लेते हैं तो क्या होता है। शोधकर्ताओं ने पाया कि रोबोट केवल यादृच्छिक (random) गलतियाँ नहीं कर रहे थे; वे ठीक उन्हीं नस्लीय रूढ़ियों को दोहरा रहे थे जिन्हें मनुष्यों ने दशकों से पाल रखा है।
यहाँ जो हुआ है, उसका विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:
1. "नाम का खेल" (प्रयोग 1)
शोधकर्ताओं ने बिल्कुल एक ही कहानी ली और बस ऊपर दिया गया नाम बदल दिया।
- ब्लैक नेम इफेक्ट (Black Name Effect): जब कहानी में "टायरोन" (Tyrone) या "शैनिकुआ" (Shaniqua) जैसा नाम था, तो रोबोट्स ने लगभग हमेशा उस व्यक्ति को अधिक आक्रामक और गपशप करने की अधिक संभावना वाला माना। ऐसा लग रहा था जैसे रोबोट ने नाम देखा और तुरंत उसकी फाइल पर "मुसीबत पैदा करने वाला" का स्टिकर लगा दिया, भले ही वह कहानी एक श्वेत (white) नाम वाली कहानी के समान ही थी।
- एशियन नामों के लिए "बैम्बू सीलिंग" (Bamboo Ceiling): जब नाम एशियाई (जैसे "वेई" या "मेई") था, तो रोबोट्स एक विशिष्ट तरीके से भ्रमित हो गए। उन्होंने इन लोगों को अत्यधिक बुद्धिमान और रचनात्मक (एक "अच्छे छात्र" की रूढ़ि) के रूप में रेट किया। लेकिन, उन्होंने उन्हें कम आत्मविश्वासी, कम मिलनसार और नेतृत्व करने की कम संभावना वाले के रूप में भी रेट किया। यह ऐसा है जैसे रोबोटों ने सोचा, "गणित में बेहतरीन, लेकिन इन्हें नेतृत्व न सौंपें।"
- अरब नामों का प्रभाव: इन नामों ने एक मिला-जुला प्रभाव डाला। रोबोट्स ने सोचा कि ये लोग बुद्धिमान और महत्वाकांक्षी हैं, लेकिन साथ ही कम मिलनसार (warm), अधिक भावुक और संचार करने में कम कुशल भी हैं।
- "आत्म-अनुशासन" का दंड (Self-Discipline Penalty): चाहे कोई भी अल्पसंख्यक नाम (ब्लैक, एशियन, अरब या हिस्पैनिक) इस्तेमाल किया गया हो, रोब्लोट्स ने लगभग सार्वभौमिक रूप से उन्हें श्वेत नामों की तुलना में कम आत्म-अनुशासित माना। यह एक निरंतर "दंड" था जो सभी पर लागू किया गया था।
एक अजीब अपवाद:
जब नौकरी देने (hiring) की बात आई, तो रोबोट्स ने बिल्कुल उसके विपरीत किया जो इंसान असल जिंदगी में करते हैं। असल जिंदगी में, अध्ययन बताते हैं कि अल्पसंख्यक नामों वाले रेज़्यूमे को कम कॉल बैक मिलते हैं। लेकिन ये रोबोट्स? वास्तव में, उन्होंने नौकरी के लिए अल्पसंख्यक नामों को वरीयता (favor) दी!
- क्यों? शोधकर्ताओं का मानना है कि इन रोबोट्स को बनाने वाली कंपनियों (जैसे OpenAI और Google) ने उन्हें विशेष रूप से "अच्छा" बनने और भेदभाव से बचने के लिए प्रशिक्षित किया था। उन्होंने अत्यधिक सुधार (over-correct) किया। उन्होंने "हायरिंग" पक्षपात को इतना ठीक किया कि वे दूसरे छोर पर चले गए, लेकिन वे गहरे, अदृश्य पूर्वाग्रहों को ठीक नहीं कर पाए।
2. "एक्सेंट" (लहजा) परीक्षण (प्रयोग 2)
इसके बाद, शोधकर्ताओं ने एक अलग तरकीब आजमाई। उन्होंने नाम को समान (एक श्वेत नाम) रखा लेकिन टेक्स्ट की बोली (dialect) को बदल दिया।
- संस्करण A: मानक अंग्रेजी में लिखा गया (जैसे एक समाचार रिपोर्ट)।
- संस्करण B: अफ्रीकन अमेरिकन वर्नाकुलर इंग्लिश (AAVE) में लिखा गया, जिसमें अलग व्याकरण और स्लैंग का उपयोग किया गया, लेकिन कहने वाली बात बिल्कुल वही थी।
परिणाम: यह सबसे चौंकाने वाला हिस्सा था। सभी 19 रोबोट्स ने AAVE संस्करण को बहुत अधिक कठोरता से परखा।
- उन्हें लगा कि AAVE बोलने वाला व्यक्ति कम पेशेवर है।
- उन्हें लगा कि वह कम शिक्षित है।
- उन्हें लगा कि वह अधिक क्रोधित और अधिक विषाक्त (toxic) है।
- उन्हें नौकरी मिलने की संभावना कम है।
उपमा: कल्पना कीजिए कि दो लोग बिल्कुल एक जैसे सूट पहनकर एक कमरे में प्रवेश करते हैं। एक मानक लहजे में बोलता है, और दूसरा क्षेत्रीय बोली में। यदि आप एक रोबोट से उनका निर्णय लेने को कहें, तो रोबोट कहेगा कि बोली वाले व्यक्ति को "अप्रावसायिक" और "क्रोधित" है, भले ही वह बिल्कुल वही कपड़े पहने हुए है और वही शब्द बोल रहा है। रोबोट सामग्री को नहीं, बल्कि आवाज को दंडित कर रहा है।
यह क्यों मायने रखता है?
आप सोच सकते हैं, "ठीक है, रोबोट पक्षपाती हैं। तो क्या? हम उनका उपयोग ही नहीं करेंगे।"
समस्या यह है कि हम उनका उपयोग कर रहे हैं।
- विश्वविद्यालय निबंधों को ग्रेड देने के लिए उनका उपयोग करते हैं।
- कंपनियाँ रेज़्यूमे की छंटनी करने के लिए उनका उपयोग करती हैं।
- सोशल मीडिया कंपनियाँ यह तय करने के लिए कि कौन सी पोस्ट "विषाक्त" है और किसे हटा देना चाहिए, उनका उपयोग करती हैं।
यदि एक रोबोट कंटेंट मॉडरेट करने के लिए उपयोग किया जाता है, तो वह AAVE में लिखी गई पोस्ट को हटा सकता है क्योंकि उसे लगता है कि पोस्ट "क्रोधित" या "विषाक्त" है, जबकि उसी अर्थ वाली मानक अंग्रेजी में लिखी गई पोस्ट को जाने देगा। यदि एक रोबोट का उपयोग नौकरी के आवेदकों की छंटनी के लिए किया जाता है, तो वह उनकी लेखन शैली में सूक्ष्म संकेतों के आधार पर उम्मीदवारों को अनुचित रूप से खारिज कर सकता है।
मुख्य निष्कर्ष
ये लार्ज लैंग्वेज मॉडल्स (LLMs) दर्पण (mirrors) की तरह हैं। वे उस दुनिया को दर्शाते हैं जिस पर उन्हें प्रशिक्षित किया गया है। क्योंकि हमारी दुनिया में गहरे नस्लीय पूर्वाग्रह हैं, इसलिए ये दर्पण हमें हमारे ही पूर्वाग्रह वापस दिखाते हैं, अक्सर उन तरीकों से जिनकी हम उम्मीद नहीं करते।
शोधकर्ता हमें चेतावनी देते हैं: हम इन रोबोटों को तटस्थ होने के लिए केवल भरोसा नहीं कर सकते। भले ही हम उन्हें "ठीक" करने की कोशिश करें, वे एक समस्या (जैसे हायरिंग) को ठीक कर सकते हैं, लेकिन अन्य समस्याओं (जैसे व्यक्तित्व या बोली का निर्णय लेना) को टूटा हुआ छोड़ सकते हैं। यदि हम लोगों के जीवन से जुड़े महत्वपूर्ण निर्णय लेने के लिए इन उपकरणों का उपयोग करते हैं, तो हम पुराने जमाने के नस्लवाद को स्वचालित और तेज करने का जोखिम उठाते हैं, जिससे यह "तटस्थ गणित" जैसा दिखने लगता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।