Surfacing Subtle Stereotypes: A Multilingual, Debate-Oriented Evaluation of Modern LLMs
यह शोध पत्र \corpusname को प्रस्तुत करता है, जो एक बहुभाषी, बहस-शैली वाला बेंचमार्क है जो यह प्रकट करता है कि सुरक्षा संरेखण (safety alignment) के बावजूद, अग्रणी लार्ज लैंग्वेज मॉडल्स सात भाषाओं में स्थापित रूढ़ियों को लगातार दोहराते हैं, जहाँ कम-संसाधन वाले संदर्भों में पूर्वाग्रह और अधिक तीव्र हो जाते हैं जहाँ अंग्रेजी-प्रशिक्षित संरेखण सामान्यीकरण करने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान, बहुत ही विनम्र रोबोट लाइब्रेरियन बनाया है। आपने उसे मददगार, हानिरहित और ईमानदार बनना सिखाया है। आपने उसे एक सख्त नियम पुस्तिका भी दी है: "कभी भी बुरा व्यवहार न करें, कभी भी नस्लवादी न बनें, और कभी भी बुरे शब्दों का प्रयोग न करें।"
अब, कल्पना कीजिए कि आप उस लाइब्रेरियन से एक बहस आयोजित करने के लिए कहते हैं। आप कहते हैं, "आइए दो विशेषज्ञों को महिलाओं के अधिकारों पर बहस करने दें," या "आइए इस पर चर्चा करें कि कुछ देश 'पिछड़े' क्यों हैं।" आप उम्मीद करते हैं कि लाइब्रेरियन निष्पक्ष होगा।
लेकिन यहाँ एक मोड़ है: लाइब्रेरियन केवल बुरे शब्दों को दोहरा नहीं रहा है; वह एक ऐसी कहानी सुना रहा है जहाँ 'बुरे लोग' हमेशा एक ही विशिष्ट स्थानों से होते हैं।
यह शोध पत्र, जिसका शीर्षक "Surfacing Subtle Stereotypes" (सूक्ष्म रूढ़ियों को उजागर करना) है, एक जासूसी कहानी की तरह है जहाँ लेखक यह देखने के लिए छद्म वेश में गए हैं कि क्या ये सुपर-इंटेलिजेंट AI रोबोट वास्तव में अपने पूर्वाग्रहों को छिपा रहे हैं। उन्होंने एक विशेष परीक्षण बनाया जिसे DebateBias-8K कहा जाता है।
यहाँ उनके द्वारा किए गए कार्यों और उनकी खोजों का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
1. पुराना टेस्ट बनाम नया टेस्ट
पुराना तरीका (बहुविकल्पीय प्रश्नोत्तरी - Multiple-Choice Quiz):
पहले, शोधकर्ता AI के पूर्वाग्रह का परीक्षण एक शिक्षक की तरह करते थे जो बहुविकल्पीय प्रश्नोत्तरी देता है। वे पूछते थे, "क्या एक डॉक्टर आमतौर पर पुरुष होता है या महिला?" और देखते थे कि क्या AI गलत उत्तर चुनता है।
- समस्या: यह एक तैराक का परीक्षण करने जैसा है कि उसे पानी की तस्वीर की ओर इशारा करने के लिए खड़ा कर दिया जाए। यह आपको यह नहीं बताता कि क्या वह वास्तव में समुद्र में तैर सकता है। वास्तविक जीवन कोई प्रश्नोत्तरी नहीं है; यह एक मुक्त प्रवाह वाली बातचीत है।
नया तरीका (इम्प्रोव डिबेट - Improv Debate):
लेखकों ने एक "डिबेट" टेस्ट बनाया। उन्होंने AI को दो पात्र निभाने के लिए कहा: एक "आधुनिक विशेषज्ञ" (जो प्रगति में विश्वास करता है) और एक "रूढ़िबद्ध विशेषज्ञ" (जो पुराने ढंग के, नकारात्मक विचार रखता है)। AI को उनके बीच पूरी बातचीत लिखनी थी।
- उपमा: बजाय इसके कि वे लाइब्रेरियन को एक कार्ड चुनने के लिए कहें, उन्होंने लाइब्रेरियन को एक दृश्य का अभिनय करने के लिए कहा। यह प्रकट करता है कि लाइब्रेरियन वास्तव में गहराई में क्या सोचता है, न कि केवल वह जो वह तब कहता है जब उसे चुनाव करने के लिए मजबूर किया जाता है।
2. "सात भाषाओं" का प्रयोग
लेखकों ने AI का परीक्षण केवल अंग्रेजी में नहीं किया। उन्होंने सात भाषाओं में इसका परीक्षण किया, जिनमें अत्यधिक सामान्य भाषाएँ (अंग्रेजी, चीनी) से लेकर कम डिजिटल संसाधनों वाली भाषाएँ (स्वाहिली, नाइजीरियाई पिडगिन) शामिल थीं।
- उपमा: कल्पना कीजिए कि आप एक बड़े शहर (अंग्रेजी) में एक अनुवादक का परीक्षण कर रहे हैं और फिर एक दूरदराज के गाँव (स्वाहिली) में। आप जानना चाहते हैं कि क्या अनुवादक हर जगह निष्पक्ष है, या वह केवल तभी अच्छा व्यवहार करता है जब वह "बड़े शहर" में होता है।
3. चार "खतरे के क्षेत्र" (Danger Zones)
उन्होंने AI को चार संवेदनशील विषयों पर बहस करने के लिए कहा:
- महिलाओं के अधिकार: निर्णय लेने का अधिकार किसे मिलना चाहिए?
- पिछड़ापन (Backwardness): कौन से देश "अविकसित" हैं?
- आतंकवाद: किसे हिंसा से जोड़ा जाता है?
- धर्म: किन धर्मों को प्रतिबंधात्मक माना जाता है?
4. चौंकाने वाले परिणाम
भले ही AI मॉडल्स को "सुरक्षित" और "अच्छे" होने के लिए प्रशिक्षित किया गया था, लेकिन डिबेट टेस्ट ने खुलासा किया कि वे अभी भी गहरे रूढ़िवादी विचारों को पकड़े हुए थे।
- "आतंकवाद" का जाल: जब आतंकवाद के बारे में पूछा गया, तो AI ने लगभग हमेशा "बुरे आदमी" की भूमिका अरबों को सौंपी (89% से अधिक समय तक), भले ही वह अंग्रेजी के अलावा अन्य भाषाओं में हो। ऐसा लगता है जैसे AI के पास "आतंकवाद" नामक एक मानसिक फ़ाइल फोल्डर है जिसमें केवल एक विशिष्ट समूह की तस्वीरें हैं।
- "पिछड़ेपन" का जाल: जब AI से "पिछड़ेपन" या गरीबी के बारे में पूछा गया, तो उसने भारी मात्रा में उस लेबल को अफ्रीकियों को सौंपा। अंग्रेजी में, ऐसा लगभग 58% समय हुआ। लेकिन नाइजीरियाई पिडगिन (एक कम संसाधन वाली भाषा) में, यह बढ़कर 77% हो गया।
- उपमा: यह एक मौसम विज्ञानी की तरह है जो एक विशिष्ट मोहल्ले के लिए हमेशा बारिश की भविष्यवाणी करता है, भले ही आसमान साफ हो। और जिस मोहल्ले का इंटरनेट कनेक्शन जितना खराब (कम-संसाधन वाली भाषा) होता है, मौसम विज्ञानी उतना ही अधिक जोर देकर कहता है कि बारिश हो रही है।
- "पश्चिमी" अपवाद: "आधुनिक विशेषज्ञ" की भूमिका लगभग हमेशा पश्चिमी समूहों को दी गई। AI ने शायद ही कभी, या कभी भी, पश्चिमी लोगों को "बुरे आदमी" या "पिछड़े" के रूप में चित्रित किया।
5. "लो-रिसोर्स" खतरा क्षेत्र
सबसे डरावना निष्कर्ष स्वाहिली और नाइजीरियाई पिडगिन जैसी भाषाओं के बारे में था।
- उपमा: AI की "सुरक्षा ट्रेनिंग" को कवच (Armor) के रूप में सोचें। अंग्रेजी में, कवच मोटा और मजबूत है। लेकिन कम-संसाधन वाली भाषाओं में, कवच में छेद हैं। इन भाषाओं में AI अधिक पक्षपाती हो जाता है, कम नहीं।
- यह क्यों मायने रखता है: ये वे भाषाएँ हैं जो उन लाखों लोगों द्वारा बोली जाती हैं जो इन AI उपकरणों पर बहुत अधिक निर्भर हैं क्योंकि उनके पास अन्य विकल्प कम हैं। यदि AI उनकी भाषा में अधिक नस्लवादी या रूढ़िवादी है, तो यह वास्तविक दुनिया में नुकसान पहुँचाता है।
6. "सांस्कृतिक दर्पण" प्रभाव (Cultural Mirror Effect)
लेखकों ने पाया कि AI केवल अंग्रेजी रूढ़ियों की नकल नहीं करता है; यह उन्हें स्थानीय संस्कृति के अनुकूल बनाता है।
- उदाहरण: अंग्रेजी में, AI कह सकता है "अरब धार्मिक कट्टरपंथी हैं।" लेकिन हिंदी में, AI कहने लगा "भारतीय धार्मिक कट्टरपंथी हैं।"
- उपमा: यह एक गिरगिट की तरह है। एक कमरे में, यह एक हरे रंग की छिपकली जैसा दिखता है; दूसरे कमरे में, यह एक भूरे रंग की छिपकली जैसा दिखता है। AI "बुरे आदमी" की अवधारणा को ले रहा है और उसे स्थानीय संस्कृति के रंगों से रंग रहा है, बजाय इसके कि वह एक निश्चित छवि पर टिका रहे।
मुख्य निष्कर्ष (The Big Takeaway)
शोध पत्र यह निष्कर्ष निकालता है कि हम केवल AI को अंग्रेजी में विनम्र बनाना पर्याप्त नहीं मान सकते और यह उम्मीद नहीं कर सकते कि वह हर जगह निष्पक्ष होगा।
वर्तमान सुरक्षा नियम किसी संग्रहालय की प्रदर्शनी पर "छूना मना है" के साइन बोर्ड की तरह हैं। वे लोगों को कांच तोड़ने (स्पष्ट घृणास्पद भाषण) से रोकते हैं, लेकिन वे प्रदर्शनी को इतिहास के एक विकृत, पक्षपाती संस्करण को प्रदर्शित करने से नहीं रोकते (सूक्ष्म रूढ़ियाँ)।
समाधान क्या है?
हमें AI का परीक्षण कई भाषाओं में, वास्तविक बातचीत में, और केवल प्रश्नोत्तरी में नहीं, बल्कि व्यापक रूप से करने की आवश्यकता है। हमें ऐसा "सुरक्षा कवच" बनाने की आवश्यकता है जो हर संस्कृति के अनुकूल हो, न कि केवल उस संस्कृति के लिए जहाँ कवच मूल रूप से डिजाइन किया गया था।
संक्षेप में: AI विनम्र है, लेकिन वह अभी भी पूर्वाग्रही है। और वह तब सबसे अधिक पूर्वाग्रही होता है जब वह उन लोगों से बात कर रहा होता है जिन्हें इसकी सबसे अधिक आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।