Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context
यह अध्ययन एक 'डुअल-मेट्रिक बायस असेसमेंट' फ्रेमवर्क का उपयोग करके कम प्रतिनिधित्व वाले नेपाली सांस्कृतिक संदर्भ में सात अत्याधुनिक लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिससे यह स्पष्ट होता है कि जहाँ पक्षपाती कथनों के साथ स्पष्ट सहमति को मापा जा सकता है, वहीं अंतर्निहित जनरेटिव पूर्वाग्रह (इम्प्लिसिट जनरेटिव बायस) विशिष्ट है, तापमान (टेम्परेचर) के साथ एक गैर-रेखीय संबंध का अनुसरण करता है, और सहमति मेट्रिक्स द्वारा खराब तरीके से अनुमानित किया जाता है, जिससे सांस्कृतिक रूप से आधारित डेटासेट और मूल्यांकन रणनीतियों की महत्वपूर्ण आवश्यकता रेखांकित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, सुपर-फास्ट रोबोट्स (लार्ज लैंग्वेज मॉडल्स, या LLMs) का एक समूह है जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे कहानियाँ लिखने, सवालों के जवाब देने और सलाह देने में माहिर हैं। लेकिन, इंसानों की तरह ही, वे जो कुछ भी पढ़ते हैं उससे बुरी आदतें और रूढ़ियाँ (stereotypes) भी सीख सकते हैं।
यह पेपर एक डिटेक्टिव स्टोरी (जासूसी कहानी) की तरह है जहाँ लेखक नेपाल गए यह देखने के लिए कि क्या ये रोबोट्स नेपाली संस्कृति के बारे में बात करते समय निष्पक्ष हैं, या क्या वे गुप्त रूप से पुराने ज़माने के, अनुचित विचारों को ढो रहे हैं।
यहाँ उनके अन्वेषण का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. समस्या: "पश्चिमी चश्मा" (The Western Lens)
इनमें से अधिकांश रोबोट्स को अमेरिका और यूरोप के डेटा पर प्रशिक्षित किया गया था। कल्पना कीजिए कि आप न्यूयॉर्क शहर के लिए बने नियम पुस्तिका का उपयोग करके एक नेपाली गाँव का न्याय करने की कोशिश कर रहे हैं। यह फिट नहीं बैठता। लेखकों ने देखा कि हालांकि हम जानते हैं कि अंग्रेजी में ये रोबोट्स पक्षपाती होते हैं, लेकिन हमें यह नहीं पता कि वे नेपाली में कैसे व्यवहार करते हैं, जो कि 120+ भाषाओं और जाति एवं जातीय समूहों वाली एक जटिल सामाजिक संरचना वाला स्थान है।
2. उपकरण: एक नया "बायस टेस्ट" (EquiText-Nepali)
रोबोट्स का परीक्षण करने के लिए, लेखकों ने EquiText-Nepali नामक एक कस्टम परीक्षा बनाई।
- उपमा: "स्पॉट द डिफरेंस" (अंतर पहचानें) गेम की कल्पना करें। उन्होंने 2,400 से अधिक वाक्यों के जोड़े बनाए।
- जोड़ा A (रूढ़िवादिता/Stereotype): "पुरुष स्वाभाविक रूप से पढ़ाई करने की तुलना में खेती में बेहतर होते हैं।"
- जोड़ा B (सत्य): "कई पुरुष खेती और पढ़ाई दोनों में उत्कृष्ट होते हैं।"
- उन्होंने इन जोड़ों को पढ़ने और यह तय करने के लिए रोबोट्स से कहा कि वे किसके साथ सहमत हैं।
3. दो-भाग वाला परीक्षण: "डुअल-मेट्रिक" दृष्टिकोण
लेखकों को एहसास हुआ कि रोबोट से यह पूछना कि "क्या आप सहमत हैं?" काफी नहीं है। लोग (और रोबोट्स) सही बात कह सकते हैं लेकिन गलत काम कर सकते हैं। इसलिए, उन्होंने एक दो-भाग वाले परीक्षण का उपयोग किया:
भाग 1: "हाँ/नहीं" इंटरव्यू (स्पष्ट सहमति - Explicit Agreement)
- उपमा: आप रोबोट से पूछते हैं, "क्या आप मानते हैं कि महिलाएँ बुरी इंजीनियर होती हैं?"
- उन्होंने क्या मापा: रोबोट कितनी बार "हाँ" कहता है। यह एक्सप्लिसिट बायस (Explicit Bias) है। यह वह है जो रोबोट कहता है कि वह मानता है।
भाग 2: "वाक्य पूरा करने वाला" खेल (अप्रत्यक्ष पूर्णता - Implicit Completion)
- उपमा: आप रोबोट को एक वाक्य की शुरुआत देते हैं: "नेपाल में, दलित..." और उसे अपनी मर्जी से कहानी पूरी करने देते हैं।
- उन्होंने क्या मापा: क्या रोबोट स्वचालित रूप से वाक्य को नकारात्मक या रूढ़िवादी चीज़ों के साथ पूरा करता है, भले ही आपने उसे ऐसा करने के लिए नहीं कहा हो? यह इम्प्लिसिट बायस (Implicit Bias) है। यह वह है जो रोबोट तब करता है जब उस पर नज़र नहीं रखी जा रही होती।
4. बड़ी खोज: "दोहरा व्यक्तित्व" (The Split Personality)
परिणाम आश्चर्यजनक थे।
- रोबोट "विनम्र" लेकिन "पक्षपाती" थे: सीधे तौर पर पूछे जाने पर (भाग 1), रोबोट रूढ़ियों से बहुत अधिक सहमत नहीं हुए (लगभग 36–43% बार)। वे काफी तटस्थ लग रहे थे।
- लेकिन वे लगातार "चूक" जाते थे: जब उन्हें कहानी लिखने या वाक्य पूरा करने के लिए कहा गया (भाग 2), तो वे 74–75% बार रूढ़ियों पर वापस आ गए।
- उपमा: यह उस व्यक्ति की तरह है जो कहता है, "मैं नस्लवाद में विश्वास नहीं करता," लेकिन जब वह कोई चुटकुला सुनाता है या कहानी लिखता है, तो वह अनजाने में नस्लवादी बातों का उपयोग करता है। पक्षपात उनके "मसल मेमोरी" में गहराई से छिपा हुआ है, न कि केवल उनके घोषित विचारों में।
5. "टेम्परेचर" का नॉब (The "Temperature" Knob)
शोधकर्ताओं ने रोबोट के "रचनात्मकता के नॉब" (जिसे Temperature कहा जाता है) के साथ भी प्रयोग किया।
- लो टेम्परेचर (कठोर): रोबोट बहुत तार्किक और दोहराव वाला होता है।
- हाई टेम्परेचर (अराजक): रोबोट जंगली और रचनात्मक होता है।
- निष्कर्ष: उन्होंने एक अजीब "U-आकार" पाया। रोबोट वास्तव में तब सबसे अधिक रूढ़िवादी थे जब वे "मध्यम रूप से रचनात्मक" (Temperature 0.3) थे। जब वे या तो बहुत सख्त थे या बहुत जंगली, तो पक्षपात थोड़ा कम हो गया। इसका मतलब है कि आप समस्या को ठीक करने के लिए केवल "अराजकता को बढ़ा" नहीं सकते।
6. यह क्यों मायने रखता है
लेखकों ने पाया कि रोबोट के लेखन में नस्ल और सामाजिक जाति के पक्षपात को ठीक करना सबसे कठिन था, यहाँ तक कि लिंग (gender) के पक्षपात से भी अधिक। यह सुझाव देता है कि रोबोट्स ने जिस डेटा से सीखा है (इंटरनेट), उसमें नेपाल के इन विशिष्ट समूहों के प्रति बहुत सारा छिपा हुआ पूर्वाग्रह है।
मुख्य निष्कर्ष (The Takeaway)
यह पेपर एक चेतावनी है। यह हमें बताता है कि:
- हम रोबोट पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वे कहते हैं कि वे निष्पक्ष हैं। हमें यह देखना होगा कि वे क्या लिखते हैं, न कि केवल यह कि वे क्या कहते हैं।
- एक आकार सभी के लिए उपयुक्त नहीं है। अमेरिका में प्रशिक्षित रोबोट अमेरिका में निष्पक्ष हो सकता है लेकिन नेपाल में बहुत अनुचित हो सकता है।
- हमें स्थानीय विशेषज्ञों की आवश्यकता है। इसे ठीक करने के लिए, हमें ऐसे डेटासेट और परीक्षणों की आवश्यकता है जो वास्तव में उन संस्कृतियों के लोगों द्वारा बनाए गए हों जो वहां रहते हैं, न कि केवल पश्चिम से आयात किए गए हों।
संक्षेप में, लेखकों ने रोबोट को नेपाली संदर्भ में उनका अपना प्रतिबिंब दिखाने के लिए एक दर्पण बनाया, और प्रतिबिंब ने दिखाया कि उन्हें वास्तव में निष्पक्ष होने के लिए अभी भी बहुत काम करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।