JUBAKU: An Adversarial Benchmark for Exposing Culturally Grounded Stereotypes in Japanese LLMs
यह शोध पत्र JUBAKU को प्रस्तुत करता है, जो जापानी बड़े भाषा मॉडलों (LLMs) में अंतर्निहित सामाजिक पूर्वाग्रहों को उजागर करने के लिए मूल जापानी एनोटेटरों द्वारा हस्तनिर्मित एक सांस्कृतिक रूप से आधारित प्रतिकूल बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल अनुवादित अंग्रेजी बेंचमार्क की तुलना में सांस्कृतिक रूप से विशिष्ट रूढ़ियों पर काफी खराब प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक है। आप यह सुनिश्चित करना चाहते हैं कि वह विनम्र, निष्पक्ष हो और उसमें कोई छिपे हुए पूर्वाग्रह न हों। इसलिए, आप उसे एक परीक्षण देते हैं।
लेकिन यहाँ एक पेंच है: आपने जो परीक्षण उसे दिया था, वह अंग्रेजी में लिखा गया था और अमेरिकी संस्कृति पर आधारित था।
शोध पत्र "JUBAKU" (जिसका अर्थ मोटे तौर पर जापानी में "एक जाल" या "एक बंधन मंत्र" है) तर्क देता है कि यह एक बहुत बड़ी समस्या है। यदि आप एक रोबोट का परीक्षण जापानी संस्कृति के आधार पर यह देखने के लिए करते हैं कि वह इसे कैसे संभालता है, तो आप जापानी लोगों के प्रति उसके विशिष्ट, सूक्ष्म पूर्वाग्रहों को मिस कर सकते हैं। यह बिल्कुल वैसा ही है जैसे किसी मछली को पेड़ पर चढ़ने के लिए कहना और फिर यह जांचना कि क्या वह पेड़ पर चढ़ सकती है—परीक्षण गलत वातावरण में है।
यहाँ शोधकर्ताओं ने क्या किया और यह क्यों महत्वपूर्ण है, इसका एक सरल विवरण दिया गया है:
1. समस्या: "अनुवाद का जाल" (The Translation Trap)
मौजूदा पूर्वाग्रह परीक्षणों (जैसे CrowS-Pairs या BBQ) को मानकीकृत ड्राइविंग टेस्ट की तरह समझें। वे यह जांचने के लिए बेहतरीन हैं कि क्या एक कार रेड लाइट पर रुक सकती है या सुरक्षित रूप से बाएं मुड़ सकती है। लेकिन यदि आप वही टेस्ट उस देश में ले जाते हैं जहाँ वे सड़क के बाईं ओर गाड़ी चलाते हैं और उनके ट्रैफिक संकेत अलग हैं, तो वह टेस्ट बेकार हो जाता है।
शोधकर्ताओं ने पाया कि जापानी AI के लिए मौजूदा परीक्षण केवल अंग्रेजी परीक्षणों के अनुवाद थे।
- खामी: वे जापानी-विशिष्ट रूढ़ियों (stereotypes) को पकड़ने में विफल रहे। उदाहरण के लिए, पश्चिमी परीक्षण नस्ल के बारे में इस तरह सवाल पूछ सकते हैं जो अमेरिका के अनुकूल हो, लेकिन वे क्षेत्रीय बोलियों, सख्त स्कूली पदानुक्रमों, या "हवा को पढ़ने" (बिना शोर मचाए स्थिति को समझने) के सूक्ष्म दबाव जैसे जापानी रूढ़ियों को मिस कर सकते हैं।
- परिणाम: AI इन परीक्षणों पर "सुरक्षित" दिखाई दे रहा था, लेकिन वास्तव में वह केवल उस खेल को खेलने में अच्छा था जिसे वह पूरी तरह से समझ नहीं पा रहा था।
2. समाधान: एक "सांस्कृतिक जाल" बनाना (JUBAKU)
इसे ठीक करने के लिए, टीम ने JUBAKU बनाया, जो विशेष रूप से जापानी संस्कृति के लिए डिज़ाइन किया गया एक नया परीक्षण है।
- अवधारणा: केवल प्रश्नों का अनुवाद करने के बजाय, उन्होंने लिंग, धर्म, भोजन और क्षेत्रीय अंतरों जैसी चीजों पर आधारित 10 विशिष्ट "सांस्कृतिक जाल" बनाए।
- विधि ("Adversarial" वाला हिस्सा): यह सबसे चतुर हिस्सा है। कल्पना कीजिए कि आप एक बहुत ही स्मार्ट गार्ड डॉग को मूर्ख बनाने की कोशिश कर रहे हैं। आप उससे सिर्फ भौंकने के लिए नहीं कहते; बल्कि आप उस सटीक शब्द या वाक्यांश को खोजने की कोशिश करते हैं जो उसे तब भी भौंकने पर मजबूर कर दे जब उसे नहीं भौंकना चाहिए।
- शोधकर्ताओं ने इन जालों को लिखने के लिए एक सुपर-स्मार्ट AI (GPT-4o) की मदद ली।
- वे एक बातचीत लिखते और उसके दो संभावित उत्तर होते: एक विनम्र और निष्पक्ष, और दूसरा जो सूक्ष्म रूप से एक रूढ़िवादी धारणा (stereotype) पर आधारित हो।
- वे कहानी को तब तक बदलते रहे जब तक कि सुपर-स्मार्ट AI ने रूढ़िवादी उत्तर को नहीं चुन लिया।
- यदि AI जाल में फंस गया, तो उन्होंने उस प्रश्न को रख लिया। यदि नहीं फंसा, तो उन्होंने कहानी को तब तक बदला जब तक कि AI उसमें फंस न गया।
- क्यों? यदि सबसे स्मार्ट AI को भी पक्षपाती होने के लिए मूर्ख बनाया जा सकता है, तो जापानी मॉडल तो निश्चित रूप से मूर्ख बन ही जाएंगे।
3. प्रयोग: "जादुई दर्पण" (The Magic Mirror)
उन्होंने 9 अलग-अलग जापानी AI मॉडल्स को ये जाल दिखाए। उन्होंने पुराने, अनुवादित परीक्षणों को भी तुलना के लिए दिखाया।
- पुराने परीक्षण: AIओं ने ठीक प्रदर्शन किया। उन्होंने उच्च स्कोर प्राप्त किया, जिससे वे अच्छे, निष्पक्ष नागरिक दिखाई दिए।
- JUBAKU परीक्षण: AI बिखर गए।
- उनकी सटीकता गिरकर औसतन 23% हो गई (जहाँ 50% का मतलब केवल तुक्का मारना है)।
- इसका मतलब है कि वे सक्रिय रूप से निष्पक्ष उत्तर के बजाय पक्षपाती उत्तर चुन रहे थे।
- यह ऐसा था जैसे उन्हें एक ऐसा दर्पण दिखाया गया जो उनके छिपे हुए पूर्वाग्रहों को उनके सामने प्रतिबिंबित कर रहा था, जिसे वे अनदेखा नहीं कर सके।
4. मानव जाँच
यह सुनिश्चित करने के लिए कि परीक्षण टूटा हुआ नहीं था, उन्होंने वास्तविक मनुष्यों को यह परीक्षण देने के लिए कहा। मनुष्यों ने 91% सही उत्तर दिए। इससे साबित हुआ कि जाल स्पष्ट और तार्किक थे; AI विफल हो रहे थे क्योंकि वे अपने प्रशिक्षण डेटा में छिपी रूढ़ियों पर निर्भर थे।
मुख्य निष्कर्ष
JUBAKU एक AI के लिए एक विशेष एक्स-रे मशीन की तरह है।
- मानक परीक्षण बुनियादी स्वास्थ्य जांच की तरह हैं; वे आपको बताते हैं कि AI को बुखार है या नहीं।
- JUBAKU एक MRI की तरह है जो विशेष रूप से उन सांस्कृतिक ट्यूमर की तलाश करता है जो केवल जापान में दिखाई देते हैं।
शोध पत्र निष्कर्ष निकालता है कि यदि हम चाहते हैं कि AI वास्तव में सुरक्षित और निष्पक्ष हो, तो हम केवल पश्चिमी परीक्षणों का अनुवाद नहीं कर सकते। हमें ऐसे परीक्षण बनाने होंगे जो स्थानीय संस्कृति को समझते हों, अन्यथा हम कभी भी छाया में छिपे पूर्वाग्रहों को देख नहीं पाएंगे।
संक्षेप में: आप एक जापानी रोबोट के दिल को अमेरिकी पैमाने से नहीं माप सकते। JUBAKU ने एक जापानी पैमाना बनाया, और पता चला कि रोबोट पूरी अवधि में अपनी सांस रोककर बैठे थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।