Camellia: Benchmarking Cultural Biases in LLMs for Asian Languages
यह शोध पत्र कैमेलिया (Camellia) को प्रस्तुत करता है, जो नौ एशियाई भाषाओं में 19,000 से अधिक एनोटेटेड संस्थाओं और 2,000 मास्क किए गए संदर्भों से युक्त एक बेंचमार्क है, ताकि गैर-पश्चिमी संस्कृतियों के संबंध में बहुभाषी लार्ज लैंग्वेज मॉडल्स (LLMs) में महत्वपूर्ण सांस्कृतिक पूर्वाग्रहों और संदर्भ समझ के अंतराल का मूल्यांकन और अनावरण किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, दुनिया घूमने वाले रोबोटों का एक समूह है (लार्ज लैंग्वेज मॉडल्स, या LLMs)। इन रोबोटों ने इंटरनेट पर लगभग सब कुछ पढ़ लिया है और वे कई भाषाएँ बोल सकते हैं। आप सोच सकते हैं कि क्योंकि उन्होंने इतना कुछ पढ़ा है, इसलिए वे हर संस्कृति को समान रूप से समझते होंगे। लेकिन यह शोध पत्र, जिसे Camellia कहा जाता है, यह सुझाव देता है कि ये रोबोट वास्तव में काफी पक्षपाती हैं, विशेष रूप से एशियाई संस्कृतियों के मामले में।
यहाँ एक सरल विवरण दिया गया कि शोधकर्ताओं ने क्या किया और उन्हें क्या मिला, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।
समस्या: "पश्चिमी चश्मा" (The "Western Lens")
इन AI रोबकों को उन पर्यटकों की तरह समझें जिन्होंने अपना अधिकांश समय न्यूयॉर्क और लंदन में बिताया है। वे उन जगहों को बहुत अच्छी तरह जानते हैं। लेकिन जब आप उनसे ग्रामीण भारत के किसी गाँव या सियोल के किसी मोहल्ले के बारे में पूछते हैं, तो वे कभी-कभी भ्रमित हो जाते हैं। वे मान सकते हैं कि जो न्यूयॉर्क में काम करता है, वही "डिफ़ॉल्ट" या "सही" उत्तर है, भले ही संदर्भ स्पष्ट रूप से एशियाई हो।
शोधकर्ता यह जानना चाहते थे: क्या ये रोबोट एशियाई नामों, खाद्य पदार्थों और स्थानों के साथ उसी सम्मान और समझ के साथ व्यवहार करते हैं जैसा कि वे पश्चिमी नामों के साथ करते हैं?
टूल: "कैमेलिया" टेस्ट (The "Camellia" Test)
यह पता लगाने के लिए, टीम ने Camellia नामक एक विशाल परीक्षण बनाया। कैमेलिया को एक विशाल, बहुभाषी "अंतर पहचानो" (spot the difference) खेल की तरह समझें।
- खिलाड़ी: उन्होंने चार लोकप्रिय AI मॉडलों (Llama, Qwen, Aya, और Gemma) का परीक्षण किया।
- भाषाएँ: उन्होंने 9 एशियाई भाषाओं (जैसे चीनी, जापानी, कोरियाई, हिंदी, उर्दू, आदि) पर ध्यान केंद्रित किया जो 6 विशिष्ट संस्कृतियों को कवर करती हैं।
- डेटा: उन्होंने दो मुख्य चीजें बनाईं:
- 19,530 वस्तुओं की एक सूची: इसमें नाम, भोजन, पेय, शहर और स्पोर्ट्स टीमें शामिल हैं। उन्होंने सुनिश्चित किया कि प्रत्येक भाषा के लिए एक "पश्चिमी" संस्करण (जैसे "Lasagna" या "New York") और एक "एशियाई" संस्करण (जैसे "Biryani" या "Seoul") मौजूद हो।
- 2,173 "खाली स्थान भरो" कहानियाँ: उन्होंने सोशल मीडिया से वास्तविक वाक्य लिए और महत्वपूर्ण शब्द (entity) को एक
[MASK]टोकन के पीछे छिपा दिया।- उदाहरण: "जब मैं कोरिया जाता हूँ, तो मुझे [MASK] ज़रूर आज़माना चाहिए।" (जवाब एक कोरियाई व्यंजन होना चाहिए, न कि पिज्जा)।
तीन खेल जो उन्होंने खेले
शोधकर्ताओं ने AI को तीन अलग-अलग खेल खिलाए ताकि यह देखा जा सके कि वह कितना पक्षपाती है:
1. "सांस्कृतिक फिट" गेम (संदर्भ अनुकूलन - Context Adaptation)
- सेटअप: AI एक विशिष्ट संस्कृति के बारे में एक वाक्य देखता है (जैसे, कोरियाई उत्सव के बारे में एक कहानी) और उसे लुप्त शब्द का अनुमान लगाना होता है।
- परीक्षण: क्या AI एक कोरियाई नाम/भोजन का अनुमान लगाता है, या वह गलती से एक पश्चिमी वस्तु का अनुमान लगा देता है?
- परिणाम: AI को संघर्ष करना पड़ा। लगभग 30% से 40% मामलों में, रोबोट ने पश्चिमी वस्तु का अनुमान लगाया, भले ही कहानी स्पष्ट रूप से एक एशियाई संस्कृति के बारे में थी। यह टोक्यो में एक पर्यटक की तरह है जो सुशी ऑर्डर करने की कोशिश कर रहा है लेकिन गलती से बर्गर मांग लेता है क्योंकि उसे लगता है कि "बर्गर" डिफ़ॉल्ट भोजन है।
2. "मूड रिंग" गेम (भावना जुड़ाव - Sentiment Association)
- सेटअप: AI एक वाक्य पढ़ता है जिसमें एक छिपा हुआ शब्द है और उसे अनुमान लगाना होता है कि वाक्य खुश, उदास या तटस्थ (neutral) है।
- परीक्षण: क्या AI को लगता है कि पश्चिमी नामों वाले वाक्य अधिक नकारात्मक हैं, या एशियाई नामों वाले वाक्य अधिक सकारात्मक हैं?
- परिणाम: AI का "मूड" इस बात पर बदल गया कि कहानी में कौन था। कुछ मॉडल ऐसे थे जो पश्चिमी संस्थाओं को "बुरा" या "नकारात्मक" मानने के अधिक इच्छुक थे, जबकि अन्य एशियाई संस्थाओं को "अच्छा" मानते थे। यह एक ऐसे व्यक्ति की तरह है जो अवचेतन रूप से केवल इसलिए किसी कहानी को दुखद महसूस करता है क्योंकि मुख्य पात्र का नाम विदेशी है।
3. "खजाने की खोज" गेम (एक्सट्रैक्टिव QA - Extractive QA)
- सेटअप: AI एक लंबा पैराग्राफ पढ़ता है और उसमें छिपे हुए किसी विशिष्ट नाम या स्थान को ढूँढता है।
- परीक्षण: क्या वह एशियाई नाम को पश्चिमी नाम की तरह ही आसानी से खोज सकता है?
- परिणाम: AI पश्चिमी नामों को खोजने में एशियाई नामों की तुलना में बहुत बेहतर था। कुछ भाषाओं में, सटीकता का अंतर बहुत बड़ा था (20% तक)। यह एक ऐसे जासूस की तरह है जो भीड़ में एक प्रसिद्ध पश्चिमी सेलिब्रिटी को आसानी से पहचान सकता है लेकिन ठीक बगल में खड़े स्थानीय नायक को मिस कर देता है।
यह क्यों होता है?
शोध पत्र के अनुसार इसके कुछ कारण हैं, जिन्हें एक लाइब्रेरी के व्यवस्थित होने के तरीके से तुलना किया जा सकता है:
- "लाइब्रेरी" की समस्या: AI को इंटरनेट के डेटा पर प्रशिक्षित किया गया था। यदि इंटरनेट में एशियाई संस्कृति की तुलना में पश्चिमी संस्कृति के बारे में अधिक किताबें हैं, तो AI पश्चिम के बारे में अधिक सीखता है।
- "अनुवादक" की समस्या: AI एक "टोकनाइज़र" (एक उपकरण जो शब्दों को टुकड़ों में तोड़ता है) का उपयोग करता है। कुछ एशियाई भाषाओं के लिए, AI का टोकनाइज़र धुंधले या अधूरे चश्मे की तरह है। यह एशियाई शब्दों को पश्चिमी शब्दों की तरह स्पष्ट रूप से नहीं देख पाता, जिससे संदर्भ को समझना कठिन हो जाता है।
- "उत्पत्ति" की समस्या: चीन में बने मॉडलों (जैसे Qwen) ने चीनी, जापानी और कोरियाई कार्यों पर अन्य जगहों के मॉडलों की तुलना में बेहतर प्रदर्शन किया। इससे पता चलता है कि रोबोट कहाँ "पैदा" (प्रशिक्षित) हुआ है, यह बहुत मायने रखता है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि भले ही ये AI मॉडल "बहुभाषी" (multilingual) हैं, लेकिन वे अभी तक "बहुसांस्कृतिक" (multicultural) नहीं हैं। वे अक्सर पश्चिमी विचारों की ओर झुकते हैं, एशियाई संदर्भों की बारीकियों को समझने में संघर्ष करते हैं, और एशियाई संस्थाओं के साथ पश्चिमी संस्थाओं की तुलना में अलग व्यवहार करते हैं।
शोधकर्ताओं ने Camellia का निर्माण तुरंत रोबोटों को ठीक करने के लिए नहीं, बल्कि उन्हें एक रिपोर्ट कार्ड देने के लिए किया है ताकि हम देख सकें कि वे वास्तव में कहाँ विफल हो रहे हैं। वे आशा करते हैं कि इससे भविष्य के डेवलपर्स को ऐसा AI बनाने में मदद मिलेगी जो सभी संस्कृतियों के साथ समान निष्पक्षता और समझ के साथ व्यवहार करे।
महत्वपूर्ण नोट: यह शोध पत्र यह दावा नहीं करता है कि ये रोबोट नैदानिक (clinical) रूप से खतरनाक हैं या इनका उपयोग अभी विशिष्ट वास्तविक दुनिया के निर्णयों के लिए किया जाना चाहिए। यह केवल कहता है: "यहाँ एक परीक्षण है, और यहाँ प्रमाण है कि रोबोट पक्षपाती हैं। हमें उन्हें महत्वपूर्ण कार्यों के लिए भरोसेमंद बनाने से पहले इसे ठीक करने की आवश्यकता है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।