MSQA: A Natively Sourced Multilingual and Multicultural SimpleQA Benchmark
यह शोध पत्र MSQA को प्रस्तुत करता है, जो एक मूल रूप से स्रोतित बहुभाषी बेंचमार्क है जो यह प्रकट करता है कि बड़े भाषा मॉडल (LLMs) की सांस्कृतिक सक्षमता सामान्य तर्क या इन्फरेंस-टाइम उपचारों के बजाय प्री-ट्रेनिंग एक्सपोज़र पर अधिक निर्भर करती है, जिससे "सांस्कृतिक संरेखण का भ्रम" (Illusion of Cultural Alignment) सिद्ध होता है और यह प्रमाणित होता है कि बहुभाषी प्रवाह सांस्कृतिक समझ की गारंटी नहीं देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।
मुख्य विचार: "प्रवाह का भ्रम" (The Fluency Illusion)
कल्पना कीजिए कि आपने एक ऐसे टूर गाइड को काम पर रखा है जो अंग्रेजी, फ्रेंच और जापानी भाषा में एकदम सटीक बोलता है। आप यह मान लेते हैं कि क्योंकि वह भाषा में निपुण है, इसलिए उसे स्थानीय इतिहास, पड़ोस के अजीब अंधविश्वासों और संस्कृति के अनकहे नियमों की भी जानकारी होगी।
पेपर इसे "सांस्कृतिक संरेखण का भ्रम" (Illusion of Cultural Alignment) कहता है। इसमें तर्क दिया गया है कि लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए, यह धारणा एक जाल है। सिर्फ इसलिए कि कोई मॉडल आपकी भाषा बोल सकता है, इसका मतलब यह नहीं है कि वह आपकी संस्कृति को समझता है। वह एक स्थानीय व्यक्ति की तरह लग सकता है, लेकिन वास्तव में वह केवल उस व्यक्ति द्वारा लिखे गए स्क्रिप्ट का पाठ कर रहा होता है जो वहां रहता नहीं है।
इसे साबित करने के लिए, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे MSQA कहा जाता है।
परीक्षण: MSQA ("स्थानीय ज्ञान" की परीक्षा)
MSQA को एक विशेष परीक्षा के रूप में समझें जिसे उन मॉडल्स को पकड़ने के लिए बनाया गया है जो "दिखावा" कर रहे हैं।
- सेटअप: अंग्रेजी के सवालों को अन्य भाषाओं में अनुवाद करने के बजाय (जो एक फ्रांसीसी व्यक्ति से यह पूछने जैसा है कि "फ्रांस की राजधानी क्या है?" फ्रेंच में), उन्होंने 11 अलग-अलग भाषाओं (जैसे थाई, कोरियाई, रूसी और स्पेनिश) में मूल रूप से (natively) 1,064 प्रश्न तैयार किए।
- सामग्री: सवाल सामान्य गणित या विज्ञान के बारे में नहीं हैं। वे उन चीजों के बारे में हैं जिन्हें केवल एक स्थानीय व्यक्ति ही जान सकता है: स्थानीय शोक परंपराएं, विशिष्ट सम्मानजनक शब्द (honorifics), क्षेत्रीय इतिहास और अज्ञात लोक प्रतीक।
- लक्ष्य: यह देखना कि क्या मॉडल वास्तव में संस्कृति को जानता है या वह अपने अंग्रेजी प्रशिक्षण डेटा के आधार पर केवल अनुमान लगा रहा है।
परिणाम: "स्थानीयता प्रभाव" (The Locality Effect)
जब उन्होंने 18 शीर्ष AI मॉडल्स को इस टेस्ट से गुज़ारा, तो परिणाम आश्चर्यजनक थे।
- "होम कोर्ट" का लाभ: मॉडल उन भाषाओं में सबसे अच्छा प्रदर्शन करते थे जिनके प्रति उनके प्रशिक्षण के दौरान सबसे अधिक एक्सपोज़र था। यदि किसी मॉडल को मुख्य रूप से अंग्रेजी और चीनी डेटा पर प्रशिक्षित किया गया था, तो उसने उन पर बहुत अच्छा प्रदर्शन किया, लेकिन थाई या रूसी सांस्कृतिक प्रश्नों पर वह बुरी तरह विफल रहा।
- रैंकिंग का उलटफेर: कुछ मॉडल जो सामान्य अंग्रेजी टेस्ट में नंबर #1 पर थे, वे इस सांस्कृतिक टेस्ट में सूची में सबसे नीचे आ गए। यह पता चला कि एक "स्मार्ट" अंग्रेजी वक्ता होने का मतलब यह नहीं है कि आप एक "स्मार्ट" थाई सांस्कृतिक विशेषज्ञ भी हैं।
यह भ्रम क्यों बना रहता है: तीन जाल
पेपर बताता है कि हम इन मॉडल्स को सांस्कृतिक रूप से स्मार्ट क्यों समझते रहते हैं, भले ही वे न हों। उन्होंने उन तीन "ट्रिक्स" की पहचान की जिनका उपयोग मॉडल्स अपनी अज्ञानता को छिपाने के लिए करते हैं:
1. "अति-आत्मविश्वासी ढोंगी" (Overconfidence)
एक ऐसे छात्र की कल्पना करें जो परीक्षा दे रहा है जिसे उत्तर नहीं पता, लेकिन वह हाथ उठाकर पूरे आत्मविश्वास के साथ कहता है, "मुझे 100% यकीन है!"
- क्या होता है: मॉडल्स अक्सर स्थानीय संस्कृति के बारे में गलत उत्तर देते हैं, लेकिन वे उन्हें अत्यधिक निश्चितता के साथ देते हैं।
- खतरा: क्योंकि वे इतने सुनिश्चित दिखते हैं, उपयोगकर्ता उन पर भरोसा कर लेते हैं। मॉडल यह संकेत नहीं देता कि "मुझे यह नहीं पता," जिससे उपयोगकर्ता गुमराह हो जाता है।
2. "भाग्यशाली जुआरी" (Stochastic Competence)
एक ऐसे जुआरी की कल्पना करें जो स्लॉट मशीन खेल रहा है। यदि वह 100 बार लीवर खींचता है, तो वह शुद्ध भाग्य से एक बार जैकपॉट जीत सकता है।
- क्या होता है: यदि आप मॉडल से वही सांस्कृतिक प्रश्न 100 बार पूछते हैं, तो वह संयोग से एक या दो बार सही उत्तर दे सकता है।
- खतरा: यदि आप केवल उस एक भाग्यशाली सही उत्तर को देखते हैं, तो आप सोचते हैं कि मॉडल संस्कृति को "जानता" है। लेकिन यदि आप फिर से पूछते हैं, तो वह गलत उत्तर दे सकता है। यह स्थिर ज्ञान नहीं है; यह केवल रैंडम शोर (random noise) है।
3. "टूटा हुआ नक्शा" (Unequal Retrieval)
कल्पना कीजिए कि आप रास्ता भटक गए हैं और दिशा-निर्देशों के लिए GPS से पूछते हैं। आमतौर पर GPS बहुत अच्छा काम करता है। लेकिन यदि आप एक छोटे, दूरदराज के गाँव में हैं जहाँ कोई डिजिटल मैप नहीं है, तो GPS बस कहता है, "मुझे वह नहीं मिल रहा है," या आपको 500 मील दूर के शहर का रास्ता बताने लगता है।
- क्या होता है: शोधकर्ताओं ने इंटरनेट तक पहुंच (Retrieval-Augmented Generation) देकर मॉडल्स की मदद करने की कोशिश की ताकि वे उत्तर खोज सकें।
- परिणाम: यह सामान्य तथ्यों के लिए तो काम कर गया, लेकिन "लॉन्ग-टेल" सांस्कृतिक तथ्यों (अस्पष्ट, स्थानीय चीजों) के लिए विफल रहा। इंटरनेट के पास सही स्थानीय स्रोत इंडेक्स नहीं थे, या मॉडल उन कड़ियों को जोड़ नहीं पाया। इसलिए, "मदद" ने वहां मदद नहीं की जहाँ उसकी सबसे अधिक आवश्यकता थी।
निष्कर्ष: यह एक संरचनात्मक समस्या है
पेपर निष्कर्ष निकालता है कि यह कोई बग नहीं है जिसे आप एक साधारण सॉफ्टवेयर अपडेट से ठीक कर सकें या मॉडल को उत्तर देने से पहले "अधिक गहराई से सोचने" के लिए कहकर सुधार सकें।
यह एक संरचनात्मक समस्या (structural problem) है। मॉडल्स को ऐसे डेटा पर बनाया गया है जो अंग्रेजी और पश्चिमी संस्कृतियों की ओर अत्यधिक झुका हुआ है। आप नींव में छेद वाले घर को केवल दीवारों पर पेंट करके ठीक नहीं कर सकते। इसे वास्तव में ठीक करने के लिए, मॉडल्स को शुरुआत से ही बहुत अधिक विविध, मूल सांस्कृतिक डेटा पर प्रशिक्षित करने की आवश्यकता है।
संक्षेप में: केवल इसलिए कि कोई मॉडल आपकी भाषा धाराप्रवाह बोलता है, उस पर भरोसा न करें। वह एक बहुत ही प्रभावशाली अभिनेता हो सकता है, लेकिन जरूरी नहीं कि वह आपकी संस्कृति की पटकथा (script) भी जानता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।