Multilingual Large Language Models do not comprehend all natural languages to equal degrees
यह अध्ययन इस धारणा को चुनौती देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए अंग्रेजी इष्टतम भाषा है, यह प्रदर्शित करते हुए कि हालांकि ये मॉडल परीक्षण की गई सभी भाषाओं में मानव बेसलाइन से कम बेहतर प्रदर्शन करते हैं, लेकिन वे टोकनाइज़ेशन, प्रशिक्षण डेटा संरचना और भाषाई दूरी जैसे कारकों के कारण अंग्रेजी की तुलना में कुछ रोमांस भाषाओं में उच्च बोध सटीकता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "LLM" नाम का एक सुपर-स्मार्ट, बहुभाषी रोबोट लाइब्रेरियन है। इस रोबोट ने इंटरनेट पर मौजूद लगभग हर किताब को पढ़ लिया है और यह दर्जनों भाषाओं में सवालों के जवाब दे सकता है। वर्षों तक, हमने यह माना कि यदि आप इस रोबोट से अंग्रेजी में कोई सवाल पूछते हैं, तो यह अपने शिखर प्रदर्शन पर होगा, जैसे कोई शेफ अपना सिग्नेचर व्यंजन बना रहा हो। हमने यह भी माना कि अन्य भाषाओं के लिए, विशेष रूप से उन भाषाओं के लिए जिन्हें कम लोग बोलते हैं, रोबोट थोड़ा अनाड़ी होगा, जैसे कोई शेफ जो किसी ऐसे व्यंजन को बनाने की कोशिश कर रहा हो जिसे उसने केवल एक धुंधली तस्वीर में देखा हो।
लेकिन यह नया अध्ययन इस रोबोट के लिए एक वास्तविकता की जाँच (reality check) की तरह है। शोधकर्ताओं ने 12 अलग-अलग भाषाओं में, अंग्रेजी और स्पेनिश से लेकर जापानी और अरबी तक, रोबोट की "समझ" (एक कहानी को वास्तव में समझने और उस पर आधारित प्रश्न का उत्तर देने की उसकी क्षमता) का परीक्षण करने का निर्णय लिया। उन्होंने रोबोट के उत्तरों की तुलना वास्तविक मानव पाठकों से की।
यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें कुछ सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. रोबोट अच्छा है, लेकिन मानव-पूर्ण नहीं है
उपमा: कल्पना कीजिए कि एक छात्र रीडिंग कॉम्प्रिहेनशन (पठन बोध) की परीक्षा दे रहा है। मानव छात्र लगभग 100% उत्तर सही करते हैं। रोबोट, यहाँ तक कि सबसे उन्नत वाला भी, लगभग 70-90% सही करता है।
निष्कर्ष: आप चाहे जिस भाषा का उपयोग करें, रोबोट अभी भी मानवीय समझ से पीछे रह जाता है। यह एक पूर्ण मस्तिष्क नहीं है; यह एक बहुत अच्छा पैटर्न-मैचर (पैटर्न पहचानने वाला) है। हालाँकि, रोबोट और मनुष्यों के बीच का अंतर हर जगह एक समान नहीं है। कुछ भाषाओं में, रोबोट आश्चर्यजनक रूप से मानव स्तर के करीब है; अन्य में, वह लड़खड़ाता है।
2. "अंग्रेजी ही राजा है" वाला मिथक टूट गया है
उपमा: लंबे समय तक, हमें लगा कि अंग्रेजी रोबोट की "मातृभाषा" और उसका आधार है। हमें लगा कि यदि आप इसे अंग्रेजी में पूछेंगे, तो यह बहुत तेज होगा, लेकिन यदि आप इसे फ्रेंच या जापानी में पूछेंगे, तो इसे पहले मानसिक रूप से "अनुवाद" करना होगा, जिससे यह धीमा और कम सटीक हो जाएगा।
निष्कर्ष: इस अध्ययन ने इस धारणा को उलट दिया। अंग्रेजी वास्तव में बीच के पायदान पर थी! यह सर्वश्रेष्ठ नहीं थी।
- आश्चर्यजनक विजेता: रोबोट का प्रदर्शन स्पेनिश और इतालवी में सबसे अच्छा रहा। यह ऐसा था जैसे यह पता चलना कि एक शेफ जो दावा करता है कि वह फ्रांसीसी व्यंजन का विशेषज्ञ है, वास्तव में इतालवी व्यंजनों का उस्ताद है।
- हारने वाले: रोबोट को जापानी और यूनानी (Greek) के साथ सबसे अधिक संघर्ष करना पड़ा, भले ही ये प्रमुख विश्व भाषाएँ हैं।
3. स्पेनिश क्यों जीती और अंग्रेजी क्यों हारी?
उपमा: रोबोट के मस्तिष्क को एक पुस्तकालय के रूप में सोचें जहाँ किताबें "टोकन" नामक "चंक्स" (टुकड़ों) में संग्रहीत होती हैं।
- टोकन की समस्या: कल्पना कीजिए कि आप एक ऐसी किताब पढ़ने की कोशिश कर रहे हैं जहाँ हर शब्द को छोटे, अजीब टुकड़ों में तोड़ दिया गया है। अंग्रेजी में, रोबोट को अक्सर शब्दों को समझने के लिए उन्हें कई छोटे टुकड़ों में काटना पड़ता है। स्पेनिश और इतालवी में, रोबोट के टेक्स्ट को "काटने" के विशिष्ट तरीके के लिए शब्द अधिक स्वाभाविक रूप से एक साथ बहते हैं।
- परिणाम: क्योंकि रोबोट स्पेनिश और इतालवी को अधिक कुशलता से प्रोसेस कर सकता है (प्रबंधित करने के लिए कम "चंक्स"), वह कहानी को बेहतर ढंग से समझता है। विडंबना यह है कि अंग्रेजी, रोबोट की आंतरिक कार्यप्रणाली के लिए थोड़ी "अव्यवस्थित" है।
4. "WEIRD" पूर्वाग्रह (पश्चिमी बुलबुला)
उपमा: कल्पना कीजिए कि रोबोट को मुख्य रूप से पश्चिमी देशों के धनी, शिक्षित लोगों द्वारा लिखी गई किताबों पर प्रशिक्षित किया गया था (एक समूह जिसे शोधकर्ता WEIRD: पश्चिमी, शिक्षित, औद्योगिक, समृद्ध, लोकतांत्रिक कहते हैं)।
निष्कर्ष: आप सोच सकते हैं कि इसका मतलब है कि रोब सहित पश्चिमी भाषाओं में बहुत अच्छा है। लेकिन अध्ययन दिखाता है कि केवल इसलिए कि एक भाषा "पश्चिमी" है (जैसे अंग्रेजी या जर्मन), यह गारंटी नहीं देता कि रोबोट उसे पूरी तरह से समझता है।
- असली मुद्दा: रोबोट को उन भाषाओं के साथ सबसे अधिक संघर्ष करना पड़ता है जो गैर-लैटिन लिपियों (जैसे जापानी, चीनी या अरबी) का उपयोग करती हैं और जिनमें डेटा कम उपलब्ध है। यह ऐसा है जैसे रोबोट के पास चश्मे का एक जोड़ा है जो लैटिन अक्षरों के लिए पूरी तरह से ट्यून किया गया है लेकिन अन्य लिपियों के लिए थोड़ा धुंधला है। यदि कोई भाषा "गैर-लैटिन" और "कम-संसाधन" वाली दोनों है, तो रोबोट अनिवार्य रूप से अंधेरे में मानचित्र पढ़ने की कोशिश कर रहा है।
5. स्थिरता: रोबोट एक रोबोट है, मनुष्य मनुष्य हैं
उपमा: कल्पना कीजिए कि आप एक ही प्रश्न को मानव और रोबोट से 10 बार पूछते हैं।
- मानव: कभी-कभी आप थके हुए, विचलित या किसी "ऑफ" दिन पर होते हैं, इसलिए आप हर बार अलग उत्तर दे सकते हैं।
- रोबोट: यदि आप रोबोट से वही प्रश्न 10 बार पूछते हैं, तो वह आमतौर पर हर बार वही सटीक उत्तर देता है।
निष्कर्ष: निरंतरता (स्थिरता) के मामले में, रोबट अधिकांश भाषाओं में मनुष्यों की तुलना में वास्तव में अधिक स्थिर थे। मनुष्य विचलित हो जाते हैं; रोबोट बस अपने कोड का पालन करते हैं। हालाँकि, यह निरंतरता यह नहीं बताती कि वे सही हैं—वे लगातार गलत भी हो सकते हैं!
मुख्य निष्कर्ष
यह अध्ययन एक चेतावनी है। हम यह मानकर नहीं बैठ सकते कि क्योंकि एक रोबोट अंग्रेजी बोलता है, इसलिए वह दुनिया को समझता है।
- "रोमांस पहेली" (The Romance Puzzle): आश्चर्यजनक रूप से, रोबोट अंग्रेजी की तुलना में स्पेनिश और इतालवी को बेहतर समझता है।
- जोखिम: यदि हम जापानी या यूनानी जैसी भाषाओं में महत्वपूर्ण चीजों (जैसे चिकित्सा सलाह या कानूनी सहायता) के लिए इन रोबोटों पर भरोसा करते हैं, तो हमें ऐसे उत्तर मिल सकते हैं जो हमारी अपेक्षा से कम विश्वसनीय होंगे।
- भविष्य: हमें यह मानना बंद करना होगा कि अंग्रेजी "गोल्ड स्टैंडर्ड" है और यह समझना होगा कि रोबोट का "मस्तिष्क" इस बात से आकार लेता है कि उसे कैसे बनाया गया और उसने क्या डेटा खाया, न कि केवल इस बात से कि कितने लोग एक भाषा बोलते हैं।
संक्षेप में: रोबोट एक शानदार बहुभाषी है, लेकिन उसका एक पसंदीदा लहजा (स्पेनिश/इतालवी) है और एक अंध बिंदु (गैर-लैटिन लिपियाँ) है। वह वह पूर्ण मानव विकल्प नहीं है जिसकी हमने उम्मीद की थी, और वह निश्चित रूप से केवल अंग्रेजी-केंद्रित जीनियस भी नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।