Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट का परीक्षण कर रहे हैं जो पढ़ सकता है और सवालों के जवाब दे सकता है। आप उसे अंग्रेजी में एक कहानी देते हैं, एक सवाल पूछते हैं, और वह सही जवाब देता है। अब, आप उसे बिल्कुल वही कहानी देते हैं, लेकिन इस बार वह स्पेनिश, फ्रेंच या ऐसी भाषा में लिखी गई है जिस पर इंटरनेट पर बहुत कम किताबें उपलब्ध हैं। क्या वह रोबोट अभी भी कहानी को उतनी ही अच्छी तरह समझता है? यह आर्टिफिशियल इंटेलिजेंस की दुनिया में एक बड़ा सवाल है, विशेष रूप से "नेचुरल लैंग्वेज प्रोसेसिंग" नामक क्षेत्र में। वैज्ञानिक लंबे समय से जानते हैं कि ये AI मॉडल अन्य भाषाओं की तुलना में अंग्रेजी में बेहतर होते हैं, लेकिन यह बता पाना कठिन रहा है कि क्यों। क्या ऐसा इसलिए है क्योंकि रोबोट ने उस भाषा में पर्याप्त किताबें नहीं पढ़ी हैं? क्या इसलिए है क्योंकि अनुवाद खराब है? या इसलिए है क्योंकि शब्द बदलने पर रोबोट वास्तव में अर्थ को "समझ" नहीं पाता है? इसे हल करने के लिए, शोधकर्ताओं को बिना किसी चीज़ को बदले, केवल एक अलग भाषा का उपयोग करके, रोबोट के मस्तिष्क का परीक्षण करने के तरीके की आवश्यकता है—कोई नया प्रश्न नहीं, कोई अलग कहानी नहीं, बस एक अलग भाषा।

यह शोध पत्र, जिसका शीर्षक "मेजरिंग द क्रॉस-लिंगुअल कॉम्प्रिहेन्शन गैप" (क्रॉस-लिंगुअल कॉम्प्रिहेन्शन गैप को मापना) है, अंततः उस विशिष्ट समस्या को अलग करता है। शोधकर्ताओं ने 18 विभिन्न भाषाओं में अनुवादित 559 लेखों का एक विशाल, पूरी तरह से मेल खाता हुआ परीक्षण सेट बनाया, जिसमें पुर्तगाली जैसी व्यापक रूप से बोली जाने वाली भाषाओं से लेकर फोन (Fon) और अयाकुचो क्वेचुआ (Ayacucho Quechua) जैसी बहुत दुर्लभ भाषाएं शामिल हैं। उन्होंने पाँच अलग-अलग AI मॉडलों से इन लेखों के बारे में बिल्कुल एक जैसे सवाल पूछे। पेच यह था कि प्रश्न और "सही" उत्तर हमेशा अंग्रेजी में थे, इसलिए रोबोट को नई भाषा में लिखने के लिए संघर्ष नहीं करना पड़ा; उसे केवल नई भाषा को पढ़ना और समझना था। ऐसा करके, वे सटीक रूप से माप सके कि भाषा बदलने के कारण रोबोट की समझ में कितनी कमी आई। उन्होंने एक स्पष्ट, मापने योग्य अंतर पाया: जब कहानी अंग्रेजी में नहीं थी, तो AI की समझ काफी कम हो गई, विशेष रूप से उन भाषाओं के लिए जिनके डिजिटल संसाधन कम हैं। यह अध्ययन साबित करता है कि सिर्फ इसलिए कि एक AI अंग्रेजी में महान है, इसका मतलब यह नहीं है कि वह अन्य भाषाओं में भी उतना ही स्मार्ट है, और यह सुझाव देता है कि हम इन अन्य भाषाओं को बोलने वाले लोगों के लिए इन रोबोटों की क्षमता का आकलन करने में अतिरंजित (overestimate) कर रहे हैं।

महान भाषाई जाल

एक लैंग्वेज मॉडल को एक प्रतिभाशाली छात्र की तरह समझें जिसने स्कूल के पुस्तकालय की हर किताब पढ़ ली है, लेकिन उनमें से लगभग सभी अंग्रेजी में हैं। यदि आप इस छात्र को अंग्रेजी में लिखा गया इतिहास का टेस्ट देते हैं, तो वह उसमें अव्वल आता है। लेकिन क्या होगा यदि आप उन्हें बिल्कुल वही टेस्ट दें, लेकिन कहानी का अनुवाद ऐसी भाषा में किया गया हो जिसे उन्होंने बहुत कम देखा है, जैसे कि किसी छोटे समुदाय द्वारा बोली जाने वाली एक दुर्लभ बोली? आप उम्मीद करेंगे कि वे उतना ही अच्छा प्रदर्शन करेंगे, यह मानते हुए कि उनका "मस्तिष्क" इसे समझने के लिए पर्याप्त स्मार्ट है। लेकिन यह शोध पत्र दिखाता है कि छात्र का मस्तिष्क वास्तव में धुंधला होने लगता है।

शोधकर्ता इस धुंध को क्रॉस-लिंगुअल कॉम्प्रिहेन्शन गैप (CLCG) कहते हैं। यह इस बात का अंतर है कि AI अंग्रेजी में एक कहानी को कितनी अच्छी तरह समझता है बनाम वह उसी सटीक कहानी को दूसरी भाषा में कितनी अच्छी तरह समझता है। इसे मापने के लिए, उन्होंने इंटरनेट से यादृच्छिक (random) टेस्ट नहीं उठाए। इसके बजाय, उन्होंने डेटा का एक "समानांतर ब्रह्मांड" बनाया। उन्होंने 559 लेखों (मुख्य रूप से एक बहुभाषी प्रकाशन स्रोत से) को लिया और उन्हें 18 अलग-अलग भाषाओं में पूरी तरह से व्यवस्थित किया। यह एक रहस्यमय उपन्यास की 18 समान प्रतियों के समान है, प्रत्येक भाषा में एक।

फिर, उन्होंने एक सख्त प्रयोग स्थापित किया। उन्होंने पाँच अलग-अलग लैब के पाँच अलग-अलग AI मॉडलों से इन कहानियों को पढ़ने और सवालों के जवाब देने के लिए कहा। यहाँ जादू वाला हिस्सा है: प्रश्न और "गोल्ड स्टैंडर्ड" उत्तर हमेशा अंग्रेजी में थे। AI को स्पेनिश या स्वाहिली में अपना उत्तर नहीं लिखना था; उसे बस स्पेंसीश या स्वाहिली कहानी को पढ़ना था और अंग्रेजी में उत्तर देना था। यह महत्वपूर्ण है क्योंकि यह AI के नई भाषा में "लिखने में खराब" होने की समस्या को दूर करता है। यदि AI गलत उत्तर देता है, तो यह इसलिए नहीं है क्योंकि वह शब्द बनाने में असमर्थ है; बल्कि इसलिए है क्योंकि वह कहानी को समझ नहीं पाया।

परिणाम: समझ में स्पष्ट गिरावट

परिणाम ऐसे थे जैसे किसी धावक को एक चिकने ट्रैक से कीचड़ भरे मैदान में जाते हुए धीमा होते देखना। जब AI ने कहानियाँ अंग्रेजी में पढ़ीं, तो उसका स्कोर उच्च रहा। लेकिन जब वही कहानियाँ 16 लक्षित भाषाओं में प्रस्तुत की गईं, तो स्कोर गिर गया।

अध्ययन में पाया गया कि, औसतन, अंग्रेजी से अन्य भाषाओं में स्विच करने पर AI का प्रदर्शन लगभग 17% गिर गया। शोध पत्र की भाषा में, यह एक अंतर 0.078 है (एक ऐसे पैमाने पर जहाँ उच्च स्कोर बेहतर होता है)। यह कोई मामूली गड़बड़ी नहीं है; यह समझ की एक महत्वपूर्ण हानि है।

शोधकर्ताओं ने यह भी देखा कि क्या भाषा की "समृद्धि" मायने रखती है। उन्होंने एक ऐसी प्रणाली का उपयोग किया जो भाषाओं को उनके डिजिटल संसाधनों (जैसे किताबें और वेबसाइटें) की उपलब्धता के आधार पर रैंक करती है। उन्होंने एक स्पष्ट पैटर्न पाया: भाषा के जितने कम संसाधन होंगे, अंतर उतना ही बड़ा होगा।

• उच्च-संसाधन वाली भाषाएँ (जैसे पुर्तगाली, जिसे उन्होंने आधार के रूप में उपयोग किया) का अंग्रेजी की तुलना में छोटा अंतर था।
• कम-संसाधन वाली भाषाएँ (जैसे फोन या अयाकुचो क्वेचुआ) में बहुत बड़े अंतर थे।

उदाहरण के लिए, जब टेक्स्ट किसी कम-संसाधन वाली भाषा में था, तो AI ने कहानी के "उद्देश्य" या जटिल निष्कर्षों (inferences) से संबंधित प्रश्नों पर उल्लेखनीय रूप से खराब प्रदर्शन किया। शोध पत्र सुझाव देता है कि AI केवल शब्दों को "भूल" नहीं रहा है; बल्कि जब डिजिटल "ट्रेनिंग व्हील्स" मौजूद नहीं होते, तो वह पूरी कहानी के अर्थ को जोड़ने के लिए संघर्ष कर रहा होता है।

यह क्या खारिज करता है (और क्या नहीं)

शोधकर्ता स्कोर में गिरावट के अन्य कारणों को खारिज करने में बहुत सावधान रहे।

• यह खराब अनुवाद नहीं है: उन्होंने एक पेशेवर स्रोत से उच्च-गुणवत्ता वाले, मानव-अनुवादित ग्रंथों का उपयोग किया, इसलिए कहानियाँ अच्छी थीं। अंतर इसलिए नहीं था क्योंकि अनुवाद टूटा हुआ था; बल्कि इसलिए था क्योंकि AI अर्थ को नहीं समझ सका।
• यह केवल रटना (memorization) नहीं है: उन्होंने जाँच की कि क्या AI कहानी के अंग्रेजी संस्करण को केवल "याद" कर रहा था। उन्होंने उन लेखों के साथ परीक्षण किया जो AI के प्रशिक्षण डेटा कट-ऑफ तिथि के बाद प्रकाशित हुए थे (अर्थात AI ने उन्हें पहले नहीं देखा होगा)। अंतर फिर भी मौजूद था, जिससे सिद्ध हुआ कि AI वास्तव में पढ़ने और समझने की कोशिश कर रहा था, न कि केवल याद किए गए तथ्यों को दोहरा रहा था।
• यह केवल प्रश्न का प्रकार नहीं है: उन्होंने विभिन्न प्रकार के परीक्षण किए, सरल "शब्द खोजें" कार्यों से लेकर जटिल "लेखक का लक्ष्य क्या है?" जैसे प्रश्नों तक। अंतर सभी स्तरों पर दिखाई दिया, हालांकि कुछ प्रकार की सोच के लिए यह कभी-कभी अधिक बड़ा था।

हालाँकि, शोध पत्र यह कहने में सावधान है कि यह एक "हल" हुई समस्या है या AI "टूटा हुआ" है। यह केवल अंतर को मापता है। वे यह भी नोट करते हैं कि जबकि मानव निर्णायक सामान्य प्रवृत्ति से सहमत थे (वे अक्सर अंग्रेजी-आधारित उत्तरों को प्राथमिकता देते थे), मनुष्यों के लिए इस पर सहमत होना कठिन था कि कोई विशिष्ट उत्तर क्यों गलत था, जो यह दर्शाता है कि मानव निर्णय की भी अपनी सीमाएँ हैं।

यह क्यों महत्वपूर्ण है

यह अध्ययन एक चेतावनी है। लंबे समय से, हमने मान लिया है कि यदि कोई AI अंग्रेजी में स्मार्ट है, तो वह हर जगह स्मार्ट है। यह शोध पत्र दिखाता है कि ऐसा नहीं है। यदि आप किसी ऐसे देश में डॉक्टर, शिक्षक या वकील की मदद करने के लिए एक उपकरण बना रहे हैं जहाँ कम-संसाधन वाली भाषा बोली जाती है, तो आप यह मानकर नहीं चल सकते कि अंग्रेजी-प्रशिक्षित AI पूरी तरह से काम करेगा। "समझ के अंतर" (comprehension gap) का अर्थ है कि AI महत्वपूर्ण विवरणों को मिस कर सकता है, जटिल निर्देशों को गलत समझ सकता है, या अधूरे उत्तर दे सकता है।

लेखकों ने न केवल एक समस्या पाई; उन्होंने इसे मापने के लिए एक नया उपकरण भी बनाया। उन्होंने अपना डेटा और विधियाँ जारी की हैं ताकि अन्य वैज्ञानिक नए AI मॉडलों की जांच करने के लिए उसी "समानांतर ब्रह्मांड" के परीक्षणों का उपयोग कर सकें। यह वैज्ञानिक समुदाय को एक नया पैमाना देने जैसा है जिससे यह मापा जा सके कि AI वास्तव में दुनिया को कितनी अच्छी तरह समझता है, न कि केवल यह कि वह अंग्रेजी कितनी अच्छी तरह बोलता है। मुख्य संदेश सरल है: हमें यह मानना बंद करना होगा कि अंग्रेजी प्रवाह का अर्थ सार्वभौमिक समझ है, और हमें यह मापना शुरू करना होगा कि अंतर कितना है ताकि AI को हर किसी के लिए निष्पक्ष और सटीक बनाया जा सके, चाहे वे कोई भी भाषा बोलते हों।