A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs
यह शोध पत्र यूनिवर्सल डिपेंडेंसीज़ और इन्फरेंस-टाइम परटर्बेशन्स का उपयोग करते हुए एक टाइपोलॉजी-अवेयर डायग्नोस्टिक फ्रेमवर्क प्रस्तुत करता है ताकि यह मूल्यांकन किया जा सके कि मल्टीलिंगुअल मास्कड लैंग्वेज मॉडल्स (mBERT और XLM-R) पांच भाषाओं में शब्द क्रम बनाम विभक्तित्मक रूपविज्ञान (inflectional morphology) पर किस प्रकार निर्भर करते हैं, जिससे यह पता चलता है कि जहाँ पूर्ण स्कैम्बलिंग प्रदर्शन को गंभीर रूप से कम कर देती है, वहीं लेम्मा प्रतिस्थापन (lemma substitution) विभक्तित्मक भाषाओं में सटीकता को महत्वपूर्ण रूप से प्रभावित करता है लेकिन संरचनात्मक व्यवधान के प्रभावों को कम करने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक साथ कई अलग-अलग भाषाओं में वाक्यों को पढ़ना और समझना सिखा रहे हैं। आप जानना चाहते हैं: क्या यह रोबोट शब्दों के अर्थ को समझता है, या यह केवल उनके आने के क्रम का उस्ताद है?
यह शोध पत्र दो बहुत स्मार्ट रोबोटों (जिन्हें mBERT और XLM-R कहा जाता है) के लिए एक "तनाव परीक्षण" (stress test) की तरह है, यह देखने के लिए कि वे उन भाषाओं को कैसे संभालते हैं जो अलग-अलग नियमों का पालन करती हैं।
भाषाओं के दो प्रकार
भाषाओं को इस तरह सोचें कि उनके पास वाक्य को जोड़ने के दो अलग-अलग तरीके होते हैं:
- "सख्त कतार" वाली भाषाएँ (जैसे अंग्रेजी और चीनी): ये भाषाएँ शब्दों के क्रम पर बहुत अधिक निर्भर करती हैं। यदि आप कहते हैं "The cat chased the dog" (बिल्ली ने कुत्ते का पीछा किया), तो इसका एक अर्थ है। यदि आप कहते हैं "The dog chased the cat" (कुत्ते ने बिल्ली का पीछा किया), तो इसका अर्थ बिल्कुल विपरीत है। यहाँ क्रम ही जोड़ने वाला गोंद (glue) है।
- "लचीली पहेली" वाली भाषाएँ (जैसे रूसी, जर्मन और स्पेनिश): ये भाषाएँ "शब्दों के वेशभूषा" (inflections/morphology) का उपयोग करती हैं। कौन क्या कर रहा है, यह दिखाने के लिए शब्दों के अंत बदल जाते हैं। इसलिए, भले ही आप क्रम को इधर-उधर कर दें, शब्दों पर लगी "वेशभूषा" आपको अर्थ बता देती है। "The dog" शायद एक विशेष टोपी पहने होगा जो कहता है "मैं वह हूँ जिसका पीछा किया जा रहा है," चाहे वह वाक्य में कहीं भी बैठा हो।
प्रयोग: वाक्य को तोड़ना
शोधकर्ता यह देखना चाहते थे कि क्या रोबोट केवल क्रम को याद करके नकल कर रहे थे, या वे वास्तव में अर्थ समझने के लिए "शब्दों की वेशभूषा" का उपयोग कर रहे थे। उन्होंने इसे चार रचनात्मक तरीकों से किया:
"शफल पार्टी" (पूर्णतः बिखराव - Full Scrambling): उन्होंने एक वाक्य लिया और उसके सभी शब्दों को एक ब्लेंडर में डालकर पूरी तरह से मिला दिया।
- उपमा: कल्पना कीजिए कि आप ताश की एक गड्डी लेते हैं, उन्हें तब तक फेंटते हैं जब तक कि वे एक रैंडम ढेर न बन जाएं, और फिर रोबोट से अगला कार्ड पहचानने के लिए कहते हैं।
- परिणाम: रोबोट क्रैश हो गए। उनकी सटीकता लगभग शून्य हो गई। वे शब्द का अनुमान ही नहीं लगा सके। इससे सिद्ध हुआ कि वे शब्दों के क्रम पर बहुत अधिक निर्भर करते हैं।
"गोंद को बनाए रखना" वाला शफल (आंशिक बिखराव - Partial Scrambling): उन्होंने मुख्य विषय वाले शब्दों (संज्ञा, क्रिया) को बिखेर दिया लेकिन "गोंद" वाले शब्दों (जैसे "the", "is", "and") को उनके मूल स्थानों पर छोड़ दिया।
- उपमा: आप एक नाटक के अभिनेताओं को इधर-उधर कर देते हैं, लेकिन आप मंच के निर्देशों और पटकथा के विराम चिह्नों को ठीक वहीं छोड़ देते हैं जहाँ वे थे।
- परिणाम: रोबोट पूर्ण बिखराव की तुलना में बेहतर प्रदर्शन कर रहे थे, लेकिन फिर भी वे काफी संघर्ष कर रहे थे। वे लक्ष्य से चूक गए।
"हेड स्वैप" (निर्भरता स्वैपिंग - Dependency Swapping): उन्होंने मुख्य क्रिया (verb) को उस चीज़ के साथ बदल दिया जिस पर वह कार्य करती है (noun)।
- उपमा: एक वाक्य जैसे "The chef cooked the soup" में, उन्होंने "chef" और "soup" को आपस में बदल दिया जिससे "The soup cooked the chef" बन गया।
- परिणाम: इसने रोबोटों को, विशेष रूप से अंग्रेजी में, काफी भ्रमित कर दिया।
"नग्न रूप" वाला परीक्षण (+L - Stripped-Down Test): उन्होंने प्रत्येक शब्द को उसके "शब्दकोश रूप" (lemma) से बदल दिया।
- उपमा: कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं जहाँ हर शब्द को उसके काल (tense), लिंग (gender), या वचन (number) से मुक्त कर दिया गया है। "ran," "runs," या "running" के बजाय, आप केवल "run" देखते हैं। "she," "he," या "they" के बजाय, आप केवल "person" देखते हैं।
- परिणाम: समृद्ध "वेशभूषा" वाली भाषाओं (जैसे जर्मन या रूसी) के लिए, इसने रोबोटों को अनुमान लगाने में बहुत खराब बना दिया। इसने साबित किया कि जब क्रम बिगड़ जाता है, तो रोबोटों को मदद के लिए उन "शब्दों की वेशभूषा" की आवश्यकता होती है। हालाँकि, जब क्रम को बिखेरा गया था, तो वेशभूषा को हटाना उन्हें बचा नहीं सका।
बड़ी आश्चर्यजनक बात
शोधकर्ताओं को उम्मीद थी कि रूसी या जर्मन जैसी भाषाओं में, रोबोट एक विशेषज्ञ पहेली सुलझाने वाले की तरह होंगे: "भले ही आप क्रम को बिखेर दें, मैं शब्दों की वेशभूषा का उपयोग करके इसे समझ सकता हूँ!"
लेकिन ऐसा नहीं हुआ।
रोबोट क्रम के प्रति जुनूनी निकले।
- जब क्रम को तोड़ा गया, तो रोबोट विफल हो गए, यहाँ तक कि उन भाषाओं में भी जहाँ इंसान वेशभूषा का उपयोग करके आसानी से समझ सकते थे।
- "शब्दों की वेशभूषा" (morphology) ने थोड़ी मदद की, लेकिन जब वाक्य की संरचना नष्ट हो गई, तो वे उन्हें बचाने के लिए पर्याप्त नहीं थे।
- चीनी भाषा में (जहाँ शब्दों की कोई वेशभूषा नहीं होती), रोबोट ठीक-ठाक रहे, लेकिन केवल इसलिए क्योंकि क्रम ही एकमात्र चीज़ थी जो उसे थामे हुए थी।
निष्कर्ष (The Takeaway)
इन बहुभाषी AI मॉडलों को ऐसे पर्यटकों के रूप में सोचें जो केवल मानचित्र (map) का पालन करना जानते हैं, परिदृश्य (landscape) को पढ़ना नहीं।
- यदि आप उन्हें एक मानचित्र देते हैं (शब्द का क्रम), तो वे अपना रास्ता खोज लेते हैं।
- यदि आप मानचित्र को जला देते हैं (क्रम को बिखेर देते हैं), तो वे खो जाते हैं, भले ही लैंडमार्क (शब्दों की वेशभूषा) अभी भी वहाँ हों और स्पष्ट रूप से दिखाई दे रहे हों।
यह क्यों मायने रखता है?
इसका मतलब है कि ये AI मॉडल अंग्रेजी जैसी भाषाओं के प्रति पक्षपाती हो सकते हैं, जहाँ क्रम ही सर्वोपरि है। वे उन भाषाओं के मामले में उतने "स्मार्ट" या "लचीले" नहीं हो सकते जितना हम सोचते हैं, जो शब्दों के अंत और लचीली संरचनाओं पर निर्भर करती हैं। बेहतर AI बनाने के लिए, हमें उन्हें शब्दों की पंक्ति को देखने के बजाय "शब्दों की वेशभूषा" को देखना सिखाना होगा।
संक्षेप में: रोबोट स्क्रिप्ट का पालन करने में बहुत अच्छे हैं, लेकिन अगर आप स्क्रिप्ट के क्रम को बदल देते हैं, तो वे पूरा नाटक ही भूल जाते हैं। उन्होंने वास्तव में भाषा को नहीं सीखा है; उन्होंने केवल उसकी लय (rhythm) को सीखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।