MultiBLiMP 1.0: A Massively Multilingual Benchmark of Linguistic Minimal Pairs
यह शोध पत्र MultiBLiMP 1.0 को प्रस्तुत करता है, जो 101 भाषाओं में 128,000 से अधिक न्यूनतम युग्मों (minimal pairs) वाला एक पूर्णतः स्वचालित, व्यापक बहुभाषी बेंचमार्क है, जो बड़े भाषा मॉडलों की कर्ता-क्रिया सहमति (subject-verb agreement) क्षमताओं का मूल्यांकन करता है और कम संसाधन वाली भाषाओं के मॉडलिंग में महत्वपूर्ण कमियों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को 101 अलग-अलग भाषाएं बोलना सिखा रहे हैं। आप सोच सकते हैं, "बहुत बढ़िया! अब यह किसी से भी बातचीत कर सकता है!" लेकिन इसमें एक छिपी हुई समस्या है: सिर्फ इसलिए कि एक रोबोट फ्रेंच में एक मज़ेदार कहानी सुना सकता है, इसका मतलब यह नहीं है कि वह वास्तव में फ्रेंच के व्याकरण (grammar) के नियमों को समझता है। हो सकता है कि वह केवल उन पैटर्न के आधार पर अनुमान लगा रहा हो जो उसने अपने ट्रेनिंग डेटा में देखे थे, न कि नियमों को वास्तव में "जानता" हो।
यह पेपर MultiBLiMP 1.0 को पेश करता है, जो एक विशाल नया परीक्षण है यह देखने के लिए कि क्या ये AI रोबोट वास्तव में व्याकरण के नियमों को जानते हैं, या वे केवल दिखावा कर रहे हैं।
यहाँ बताया गया है कि उन्होंने क्या किया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. "ग्रामर पुलिस" टेस्ट (Minimal Pairs)
कल्पना कीजिए कि आपके पास दो वाक्य हैं जो लगभग एक जैसे हैं, जैसे जुड़वां:
- वाक्य A: "The cat sleeps." (सही)
- वाक्य B: "The cat sleep." (गलत)
दोनों में केवल एक छोटा सा अंतर है। एक इंसान तुरंत जान जाता है कि वाक्य B गलत है। लेकिन क्या AI जानता है?
MultiBLiMP "जुड़वां वाक्यों" (जिन्हें 'minimal pairs' कहा जाता है) का एक विशाल संग्रह है जिसमें 101 भाषाओं को शामिल किया गया है और इसमें 1,28,000 से अधिक ऐसे जोड़े हैं। टेस्ट सरल है: AI इस जोड़ी को देखता है और उसे यह अनुमान लगाना होता है कि कौन सा वाक्य "सही" है। यदि वह गलत वाला चुनता है, तो इसका मतलब है कि वह नियम (इस मामले में, कि एक अकेली बिल्ली के लिए एकवचन क्रिया की आवश्यकता होती है) को नहीं समझता है।
2. वह फैक्ट्री जिसने इस टेस्ट को बनाया
101 भाषाओं के लिए इन टेस्टों को मैन्युअल रूप से बनाना इंसानों के लिए वर्षों का काम होगा। इसके बजाय, लेखकों ने एक पूरी तरह से स्वचालित फैक्ट्री बनाई।
- उन्होंने कच्चे माल के रूप में दो विशाल डिजिटल पुस्तकालयों (Universal Dependencies और UniMorph) का उपयोग किया।
- उन्होंने एक पाइपलाइन (एक स्टेप-बाय-स्टेप असेंबली लाइन) प्रोग्राम की जो वाक्यों को खोजती है, व्याकरण के नियमों की पहचान करती है, और फिर स्वचालित रूप से एक गलत संस्करण बनाने के लिए एक वाक्य को "बिगाड़" देती है।
- इसे एक रोबोट शेफ की तरह समझें जो एक आदर्श केक लेता है, उसमें एक सामग्री बदल देता है ताकि उसका स्वाद खराब हो जाए, और फिर AI से पूछता है, "असली केक कौन सा है?"
3. परिणाम: बड़ा बनाम छोटा, और प्री-ट्रेनिंग बनाम पोस्ट-ट्रेनिंग
शोधकर्ताओं ने इस व्याकरण टेस्ट पर 42 अलग-अलग AI मॉडल (छोटे से लेकर विशाल मॉडल्स तक) का परीक्षण किया। यहाँ उन्हें क्या पता चला:
- आकार मायने रखता है (एक "लाइब्रेरी" की उपमा): आमतौर पर, बड़े मॉडल (जिनमें अधिक "मस्तिष्क शक्ति" या पैरामीटर्स होते हैं) बेहतर प्रदर्शन करते हैं। यह उस छात्र की तरह है जिसने अधिक किताबें पढ़ी हैं और उसके व्याकरण के नियम जानने की संभावना अधिक है।
- "भाषा का आहार" (Language Diet) मायने रखता है: मॉडल उन भाषाओं पर सबसे अच्छा प्रदर्शन करते हैं जो उनके ट्रेनिंग डेटा में बहुत सामान्य थीं (जैसे अंग्रेजी या स्पेनिश)। यदि कोई भाषा डेटा में दुर्लभ थी (जैसे कि एक कम-संसाधन वाली भाषा), तो मॉडल संघर्ष करते थे, भले ही वे बहुत विशाल क्यों न हों। यह एक ऐसे शेफ की तरह है जो केवल इतालवी खाना बनाना जानता है; यदि आप उससे एंडीज के किसी विशिष्ट गाँव के दुर्लभ व्यंजन बनाने के लिए कहते हैं, तो वह शायद गड़बड़ कर देगा।
- "फाइन-ट्यूनिंग" का जाल: यह एक आश्चर्यजनक खोज थी। शोधकर्ताओं ने "कच्चे" AI (इंटरनेट से सीखने के बाद) की तुलना "पॉलिश किए गए" AI (इंसानों द्वारा इसे मददगार और निर्देशों का पालन करने के लिए सिखाने के बाद) से की।
- कच्चा AI (Raw AI) वास्तव में व्याकरण में बेहतर था।
- पॉलिश किया गया AI (Polished AI) व्याकरण में बदतर हो गया।
- उपमा: एक बुद्धिमान छात्र की कल्पना करें जो व्याकरण के सभी नियम जानता है। फिर, वह विनम्र और मददगार होने के लिए "कस्टमर सर्विस स्कूल" जाता है। जब वह वापस आता है, तो वह बहुत विनम्र होता है, लेकिन वह उन सख्त व्याकरण नियमों को भूल गया है जो वह पहले जानता था। "पॉलिश करने" की प्रक्रिया ने अनजाने में उन्हें व्याकरण में कमजोर बना दिया।
4. यह क्यों महत्वपूर्ण है
यह पेपर तर्क देता है कि हमें यह देखने के लिए कि क्या AI स्मार्ट है, केवल उनसे "कविता लिखने" या "दस्तावेज़ का अनुवाद करने" के लिए कहना बंद करना चाहिए। वे कार्य बहुत जटिल हैं; AI गलत कारणों से सही उत्तर दे सकता है।
MultiBLiMP भाषा के लिए एक शुद्ध गणित के टेस्ट की तरह है। यह दुनिया के ज्ञान या रचनात्मकता की आवश्यकता को हटा देता है और एक सरल प्रश्न पूछता है: "क्या आप नियमों को जानते हैं?"
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि जबकि हमारे AI मॉडल हमसे बात करने में बेहतर हो रहे हैं, वे व्याकरण के मूलभूत नियमों पर अभी भी अस्थिर हैं, विशेष रूप से उन भाषाओं के लिए जो इंटरनेट पर बहुत आम नहीं हैं। इसके अलावा, इन मॉडल्स को "हेल्पफुल" (चैट मोड) बनाने की प्रक्रिया वास्तव में उनकी सख्त व्याकरणिक संरचनाओं को समझने की क्षमता को नुकसान पहुँचा सकती है।
लेखक उम्मीद करते हैं कि यह टूल शोधकर्ताओं को बेहतर मॉडल बनाने में मदद करेगा जो न केवल धाराप्रवाह दिखते हैं, बल्कि वास्तव में भाषा की संरचना को समझते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।