Evaluating Metalinguistic Knowledge in Large Language Models across the World's Languages
यह शोध पत्र बड़े भाषा मॉडलों के मेटाभाषाई ज्ञान का मूल्यांकन करने के लिए 'वर्ल्ड एटलस ऑफ लैंग्वेज स्ट्रक्चर्स' पर आधारित एक बहुभाषी बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि उनका प्रदर्शन मध्यम, खंडित और सामान्य व्याकरणिक सक्षमता के बजाय डिजिटल संसाधनों की उपलब्धता पर अत्यधिक निर्भर है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो कविताएँ लिख सकता है, रेसिपी का अनुवाद कर सकता है और दर्जनों भाषाओं में मौसम के बारे में बात कर सकता है। आप मान सकते हैं कि यह रोबोट एक महान भाषाविद् (linguist) है, जिसे वास्तव में पता है कि मानव भाषा कैसे काम करती है।
लेकिन यह शोध पत्र एक पेचीदा सवाल पूछता है: क्या रोबोट वास्तव में खेल के नियमों को जानता है, या वह केवल उन चीज़ों के आधार पर अनुमान लगाने में बहुत अच्छा है जो उसने पहले देखी हैं?
लेखकों ने इस परीक्षण का निर्णय यह मानकर लिया कि वे रोबोट को पूरी दुनिया के लिए "ग्रामर 101" की फाइनल परीक्षा देने वाले एक छात्र की तरह व्यवहार करेंगे। यहाँ उनके प्रयोग की कहानी सरल रूप में दी गई है।
1. परीक्षा: एक वैश्विक क्विज़ प्रतियोगिता
शोधकर्ताओं ने रोबोट से केवल एक वाक्य लिखने के लिए नहीं कहा। इसके बजाय, उन्होंने उसे WALS (वर्ल्ड एटलस ऑफ लैंग्वेज स्ट्रक्चर्स) नामक एक विशाल विश्वकोश पर आधारित एक बड़ी बहुविकल्पीय (multiple-choice) क्विज़ दी।
WALS को एक विशाल लाइब्रेरी कार्ड कैटलॉग की तरह समझें जो 2,660 विभिन्न भाषाओं के "नियमों" को सूचीबद्ध करता है। इसमें ऐसे तथ्य हैं जैसे:
- "अंग्रेजी में, विशेषण (adjectives) संज्ञा (nouns) से पहले आते हैं (जैसे: Red car)।"
- "कुछ भाषाओं में, 'नहीं' कहने के लिए आप एक विशेष ध्वनि का उपयोग करते हैं।"
- "इस भाषा में, 'हाथ' (hand) और 'बाँह' (arm) के लिए एक ही शब्द का उपयोग किया जाता है।"
शोधकर्ताओं ने इन तथ्यों को प्रश्नों में बदल दिया: "X भाषा में 'हाथ' और 'बाँह' को कैसे व्यक्त किया जाता है?" जिसमें चार संभावित उत्तर थे। उन्होंने लगभग दुनिया की हर भाषा के लिए इन प्रश्नों के उत्तर देने के लिए तीन अलग-अलग AI मॉडलों (एक बहुत स्मार्ट सशुल्क मॉडल, और दो ओपन-सोर्स मॉडल) को आज़माया।
2. परिणाम: रोबोट एक "पैटर्न मैचकर" है, भाषाविद् नहीं
परिणाम थोड़े वास्तविकता का अहसास कराने वाले थे।
- "स्मार्ट" रोबोट (GPT-4o): इसने लगभग 37% उत्तर सही दिए।
- ओपन-सोर्स रोबोट: उन्होंने लगभग 25% उत्तर सही दिए।
- "रैंडम गेस" बेसलाइन: यदि आप आँखें बंद करके कोई भी उत्तर चुन लेते, तो आप लगभग 23% सही होते।
- "सबसे आम उत्तर" बेसलाइन: यदि आप हमेशा सबसे लोकप्रिय उत्तर का अनुमान लगाते (जैसे, "विशेषण संज्ञा से पहले आता है" क्योंकि यह कई भाषाओं में सामान्य है), तो आप 54% सही होते।
बड़ी सीख: रोबोट रैंडम अनुमान लगाने से बेहतर प्रदर्शन कर रहे थे, लेकिन वे केवल सबसे सामान्य पैटर्न का अनुमान लगाने से भी खराब थे।
उपमा (Analogy): कल्पना कीजिए कि एक छात्र इतिहास की परीक्षा दे रहा है। यदि छात्र को पता है कि "यूरोप के अधिकांश राजा मुकुट पहनते थे," तो वह हर प्रश्न के लिए "राजा ने मुकुट पहना" का अनुमान लगा सकता है। वह भाग्य से कुछ प्रश्न सही कर सकता है, लेकिन जब प्रश्न किसी ऐसे राजा के बारे में होगा जिसने हेलमेट पहना था, तो वह विफल हो जाएगा। AI भी यही कर रहा है: वह दुनिया के सामान्य रुझानों (trends) को जानता है, लेकिन वह उन विशिष्ट भाषाओं के नियमों को नहीं जानता जिन्हें उसने बहुत कम देखा है।
3. "डिजिटल स्पॉटलाइट" प्रभाव
शोधकर्ताओं ने गौर किया कि रोबोट किन भाषाओं को सबसे अच्छी तरह जानते थे।
- "प्रसिद्ध" भाषाएँ: रोबोट अंग्रेजी, स्पेनिश, फ्रेंच और मंदारिन के बारे में उत्तर देने में बहुत अच्छे थे।
- "अल्पज्ञात" (Obscure) भाषाएँ: रोबोट छोटी समुदायों द्वारा बोली जाने वाली भाषाओं या उन भाषाओं के साथ बुरी तरह संघर्ष करते हैं जिनका इंटरनेट पर बहुत कम कंटेंट है (जैसे बोरा या इमोंडा)।
उपमा: AI के प्रशिक्षण डेटा को एक स्पॉटलाइट की तरह समझें।
- अंग्रेजी जैसी भाषाओं के लिए, स्पॉटलाइट बेहद चमकदार है। AI ने उनके बारे में लाखों किताबें, वेबसाइटें और ट्वीट्स पढ़े हैं। वह नियमों को जानता है क्योंकि उसने उन्हें अरबों बार देखा है।
- कम संसाधन वाली भाषाओं के लिए, स्पॉटलाइट की रोशनी बहुत धुंधली है। AI ने उनके बारे में बहुत कम देखा है। यह एक ऐसे खेल के नियमों का अनुमान लगाने जैसा है जिसे आपने केवल एक धुंधली फोटो में देखा हो।
अध्ययन में पाया गया कि जिस भाषा की "डिजिटल उपस्थिति" (अधिक विकिपीडिया लेख, अधिक ऑनलाइन टेक्स्ट) अधिक होती है, AI उसका प्रदर्शन उतना ही बेहतर होता है। ऐसा नहीं है कि AI स्वाभाविक रूप से कुछ भाषाओं में स्मार्ट है; यह केवल इसलिए है क्योंकि उसके पास उन भाषाओं के लिए अधिक "स्टडी मटेरियल" है।
4. यह क्यों महत्वपूर्ण है
आप सोच सकते हैं, "तो क्या हुआ? AI अभी भी कविता लिख सकता है।"
समस्या यह है कि लोग इन AI का उपयोग लुप्तप्राय भाषाओं को बचाने में मदद करने के लिए कर रहे हैं। भाषाविद् लुप्त हो रही भाषाओं के दस्तावेजीकरण में मदद करने के लिए AI का उपयोग करना चाहते हैं। लेकिन यदि AI वास्तव में उन भाषाओं के व्याकरण को नहीं जानता है, तो वह गलत सलाह दे सकता है, नकली नियम बना सकता है, या भाषा को सटीक रूप से संरक्षित करने में विफल हो सकता है।
निचोड़ (The Bottom Line)
यह शोध पत्र दुनिया के सबसे स्मार्ट AI के लिए एक रिपोर्ट कार्ड की तरह है। यह हमें बताता है:
- AI एक नकलची है, उस्ताद नहीं। यह भाषा के गहरे तर्क को समझने के बजाय अपने प्रशिक्षण डेटा में देखे गए पैटर्न की नकल करता है।
- असमानता इसमें समाहित है। AI उन भाषाओं के प्रति पक्षपाती है जो पहले से ही ऑनलाइन लोकप्रिय हैं। यह उन भाषाओं में "अनपढ़" है जिन्हें मदद की सबसे अधिक आवश्यकता है।
- हमें बेहतर उपकरणों की आवश्यकता है। लेखकों ने अपना "परीक्षा" (बेंचमार्क) जनता के लिए जारी किया है ताकि अन्य शोधकर्ता बेहतर, अधिक निष्पक्ष AI बनाने का प्रयास कर सकें जो वास्तव में दुनिया की भाषाई विविधता को समझते हों, न कि केवल डिजिटल बहुमत को।
संक्षेप में: AI एक बहुत ही पढ़ा-लिखा छात्र है जिसने केवल कुछ देशों की किताबें पढ़ी हैं। दुनिया की पूरी लाइब्रेरी को वास्तव में सीखने के लिए उसे पूरी दुनिया के पुस्तकालय में जाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।