Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs
यह शोध पत्र IASC प्रस्तुत करता है, जो एक संवादात्मक एजेंटिक प्रणाली है जो कृत्रिम भाषाओं के निर्माण के लिए LLMs का लाभ उठाती है, जो एक रचनात्मक उपकरण और भाषाई अवधारणाओं की मॉडलों की मेटाभाषाई समझ की जांच करने के लिए एक नवीन ढांचे, विशेष रूप से यह प्रकट करने के लिए कार्य करता है कि LLMs दुर्लभ पैटर्न की तुलना में टाइपोलॉजिकल रूप से सामान्य मॉर्फोसेंटैक्टिक (morphosyntactic) पैटर्न को अधिक प्रभावी ढंग से संभालते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो पूरी तरह से एक नया व्यंजन (cuisine) बनाना चाहते हैं। आप केवल एक भोजन नहीं बनाना चाहते; आप रसोई के नियम, सामग्री, पकाने के तरीके और यहाँ तक कि भोजन को परोसने के तरीके को भी डिजाइन करना चाहते हैं।
यह शोध पत्र एक टीम के शोधकर्ताओं (यूनिवर्सिटी ऑफ नोट्रे डेम और साकाना एआई) के बारे में है जिन्होंने एक रोबोट शेफ (एक AI सिस्टम जिसे IASC कहा जाता है) बनाया है ताकि मनुष्यों को निर्मित भाषाएं (Constructed Languages या ConLangs) बनाने में मदद मिल सके—जैसे स्टार ट्रेक की क्लिंगन (Klingon) या लॉर्ड ऑफ द रिंग्स की एल्विश (Elvish)।
लेकिन यहाँ एक मोड़ है। उन्होंने इस रोबोट को केवल शानदार भाषाएँ बनाने के लिए नहीं बनाया। उन्होंने रोबोट का उपयोग एक परीक्षण के रूप में किया यह देखने के लिए कि AI वास्तव में भाषा के बारे में कितनी समझ रखता है, न कि केवल मौजूदा भाषाओं के तथ्यों को रटने के बजाय।
यहाँ उनके प्रयोग का विवरण सरल शब्दों में दिया गया है:
1. रोबोट शेफ (IASC)
यह सिस्टम एक मॉड्यूलर असेंबली लाइन की तरह है। AI से एक बार में "एक भाषा बनाने" के लिए कहने के बजाय (जिसके परिणामस्वरूप आमतौर पर एक अस्त-व्यस्त और असंगत परिणाम मिलता है), उन्होंने काम को विशिष्ट स्टेशनों में विभाजित किया:
- ध्वनि स्टेशन (The Sound Station): यह तय करना कि भाषा किन ध्वनियों का उपयोग करती है (जैसे "p," "k," या एक विशेष वेल्श ध्वनि जैसे "lh")।
- व्याकरण स्टेशन (The Grammar Station): यह तय करना कि शब्दों को कैसे जोड़ा जाता है (उदाहरण के लिए, क्या क्रिया पहले आती है, अंत में, या बीच में?)।
- शब्दकोश स्टेशन (The Dictionary Station): शब्द बनाना।
- लेखन स्टेशन (The Writing Station): यह तय करना कि इसे कैसे लिखा जाए (लैटिन अक्षर, सिरिलिक, आदि)।
- मैनुअल स्टेशन (The Manual Station): उस नई भाषा के लिए व्याकरण की पुस्तक लिखना।
रोबोट एक लूप में काम करता है: वह एक ड्राफ्ट बनाता है, अपने काम की जाँच करता है, फीडबैक प्राप्त करता है, और गलतियों को सुधारता है। इसे "एजेंटिक" (Agentic) दृष्टिकोण कहा जाता है, जिसका अर्थ है कि AI एक एजेंट के रूप में कार्य करता है जो अपने स्वयं के आउटपुट की आलोचना कर सकता है और उसमें सुधार कर सकता है।
2. असली परीक्षण: "ग्रामर जिम" (The Grammar Gym)
शोधकर्ताओं ने महसूस किया कि एक भाषा का आविष्कार करना AI की भाषा संबंधी समझ (metalinguistic knowledge) का परीक्षण करने का एक शानदार तरीका है।
- भाषा संबंधी समझ (Metalinguistic knowledge) का अर्थ है खेल के नियमों को जानना, न कि केवल एक विशिष्ट मैच खेलना।
- उपमा: यदि आप AI से पूछते हैं, "फ्रांस की राजधानी क्या है?" तो यह केवल सामान्य ज्ञान (विश्वकोश संबंधी ज्ञान) है। लेकिन यदि आप कहते हैं, "इस अंग्रेजी वाक्य को इस तरह से फिर से लिखें कि ऑब्जेक्ट (कर्म) सब्जेक्ट (कर्ता) से पहले आए, और हर क्रिया में एक विशेष प्रीफिक्स जोड़ें," तो इसके लिए AI को व्याकरण की अवधारणा को समझना आवश्यक है।
उन्होंने विशेष रूप से व्याकरण स्टेशन (Morphosyntax) पर ध्यान केंद्रित किया। उन्होंने AI को अंग्रेजी वाक्यों का एक सेट और कुछ अजीब, विशिष्ट नियम दिए (जैसे, "एक ऐसा शब्द क्रम उपयोग करें जो वास्तविक दुनिया में बहुत दुर्लभ हो, जैसे कि ऑब्जेक्ट-वर्ब-सब्जेक्ट")। फिर उन्होंने उनसे उन नियमों के अनुसार वाक्यों का अनुवाद करने के लिए कहा।
3. परिणाम: "टाइपोलॉजी ट्रैप" (The Typology Trap)
शोधकर्ताओं ने कई अलग-अलग AI मॉडल (जैसे GPT-4, Claude, और Gemini) का परीक्षण नौ अलग-अलग "भाषा ब्लूप्रिंट" के विरुद्ध किया। कुछ ब्लूप्रिंट सामान्य भाषाओं (जैसे फ्रेंच या तुर्की) पर आधारित थे, और एक "हार्ड मोड" भाषा थी जिसमें बहुत दुर्लभ और विरोधाभासी नियमों का मिश्रण था।
उन्होंने पाया:
- "कॉमन सेंस" पूर्वाग्रह: AI मॉडल उन नियमों का पालन करने में बहुत अच्छे थे जो सामान्य मानव भाषाओं की तरह दिखते थे (जैसे क्रिया को अंत में रखना, जैसा कि जापानी में होता है)। जब नियम अजीब या दुर्लभ थे (जैसे सब्जेक्ट से पहले ऑब्जेक्ट रखना), तो उन्हें काफी संघर्ष करना पड़ा।
- उपमा: यह एक जिम्नास्ट की तरह है जो मानक फ्लोर रूटीन में तो बेहतरीन है, लेकिन जब उससे कोई ऐसा मूव करने को कहा जाता है जो उसने कभी टेक्स्टबुक में नहीं देखा, तो वह अपने ही पैरों में उलझ जाता है।
- आकार मायने रखता है: बड़े, अधिक स्मार्ट AI मॉडल (जैसे Gemini 2.5 Pro और GPT-5) छोटे मॉडलों की तुलना में बहुत बेहतर प्रदर्शन करते हैं। वे जटिल, अजीब नियमों को अधिक सफलतापूर्वक संभाल सकते हैं।
- "रिव्यू" का लाभ: जब शोधकर्ताओं ने AI को एक "चीट शीट" (पूछने से पहले नियमों के कुछ उदाहरण) दी, तो प्रदर्शन में काफी उछाल आया। इसे इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning) कहा जाता है। यह एक छात्र को नया गणित का सवाल हल करने से पहले एक हल किया हुआ सवाल दिखाने जैसा है।
- "एनालिटिक" समस्या: दिलचस्प रूप से, AI को उन भाषाओं के साथ अधिक संघर्ष करना पड़ा जो शब्द क्रम (जैसे वियतनामी) पर निर्भर करती हैं, बजाय उन भाषाओं के जो बहुत सारे शब्द अंत (suffixes) का उपयोग करती हैं (जैसे लैटिन या तुर्की)। AI भ्रमित होता प्रतीत हुआ जब उसे स्पष्ट प्रत्ययों की मदद के बिना शब्दों को उनके मूल रूप में छीलना (strip down) था।
4. यह क्यों महत्वपूर्ण है
यह शोध पत्र सिद्ध करता है कि जबकि AI मानव भाषा की नकल करने में बहुत अच्छा हो रहा है, फिर भी इसकी एक "कंफर्ट ज़ोन" (सुविधा क्षेत्र) है।
- यह उन पैटर्न को जानता है जिन्हें इसने अपने प्रशिक्षण डेटा में लाखों बार देखा है।
- जब इसे उन अमूर्त व्याकरणिक अवधारणाओं को उन पैटर्न पर लागू करने के लिए कहा जाता है जिन्हें इसने शायद ही कभी देखा हो, तो इसे कठिनाई होती है।
शोधकर्ता निष्कर्ष निकालते हैं कि AI भाषाविदों और भाषा निर्माता के लिए एक शक्तिशाली उपकरण बन रहा है, लेकिन यह अभी तक एक पूर्ण "भाषा जीनियस" नहीं है। यह एक बहुत ही प्रतिभाशाली प्रशिक्षु (apprentice) की तरह है जिसे वास्तव में विचित्र चीजों को संभालने के लिए स्पष्ट निर्देशों और उदाहरणों की आवश्यकता होती है।
संक्षेप में: लेखकों ने भाषा बनाने के लिए एक रोबोट बनाया, लेकिन उन्होंने रोबोट का उपयोग एक टेस्ट देने के लिए किया। इस टेस्ट ने दिखाया कि सबसे स्मार्ट AI भी इंटरनेट से सीखी गई भाषाओं की आदतों को तोड़ने के मामले में थोड़े "जिद्दी" हैं। वे परिचित चीज़ों के लिए बहुत अच्छे हैं, लेकिन वास्तव में अजीब चीज़ों के साथ रचनात्मक होने के लिए अभी भी सीख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।