Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks
यह शोध पत्र पैरेलल ग्रामर प्रोजेक्ट के भीतर कैंटोनीज़ और आयरिश ट्रीबैंकों के विकास का विवरण देता है और साथ ही ग्रामर इंजीनियरिंग में बहुभाषी एलएलएम (LLM) की उपयोगिता का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि ये मॉडल वैकल्पिक विश्लेषण सुझाने के लिए सीमित मूल्य प्रदान करते हैं, लेकिन वर्तमान में इनमें विशेषज्ञ-संचालित भाषाई सत्यापन को बदलने के लिए आवश्यक क्रॉस-लिंग्विस्टिक एब्स्ट्रैक्शन (cross-linguistic abstraction) क्षमताओं का अभाव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप मानव मस्तिष्क के लिए एक सार्वभौमिक अनुवादक बनाने की कोशिश कर रहे हैं, न केवल शब्दों के लिए, बल्कि उन गहरे, अदृश्य नियमों के लिए जो वाक्यों को काम करने लायक बनाते हैं। यह ग्रामर इंजीनियरिंग (व्याकरण इंजीनियरिंग) की दुनिया है। इसे एक ऐसे वास्तुकार की तरह समझें जो न केवल एक घर का चित्र बनाता है, बल्कि उस वास्तविक कोड को भी लिखता है जो एक रोबोट को ईंट-दर-ईंट घर बनाने का निर्देश देता है, ताकि छत न गिर जाए। ऐसा करने के लिए, भाषाविद् ट्रीबैंक्स (treebanks) नामक विशेष मानचित्रों का उपयोग करते हैं। यदि एक वाक्य एक इमारत है, तो ट्रीबैंक वह ब्लूप्रिंट है जो दिखाता है कि प्रत्येक शब्द दूसरे शब्द से कैसे जुड़ता है, और यह पकड़ता है कि किसने किसके साथ क्या किया। लेकिन यहाँ पेचीदा बात यह है: जब आप दो बहुत अलग भाषाओं के लिए ये ब्लूप्रिंट बनाने की कोशिश करते हैं—जैसे एक जो नदी की तरह बहती है और दूसरी जो मेंढक की तरह कूदती है—तो आपको एक मास्टर प्लान की आवश्यकता होती है जो मूल संरचना को समान रखते हुए सतही विवरणों को भिन्न रहने दे। यह पैरेलल ग्रामर (समानांतर व्याकरण) की चुनौती है: यह सुनिश्चित करना कि वाक्य की "आत्मा" भाषाओं में समान रहे, भले ही उसके द्वारा पहने गए "कपड़े" पूरी तरह से अलग हों।
अब, इस क्षेत्र में नया खिलाड़ी आया है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये सुपर-स्मार्ट एआई चैटबॉट्स हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे वाक्य में अगले शब्द का अनुमान लगाने में माहिर हैं, लेकिन क्या वे वास्तव में व्याकरण के गहरे वास्तुशिल्प नियमों को समझ सकते हैं? क्या वे मानव वास्तुकारों को इन ब्लूप्रिंट्स को तेज़ी से बनाने में मदद कर सकते हैं, या वे केवल चतुर अनुमान लगाने वाले हैं जो गलती से छत में दरवाज़ा लगाकर एक घर बना सकते हैं? यह शोध बिल्कुल यही सवाल पूछता है, दो बहुत ही विशिष्ट भाषाओं का उपयोग करते हुए: कैंटोनीज़ (दक्षिणी चीन की एक भाषा जिसमें शब्द अंत बहुत कम होते हैं) और आयरिश (एक सेल्टिक भाषा जिसमें बहुत सारे शब्द अंत और एक अलग शब्द क्रम होता है)। शोधकर्ता यह देखना चाहते थे कि क्या एक एआई इन दोनों के बीच अनुवाद कर सकता है और उनके लिए सही व्याकरणिक ब्लूप्रिंट बना सकता है, जिससे वह मानव विशेषज्ञों के लिए एक सहायक के रूप में कार्य कर सके।
प्रयोग: व्याकरण प्रशिक्षु के रूप में एआई
शोधकर्ताओं ने एक विशिष्ट एआई मॉडल (OpenAI का gpt-oss-120b) के साथ एक परीक्षण आयोजित किया और उसे 50 वाक्यों का एक ढेर दिया। ये वाक्य व्याकरण के लिए एक "ड्राइवर लाइसेंस टेस्ट" की तरह थे, जिसमें सरल कथनों से लेकर जटिल वाक्यों और पेचीदा क्रिया संरचनाओं तक सब कुछ शामिल था। उन्होंने एआई को दो मुख्य कार्य दिए:
- अनुवाद: एक वाक्य को कैंटोनीज़ से आयरिश में, या इसके विपरीत बदलें।
- ब्लूप्रिंट बनाना: एक औपचारिक व्याकरणिक मानचित्र (जिसे f-structure कहा जाता है) बनाएं जो शब्दों के बीच के गहरे संबंधों को दर्शाता है, और सतही क्रम को अनदेखा करता है।
उन्होंने इसे विभिन्न तरीकों से आज़माया: अंग्रेजी में पूछकर, लक्षित भाषा में पूछकर, और एक ही समय में अनुवाद और ब्लूप्रिंट बनाने के लिए कहकर।
परिणाम: प्रतिभा और भ्रम का मिला-जुला रूप
निष्कर्ष थोड़े एक प्रतिभाशाली लेकिन भ्रमित प्रशिक्षु को देखने जैसे थे। एआई ने दिखाया कि वह कभी-कभी बड़ी तस्वीर देख सकता है, लेकिन वह अक्सर विवरणों में लड़खड़ा गया।
अनुवाद की समस्या
जब अनुवाद की बात आई, तो एआई को बहुत संघर्ष करना पड़ा। यह उस छात्र की तरह था जो शब्दावली तो जानता है लेकिन बोलियों को मिला देता रहता है।
- "मंदारिन" का मिश्रण: जब कैंटोनीज़ बोलने के लिए कहा गया, तो एआई अक्सर मंदारिन में फिसल गया। उदाहरण के लिए, इसने सही कैंटोनीज़ hóu lèk के बजाय hǎo bàng शब्द का उपयोग किया। यह ऐसा है जैसे किसी से स्कॉटिश लहजे में बोलने के लिए कहा जाए, और वह गलती से अमेरिकी स्लैंग का उपयोग करने लगे।
- "गढ़े हुए" शब्द: आयरिश में अनुवाद करते समय, एआई ने केवल गलतियाँ ही नहीं कीं; उसने शब्द भी बना लिए। "ट्रैक्टर" (tarracóir) शब्द को कभी "तिरपाल", कभी "लुटेरा", कभी "खरगोश" या यहाँ तक कि "चोर" में बदल दिया गया। ऐसा लग रहा था कि वह वास्तविक अर्थ जानने के बजाय इस आधार पर अनुमान लगा रहा था कि शब्द कैसे "सुनाई" देता है या वह किस संदर्भ में है।
- सफलता दर: आंकड़े निराशाजनक थे। जब आयरिश से कैंटोनीज़ में अनुवाद करने के लिए कहा गया, तो केवल 22% से 24% अनुवाद ही सटीक अर्थ और स्वाभाविक ध्वनि वाले थे। कैंटोनीज़ से आयरिश के लिए, यह और भी कम था, जहाँ केवल 6% से 8% अनुवाद ही लक्ष्य तक पहुँच पाए। दिलचस्प बात यह है कि निर्देशों (प्रॉम्प्ट) की भाषा बदलने से कोई मदद नहीं मिली; एआई अंग्रेजी या लक्षित भाषा में पूछे जाने पर भी उतना ही खराब प्रदर्शन करता रहा।
ब्लूप्रिंट बनाना
जब व्याकरणिक ब्लूप्रिंट (f-structures) बनाने की बात आई, तो एआई थोड़ा बेहतर प्रदर्शन कर सका, लेकिन अभी भी उसे लंबा रास्ता तय करना है।
- अंग्रेजी आसान थी: अंग्रेजी वाक्यों पर, इसने लगभग 46% बार इसे सही (रेटिंग "उत्कृष्ट" या "अच्छा") पाया।
- कैंटोनीज़ ठीक थी: कैंटोनीज़ के लिए, इसने लगभग 34% बार एक सही संरचनात्मक विश्लेषण प्रबंधित किया।
- आयरिश कठिन थी: आयरिश के लिए सफलता दर गिरकर केवल 20% रह गई। शोधकर्ताओं को संदेह है कि ऐसा इसलिए है क्योंकि आयरिश में अधिक जटिल शब्द अंत और एक अलग वाक्य क्रम (क्रिया-कर्ता-कर्म) है, जिससे एआई उतना परिचित नहीं था।
- "साझा" ब्लूप्रिंट की चुनौती: सबसे कठिन कार्य एआई को कैंटोनीज़ और आयरिश के बीच साझा गहरी संरचना खोजने के लिए कहना था। यहाँ, एआई मुख्य रूप से विफल रहा, जहाँ कैंटोनीज़-से-आयरिश के 44% प्रयासों और आयरिश-से-कैंटोनीज़ के 38% प्रयासों को "खराब" रेट किया गया। वह सतही अंतरों को अनदेखा करते हुए सामान्य नियमों को निकालने में संघर्ष कर रहा था।
एआई ने क्या गलत (और सही) किया
एआई पूरी तरह से बेकार नहीं था। यह लगभग 70% मामलों में बुनियादी "किसने क्या किया" के संबंधों को पकड़ने में सफल रहा, भले ही विवरण अस्त-व्यस्त थे। इसने कभी-कभी वाक्य को देखने के दिलचस्प वैकल्पिक तरीके सुझाए, जो एक मानव भाषाविद् के लिए विचार को जन्म दे सकते थे।
हालाँकि, इसकी त्रुटियाँ बहुत कुछ स्पष्ट करती थीं।
- रूढ़ियाँ (Stereotypes): एआई ने माना कि "किसान" और "ड्राइवर" हमेशा पुरुष होते हैं, और उन्हें पुल्लिंग लिंग टैग दिया, भले ही कैंटोनीज़ या आयरिश में इन शब्दों के लिए लिंग की आवश्यकता नहीं होती। वह भाषा के नियमों के बजाय अपने स्वयं के "विश्व ज्ञान" पर निर्भर था।
- भ्रमित अवधारणाएँ: इसने अक्सर विभिन्न प्रकार की वाक्य संरचनाओं को मिला दिया, जैसे कि एक सापेक्ष उपवाक्य (जैसे "वह कार जो मैंने खरीदी" ) को सीधे कर्म (direct object) के रूप में मानना, जिससे पता चलता कि वह सैद्धांतिक अंतरों को पूरी तरह से नहीं समझ पाया।
- भ्रम (Hallucinations): एआई ने शब्द और अर्थ गढ़े, जैसे कि "नदी में स्नान किया" को "नदी में खुद को डुबो दिया" के रूप में अनुवादित करना, जिससे कहानी पूरी तरह बदल गई।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि ये एआई मॉडल शक्तिशाली उपकरण हैं, वे जटिल व्याकरण बनाने में मानव विशेषज्ञों को बदलने के लिए तैयार नहीं हैं। वे एक "कच्चा मसौदा" या विचार का संकेत दे सकते हैं, लेकिन उन पर विवरणों को सही करने के लिए भरोसा नहीं किया जा सकता है। एआई एक बहुत तेज़, बहुत आत्मविश्वासी छात्र की तरह है जिसने बहुत सी किताबें पढ़ी हैं लेकिन वास्तव में एक मजबूत घर बनाने के लिए शिल्प का अभ्यास नहीं किया है।
शोधकर्ता इस बात पर जोर देते हैं कि मानवीय विशेषज्ञता अभी भी आवश्यक है। एआई के आउटपुट को उन लोगों द्वारा सावधानीपूर्वक जांच और सत्यापन की आवश्यकता है जो वास्तव में उन भाषाओं को समझते हैं। अध्ययन बताता है कि जब तक एआई मॉडल को इन "अल्प-संसाधित" (under-resourced) भाषाओं के लिए बहुत अधिक विशिष्ट, उच्च-गुणवत्ता वाले डेटा पर प्रशिक्षित नहीं किया जाता है, तब तक वे गंभीर व्याकरण इंजीनियरिंग के काम में एक विश्वसनीय साथी के बजाय केवल एक कौतूहल बने रहेंगे। एक पूरी तरह से स्वचालित व्याकरण निर्माता का सपना अभी भी काफी दूर है, लेकिन इस प्रयोग ने यह मानचित्र बनाने में मदद की है कि वर्तमान तकनीक कहाँ अपनी ही जूतों की डोरी में उलझ जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।