The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation
यह शोध पत्र दो दुंगन बोलियों के लिए एक परिमित-अवस्था रूपात्मक मॉडल प्रस्तुत करता है, जो मात्रात्मक विश्लेषण के लिए मौजूदा व्याकरणिक ज्ञान को औपचारिक रूप देकर यह प्रकट करता है कि भाषा की रूपविज्ञान (morphology) एक बंद प्रणाली है जिसमें विन्यास (inflection) दुर्लभ और अस्पष्टता कम है, जिससे यह पहचान होती है कि कवरेज के लिए प्राथमिक खुला क्षेत्र व्याकरणिक नियमों के बजाय शब्दकोश है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपका अपराध स्थल कोई अपराध स्थल नहीं, बल्कि एक भाषा है। यह शोध पत्र कंप्यूटेशनल लिंग्विस्टिक्स (computational linguistics) की दुनिया में रहता है, जो एक ऐसा क्षेत्र है जहाँ वैज्ञानिक डिजिटल उपकरण बनाते हैं ताकि वे समझ सकें कि मानव भाषाएँ कैसे काम करती हैं। इस रहस्य को सुलझाने के लिए, वे एक विशिष्ट प्रकार के उपकरण का उपयोग करते हैं जिसे फाइनाइट-स्टेट मॉडल (finite-state model) कहा जाता है। इस मॉडल को एक बहुत ही व्यवस्थित लाइब्रेरी कार्ड कैटलॉग या एक ट्रेन स्टेशन के मानचित्र की तरह समझें। यह किसी वाक्य के अर्थ को वैसे नहीं समझने की कोशिश करता जैसे एक इंसान करता है; इसके बजाय, यह बस यह जाँचता है कि क्या एक शब्द एक विशिष्ट पैटर्न में फिट बैठता है। यह पूछता है: "क्या इस शब्द में एक स्टेम (मुख्य भाग) और एक टैग (एक छोटा सा टुकड़ा जो अंत में जोड़ा गया है) है?" यदि पैटर्न मेल खाता है, तो यह उपकरण कहता है, "समझ गया!" यदि नहीं, तो यह कहता है, "मैं इसे नहीं जानता।"
कोई इस पर ध्यान क्यों देता है? क्योंकि कई भाषाओं के लिए हमारे पास शब्दकोश और व्याकरण की किताबें तो हैं, लेकिन हमारे पास ये डिजिटल मानचित्र नहीं हैं। इनके बिना, कंप्यूटर इन भाषाओं में अनुवाद, स्पेल-चेक, या टेक्स्ट को प्रभावी ढंग से खोज नहीं सकते। यह शोध पत्र एक सरल लेकिन पेचीदा सवाल का समाधान करता है: एक भाषा वास्तव में इन छोटे पैटर्न वाले टुकड़ों से कितनी बनी है, और कितना सिर्फ अद्वितीय शब्दों की एक विशाल सूची है? यदि एक भाषा ज्यादातर अद्वितीय शब्दों से बनी है, तो "मानचित्र" को बहुत बड़ा होना पड़ेगा। यदि यह ज्यादातर पैटर्न से बनी है, तो मानचित्र छोटा और सुव्यवस्थित हो सकता है।
डुनगन (Dungan) भाषा का रहस्य
डुनगन से मिलिए, एक ऐसी भाषा जो मध्य एशियाई मुसलमानों के एक समुदाय द्वारा बोली जाती है जो सौ साल पहले वहां बस गए थे। यह मंदारिन चीनी की एक सगी बहन है, लेकिन एक मोड़ के साथ: चीनी अक्षरों का उपयोग करने के बजाय, वे इसे सिरिलिक वर्णमाला (वही लिपि जिसका उपयोग रूसी के लिए किया जाता है) का उपयोग करके लिखते हैं। क्योंकि उन्होंने उन अक्षरों और संगीतमय स्वरों को छोड़ दिया है जो आमतौर पर शब्दों को अलग पहचानने में मदद करते हैं, डुनगन कागज पर दिखने में कुछ ऐसा है जैसे "गेस हू?" (Guess Who?) का खेल, जहाँ कई अक्षर कागज पर बिल्कुल एक जैसे दिखते हैं।
इस शोध पत्र के लेखक, एंटोन और सर्गेई ने यह देखने के लिए कि डुनगन का व्याकरण वास्तव में वास्तविक जीवन में कैसे काम करता है, डुनगन के लिए एक डिजिटल "मानचित्र" (एक फाइनाइट-स्टेट एनालाइज़र) बनाने का निर्णय लिया। वे नए नियम बनाना नहीं चाहते थे; वे चाहते थे कि जो नियम पहले से ही पुरानी व्याकरण की किताबों में लिखे गए हैं, उन्हें एक काम करने वाली मशीन में बदल दिया जाए ताकि भाषा को मापा जा सके। उन्होंने दो मुख्य बोलियों के लिए यह मानचित्र बनाया: गांसु (Gansu) विविधता (मानक, साहित्यिक संस्करण) और शानक्सी (Shaanxi) विविधता।
बड़ी खोज: एक छोटा कोर और एक विशाल लेक्सिकन
जब उन्होंने तीन अलग-अलग प्रकार के ग्रंथों (विश्वकोश, लोक कथाएं, और धार्मिक वृत्तांत) से हजारों वाक्यों पर अपने मानचित्र को चलाया, तो उन्हें कुछ आश्चर्यजनक पता चला।
1. "अदृश्य" व्याकरण
कई भाषाओं में, शब्द अपना रूप लगातार बदलते रहते हैं (जैसे "walk" का "walked," "walking," "walks" बनना)। डुनगन में, ऐसा बहुत कम होता है। लेखकों ने पाया कि विश्वकोश पाठ में, केवल 9.3% शब्दों के साथ वास्तव में एक दृश्यमान "टैग" जुड़ा हुआ था। लोक कथाओं में, यह 13.4% था, और धार्मिक वृत्तांत में, यह 27.1% था।
- उपमा: एक ऐसे शहर की कल्पना करें जहाँ 90% इमारतें केवल सादे, बिना सजावट के ब्लॉक हैं। केवल कुछ ही हैं जिनके ऊपर विशेष झंडे या सजावट है। डुनगन का "व्याकरण" वे कुछ ही झंडे हैं। अधिकांश समय, शब्द बिना बदले वहीं रहते हैं।
2. "दो-क्लिटिक" अस्पष्टता (Two-Clitic Ambiguity)
चूंकि बहुत कम शब्द बदलते हैं, इसलिए जब वे बदलते हैं, तो यह भ्रमित करने वाला हो सकता है। लेखकों ने पाया कि उनके टूल द्वारा पहचाने गए शब्दों में से 78.1% का केवल एक ही संभावित अर्थ था। यह एक बहुत ही स्पष्ट संकेत है! हालांकि, शेष भ्रम लगभग पूरी तरह से केवल दो छोटे शब्द-टुकड़ों (क्लिटिक्स) पर अटका हुआ था: -di और -ni।
- उपमा: एक ऐसे ट्रैफिक लाइट की कल्पना करें जो 78% समय पूरी तरह से काम करता है। भ्रम केवल तब होता है जब लाइट "पीली" या "लाल" पर अटक जाती है, और किसी को नहीं पता कि इसका मतलब "रुकना" है या "चलना"। डुनगन में, छोटा सा टुकड़ा -di का अर्थ "का संबंध" (जेनेटिव) या "अभी हो रहा है" (प्रोग्रेसिव) हो सकता है, और -ni का अर्थ "एक स्थान में" (लोकेटिव) या "जल्द ही होगा" (प्रोस्पेक्टिव) हो सकता है। कंप्यूटर बिना अधिक संदर्भ के अंतर नहीं बता सकता, लेकिन कम से कम उसे पता है कि भ्रम कहाँ है।
3. "बंद" कोर (The "Closed" Core)
सबसे महत्वपूर्ण खोज इस बारे में है कि उनका मानचित्र कितना "पूर्ण" है। उन्होंने पूछा, "जब कंप्यूटर एक शब्द को पहचानने में विफल रहता है, तो क्या यह इसलिए है क्योंकि व्याकरण का नियम गायब है, या इसलिए क्योंकि वह शब्द स्वयं नया है?"
उन्होंने पाया कि कंप्यूटर जिस भी शब्द को संभालने में विफल रहा, उनमें से 78% से 95% के बीच शब्द केवल शब्दकोश (dictionary) में मौजूद नहीं थे। व्याकरण के नियम स्वयं वास्तव में "बंद" और पूर्ण थे। जिन चीजों को मॉडल ने शामिल नहीं किया (जैसे कि कुछ दुर्लभ भूतकाल की आदतें या विशिष्ट ध्वनि परिवर्तन), वे विफलताओं के लिए अधिकतम 4.5% के लिए जिम्मेदार थे।
- उपमा: कल्पना कीजिए कि आप एक चिड़ियाघर में जानवरों की पहचान करने की कोशिश कर रहे हैं। आपके पास शेर, बाघ या भालू को पहचानने के लिए एक आदर्श मार्गदर्शिका है। यदि आप एक ऐसा जानवर देखते हैं जिसे आप नहीं जानते, तो यह लगभग निश्चित रूप से इसलिए है क्योंकि वह एक नई प्रजाति है जिसे आपने पहले नहीं देखा है, न कि इसलिए कि आपकी मार्गदर्शिका में शेर के चलने के तरीके के बारे में कोई नियम गायब है। डुनगन की "सीमा" व्याकरण नहीं है; यह शब्दावली (vocabulary) है।
संख्याएँ हमें क्या बताती हैं
लेखक बहुत सावधानी से यह मापने के लिए कि उनका टूल क्या कर सकता है, बहुत सतर्क थे।
- कवरेज (Coverage): जब उन्होंने अपने मानचित्र का परीक्षण उन नए ग्रंथों पर किया जिन्हें उसने पहले कभी नहीं देखा था, तो इसने सफलतापूर्वक 80-85% शब्दों को पहचाना।
- रूपात्मकता की शक्ति (The Power of Morphology): यदि उन्होंने केवल शब्दों की एक सूची का उपयोग किया होता बिना किसी व्याकरण नियम के, तो वे 67.4% शब्दों को पहचान पाते। व्याकरण नियमों (अर्थात "मॉर्फोलॉजी") को जोड़ने से, उन्होंने उस संख्या को बढ़ाकर 72.6% कर दिया। यह 5.2-पॉइंट का लाभ है। यह एक सहायक बढ़त है, लेकिन यह साबित करता है कि व्याकरण "पतला" है—भारी काम शब्दों की सूची द्वारा किया जाता है, नियमों द्वारा नहीं।
- सटीकता (Accuracy): जिन शब्दों को उन्होंने पहचाना, उनके लिए टूल सही अर्थ खोजने में बहुत अच्छा था, हालांकि यह कभी-कभी उन पेचीदा -di और -ni टुकड़ों पर अटक जाता था।
निष्कर्ष: भविष्य के लिए एक मानचित्र
शोध पत्र यह निष्कर्ष निकालता है कि डुनगन का "रूपात्मक कोर" (morphological core) संक्षिप्त, कुछ श्रेणियों में उत्पादक, और प्रभावी रूप से बंद है। व्याकरण सरल और पूर्ण है; चुनौती केवल सभी शब्दों को सीखने की है।
लेखक अपने "मानचित्र" (एनालाइज़र), कोड और परीक्षणों को किसी के भी उपयोग के लिए जारी करते हैं। वे स्वीकार करते हैं कि उनका कार्य लिखित पुस्तकों और शब्दकोशों पर आधारित एक परिकल्पना है, न कि मूल वक्ताओं से प्राप्त अंतिम निर्णय। उन्होंने इसमें एक "वर्कशीट" भी शामिल की है ताकि मूल वक्ता आकर गलतियों को सुधार सकें। यह एक शुरुआती बिंदु है, एक डिजिटल आधार जो कंप्यूटर को अंततः इस अद्वितीय, सिरिलिक-लिखित भाषा को समझने में मदद करने के लिए बनाया गया है। खुला मोर्चा खेल के नियम नहीं हैं; खिलाड़ी स्वयं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।