UD-Quran: A Universal Dependencies Conversion of the Extended Quranic Treebank for Interoperable Quranic/Classical Arabic Parsing
यह शोधपत्र UD-Quran प्रस्तुत करता है, जो एक्सटेंडेड कुरानिक ट्रीबैंक का एक यूनिवर्सल डिपेंडेंसीज़ v2 रूपांतरण है जो मूल कॉर्पस के प्रति ट्रैसेबिलिटी बनाए रखते हुए आधुनिक एनएलपी उपकरणों के साथ सुसंगत कुरानिक पार्सिंग को सक्षम करने के लिए रूपात्मक और वाक्यात्मक एनोटेशन को दो इंटरऑपरेबल वेरिएंट्स (सरफेस और ऑगमेंटेड) में मानकीकृत करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि कुरान प्राचीन अरबी पाठ का एक विशाल, जटिल पुस्तकालय है। सदियों से, विद्वानों ने इस पुस्तकालय का एक "मानचित्र" बनाने की कोशिश की है ताकि यह समझा जा सके कि वाक्य कैसे निर्मित होते हैं—विषय (subjects) कहाँ हैं, क्रियाएँ (verbs) कहाँ हैं, और शब्द एक-दूसरे से कैसे जुड़ते हैं। कंप्यूटर विज्ञान की दुनिया में इसे "ट्रीबैंक" (treebank) कहा जाता है।
हालाँकि, एक समस्या थी: प्रत्येक विद्वान ने अपने स्वयं के नियमों का उपयोग करके अपना मानचित्र बनाया था। एक मानचित्र एक शब्द को दो टुकड़ों में विभाजित कर सकता है, जबकि दूसरा उसे पूरा रख सकता है। एक "भूतकाल" (past tense) के लिए एक विशिष्ट प्रतीक का उपयोग कर सकता है, जबकि दूसरा किसी अन्य का। क्योंकि उनके मानचित्र एक ही भाषा नहीं बोल रहे थे, इसलिए आधुनिक कंप्यूटर प्रोग्रामों (AI) के लिए उन सभी को एक साथ पढ़ना बहुत कठिन था। यह एक शहर में तीन अलग-अलग मानचित्रों का उपयोग करके नेविगेट करने जैसा था जहाँ प्रत्येक मानचित्र पर "उत्तर" (North) का अर्थ अलग था।
समाधान: UD-Quran
यह शोध पत्र UD-Quran पेश करता है, जो इन मानचित्रों के लिए एक सार्वभौमिक अनुवादक (universal translator) के रूप में कार्य करता है। लेखकों ने एक मौजूदा, उच्च-गुणवत्ता वाले कुरान मानचित्र (जिसे विस्तारित कुरानिक ट्रीबैंक, या EQT B कहा जाता है) को लिया और उसे यूनिवर्सल डिपेंडेंसीज़ (UD) नामक एक मानक प्रारूप में परिवर्तित किया।
सोचिए कि UD भाषाओं के लिए एक "जीपीएस मानक" (GPS standard) है। यदि आप UD की भाषा बोलते हैं, तो आप अंग्रेजी, फ्रेंच और अब, कुरानिक अरबी के लिए एक ही प्रकार के नेविगेशन टूल (सॉफ्टवेयर) का उपयोग कर सकते हैं।
दो संस्करण: "सतही" (Surface) और "संवर्धित" (Augmented)
लेखकों को एहसास हुआ कि केवल मानचित्र का अनुवाद करना ही पर्याप्त नहीं था; उन्हें एक ही क्षेत्र के दो अलग-अलग दृश्य देने की आवश्यकता थी, जैसे कि एक पर्यटक मानचित्र बनाम एक भूविज्ञानी का मानचित्र:
- सतही संस्करण (पर्यटक मानचित्र): यह संस्करण वही दिखाता है जो आप अपनी आँखों से देखते हैं यदि आप पाठ को पढ़ते हैं। यह उन "अदृश्य" शब्दों को हटा देता है जो विद्वानों ने व्याकरण समझाने के लिए जोड़े होंगे। यह साफ, सीधा है और अक्षरों की दृश्य स्ट्रिंग से मेल खाता है।
- संवर्धित संस्करण (भूविज्ञानी का मानचित्र): यह संस्करण उन "अदृश्य" शब्दों को रखता है जिन्हें विद्वानों ने गायब विषयों (ellipsis) या निहित सर्वनामों (implied pronouns) को समझाने के लिए डाला था। उदाहरण के लिए, यदि एक वाक्य कहता है "वह गया," लेकिन मूल अरबी "हम गए" का संकेत देती है, तो यह संस्करण "हम" के लिए एक प्लेसहोल्डर जोड़ता है ताकि कंप्यूटर पूर्ण व्याकरणिक संरचना को देख सके।
उन्होंने रूपांतरण कैसे किया
टीम को पुराने मानचित्र को नए जीपीएस मानक में फिट करने के लिए कुछ सूक्ष्म सर्जरी करनी पड़ी:
- शब्द काटना (Word Slicing): उन्होंने शब्दों के छोटे जुड़े हुए हिस्सों (clitics) को अलग टोकन के रूप में माना, ठीक वैसे ही जैसे एक सैंडविच को बाइट-साइज टुकड़ों में काटना ताकि एक रोबोट उसे एक-एक करके खा सके।
- लेबलिंग (Labeling): उन्होंने पुराने, जटिल लेबल लिए और उन्हें 12 मानक श्रेणियों (जैसे संज्ञा, क्रिया, सर्वनाम) में सरल बना दिया जिन्हें कंप्यूटर समझते हैं।
- प्रवाह को ठीक करना (Fixing the Flow): पुराने मानचित्र में, कुछ शब्द वाक्य के "बॉस" (boss) के रूप में कार्य करते थे। नए मानचित्र में, उन्हें यह सुनिश्चित करना था कि "बॉस" हमेशा एक विषय-वस्तु वाला शब्द (content word) हो (जैसे संज्ञा या क्रिया), न कि एक छोटा सहायक शब्द, ताकि कंप्यूटर इस बात को लेकर भ्रमित न हो कि कौन क्या कर रहा है।
परिणाम
शोध पत्र रिपोर्ट करता है कि उन्होंने सफलतापूर्वक 11,000 से अधिक वाक्यों को परिवर्तित किया।
- उन्होंने यह देखने के लिए एक "टेस्ट ड्राइव" बनाई कि कंप्यूटर इस नए मानचित्र को कितनी अच्छी तरह पढ़ सकते हैं।
- जब उन्होंने कंप्यूटर को "परफेक्ट" लेबल (gold tags) दिए, तो इसने वाक्य संरचना को लगभग 80-82% बार समझा।
- जब उन्होंने कंप्यूटर को पहले लेबल का अनुमान लगाने और फिर वाक्य को पार्स (parse) करने दिया (एक एंड-टू-एंड पाइपलाइन), तो सटीकता गिरकर लगभग 64-68% हो गई।
यह गिरावट हमें बताती है कि कंप्यूटर के लिए सबसे कठिन काम वाक्य की संरचना को समझना नहीं है; बल्कि सबसे पहले शब्दों के प्रकार (जैसे यह जानना कि कोई शब्द क्रिया है या संज्ञा) को सही ढंग से पहचानना है।
यह क्यों महत्वपूर्ण है
इस शोध पत्र का मुख्य लक्ष्य कोई नया ऐप या चिकित्सा उपकरण बनाना नहीं है। इसके बजाय, यह इंटरऑपरेबिलिटी (interoperability) के बारे में है। यह एक पुल बनाने के बारे में है। इस मानक संस्करण को बनाकर, लेखक आधुनिक AI उपकरणों को अंततः कुरानिक अरबी "बोलने" की अनुमति देते हैं, बिना हर नए डेटासेट के लिए नए सिरे से आविष्कार किए। उन्होंने मूल मानचित्र के विवरण को बैकग्राउंड (मेटाडेटा) में सुरक्षित रखा ताकि यदि कोई भाषाविद् मूल, जटिल विश्लेषण की जांच करना चाहता है, तो वह अभी भी उसे पा सके।
संक्षेप में, UD-Quran एक अनुवादक है जिसने कुरान के एक जटिल, विशिष्ट मानचित्र को एक सार्वभौमिक भाषा में बदल दिया जिसे आधुनिक कंप्यूटर उपयोग कर सकते हैं, जबकि विशेषज्ञों के लिए आवश्यक मूल विवरणों को सुरक्षित रखा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।