A Lemmatized Corpus of the Pali Canon with Critical Apparatus
यह शोधपत्र 1.6-मिलियन-टोकन के पालि निकाय (Pāli Canon) का एक ओपन-एक्सेस, लेमेटाइज्ड (lemmatized) संग्रह प्रस्तुत करता है, जिसमें पाँच पाठ परंपराओं के माध्यम से एक क्रिटिकल अपैरेटस, संधि और छंद संबंधी वेरिएंट्स के लिए विशेष प्रबंधन, और उच्च-कवरेज लेमेटाइजेशन शामिल है जो इस कम-संसाधन वाली भाषा के लिए पूर्व में असंभव रहे उन्नत कम्प्यूटेशनल भाषाई कार्यों को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा एक जीवित चीज़ है, लेकिन प्राचीन ग्रंथों के शब्द अक्सर ऐसा महसूस कराते हैं जैसे वे कांच के पीछे कैद हों। प्राचीन दुनिया की शास्त्रीय भाषाओं—जैसे संस्कृत, लैटिन और ग्रीक—का अध्ययन करने वाले विद्वानों के लिए, कंप्यूटर इन ग्रंथों को खोलने के लिए शक्तिशाली उपकरण बन गए हैं। ये उपकरण शब्दों को गिन सकते हैं, यह ट्रैक कर सकते हैं कि समय के साथ अर्थ कैसे बदलते हैं, और यहाँ तक कि एक वाक्य में शब्दों के बीच व्याकरणिक संबंधों को भी मैप कर सकते हैं। हालाँकि, इस डिजिटल प्रगति में एक महत्वपूर्ण अंतर है। जबकि महान शास्त्रीय भाषाओं को कंप्यूटर द्वारा पूरी तरह से मैप किया जा चुका है, पाली भाषा, जो थेरवाद बौद्ध धर्म के पवित्र शास्त्रों को संजोए हुए है, काफी हद तक पीछे छूट गई है। ग्रंथ विशाल मात्रा में मौजूद हैं, लेकिन उन्हें मशीनों के लिए पढ़ना कठिन बना हुआ है क्योंकि शब्द वाक्य में अपनी भूमिका के आधार पर लगातार अपना रूप बदलते रहते हैं, और वे अक्सर इस तरह आपस में मिल जाते हैं जो उनके वास्तविक अर्थ को छिपा देते हैं। बिना इन शब्दों को उनके मूल शब्दकोश रूपों में तोड़ने के तरीके के, कंप्यूटर उन कहानियों, दर्शन या इतिहास को नहीं समझ सकता जो उनके भीतर निहित हैं।
स्वतंत्र विद्वान डैन जिगमंड ने अब इस अंतर को पाटने के लिए एक सेतु बनाया है। उन्होंने पाली कैनन (Pāli Canon) का एक विशाल, लेमेटाइज्ड (lemmatized) संग्रह तैयार किया है, जो बौद्ध धर्म के संपूर्ण शास्त्रों का संग्रह है। सरल शब्दों में, "लेमेटाइजेशन" (lemmatization) हर एक शब्द को लेकर उसके मूल, अपरिवर्तित रूप को खोजने की प्रक्रिया है। कल्पना कीजिए कि एक पुस्तकालय है जहाँ हर किताब एक ऐसे कोड में लिखी गई है जहाँ शब्द "run" (दौड़ना) "running," "ran," "runs," या "runner" के रूप में दिखाई दे सकता है, और कंप्यूटर इन्हें चार पूरी तरह से अलग शब्द मानता है। लेमेटाइजेशन उस कार्य को कहते हैं जहाँ आप कंप्यूटर को बताते हैं कि वे सभी विविधताएँ वास्तव में केवल "run" शब्द ही हैं। जिगमंड का कार्य पूरे पाली कैनन के लिए यही करता है, जो लगभग 1.6 मिलियन शब्दों का संग्रह है। ऐसा करके, उन्होंने प्राचीन पाठ के एक अराजक ढेर को एक संरचित, खोजने योग्य डेटाबेस में बदल दिया है जिसे कंप्यूटर अंततः सीखने और विश्लेषण करने के लिए उपयोग कर सकते हैं।
पाली के साथ काम करने की चुनौती यह है कि यह भाषा अविश्वसनीय रूप से जटिल है। एक एकल संज्ञा (noun) दर्जनों अलग-अलग रूपों में दिखाई दे सकती है, इस आधार पर कि वह वाक्य के कर्ता के रूप में है, कर्म के रूप में है, या स्वामित्व दर्शा रही है। इसके अलावा, भाषा 'संधि' नामक एक प्रक्रिया का उपयोग करती है, जहाँ एक वाक्यांश के अंत के शब्द अगले वाक्यांश की शुरुआत के शब्दों के साथ सहजता से मिल जाते हैं, जिससे वाक्य को सुचारू रूप से चलाने के लिए अक्सर उनकी वर्तनी बदल जाती है। एक मानव पाठक के लिए यह स्वाभाविक है; एक कंप्यूटर के लिए, यह अक्षरों की एक एकल, अपरिचित स्ट्रिंग जैसा दिखता है। जिगमंड के प्रोजेक्ट को प्रत्येक शब्द के लिए इन पहेलियों को हल करना था। उन्होंने केवल पाठ के एक संस्करण पर भरोसा नहीं किया। इसके बजाय, उन्होंने श्रीलंका, बर्मा, थाईलैंड और यूरोपीय विद्वत्ता से जुड़ी परंपराओं का प्रतिनिधित्व करने वाले शास्त्रों के पांच अलग-अलग ऐतिहासिक संस्करणों को एकत्र किया। इन पांच संस्करणों की आपस में तुलना करके, वे अंतर देख सके, त्रुटियों को सुधार सके, और एक "क्रिटिकल अपरेटस" (critical apparatus) बना सके—एक विस्तृत रिकॉर्ड जो दिखाता है कि प्राचीन पांडुलिपियाँ कहाँ असहमत हैं और कौन सा पाठ सबसे अधिक संभावित रूप से सही है।
इस विशाल प्रयास का परिणाम एक ऐसा डेटासेट है जहाँ प्रत्येक शब्द की उपस्थिति में से 99.78 प्रतिशत को सफलतापूर्वक पहचाना और उसके शब्दकोश मूल से जोड़ा गया है। एक ऐसी भाषा के लिए यह एक आश्चर्यजनक स्तर का कवरेज है जिसके पास पहले कभी ऐसा संसाधन नहीं था। शेष बहुत छोटा हिस्सा, जिसे कंप्यूटर हल नहीं कर सका, वे ज्यादातर दुर्लभ, काव्य संबंधी शब्द हैं जो छंद वाले अनुभागों में पाए जाते हैं, या जटिल यौगिक शब्द हैं जिनका मौजूदा शब्दकोशों ने अभी तक पूरी तरह से वर्णन नहीं किया है। शोधकर्ता ने पाया कि इनमें से लगभग आधे अनसुलझे शब्द संभवतः वैध पाली शब्द हैं जिन्हें बस शब्दकोश में जोड़ने की आवश्यकता है, जबकि शेष विविधताएँ क्षेत्रीय वर्तनी के अंतर या काव्य छंद के कारण उत्पन्न हुई हैं। यह अंतर महत्वपूर्ण है क्योंकि यह हमें बताता है कि कार्य कहाँ जारी रखने की आवश्यकता है। इस परियोजना ने यह भी प्रकट किया कि एक शब्द के हजारों विभिन्न सतही रूपों को एक एकल मूल तक कम करके, पूरे कैनन का कुल शब्दावली आकार तीन गुना से अधिक सिकुड़ जाता है। यह कमी पाठ में पैटर्न खोजने के लिए आधुनिक सांख्यिकीय विधियों का उपयोग करना संभव बनाती है, जो पहले अदृश्य थे।
इस नए संसाधन के साथ, शोधकर्ता अब उन कार्यों को कर सकते हैं जो पहले असंभव थे। वे कैनन के विभिन्न हिस्सों के बीच संबंध देखने के लिए उनकी शब्दावली के आधार पर ग्रंथों को समूहबद्ध कर सकते हैं। वे कंप्यूटर को पाली के व्याकरण को समझने के लिए प्रशिक्षित कर सकते हैं, जिससे अंततः ऐसी मशीनें बन सकती हैं जो वाक्यों का विश्लेषण कर सकें और दिखा सकें कि शब्द एक-दूसरे से कैसे जुड़ते हैं, ठीक वैसे ही जैसे वाक्य की संरचना का एक मानचित्र होता है। यह कार्य संस्कृत के साथ सीधे तुलना करने की अनुमति भी देता है, जिससे पाली विकसित हुई है, और विद्वानों को यह पता लगाने में मदद मिलती है कि बौद्ध विचार और शब्द एक संस्कृति से दूसरी संस्कृति में जाने के दौरान कैसे बदले। संपूर्ण प्रणाली, जिसमें इसे बनाने के लिए उपयोग किया गया कोड और डेटा दोनों शामिल हैं, सार्वजनिक रूप से जारी कर दी गई है, जो अन्य विद्वानों को इसे बेहतर बनाने के लिए आमंत्रित करती है। हालांकि इस परियोजना में अभी तक हर संभावित व्याकरणिक टैग या प्रत्येक शब्द की मानव-सत्यापित जांच शामिल नहीं है, फिर भी यह वह आवश्यक आधार प्रदान करती है जिस पर इन प्राचीन ग्रंथों पर भविष्य के सभी डिजिटल कार्य निर्मित होंगे। यह पाली कैनन को पुराने ग्रंथों के एक स्थिर संग्रह से बदलकर एक गतिशील, जीवित डेटासेट में बदल देता है जिसे आधुनिक दुनिया अंततः एक्सप्लोर कर सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।