Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary
यह शोध पत्र Qaamuuska-NLP को प्रस्तुत करता है, जो 2012 के एकभाषी शब्दकोश *Qaamuuska Af-Soomaaliga* से एक नियत नियम-आधारित पाइपलाइन के माध्यम से निकाला गया 46,314 प्रविष्टियों वाला एक संरचित मशीन-पठनीय सोमाली लेक्सिकॉन है, जो सत्यापन के लिए मूल प्रविष्टि पाठ को बनाए रखते हुए विस्तृत व्याकरणिक और शाब्दिक जानकारी को संरक्षित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा केवल शब्दों का एक प्रवाह मात्र नहीं है; यह एक संरचित प्रणाली है जहाँ प्रत्येक शब्द एक विशिष्ट कार्य वहन करता है, इसके रूप बदलने के इतिहास को समेटे हुए है, और अन्य शब्दों के साथ इसके संबंधों का एक जाल होता है। कंप्यूटरों के लिए किसी भाषा को समझने हेतु, उन्हें इस संरचना के मानचित्र की आवश्यकता होती है। इस मानचित्र को 'लेक्सिकन' (lexicon) कहा जाता है, जो एक डिजिटल शब्दकोश है जो न केवल शब्दों और उनके अर्थों को सूचीबद्ध करता है, बल्कि व्याकरण संबंधी विवरण भी दर्ज करता है, जैसे कि कोई संज्ञा पुल्लिंग है या स्त्रीलिंग, या कोई क्रिया कैसे बदलती है जब वह किसी व्यक्ति द्वारा किए गए कार्य का वर्णन करती है बनाम एक क्रिया जो अकेले की जाती है। दुनिया की कई भाषाओं के लिए, ये मानचित्र पहले से ही विशाल और विस्तृत हैं, जो कंप्यूटरों को सटीकता के साथ अनुवाद, खोज और पाठ का विश्लेषण करने की अनुमति देते हैं। हालाँकि, सोमाली भाषा के लिए, जो हॉर्न ऑफ अफ्रीका और डायस्पोरा में लाखों लोगों द्वारा बोली जाती है, ये डिजिटल मानचित्र अपूर्ण रहे हैं। जबकि सोमाली में मुद्रित शब्दकोशों की एक समृद्ध परंपरा रही है, उनके भीतर की जानकारी एक ऐसे प्रारूप में बंद रही है जो मानवीय आँखों के लिए डिज़ाइन किया गया था, जिससे मशीनों के लिए इसका व्यवस्थित रूप से उपयोग करना कठिन हो गया था।
ओगाल लैब्स (Ogaal Labs) के शोधकर्ताओं की एक टीम ने अब उस ताले को खोल दिया है। उन्होंने 'कामुस्का-एनएलपी' (Qaamuuska-NLP) नामक एक नया डिजिटल संसाधन बनाया है, जो 2012 में प्रकाशित एक प्रमुख मुद्रित सोमाली शब्दकोश से सीधे निकाला गया 46,314 प्रविष्टियों का एक संरचित संग्रह है। शोधकर्ताओं ने केवल पन्नों को स्कैन नहीं किया और छवियों को टेक्स्ट में नहीं बदला, क्योंकि यह एक ऐसी प्रक्रिया है जो अक्सर त्रुटियाँ उत्पन्न करती है। इसके बजाय, उन्होंने शब्दकोश की पीडीएफ (PDF) फ़ाइल के भीतर पहले से मौजूद डिजिटल टेक्स्ट लेयर के साथ काम किया। उन्होंने पुस्तक के लेआउट को पढ़ने, यह पहचानने के लिए कि एक शब्द प्रविष्टि कहाँ समाप्त होती है और अगली कहाँ शुरू होती है, और स्वरूपण (formatting) में छिपे विशिष्ट व्याकरणिक संकेतों को निकालने के लिए सटीक, नियम-आधारित निर्देशों का एक सेट बनाया। परिणाम एक स्वच्छ, मशीन-पठनीय डेटाबेस है जो मूल शब्दकोश के संगठन को संरक्षित करता है और एक ऐसा संरचनात्मक स्तर जोड़ता है जिसे कंप्यूटर तुरंत क्वेरी कर सकते हैं। यह कार्य मूल पुस्तक को प्रतिस्थापित नहीं करता है, बल्कि इसके गहरे भाषाई ज्ञान को एक नई भाषा में अनुवादित करता जिसे सॉफ्टवेयर बोल सके।
इस नए संसाधन का स्रोत कामुस्का अफ-सोमालीगा (Qaamuuska Af-Soomaaliga) है, जो अन्नारिटा पुग्लिएली और अब्दल्ला कुमार मंसूर द्वारा संपादित एक व्यापक एकभाषी शब्दकोश है। साधारण शब्द सूचियों के विपरीत, इस पुस्तक में व्याकरण संबंधी प्रचुर जानकारी है जो यह समझने के लिए आवश्यक है कि सोमाली कैसे कार्य करती है। यह पाठक को संज्ञा का लिंग, क्रिया का वर्ग, और यह बताता है कि क्या किसी क्रिया को प्रत्यक्ष कर्म की आवश्यकता है। इसमें पर्यायवाची शब्द, अन्य शब्दों के क्रॉस-रेफरेंस और लेबल भी शामिल हैं जो यह संकेत देते हैं कि क्या कोई शब्द चिकित्सा या कानून जैसे विशिष्ट क्षेत्र से संबंधित है। शोधकर्ताओं के लिए चुनौती यह थी कि यह जानकारी डेटा के व्यवस्थित स्तंभों में संग्रहीत नहीं थी; यह मुद्रित पृष्ठ के दृश्य डिज़ाइन में अंतर्निहित थी। शब्दकोश दो कॉलम के टेक्स्ट, विशिष्ट संक्षिप्त रूपों और छोटे सुपरस्क्रिप्ट नंबरों का उपयोग करता है ताकि उन शब्दों के बीच अंतर किया जा सके जो दिखने में समान हैं लेकिन जिनके अर्थ भिन्न हैं। अपना डिजिटल संस्करण बनाने के लिए, शोधकर्ताओं ने एक कंप्यूटर प्रोग्राम लिखा जो बिना अनुमान लगाए या उदाहरणों से सीखे इस लेआउट को नेविगेट कर सके। प्रोग्राम एक पृष्ठ के बाएं कॉलम को पढ़ता है, फिर दाएं कॉलम को, और उन दोहराव वाले पैटर्न को स्कैन करता है जो एक नई शब्द प्रविष्टि के संकेत देते हैं।
एक बार जब प्रोग्राम ने एक शब्द प्रविष्टि की पहचान कर ली, तो उसने टेक्स्ट को उसके घटकों में विभाजित कर दिया। इसने मुख्य शब्द को उसके अर्थ, उसके व्याकरणिक टैग और अन्य शब्दों के संदर्भों से अलग कर दिया। टीम ने पाया कि शब्दकोश में 46,314 विशिष्ट रिकॉर्ड थे। इनमें से, लगभग 25,000 ने वास्तविक परिभाषाएँ प्रदान कीं, जबकि शेष 21,000 क्रॉस-रेफरेंस थे जो पाठक को दूसरी प्रविष्टि की ओर निर्देशित करते थे। निष्कर्षण प्रक्रिया उन व्याकरणिक विवरणों को पकड़ने में अत्यधिक सफल रही जो शब्दकोश को उपयोगी बनाते हैं। 34,726 संज्ञा प्रविष्टियों के लिए, सिस्टम ने लगभग सभी के लिए लिंग की पहचान सफलतापूर्वक की, उन्हें पुल्लिंग, स्त्रीलिंग या दोनों होने में सक्षम के रूप रूप से चिह्नित किया। 11,445 क्रिया प्रविष्टियों के लिए, सिस्टम ने लगभग हर एक के लिए संयुग्मन वर्ग (conjugation class) और यह कि क्रिया सकर्मक है या अकर्मक, को कैप्चर किया। शोधकर्ताओं ने प्रत्येक प्रविष्टि के मूल टेक्स्ट को उसके नए संरचित डेटा के साथ सुरक्षित रखा। यह सुनिश्चित करता है कि डेटाबेस का उपयोग करने वाला कोई भी व्यक्ति जानकारी को सत्यापित करने के लिए मूल स्रोत की जाँच कर सके, जिससे डिजिटल मानचित्र और भौतिक पुस्तक के बीच का संबंध बना रहे।
शोधकर्ताओं ने अपने कार्य की गुणवत्ता का परीक्षण यह देखकर किया कि शब्दकोश के व्याकरणिक लेबल वास्तव में शब्दों के आकार से कितनी अच्छी तरह मेल खाते हैं। उन्होंने एक सरल प्रश्न पूछा: यदि आप केवल एक सोमाली शब्द के अंत को देखते हैं, तो क्या आप इसकी व्याकरणिक श्रेणी की भविष्यवाणी कर सकते हैं? उन्होंने एक सीधा तरीका अपनाया जिसमें शब्दों के अंतिम कुछ अक्षरों का उपयोग करके उनके लिंग या क्रिया वर्ग का अनुमान लगाया गया। परिणामों ने दिखाया कि शब्दकोश के लेबल यादृच्छिक नहीं थे। क्रिया वर्गों के लिए, विधि 93.5 प्रतिशत बार सही थी, जो सबसे सामान्य वर्ग का अनुमान लगाने से कहीं बेहतर है। संज्ञा लिंग के लिए, विधि 86.4 प्रतिशत बार सही थी। ये संख्याएँ बताती हैं कि शब्दकोश में व्याकरणिक जानकारी शब्दों के भौतिक रूप से गहराई से जुड़ी हुई है, जो पुष्टि करती है कि निकाला गया डेटा वास्तविक भाषाई पैटर्न को दर्शाता है न कि मनमाने विकल्पों को। हालाँकि, शोधकर्ताओं ने उल्लेख किया कि यह परीक्षण एक नैदानिक उपकरण (diagnostic tool) था, न कि वास्तविक दुनिया में सोमाली पाठ का विश्लेषण करने की कंप्यूटर की क्षमता का पूर्ण परीक्षण।
यह नया संसाधन सोमाली भाषा प्रौद्योगिकी के परिदृश्य में एक विशिष्ट अंतर को भरता है। जबकि अन्य परियोजनाओं ने कई शब्दकोशों को संयोजित किया है या शब्द रूपों की सूचियाँ उत्पन्न करने पर ध्यान केंद्रित किया है, यह कार्य एक एकल, आधिकारिक स्रोत की संरचना को संरक्षित करने पर केंद्रित है। यह संपादकीय निर्णयों और मूल लेखकों द्वारा भाषा को व्यवस्थित करने के विशिष्ट तरीके को कैप्चर करता है। डेटाबेस में 11,415 पर्यायवाची लिंक और 21,032 क्रॉस-रेफरेंस शामिल हैं, जो एक नेटवर्क बनाता है जो दिखाता है कि शब्द शब्दकोश के अपने तर्क के भीतर एक-दूसरे से कैसे संबंधित हैं। यह 1,945 प्रविष्टियों की भी पहचान करता है जो चिकित्सा, भौतिकी और कानून जैसे विशिष्ट क्षेत्रों से संबंधित हैं, जो सोमाली में तकनीकी शब्दावली बनाने के लिए एक शुरुआती बिंदु प्रदान करता है। शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि यह संसाधन उस विशिष्ट 2012 के शब्दकोश का प्रतिनिधित्व है, न कि आज उपयोग किए जाने वाले प्रत्येक शब्द का पूर्ण जनगणना। कवरेज और विशिष्ट परिभाषाएँ मूल संपादकों द्वारा किए गए विकल्पों को दर्शाती हैं।
इस दृष्टिकोण की कुछ सीमाएँ हैं, जिन्हें लेखक खुले तौर पर स्वीकार करते हैं। चूँकि निष्कर्षण नियम विशेष रूप से इस एक पुस्तक के लेआउट के लिए डिज़ाइन किए गए थे, उन्हें बिना संशोधन के किसी अन्य शब्दकोश पर सीधे लागू नहीं किया जा सकता है। टीम ने यह भी नोट किया कि मूल पीडीएफ में एपोस्ट्रोफी (apostrophes) के टाइपिंग के तरीके में कुछ विसंगतियाँ थीं, जो शब्दों के बीच सटीक मिलान को प्रभावित कर सकती हैं, हालांकि उन्होंने भविष्य के सुधारों के लिए मूल टेक्स्ट को सुरक्षित रखा। इसके अलावा, जबकि निष्कर्षण कोड और डेटा के सांख्यिकीय सारांश को सार्वजनिक रिलीज के लिए तैयार किया जा रहा है, 46,314 शब्दों और उनकी परिभाषाओं की पूरी सूची को अभी स्वतंत्र रूप से साझा नहीं किया जा सकता है। ऐसा इसलिए है क्योंकि मूल शब्दकोश कॉपीराइट सुरक्षित है, और शोधकर्ता अभी भी संपूर्ण सामग्री को पुनर्वितरित करने के लिए आवश्यक अनुमतियाँ प्राप्त करने पर काम कर रहे हैं। जब तक वह अनुमति नहीं मिल जाती, पूरा डेटासेट एक निजी अनुसंधान अवशेष (research artifact) बना हुआ है, हालांकि इसके निर्माण में उपयोग की गई विधियाँ दूसरों के अध्ययन और अनुकूलन के लिए उपलब्ध हैं।
इस कार्य का मूल्य इसे एक स्थिर पुस्तक से एक गतिशील उपकरण में बदलने की इसकी क्षमता में निहित है। शब्दकोश को एक संरचित प्रारूप में परिवर्तित करके, शोधकर्ताओं ने कंप्यूटरों के लिए उनके व्याकरणिक गुणों के आधार पर शब्दों को खोजने, पर्यायवाची और क्रॉस-रेफरेंस के नेटवर्क का पता लगाने और विशिष्ट शब्दों के वितरण का विश्लेषण करने को संभव बना दिया है। यह सोमाली भाषा प्रसंस्करण की हर समस्या को हल नहीं करता है, लेकिन यह उच्च-गुणवत्ता वाले, क्यूरेटेड डेटा का एक ठोस आधार प्रदान करता है। यह प्रदर्शित करता है कि मूल्यवान भाषाई ज्ञान अक्सर मुद्रित पुस्तकों में सुप्त अवस्था में रहता है, जो अनलॉक होने के लिए एक विधि की प्रतीक्षा कर रहा है। 'कामुस्का-एनएलपी' परियोजना दिखाती है कि एक सावधानीपूर्ण, नियम-आधारित दृष्टिकोण के साथ, मूल स्रोत की सूक्ष्मता और संरचना को खोए बिना इस ज्ञान को पुनः प्राप्त करना संभव है, जो उन शोधकर्ताओं, शिक्षकों और डेवलपर्स के लिए एक नया संसाधन प्रदान करता है जो सोमाली को डिजिटल युग में लाने के लिए काम कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।