Naamah: A Large Scale Synthetic Sanskrit NER Corpus via DBpedia Seeding and LLM Generation
यह शोध पत्र नामह (Naamah) को प्रस्तुत करता है, जो 1 लाख से अधिक वाक्यों का एक बड़े पैमाने पर सिंथेटिक संस्कृत नामधारी इकाई पहचान (Named Entity Recognition) कॉर्पस है, जिसे DBpedia इकाई निष्कर्षण को 24B पैरामीटर वाले हाइब्रिड रीजनिंग मॉडल के साथ संयोजित करके निर्मित किया गया है, जिसका उपयोग फिर बहुभाषी और इंडिक-विशिष्ट ट्रांसफॉर्मर आर्किटेक्चर के बेंचमार्किंग के लिए किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास संस्कृत की पुस्तकों का एक विशाल, प्राचीन पुस्तकालय है। ये पुस्तकें देवताओं, राजाओं, शहरों और संगठनों के नामों से भरी हुई हैं। कंप्यूटर को इन पुस्तकों को समझने के लिए प्रशिक्षित करने हेतु, आपको उसे हजारों उदाहरण दिखाने होंगे जहाँ इन नामों को हाइलाइट किया गया हो और लेबल किया गया हो (जैसे कि "यह एक व्यक्ति है," "यह एक स्थान है")।
समस्या क्या है? अभी तक किसी ने उन लेबलों को लिखा नहीं है। इन प्राचीन ग्रंथों को मैन्युअल रूप से पढ़ना और लेबल करना वैसा ही है जैसे आँखों पर पट्टी बाँधकर घास के ढेर में सुई ढूँढना; इसमें विशेषज्ञों को वर्षों लग जाते हैं और यह बहुत खर्चीला है।
यह शोध पत्र नाामह (Naamah) नामक एक समाधान पेश करता है (संस्कृत साहित्य के एक पात्र के नाम पर, हालाँकि शोध पत्र स्पष्ट रूप से नाम का अर्थ नहीं समझाता, यह परियोजना के शीर्षक के रूप में कार्य करता है)। उन्होंने इसे कैसे बनाया और उन्हें क्या मिला, इसका सरल विवरण यहाँ दिया गया है:
1. रेसिपी: उन्होंने डेटा कैसे बनाया
इंसानों को किताबें लेबल करने के लिए काम पर रखने के बजाय, लेखकों ने डेटा "पकाने" के लिए एक "रोबोट शेफ" बनाया।
- सामग्री (DBpedia): उन्होंने एक विशाल डिजिटल विश्वकोश से शुरुआत की जिसे DBpida कहा जाता है। उन्होंने वास्तविक नामों—लोगों, स्थानों और संगठनों की एक सूची निकाली। यह सुनिश्चित करने के लिए कि रोबोट केवल प्रसिद्ध नामों को रट न ले, उन्होंने इसमें आधुनिक विदेशी नामों (जैसे "Giacomo Libera") को संस्कृत लिपि में मिला दिया। इसने कंप्यूटर को संस्कृत के व्याकरण के नियमों को सीखने के लिए मजबूर किया, न कि केवल प्रसिद्ध चेहरों को पहचानने के लिए।
- शेफ (AI मॉडल): उन्होंने एक बहुत ही स्मार्ट, 24-बिलियन-पैरामीटर वाला AI मॉडल (एक "हाइब्रिड रीजनिंग मॉडल") उपयोग किया, जिसे विशेष रूप से भारतीय भाषाओं को समझने के लिए प्रशिक्षित किया गया था।
- पकाने की प्रक्रिया: AI को कठोर, पूर्व-लिखित वाक्य टेम्पलेट्स (जैसे "राम वन गए") का उपयोग करने के लिए मजबूर करने के बजाय, उन्होंने AI को इन नामों को स्वाभाविक रूप से वाक्यों में बुनने के लिए कहा। इससे AI को हजारों अद्वितीय, व्याकरणिक रूप से सही वाक्य बनाने की अनुमति मिली जहाँ ये नाम विभिन्न व्याकरणिक रूपों में दिखाई देते हैं (जो संस्कृत में बहुत सामान्य है)।
- गुणवत्ता नियंत्रण: उन्होंने स्पष्ट गलतियों को पकड़ने के लिए आउटपुट को एक फिल्टर से गुजारा। परिणाम क्या रहा? 102,942 वाक्यों का "सिल्वर स्टैंडर्ड" डेटा। "सिल्वर" का अर्थ है कि यह एकदम सटीक (गोल्ड) नहीं है, लेकिन यह एक कंप्यूटर को प्रभावी ढंग से प्रशिक्षित करने के लिए पर्याप्त उच्च गुणवत्ता वाला है।
2. प्रयोग: दो अलग-अलग छात्र
यह परीक्षण करने के लिए कि क्या यह नया डेटासेट काम करता है, उन्होंने दो अलग-अलग कंप्यूटर मॉडलों को इन नामों को खोजने के लिए सिखाया:
- विशाल बहुभाषी छात्र (XLM-RoBERTa): यह एक विशाल मॉडल है जो कई भाषाएँ बोल सकता है। यह उस छात्र की तरह है जिसने सब कुछ थोड़ा-थोड़ा पढ़ा है लेकिन वह संस्कृत का विशेषज्ञ नहीं है।
- लघु विशेषज्ञ (IndicBERTv2): यह एक छोटा, हल्का मॉडल है जिसे विशेष रूप से भारतीय भाषाओं के लिए डिज़ाइन किया गया है। यह उस छात्र की तरह है जिसने अपना पूरा जीवन इस क्षेत्र की विशिष्ट बोलियों और लिपियों का अध्ययन करने में बिताया है।
3. परिणाम: आकार ही सब कुछ नहीं है
जब उन्होंने दोनों छात्रों का इस नए डेटासेट पर परीक्षण किया, तो विशेषज्ञ (IndicBERTv2) जीत गया, भले ही वह बहुत छोटा था।
- स्कोर: विशेषज्ञ का स्कोर 0.96 था, जबकि विशाल बहुभाषी छात्र का स्कोर 0.95 था।
- असली कारण (द "फ्रैक्चर" समस्या): शोध पत्र में एक दिलचस्प कारण मिला कि विशाल मॉडल क्यों हार गया। संस्कृत के शब्द अक्सर गोंद की तरह आपस में जुड़ जाते हैं (एक विशेषता जिसे संधि कहा जाता है)।
- कल्पना कीजिए कि "कुरुक्षेत्र में" के लिए शब्द एक लंबा, जुड़ा हुआ शब्द है।
- विशेषज्ञ ने पूरे शब्द को देखा और सही ढंग से कहा, "यह एक स्थान है।"
- विशाल मॉडल ने शब्द को टुकड़ों में काटने की कोशिश की क्योंकि उसका शब्दकोश संस्कृत के लिए नहीं बना था। उसने पहले हिस्से को एक "स्थान" के रूप में देखा, लेकिन उसके छोटे से अंत वाले हिस्से को एक अलग, भ्रमित करने वाले शब्द के रूप में देखा, जिसे उसने गलत तरीके से "संगठन" होने का अनुमान लगाया।
उपमा: यह एक ऐसे वाक्य को पढ़ने जैसा है जहाँ शब्दों के बीच के स्थान (spaces) मिटा दिए गए हों। विशेषज्ञ भाषा को इतनी अच्छी तरह जानता है कि वह अनुमान लगा सकता है कि शब्द कहाँ टूटते हैं। विशाल मॉडल, जो अंग्रेजी के स्पेस का अभ्यस्त है, भ्रमित हो जाता है और शब्दों को गलत जगहों से विभाजित कर देता है, जिससे गलतियाँ होती हैं।
4. निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि संस्कृत जैसी प्राचीन, जटिल भाषाओं के लिए:
- सिंथेटिक डेटा काम करता है: यदि आप इसे सावधानी से करते हैं, तो आप प्रशिक्षण डेटा उत्पन्न करने के लिए AI का उपयोग कर सकते हैं, जिससे हजारों घंटों की मैन्युअल मानवीय लेबलिंग की आवश्यकता बच जाती है।
- सबसे बड़े उपकरण से अधिक सही उपकरण मायने रखता: एक छोटा मॉडल जो विशिष्ट लिपि और व्याकरण को समझता है (IndicBERTv2), एक विशाल, सामान्य मॉडल (XLM-RoBERTa) की तुलना में बेहतर प्रदर्शन करता है क्योंकि वह शब्दों को गलत तरीके से नहीं तोड़ता है।
संक्षेप में, उन्होंने संस्कृत नाम-खोजने के लिए एक विशाल, AI-जनित प्रशिक्षण नियमावली बनाई, और उन्होंने सिद्ध किया कि एक विशिष्ट, छोटा कंप्यूटर मस्तिष्क इस प्राचीन भाषा को पढ़ने के लिए एक विशाल, सामान्य मस्तिष्क की तुलना में बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।