ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition
यह शोध पत्र ANCHOLIK-NER को प्रस्तुत करता है, जो पांच बांग्ला क्षेत्रीय बोलियों में नाम इकाई पहचान (Named Entity Recognition) के लिए पहला बेंचमार्क डेटासेट है, और बोली-जागरूक एनएलपी (NLP) प्रणालियों को विकसित करने के लिए एक मौलिक कदम स्थापित करने हेतु इस पर ट्रांसफार्मर-आधारित मॉडलों का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी समझना सिखाने की कोशिश कर रहे हैं। यदि आप रोबोट को "मानक अंग्रेजी" (Standard English) में एक कहानी सुनाते हैं, तो वह बहुत अच्छा काम करता है। लेकिन अगर आप उसे वही कहानी एक भारी स्कॉटिश लहजे (accent), अमेरिकी दक्षिणी बोली (Southern US drawl), या किसी विशिष्ट न्यूयॉर्क स्लैंग में सुनाते हैं, तो रोबोट भ्रमित हो सकता है। उसे लग सकता है कि "y'all" कोई नाम है, या वह इस बात को मिस कर सकता है कि किसी विशेष संदर्भ में "बिसकिट" (biscuit) का अर्थ कोई व्यक्ति है।
यह शोध पत्र बिल्कुल यही काम करने के बारे में है, लेकिन बांग्लादेश की बांग्ला भाषा के लिए।
यहाँ इस शोध पत्र का सरल विवरण, कुछ उपमाओं (analogies) के साथ दिया गया है:
1. समस्या: "एक ही आकार सबके लिए" वाला रोबोट (The "One-Size-Fits-All" Robot)
लंबे समय से, कंप्यूटर वैज्ञानिक "नेम्ड एंटिटी रिकग्निशन" (NER) सिस्टम बनाते रहे हैं। NER को एक रोबोट की क्षमता के रूप में समझें जो एक वाक्य पढ़ सकता है और महत्वपूर्ण चीजों की ओर अपनी उंगली दिखाकर कह सकता है, "वह एक व्यक्ति है," "वह एक शहर है," या "वह एक भोजन है।"
- वर्तमान स्थिति: वैज्ञानिकों ने "मानक बांग्ला" (वह औपचारिक भाषा जिसका उपयोग स्कूलों और समाचारों में किया जाता है) के लिए उत्कृष्ट रोबोट बनाए।
- खराबी (The Glitch): बांग्लादेश अद्भुत क्षेत्रीय बोलियों (जैसे चटगाँव, सिलहट, बरिशाल आदि) से भरा हुआ है। ये बोलियाँ आइसक्रीम के विभिन्न स्वादों की तरह हैं; वे बांग्ला की तरह ही स्वाद देती हैं, लेकिन उनके घटक (शब्द, व्याकरण, उच्चारण) पूरी तरह से अलग हैं।
- समस्या: मौजूदा रोबोट केवल "मानक बांग्ला" (वैनिला आइसक्रीम) पर प्रशिक्षित थे। जब उन्होंने "चटगाँव बांग्ला" (स्पाइसी मैंगो आइसक्रीम) को पढ़ने की कोशिश की, तो वे खो गए। वे यह नहीं पहचान सके कि कोई शब्द किसी शहर का नाम है या सिर्फ एक रैंडम शोर।
2. समाधान: एक "बोली शब्दकोश" बनाना (ANCHOLIK-NER)
लेखकों ने रोबोट को सब कुछ समझने के लिए मजबूर करना बंद करने और इसके बजाय एक बेहतर प्रशिक्षण नियमावली (training manual) बनाने का निर्णय लिया। उन्होंने एक नया डेटासेट बनाया जिसे ANCHOLIK-NER कहा जाता है।
- यह क्या है? यह 17,405 वाक्यों का एक विशाल पुस्तकालय है।
- ट्विस्ट: ये वाक्य केवल एक भाषा में नहीं हैं। ये पाँच अलग-अलग क्षेत्रीय बोलियों में हैं: सिलहट, चटगाँव, बरिशाल, नोआखली और मयमेंसिंग।
- जादू: उन्होंने केवल कॉपी-पेस्ट नहीं किया। उन्होंने एक वाक्य को मानक बांग्ला में लिया और स्थानीय मूल भाषियों (native speakers) से इसे स्थानीय बोली में अनुवाद करवाया, यह सुनिश्चित करते हुए कि यदि मूल वाक्य में "ढाका" का उल्लेख था, तो बोली वाले संस्करण में भी ढाका के स्थानीय शब्द का उल्लेख हो। उन्होंने सुनिश्चित किया कि "व्यक्ति" और "स्थान" के टैग बिल्कुल सटीक रूप से संरेखित (aligned) रहें, जैसे एक सटीक अनुवाद।
उपमा (Analogy): कल्पना कीजिए कि आपके पास एक शहर का नक्शा है। पुराना नक्शा केवल मुख्य राजमार्ग दिखाता है। लेखकों ने एक नया नक्शा बनाया जिसमें पाँच अलग-अलग जिलों के सभी छोटे-छोटे रास्ते, स्थानीय शॉर्टकट और मोहल्लों के संकेत भी शामिल हैं। अब, रोबोट के पास एक ऐसा जीपीएस (GPS) है जो राजमार्गों के बजाय वास्तव में मोहल्लों में भी काम करता है।
3. प्रक्रिया: सफाई और लेबलिंग (Cleaning and Labeling)
इस पुस्तकालय का निर्माण आसान नहीं था। यह एक विशाल, बिखरे हुए अटारी (attic) को व्यवस्थित करने जैसा था।
- बिखराव (The Mess): कच्चे डेटा में टाइपिंग की गलतियाँ, मिश्रित भाषाएँ और अजीब विराम चिह्न थे।
- सफाई: उन्होंने कचरे को हटाने और शब्दों को ठीक से अलग करने के लिए कंप्यूटर स्क्रिप्ट (जैसे एक डिजिटल वैक्यूम क्लीनर) का उपयोग किया।
- मानवीय स्पर्श: उन्होंने 10 मूल भाषियों (विशेषज्ञों) को नियुक्त किया जिन्होंने प्रत्येक वाक्य को पढ़ा और महत्वपूर्ण शब्दों को टैग किया।
- उदाहरण: मानक बांग्ला में, "ढाका" एक स्थान है। सिलहटी बोली में, शब्द सुनने में अलग हो सकता है, लेकिन वह अभी भी एक स्थान ही है। इंसानों ने सुनिश्चित किया कि रोबोट यह सीख सके।
- गुणवत्ता जांच: उन्होंने यह सुनिश्चित करने के लिए कि वे सहमत हैं, दो लोगों से एक ही वाक्य को लेबल करवाया। यदि वे असहमत थे, तो उन्होंने उसे ठीक किया। इससे यह सुनिश्चित हुआ कि "प्रशिक्षण नियमावली" एकदम सटीक है।
4. परीक्षण: सबसे अच्छा रोबोट कौन सा है?
एक बार जब उन्होंने पुस्तकालय बना लिया, तो उन्होंने यह देखने के लिए तीन अलग-अलग "रोबोट दिमाग" (AI मॉडल्स) का परीक्षण किया कि कौन इस नए डेटा से सबसे अच्छी तरह सीख सकता है:
- Bangla BERT: एक रोबोट जिसे विशेष रूप से बांग्ला पर प्रशिक्षित किया गया है।
- Bangla BERT Base: उपरोक्त का एक थोड़ा हल्का संस्करण।
- BERT Multilingual: एक रोबोट जिसे कई भाषाओं (जैसे एक बहुभाषी व्यक्ति) पर प्रशिक्षित किया गया है।
परिणाम:
- विजेता: Multilingual Robot (BERT Base Multilingual Cased) समग्र रूप रूप से सबसे स्मार्ट साबित हुआ। इसने मयमेंसिंग बोली में उच्चतम स्कोर (लगभग 82.6%) प्राप्त किया। यह एक ऐसे यात्री की तरह था जिसने कई देशों की यात्रा की है और स्थानीय रीति-रिवाजों के अनुसार खुद को जल्दी ढाल सकता है।
- उपविजेता: Bangla BERT रोबोट बरिशाल और मयमेंसिंग में बहुत मजबूत था।
- संघर्ष: चटगाँव बोली सभी रोबोट्स के लिए सबसे कठिन थी। यह एक बहुत ही भारी और तेज़ बोली की तरह है जिसे डिकोड करने में सबसे स्मार्ट रोबोट्स को भी कठिनाई हुई। उन्होंने वहां अधिक गलतियाँ कीं और कुछ शब्दों को भ्रमित कर दिया।
5. यह क्यों मायने रखता है?
आप पूछ सकते हैं, "हमें बोलियों की परवाह क्यों करनी चाहिए?"
- समावेशिता (Inclusivity): अभी, यदि आप चटगाँव या सिलहट में कोई बांग्ला ऐप उपयोग करते हैं, तो हो सकता है कि वह आपको समझ न पाए। यह शोध ऐसे ऐप बनाने में मदद करता है जो सभी को समझ सकें, न कि केवल उन लोगों को जो भाषा के "पाठ्यपुस्तक" संस्करण को बोलते हैं।
- वास्तविक दुनिया: लोग सोशल मीडिया, स्थानीय समाचारों और अस्पतालों में बोलियों में बात करते हैं। यदि एक डॉक्टर का AI सहायक स्थानीय बोली को नहीं समझता है, तो वह मरीज के स्थान या लक्षणों के बारे में महत्वपूर्ण विवरण मिस कर सकता है।
निष्कर्ष (The Bottom Line)
लेखकों ने केवल एक बेहतर रोबोट नहीं बनाया; उन्होंने एक सेतु (bridge) बनाया है। उन्होंने पहला "शब्दकोश" बनाया है जो कंप्यूटर को बांग्लादेश की समृद्ध, विविध और रंगीन बोलियों को समझना सिखाता है।
भविष्य की योजनाएं:
लेखक स्वीकार करते हैं कि काम अभी खत्म नहीं हुआ है। "चटगाँव" बोली अभी भी रोबोट्स को थोड़ा भ्रमित करती है। भविष्य में, वे चाहते हैं कि:
- वे इसमें और अधिक बोलियाँ (जैसे खुलना या राजशाही) जोड़ें।
- वे रोबोट्स को कठिन लहजों को संभालने के लिए और भी बेहतर तरीके सिखाएं।
- वे यह सुनिश्चित करें कि बोलने के तरीके के कारण कोई भी डिजिटल दुनिया से बाहर न रह जाए।
संक्षेप में: उन्होंने एक ऐसी भाषा को, जिसे AI की दुनिया में अनदेखा किया जा रहा था, सुर्खियों में लाया और मशीनों को लोगों की वास्तविक आवाज़ों को सुनना सिखाया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।