Towards High-Quality Machine Translation for Kokborok: A Low-Resource Tibeto-Burman Language of Northeast India
यह शोध पत्र KokborokMT को प्रस्तुत करता है, जो कम संसाधन वाले तिब्बती-बर्मन भाषा कोकबोरोक के लिए एक उच्च-गुणवत्ता वाला न्यूरल मशीन ट्रांसलेशन सिस्टम है, जो पिछले प्रयासों की तुलना में महत्वपूर्ण BLEU स्कोर सुधार (38.56 तक) और मजबूत मानव मूल्यांकन रेटिंग प्राप्त करने के लिए एक बहु-स्रोत समानांतर कॉर्पस और फाइन-ट्यून किए गए NLLB-200 मॉडल का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुंदर, प्राचीन पुस्तकालय है जो कोकबोरोक (Kokborok) भाषा में लिखी गई किताबों से भरा है, जो उत्तर-पूर्वी भारत में लगभग 15 लाख लोगों द्वारा बोली जाती है। लंबे समय तक, डिजिटल दुनिया (कंप्यूटर और एआई) ने इस पुस्तकालय को पूरी तरह से अनदेखा कर दिया। यह इंटरनेट युग में एक भूतिया शहर की तरह था। यदि आप किसी कंप्यूटर से अंग्रेजी से कोकबोरोक में अनुवाद करने के लिए कहते, तो वह केवल निरर्थक शब्द (gibberish) देता, जिसका अर्थ लगभग 100% गलत होता।
यह शोध पत्र इस बात की कहानी है कि कैसे दो शोधकर्ताओं, बादल और बिमन ने इस भाषा को डिजिटल दुनिया से जोड़ने के लिए एक पुल (bridge) बनाने का निर्णय लिया। उन्होंने केवल एक छोटा सा पैदल पुल नहीं बनाया; उन्होंने एक राजमार्ग (highway) बनाया।
यहाँ इसका सरल विवरण दिया गया है कि उन्होंने यह कैसे किया:
1. समस्या: एक "भूतिया" भाषा
कोकबोरोक एक आधिकारिक भाषा है, लेकिन कंप्यूटर के लिए यह अदृश्य है। इसे सिखाने के पिछले प्रयास ऐसे थे जैसे किसी एक छोटी सी पुस्तिका को पढ़कर भाषा सीखने की कोशिश करना। परिणाम बहुत खराब थे (कल्पना कीजिए कि एक रोबोट "I love you" का अनुवाद "I hate the moon" के रूप में कर रहा है)। कंप्यूटरों के पास कोई "प्रशिक्षण डेटा" (training data) नहीं था—सीखने के लिए कोई उदाहरण नहीं थे।
2. रेसिपी: तीन सामग्रियों का मिश्रण
कंप्यूटर को सिखाने के लिए, शोधकर्ताओं को वाक्यों की एक विशाल 'कुकबुक' की आवश्यकता थी। चूंकि उन्हें पर्याप्त वास्तविक किताबें नहीं मिल सकीं, इसलिए उन्होंने तीन अलग-अलग सामग्रियों का उपयोग करके एक नई रेसिपी तैयार की:
- सामग्री A: पेशेवर शेफ का मेनू (SMOL Data)
उन्होंने मानव विशेषज्ञों द्वारा अनुवादित 9,000 वाक्यों का एक उच्च-गुणवत्ता वाला डेटासेट पाया। इसे एक मास्टर शेफ द्वारा तैयार किए गए शानदार भोजन की तरह समझें। यह एकदम सही है, लेकिन यह बड़ी भीड़ को खिलाने के लिए पर्याप्त नहीं है। - सामग्री B: धार्मिक पाठ (Bible Data)
उन्होंने बाइबिल से लगभग 1,700 वाक्य जोड़े। यह एक बर्तन में विशिष्ट प्रकार का सूप डालने जैसा है। यह अच्छा है, लेकिन यह केवल एक विशिष्ट "स्वाद" (धार्मिक कहानियों) को कवर करता है, इसलिए यह थोड़ा सीमित है। - सामग्री C: एआई नकलची (Synthetic Data)
यह एक जादुई ट्रिक है। उन्होंने 25,000 सरल अंग्रेजी वाक्यों (जैसे "The cat sat on the mat") को लिया और एक सुपर-स्मार्ट एआई (Gemini Flash) से उन्हें कोकबोरोक में अनुवाद करने के लिए कहा।- उपमा: कल्पना कीजिए कि आप एक बच्चे को एक नई भाषा सिखा रहे हैं। आप उसे बिल्ली का चित्र दिखाते हैं और कहते हैं, "यह एक बिल्ली है।" फिर, आप उससे इसे वापस बोलने के लिए कहते हैं। यदि वह सही बोलता है, तो आप उसे लिख लेते हैं। शोधकर्ताओं ने एक एआई "बच्चे" का उपयोग करके यह काम 25,000 बार किया जो अंग्रेजी में एकदम सटीक है और कोकबोरोक जल्दी सीख गया। इससे अभ्यास सामग्री का एक बड़ा ढेर तैयार हो गया।
3. प्रशिक्षण: रोबोट को सिखाना
उन्होंने एक पूर्व-प्रशिक्षित एआई मस्तिष्क (जिसे NLLB कहा जाता है) लिया जो पहले से ही 200 अन्य भाषाओं को जानता था, लेकिन कोकबोरोक नहीं जानता था।
- नया नाम टैग: उन्होंने एआई को एक नया नाम टैग दिया:
trp_Latn। यह रोबोट को यह बताने जैसा है: "हे, जब तुम यह टैग देखो, तो तुम कोकबोरोक बोल रहे हो।" - वर्कआउट: उन्होंने रोबोट को तीनों सामग्रियां (36,000+ वाक्य) दीं और उसे कुछ घंटों तक आगे-पीछे अनुवाद करने का अभ्यास करने दिया।
4. परिणाम: निरर्थकता से बातचीत तक
इस प्रोजेक्ट से पहले, रोबोट का अनुवाद स्कोर मूल रूप से शून्य था। प्रशिक्षण के बाद, रोबोट आश्चर्यजनक रूप से अच्छा हो गया:
- अंग्रेजी से कोकबोरोक: यह एक फेल ग्रेड से बढ़कर एक ठोस "B" या "C" स्तर पर पहुँच गया। अब यह समाचार, दैनिक बातचीत और तथ्यों का उचित सटीकता के साथ अनुवाद कर सकता था।
- कोकबोरोक से अंग्रेजी: इसने और भी बेहतर प्रदर्शन किया, "A" स्तर तक पहुँच गया। यह कोकबोरोक के एक वाक्य को ले सकता था और उसे अंग्रेजी में स्पष्ट रूप से समझा सकता था।
उन्होंने वास्तविक मनुष्यों (भाषाविदों और मूल भाषियों) से भी रोबोट का परीक्षण करवाया। उन्होंने इसे 5 में से 3.7 स्टार दिए। इसका मतलब है कि यदि आप रोबोट से आपकी कोकबोरोक बोलने वाली दादी का संदेश अनुवाद करने के लिए कहते, तो आप उनके संदेश को पूरी तरह से समझ पाते, भले ही शब्द थोड़े काव्यमय न हों।
5. एक आश्चर्यजनक खोज (एक "टूटा हुआ दिशा-सूचक यंत्र")
शोधकर्ताओं ने उनके एआई-जनरेटेड डेटा से खराब अनुवादों को छानने के लिए LaBSE नामक एक मानक उपकरण का उपयोग करने की कोशिश की। यह सोने को खोजने के लिए मेटल डिटेक्टर का उपयोग करने जैसा है।
- समस्या: मेटल डिटेक्टर ने काम नहीं किया क्योंकि कोकबोरोक उनके डिटेक्टर के डेटाबेस में नहीं था। इसने अच्छे सोने को कचरा समझ लिया और कचरे को सोना।
- सबक: उन्होंने महसूस किया कि उन भाषाओं के लिए जिन्हें एआई ने पहले कभी नहीं देखा है, आप मानक स्वचालित फिल्टरों पर भरोसा नहीं कर सकते। आपको प्रक्रिया और मनुष्यों पर भरोसा करना होगा।
यह क्यों महत्वपूर्ण है
यह शोध पत्र डिजिटल समावेशन (digital inclusion) की एक जीत है। यह साबित करता है कि बहुत कम बोलने वालों और बिना डिजिटल इतिहास वाली भाषाओं के लिए भी, हम एक नए पुल का निर्माण करने के लिए मानव विशेषज्ञता और स्मार्ट एआई टूल के मिश्रण का उपयोग कर सकते हैं।
वे अब इस नए पुस्तकालय के दरवाजे सभी के लिए खोल रहे हैं। वे कोड, डेटा और प्रशिक्षित रोबोट मॉडल को मुफ्त में जारी कर रहे, ताकि अन्य शोधकर्ता इसका उपयोग कोकबोरोक बोलने वालों को दुनिया से जुड़ने में मदद करने के लिए, या अन्य विस्मृत भाषाओं के लिए इसी तरह के पुल बनाने के लिए कर सकें।
संक्षेप में: उन्होंने एक ऐसी भाषा ली जिसे दुनिया भूल गई थी, उसे मानव और एआई-जनरेटेड उदाहरणों का भारी आहार दिया, और एक कंप्यूटर को इतना धाराप्रवाह बोलना सिखाया कि वह वास्तविक जीवन में उपयोगी हो सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।