NE-BERT: A Multilingual Language Model for Nine Northeast Indian Languages

तकनीकी सारांश: NE-BERT

समस्या विवरण

आधुनिक प्राकृतिक भाषा प्रसंस्करण (NLP) प्रणालियाँ उच्च-संसाधन और निम्न-संसाधन भाषाओं के बीच प्रदर्शन में एक महत्वपूर्ण अंतर प्रदर्शित करती हैं, जो डिजिटल असमानताओं को सुदृढ़ करती हैं। mBERT जैसे सामान्य बहुभाषी मॉडल और IndicBERT-V2 जैसे क्षेत्रीय मॉडल व्यापक कवरेज प्रदान करते हैं, फिर भी वे पूर्वोत्तर भारत की स्वदेशी भाषाओं की सेवा करने में विफल रहते हैं। यह क्षेत्र, जो 200 से अधिक विशिष्ट भाषाओं का घर है, अनूठी चुनौतियों का सामना कर रहा है जिसमें अत्यधिक संसाधन अभाव (कुछ भाषाओं में 1,000 से भी कम डिजिटाइज्ड वाक्य हैं), योगात्मक (agglutinative) रूपात्मक संरचनाएं, और लिपि विविधता (लैटिन और बंगाली-असमिया) शामिल हैं। मौजूदा मॉडल अक्सर इन संदर्भों में "शब्दावली विखंडन" (vocabulary fragmentation) से ग्रस्त होते हैं, जहाँ दुर्लभ शब्दों को उप-इष्टतम उप-शब्द इकाइयों (subword units) में तोड़ दिया जाता है, जिससे इन्फरेंस दक्षता और अर्थ संबंधी सुसंगतता गंभीर रूप से बाधित होती है।

कार्यप्रणाली

लेखक NE-BERT प्रस्तुत करते हैं, जो ModernBERT आर्किटेक्चर पर आधारित एक डोमेन-विशिष्ट बहुभाषी एनकोडर मॉडल है, जिसे विशेष रूप से नौ पूर्वोत्तर भारतीय भाषाओं और दो एंकर भाषाओं (हिंदी और अंग्रेजी) के लिए डिज़ाइन किया गया है।

1. डेटासेट निर्माण

प्रशिक्षण कॉर्पस लगभग 8.3 मिलियन वाक्यों से बना है जिसमें शामिल हैं:

• 9 पूर्वोत्तर भारतीय भाषाएँ: असमिया, गारो, खासी, मेइतेई, मिज़ो, नागा, न्यिशी, पनार और कोकबोरोक।
• 2 एंकर भाषाएँ: हिंदी और अंग्रेजी।
• स्रोत: डेटा को सरकारी दस्तावेजों, समाचार अभिलेखागारों, शैक्षिक सामग्रियों और सांस्कृतिक ग्रंथों से क्यूरेट किया गया था। न्यिशी और कोकबोरोक के लिए विशिष्ट समानांतर कॉर्पेटा WMT 2025 साझा कार्य (Shared Task) से प्राप्त किए गए थे।

2. भारित नमूनाकरण रणनीति (Weighted Sampling Strategy)

डेटा असंतुलन (Pnar के लिए 1,002 वाक्यों से लेकर हिंदी के 3.4 मिलियन तक) को संबोधित करने के लिए, लेखक ने टोकेनाइज़र प्रशिक्षण के दौरान आक्रामक भारित नमूनाकरण (aggressive weighted sampling) का उपयोग किया:

• अत्यधिक निम्न-संसाधन भाषाओं (जैसे, पनार, कोकबोरोक) को शब्दावली प्रतिनिधित्व सुनिश्चित करने और वर्ण-स्तर के विखंडन को रोकने के लिए 100× अपसैंपलिंग भार दिया गया।
• एंकर भाषाओं को कम भार दिया गया (हिंदी 0.05×, अंग्रेजी 0.2×) ताकि पूर्वोत्तर भाषाओं की शब्दावली को प्राथमिकता दी जा सके और क्रॉस-लिंगुअल ट्रांसफर क्षमताओं को बनाए रखा जा सके।
• नोट: ये आभासी गणनाएँ केवल टोकेनाइज़र प्रशिक्षण के लिए लागू थीं; वास्तविक मास्कड लैंग्वेज मॉडलिंग (MLM) प्रशिक्षण में ओवरफिटिंग को रोकने के लिए कच्चे वाक्य काउंट का उपयोग किया गया था।

3. टोकेनाइजेशन

यह शोध पत्र सामान्य Byte-Pair Encoding (BPE) के बजाय एक कस्टम SentencePiece Unigram टोकेनाइज़र (50,368 टोकन) का उपयोग करता है।

• तर्क: BPE की लालची मर्जर (greedy merging) रणनीति की तुलना में Unigram का संभाव्यता-आधारित दृष्टिकोण योगात्मक भाषाओं की भाषाई संरचनाओं को बेहतर ढंग से संरक्षित करता है।
• कॉन्फ़िगरेशन: टोकेनाइज़र को भारित आभासी गणनाओं पर प्रशिक्षित किया गया था ताकि यह सुनिश्चित हो सके कि निम्न-संसाधन भाषाओं के सामान्य शब्द एकल टोकन के रूप में बनें, जिससे अनुक्रम लंबाई (sequence length) कम हो और अर्थ संबंधी सुसंगतता में सुधार हो।

4. मॉडल आर्किटेक्चर और प्रशिक्षण

• बेस: ModernBERT-base (Warner et al., 2025) जिसमें 149M पैरामीटर (22 परतें, 768 छिपे हुए आयाम, 12 अटेंशन हेड्स) हैं।
• विशेषताएं: रोटरी पोजीशन एम्बेडिंग्स (RoPE), फ्लैश अटेंशन 2, और थ्रूपुट सुधार के लिए अनपैडिंग।
• प्रशिक्षण: 15% मास्किंग संभावना और 10 युगों (epochs) के दौरान डायनेमिक मास्किंग के साथ MLM का उपयोग करके प्रशिक्षित किया गया।
• दक्षता: मॉडल को एक एकल NVIDIA A40 GPU (48GB VRAM) पर ~17 घंटों के लिए $7.31 की लागत पर प्रशिक्षित किया गया।

मुख्य परिणाम

परप्लेक्सिटी प्रदर्शन (Perplexity Performance)

NE-BERT का मूल्यांकन IndicBERT-V2, MuRIL और mBERT के विरुद्ध होल्ड-आउट टेस्ट सेट (प्रति भाषा 500 वाक्य) पर किया गया।

• कुल प्रदर्शन: NE-BERT ने 9 पूर्वोत्तर भाषाओं में औसत परप्लेक्सिटी 2.21 प्राप्त की, जो IndicBERT-V2 (35.29) और MuRIL (16.88) से काफी बेहतर है, और mBERT (2.76) से भी आगे है।
• औसत सुधार: NE-BERT ने 9 पूर्वोत्तर भारतीय भाषाओं में क्रमशः IndicBERT-V2 और MuRIL की तुलना में 15.97× और 7.64× कम औसत परप्लेक्सिटी प्राप्त की।
• अत्यधिक निम्न-संसाधन लाभ: सबसे नाटकीय सुधार उन भाषाओं में देखे गए जिनमें न्यूनतम डेटा था। पनार (1,002 वाक्य) और न्यिशी (55,870 वाक्य) के लिए, NE-BERT ने परप्लेक्सिटी को घटाकर क्रमशः 2.92 और 4.33 कर दिया, जबकि IndicBERT-V2 ने 66.92 (पनार) और 187.20 (न्यिशी) की परप्लेक्सिटी के साथ विनाशकारी विफलता प्रदर्शित की।
• उच्च-संसाधन प्रदर्शन: विकिपीडिया कवरेज वाली भाषाओं (असमिया, मेइतेई) पर, mBERT प्रतिस्पर्धी बना रहा, लेकिन NE-BERT ने फिर भी बेहतर या तुलनीय परिणाम प्राप्त किए।

टोकेनाइजेशन दक्षता

• फर्टिलिटी (Fertility): NE-BERT ने पूर्वोत्तर भाषाओं के लिए औसत टोकेनाइजेशन फर्टिलिटी 1.68 टोकन/शब्द प्राप्त की, जबकि IndicBERT-V2 के लिए 2.08, MuRIL के लिए 2.14 और mBERT के लिए 2.51 थी। यह mBERT की तुलना में 1.50× सुधार है।
• बिट्स पर कैरेक्टर (BPC): NE-BERT ने औसत BPC 0.347 प्राप्त किया, जो IndicBERT-V2 (1.497) और MuRIL (1.271) की तुलना में बेहतर संपीड़न दक्षता (compression efficiency) प्रदर्शित करता है।

डाउनस्ट्रीम मूल्यांकन

खासी, मिज़ो और नागामीज़ में पार्ट-ऑफ-स्पीच (POS) टैगिंग कार्यों में:

• NE-BERT ने औसत सटीकता 82.4% प्राप्त की, जो mBERT (73.3%) से 9.1 प्रतिशत अंक और IndicBERT-V2 (59.2%) से 23.2 प्रतिशत अंक बेहतर है।

महत्व और दावे

शोध पत्र का तर्क है कि NE-BERT यह सिद्ध करता है कि उपयुक्त टोकेनाइजेशन के साथ डोमेन-विशिष्ट मॉडल 1,000 प्रशिक्षण वाक्यों जैसे न्यूनतम डेटा के साथ भी प्रभावी ढंग से अत्यंत निम्न-संसाधन भाषाओं की सेवा कर सकते हैं।

• स्केल के ऊपर शब्दावली अनुकूलन: परिणाम इस धारणा को चुनौती देते हैं कि निम्न-संसाधन प्रदर्शन के लिए केवल मॉडल के आकार को बढ़ाना पर्याप्त है। लेखक का तर्क है कि इन विशिष्ट भाषाई संदर्भों के लिए कच्चे पैरामीटर काउंट की तुलना में सावधानीपूर्वक शब्दावली अनुकूलन (भारित Unigram टोकेनाइजेशन के माध्यम से) और लक्षित प्रशिक्षण डेटा अधिक महत्वपूर्ण हैं।
• लागत-प्रभावशीलता: एक एकल GPU पर $10 से कम में एक प्रतिस्पर्धी मॉडल को सफलतापूर्वक प्रशिक्षित करना, दुनिया भर की कम प्रतिनिधित्व वाली भाषाओं के लिए भाषा मॉडल विकसित करने के लिए एक व्यावहारिक ब्लूप्रिंट प्रदान करता है।
• डिजिटल समावेशन: "बहुभाषात्मकता के अभिशाप" (curse of multilinguality) और शब्दावली विखंडन को संबोधित करके, NE-BERT का लक्ष्य पूर्वोत्तर भारतीय समुदायों के लिए NLP अनुसंधान और डिजिटल समावेशन का समर्थन करना है, जो मुख्यधारा के NLP अनुसंधान में काफी हद तक अनुपस्थित रहे हैं।

लेखक पुनरुत्पादकता (reproducibility) और समुदाय-संचालित अनुप्रयोगों को सुगम बनाने के लिए मॉडल, टोकेनाइज़र, प्रशिक्षण कॉर्पस और टेस्ट सेट को CC-BY-4.0 लाइसेंस के तहत स्पष्ट रूप से जारी करते हैं। उन्होंने सीमाओं को भी स्वीकार किया है, जिसमें एनकोडर-ओनली आर्किटेक्चर (जो जनरेशन कार्यों के लिए अनुपयुक्त है) और विविध कार्यों एवं सभी नौ भाषाओं के लिए आगे के डाउनस्ट्रीम मूल्यांकन की आवश्यकता शामिल है।