ملخص تقني: NE-BERT

بيان المشكلة

تُظهر أنظمة معالجة اللغات الطبيعية (NLP) الحديثة تفاوتًا كبيرًا في الأداء بين اللغات ذات الموارد العالية واللغات ذات الموارد المنخفضة، مما يعزز عدم المساواة الرقمية. وبينما توفر النماذج متعددة اللغات العامة مثل mBERT والنماذج الإقليمية مثل IndicBERT-V2 تغطية واسعة، إلا أنها تفشل في خدمة لغات سكان الأصل في شمال شرق الهند بشكل كافٍ. يضم هذا الإقليم أكثر من 200 لغة متميزة، ويواجه تحديات فريدة تشمل الندرة الشديدة للموارد (بعض اللغات لديها أقل من 1,000 جملة مرقمنة)، والبنى الصرفية التجميعية (agglutinative)، وتنوع الكتابة (اللاتينية والبنغالية-الأسمرية). غالبًا ما تعاني النماذج الحالية من "تجزئة المفردات" في هذه السياقات، حيث يتم تقسيم الكلمات النادرة إلى وحدات فرعية غير مثالية، مما يؤدي إلى تدهور كفاءة الاستدلال والتماسك الدلالي.

المنهجية

يقدم المؤلف NE-BERT، وهو نموذج ترميز (encoder) متعدد اللغات متخصص في مجال معين يعتمد على بنية ModernBERT، مصمم خصيصًا لتسع لغات من شمال شرق الهند ولغتين مرجعيتين (الهندية والإنجليزية).

1. بناء مجموعة البيانات

تتكون مجموعة بيانات التدريب من حوالي 8.3 مليون جملة تغطي:

• 9 لغات من شمال شرق الهند: الآسامية، الغارو، الخاسي، الميتي، الميزو، الناغا، النييشي، الپنار، والكوكروبورك.
• لغتان مرجعيتان: الهندية والإنجليزية.
• المصادر: تم تجميع البيانات من الوثائق الحكومية، وأرشيفات الأخبار، والمواد التعليمية، والنصوص الثقافية. تم الحصول على مجموعات بيانات متوازية محددة للغتي النييشي والكوكروبورك من مهمة WMT 2025 المشتركة.

2. استراتيجية أخذ العينات الموزونة

لمعالجة عدم التوازن الشديد في البيانات (الذي يتراوح من 1,002 جملة للغة الپنار إلى 3.4 مليون للهندية)، استخدم المؤلف أخذ عينات موزون مكثف أثناء تدريب المحلل (tokenizer):

• حصلت اللغات ذات الموارد المنخفضة للغاية (مثل الپنار والكوكروبكورك) على وزن زيادة (upsampling) بمقدار 100 ضعف لضمان التمثيل الكافي للمفردات ومنع التجزئة على مستوى الحروف.
• تم خفض وزن اللغات المرجعية (الهندية 0.05×، الإنجليزية 0.2×) لإعطاء الأولوية لمفردات لغات شمال شرق الهند مع الحفاظ على قدرات النقل عبر اللغات.
• ملاحظة: طبقت هذه الأعداد الافتراضية فقط على تدريب المحلل؛ أما تدريب نمذجة اللغة المقنعة (MLM) الفعلي فقد استخدم أعداد الجمل الخام لمنع الإفراط في التخصيص (overfitting).

3. الترميز (Tokenization)

يستخدم البحث محلل SentencePiece Unigram (50,368 رمزًا) بدلاً من طريقة Byte-Pair Encoding (BPE) الأكثر شيوعًا.

• السبب: النهج الاحتمالي لـ Unigram يحافظ بشكل أفضل على البنى اللغوية للغات التجميعية مقارنة باستراتيجية الدمج الجشعة لـ BPE.
• الإعدادات: تم تدريب المحلل على الأعداد الافتراضية الموزونة لضمان تشكيل الكلمات الشائعة في اللغات ذات الموارد المنخفضة كرموز مفردة، مما يقلل طول التسلسل ويحسن التماسك الدلالي.

4. بنية النموذج والتدريب

• الأساس: ModernBERT-base (Warner et al., 2025) بـ 149 مليون معلمة (22 طبقة، بُعد مخفي 768، 12 رأس انتباه).
• الميزات: تضمينات الموضع الدوارة (RoPE)، وانتباه فلاش 2 (Flash Attention 2)، وإزالة الحشو (unpadding) لتحسين الإنتاجية.
• التدريب: تم التدريب باستخدام MLM باحتمالية قناع بنسبة 15% وقناع ديناميكي على مدار 10 حقب (epochs).
• الكفاءة: تم تدريب النموذج على وحدة معالجة رسومات واحدة من نوع NVIDIA A40 (48 جيجابايت من ذاكرة VRAM) لمدة ~17 ساعة بتكلفة 7.31 دولار.

النتائج الرئيسية

أداء الارتباك (Perplexity)

تم تقييم NE-BERT على مجموعات اختبار محجوزة (500 جملة لكل لغة) مقابل IndicBERT-V2 و MuRIL و mBERT.

• الأداء العام: حقق NE-BERT متوسط ارتباك قدره 2.21 عبر لغات شمال شرق الهند التسع، متفوقًا بشكل كبير على IndicBERT-V2 (35.29) و MuRIL (16.88)، ومتجاوزًا mBERT (2.76).
• التحسن المتوسط: حقق NE-BERT انخفاضًا في متوسط الارتباك بمقدار 15.97× و 7.64× على التوالي مقارنة بـ IndicBERT-V2 و MuRIL عبر لغات شمال شرق الهند التسع.
• مكاسب الموارد المنخفضة للغاية: لوحظت التحسينات الأكثر دراماتيكية في اللغات ذات البيانات الدنيا. ففي لغة الپنار (1,002 جملة) و النييشي (55,870 جملة)، خفض NE-BERT الارتباك إلى 2.92 و 4.33 على التوالي، بينما أظهر IndicBERT-V2 فشلاً كارثيًا بارتفاع الارتباك إلى 66.92 و 187.20.
• أداء الموارد العالية: في اللغات ذات التغطية الواسعة لويكيبيديا (الآسامية، الميتي)، ظل mBERT منافسًا، لكن NE-BERT حقق نتائج متفوقة أو مماثلة.

كفاءة الترميز

• الخصوبة (Fertility): حقق NE-BERT متوسط خصوبة ترميز قدره 1.68 رمز/كلمة للغات شمال شرق الهند، مقارنة بـ 2.08 لـ IndicBERT-V2، و 2.14 لـ MuRIL، و 2.51 لـ mBERT. وهذا يمثل تحسنًا قدره 1.50× عن mBERT.
• البت لكل حرف (BPC): حقق NE-BERT متوسط BPC قدره 0.347، مما أظهر كفاءة ضغط متفوقة مقارنة بـ IndicBERT-V2 (1.497) و MuRIL (1.271).

التقييم في المهام اللاحقة

في مهام تحديد أجزاء الكلام (POS tagging) عبر لغات الخاسي، والميزو، والناجاميسي:

• حقق NE-BERT متوسط دقة قدره 82.4%، متفوقًا على mBERT (73.3%) بفارق 9.1 نقطة مئوية، وعلى IndicBERT-V2 (59.2%) بفارق 23.2 نقطة مئوية.

الأهمية والادعاءات

يفترض البحث أن NE-BERT يثبت أن النماذج المتخصصة في مجال معين مع الترميز المناسب يمكن أن تخدم بفعالية اللغات ذات الموارد المنخفضة للغاية التي تمتلك حتى 1,000 جملة تدريبية فقط.

• تحسين المفردات فوق الحجم: تتحدى النتائج فكرة أن توسيع حجم النموذج وحده كافٍ للأداء في الموارد المنخفضة. يجادل المؤلف بأن تحسين المفردات بعناية (عبر ترميز Unigram الموزون) وبيانات التدريب المستهدفة أكثر أهمية من عدد المعلمات الخام لهذه السياقات اللغوية المحددة.
• فعالية التكلفة: يوفر النجاح في تدريب نموذج تنافسي على وحدة معالجة رسومات واحدة بتكلفة أقل من 10 دولارات مخططًا عمليًا لتطوير نماذج لغوية للغات غير الممثلة عالميًا.
• الشمول الرقمي: من خلال معالجة "لعنة تعدد اللغات" وتجزئة المفردات، يهدف NE-BERT إلى دعم أبحاث معالجة اللغات الطبيعية والشمول الرقمي لمجتمعات شمال شرق الهند، التي كانت غائبة إلى حد كبير عن أبحاث معالجة اللغات الطبيعية السائدة.

يصدر المؤلف النموذج والمحلل ومجموعة بيانات التدريب ومجموعات الاختبار صراحةً تحت رخصة CC-BY-4.0 لتسهيل إعادة الإنتاج والتطبيقات المدفوعة من المجتمع. كما يقر بالقيود، بما في ذلك بنية المشفر فقط (غير مناسبة لمهام التوليد) والحاجة إلى مزيد من التقييم في المهام المختلفة ولجميع اللغات التسع.