MzansiText and MzansiLM: An Open Corpus and Decoder-Only Language Model for South African Languages

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان: "MzansiText و MzansiLM: مجموعة نصوص ونموذج لغوي من نوع (Decoder-Only) للغات جنوب أفريقيا."

1. بيان المشكلة

تعالج ورقة البحث ندرة نماذج اللغات من نوع (decoder-only) المصممة خصيصاً للغات جنوب أفريقيا، ولا سيما لغات البانتو التسع ذات الموارد المنخفضة من بين اللغات الرسمية الأحد عشر في البلاد.

• المشهد الحالي: اعتمدت الأبحاث الحالية للغات الأفريقية تاريخياً على بنيات (encoder-only) مثل (BERT)، أو (encoder-decoder) مثل (T5). وبينما تكتسب نماذج (decoder-only) زخماً، إلا أن معظمها يغطي مجموعات فرعية فقط من اللغات (مثل isiZulu و isiXhosa و Afrikaans) أو تعتمد على أعداد ضخمة من المعلمات (مثل LLaMA-3-8B) التي تكون مكلفة حاسوبياً ويصعب إعادة إنتاجها في بيئات الموارد المنخفضة.
• الفجوة: لا يوجد نموذج (decoder-only) متاح للعموم، مفتوح الأوزان، تم تدريبه من الصفر ويغطي جميع اللغات الأحد عشر الرسمية في جنوب أفريقيا. علاوة على ذلك، ليس من الواضح أي استراتيجية تكيف (أحادية اللغة أم متعددة اللغات أم ضبط التعليمات) هي الأكثر فعالية للنماذج صغيرة النطاق (أقل من مليار معلمة) في سياقات الموارد المنخفضة.

2. المنهجية

أ. بناء البيانات: MzansiText

أنشأ المؤلفون MzansiText، وهو مجموعة نصوص منسقة متعددة اللغات للتدريب المسبق تغطي جميع اللغات الرسمية الأحد عشر.

• المصادر: تم تجميعها من مجموعات بيانات عامة تشمل mC4 و CulturaX و WURA و Glot500-c و NCHLT Text و CC100 و ParaCrawl و Inkuba-Mono.
• خط معالجة البيانات (Pipeline): تم تنفيذ خط معالجة متعدد المراحل وحتمي باستخدام Datatrove لضمان قابلية إعادة الإنتاج. شملت الخطوات ما يلي:
  1. تحديد اللغة (الاحتفاظ باللغات الـ 11 المستهدفة فقط).
  2. التطبيع وإزالة العناصر الزائدة (إزالة HTML، وتوحيد Unicode).
  3. فرض القيود الهيكلية (الطول، والخط/السكربت).
  4. إزالة التكرار (إزالة التكرار الدقيق والتقريبي عبر MinHash).
  5. فحص السلامة (تصفية معلومات الهوية الشخصية والمحتوى الحساس).
  6. تصفية الجودة (إزالة النصوص القوالبية أو منخفضة المعلومات).
  7. التعبئة في سجلات تدريب بسعة ~1k توكن.
• التوزيع: يعاني توزيع البيانات من انحياز شديد نحو اللغات عالية الموارد (تشكل لغتا Afrikaans و English حوالي 84% من الـ tokens). جرب المؤلفون موازنة التوزيع لكنهم وجدوا أن ذلك يضعف الأداء اللاحق؛ لذا احتفظوا بالتوزيع الطبيعي لتعظيم حجم البيانات القابلة للاستخدام مع ضمان التغطية لجميع اللغات.
• الترميز (Tokenization): تم تدريب ترميز BPE بحجم قاموس يبلغ 65,536 على مجموعة بيانات التدريب المسبق.

ب. بنية النموذج: MzansiLM

• البنية: نموذج (decoder-only) مدمج تم تدريبه من الصفر.
• الحجم: 125 مليون معلمة (parameter)، باستخدام تهيئة بنية MobileLLM المحسنة للنماذج صغيرة النطاق.
• التصميم: يستخدم طبقة (decoder) من نوع LLaMA مع (causal self-attention).
• التدريب: تم التدريب لمدة 5 دورات (epochs) على مجموعة تدريب MzansiText باستخدام 4 وحدات معالجة رسومية من نوع NVIDIA A100. طول السياق هو 2,048 توكن. يتم حساب متوسط الخسارة (loss) عبر اللغات لمنع اللغات عالية الموارد من الهيمنة على إشارة التحقق (validation signal).

ج. أنظمة التكيف (ضبط التعليمات - Instruction Finetuning)

قام المؤلفون بتقييم ثلاث استراتيجيات تكيف بشكل منهجي لتحديد النهج الأمثل للنماذج صغيرة النطاق:

1. الضبط الدقيق للمهام أحادي اللغة (Monolingual Task-Specific Finetuning): تدريب نموذج منفصل لكل زوج (مهمة-لغة).
2. الضبط الدقيق للمهام متعدد اللغات (Multilingual Task-Specific Finetuning): تدريب نموذج واحد لكل مهمة عن طريق تجميع البيانات من جميع اللغات لتلك المهمة المحددة (مما يسم يسمح بالانتقال عبر اللغات).
3. الضبط الدقيق للتعليمات متعدد المهام العام (General Multi-Task Instruction Finetuning): تدريب نموذج واحد على مزيج موزون من جميع المهام واللغات في آن واحد.

3. المساهمات الرئيسية

1. MzansiText: أول مجموعة نصوص منسقة وقابلة لإعادة الإنتاج للتدريب المسبق تغطي جميع اللغات الرسمية المكتوبة في جنوب أفريقيا مع خط تصفية شفاف.
2. MzansiLM: نموذج (decoder-only) بـ 125 مليون معلمة تم تدريبه من الصفر، وتم إصداره كنموذج مرجعي مفتوح الأوزان.
3. التقييم المنهجي: مقارنة شاملة لاستراتيجيات التكيف (أحادية اللغة، متعددة اللغات، ومتعددة المهام) عبر مهام فهم اللغة الطبيعية (NLU) وتوليد اللغة الطبيعية (NLG).
4. إطلاق الموارد: إصدار مجموعة البيانات، والنموذج، والبرمجيات الخاصة بإعداد البيانات، والتدريب المسبق، والتقييم للجمهور.

4. النتائج والنتائج المستخلصة

تم تقييم النموذج في مهام تشمل تصنيف المستندات، والتعرف على الكيانات المسماة (NER)، وتوسيم أجزاء الكلام (POS)، وتوليد النص من البيانات (data-to-text)، وتوليد العناوين، والاستدلال بأسلوب (few-shot).

الأداء حسب نوع المهمة:

• توليد النص من البيانات (T2X):
  • كان الضبط الدقيق للمهام أحادية اللغة هو الفائز بوضوح.
  • حقق MzansiLM نتيجة 20.65 BLEU في لغة isiXhosa، متفوقاً على نموذج mT5-base الذي يمتلك 0.58B معلمة، ومنافساً لنماذج (encoder-decoder) أكبر منه بـ 10 أضعاف (مثل Aya-13B).
• تصنيف المواضيع (MasakhaNEWS):
  • حقق الضبط الدقيق للمهام متعدد اللغات أفضل أداء للغات البانتو ذات الصلة الوثيقة (مثل 78.5% macro-F1 في isiXhosa)، مستفيداً من الإشارات المشتركة عبر اللغات.
  • كان الضبط الدقيق أحادي اللغة منافساً في اللغة الإنجليزية.
• توسيم المتواليات (NER & POS):
  • كان الضبط الدقيق للمهام أحادية اللغة هو النظام الوحيد الفعال. أدت النماذج الأساسية وضبط التعليمات العام إلى نتائج تقارب مستوى الصدفة.
  • تفوق MzansiLM (بـ 125M معلمة) مع الضبط الدقيق أحادي اللغة بشكل كبير على النماذج المرجعية (baselines) من نوع (decoder-only) الأكبر حجماً (بما في ذلك نماذج 8B و 70B)، رغم أنه لا يزال يتأخر عن نماذج (encoder-only) (مثل AfroXLMR-large).
• الاستدلال بأسلوب (Few-Shot) وفهم القراءة:
  • أداء ضعيف: في مهام مثل تصنيف النوايا (INJONGO)، وفهم القراءة (Belebele)، واختبارات الاستدلال (IroceBench)، كان أداء MzansiLM يقارب مستوى الصدفة.
  • حد التوسع (Scaling Limit): ظل الأداء في هذه المهام راكداً حتى بالنسبة لنماذج (decoder-only) التي تصل إلى 8B معلمة. لم تُلاحظ مكاسب كبيرة إلا عند مقياس 70B معلمة (مثل Llama-3.1-70B) أو مع بنيات (encoder-decoder) (مثل Aya-101).

رؤى مقارنة رئيسية:

• (Decoder-Only) مقابل (Encoder-Only): تظل نماذج (encoder-only) متفوقة في مهام التنبؤ المهيكل (التصنيف، NER) والمتطلبات عالية الدقة.
• (Decoder-Only) مقابل (Encoder-Decoder): تهيمن نماذج (encoder-decoder) على مهام فهم القراءة وتوليد العناوين.
• جدوى النطاق الصغير: يثبت MzansiLM، رغم صغر حجمه، أن الإشراف الخاص بالمهمة يسمح لنماذج (decoder-only) صغيرة بالتفوق على نماذج أكبر بكثير في مهام توليد محددة وتوسيم المتواليات، بشرما كانت استراتيجية التكيف مصممة بعناً (أحادية اللغة للتوليد/NER، ومتعددة اللغات للتصنيف).

5. الأهمية والخاتمة

• قابلية إعادة الإنتاج: تضع الورقة بحثاً مرجعياً قابلاً لإعادة الإنتاج للغات جنوب أفريقيا، موضحاً أنه يمكن تحقيق نتائج عالية الجودة باستخدام نماذج صغيرة (125M) إذا تم تحسين البيانات واستراتيجيات التكيف.
• التوجيه الاستراتيجي: توضح الورقة أن الضبط الدقيق الخاص بالمهمة أمر بالغ الأهمية للغات ذات الموارد المنخفضة. "الضبط العام" للتعليمات أقل فعالية في المقاييس الصغيرة لمهام محددة.
• المقايضات البنيوية: تسلط الدراسة الضوء على أنه بينما تعد نماذج (decoder-only) ممتازة للمهام التوليدية مع الإشراف المستهدف، فإن بنيات (encoder-based) تظل هي الخيار المفضل لمهام التصنيف والتنبؤ المهيكل في بيئات الموارد المنخفضة، إلى أن تتوسع نماذج (decoder-only) بشكل كبير (غالباً > 70B).
• القيود: يعاني النموذج من صعوبة في القدرات الناشئة مثل الاستدلال (few-shot) والاعتماد طويل المدى بسبب عدد معلماته الصغير وتوزيع البيانات المنحاز.

باختصار، يعمل MzansiLM كمرجع أساسي حيوي وسهل الوصول يساعد الباحثين على تحديد أين يمكن لنماذج (decoder-only) الصغيرة النجاح (التوليد المستهدف/NER) وأين لا تزال البنيات البديلة أو المقاييس الأكبر ضرورية.