Developing an English-Efik Corpus and Machine Translation System for Digitization Inclusion

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تطوير مجموعة بيانات (Corpus) لغتين الإنجليزية والإيفيك ونظام ترجمة آلية من أجل الشمول الرقمي."

1. بيان المشكلة

تعالج الورقة البحثية الفجوة الحرجة في معالجة اللغات الطبيعية (NLP) للغات ذات الموارد المنخفضة، وتحديداً لغة الإيفيك (Efik)، وهي لغة أصلية يتحدث بها سكان جنوب نيجيريا وأجزاء من الكاميرون.

• ندرة البيانات: على عكس اللغات ذات الموارد العالية (مثل السواحيلية واليوروبا)، تفتقر لغة الإيفيك إلى مجموعات البيانات المتوازية (أزواج الجمل المتطابقة) الكافية والمطلوبة لتدريب أنظمة الترجمة الآلية العصبية (NMT) الفعالة.
• الاستبعاد التكنولوجي: تفشل أدوات الترجمة الحالية في التقاط الفروق الثقافية الدقيقة، والتعبيرات الاصطلاحية، والبنى المورفولوجية المعقدة للغة الإيفيك، مما يؤدي إلى رداءة جودة الترجمة.
• تراجع اللغة: تسلط الورقة الضوء على التراجع اللغوي الاجتماعي للغة الإيفيك بسبب نقص الدعم الرقمي وإعطاء الأولوية للغة الإنجليزية، مما يستديرة تدخلات تكنولوجية للإحياء.
• محدودية الأعمال السابقة: كانت المحاولات السابقة إما قائمة على القواعد (مقيدة بقواميس صغيرة) أو اعتمدت على بيانات متخصصة في مجالات معينة (مثل آيات الكتاب المقدس)، وفشلت في التعميم على المحادثات اليومية والمجالات المتنوعة.

2. المنهجية

تستخدم الدراسة مسار عمل صارم يتضمن جمع البيانات بقيادة المجتمع واستخدام تقنيات تعلم النقل (Transfer Learning) الحديثة.

أ. إنشاء مجموعة البيانات (مجموعة بيانات الإيفيك)

• المصدر: مجموعة بيانات متوازية من إنتاج المجتمع تتكون من 13,865 زوجاً من الجمل عالية الجودة بين الإنجليزية والإيفيك.
• جمع البيانات:
  • شملت المصادر توليد النصوص عبر النماذج اللغوية الكبيرة (LLM) الخاضعة للتحكم، والكتابة اليدوية من قبل لغويين ثنائيي اللغة، والرقمنة من القواميس المطبوعة.
  • المجالات: تتميز مجموعة البيانات بالتنوع، حيث تغطي المحادثات اليومية (52%)، والعلاقات الأسرية، والزراعة، والبيئة، والدين، والصحة، والتعليم.
• عملية التوسيم (Annotation):
  • قام ستة متحدثين أصليين واثنان من اللغويين المدربين بترجمة الجمل الإنجليزية إلى الإيفيك.
  • ضبط الجودة: تم التحقق من الترجمات بشكل مستقل من قبل اثنين من الموثقين على الأقل. وتم حل الخلافات من قبل مراجع لغوي.
  • التنسيق: تم تخزين البيانات بتنسيق UTF-8 JSONL لضمان التوافق مع أدوات معالجة اللغات الطبيعية القياسية (HuggingFace, OpenNMT).
• التقسيم: تم تقسيم البيانات إلى مجموعات: تدريب (10,398)، وتحقق (1,387)، واختبار (2,080).

ب. تدريب النموذج

استخدم المؤلفون نهج تعلم النقل (Transfer Learning)، من خلال ضبط النماذج متعددة اللغات مسبقة التدريب:

1. mT5-small: نموذج "ترانسفورمر" (Transformer) نص-إلى-نص مدرب مسبقاً على 101 لغة.
2. NLLB-200 (No Language Left Behind): نموذج تسلسل-إلى-تسلسل يغطي أكثر من 200 لغة.

• المعلمات الفائقة (Hyperparameters): تم تدريب النماذج باستخدام مكتبة Hugging Face Transformers مع ضبط محدد لإعدادات الموارد المنخفضة (على سبيل المثال، استخدم mT5 معدل تعلم قدره 1e-4 لمدة 20 حقبة تدريبية؛ بينما استخدم NLLB معدل 2e-5 لمدة 6 حقبات مع FP16).

ج. التقييم

• المقاييس الآلية:
  • BLEU: يقيس تداخل الـ n-gram.
  • chrF (درجة F لـ n-gram الحرفي): أمر بالغ الأهمية للغة الإيفيك نظراً لتعقيدها المورفولوجي وطبيعتها النغمية.
• التحليل النوعي: التقييم البشري لمخرجات الترجمة لتقييم الدقة الدلالية، والطلاقة، والتعامل مع الكيانات المسماة، والفروق الثقافية الدقيقة.

3. المساهمات الرئيسية

1. أول مجموعة بيانات متوازية متنوعة: إنشاء أول مجموعة بيانات متوازية واسعة النطاق ومتعددة المجالات بين الإنجليزية والإيفيك (13,865 زوجاً) والتي تتجاوز النصوص الدينية لتشمل الحياة اليومية، والزراعة، والتعليم.
2. قياس أداء أحدث التقنيات: أول تقييم شامل لأداء نماذج mT5 و NLLB-200 بعد الضبط الدقيق خصيصاً لزوج اللغات الإنجليزية–الإيفيك.
3. مسار عمل قابل للتكرار: توفر الورقة مسار عمل موثقاً بالكامل وقابلاً للتكرار لتنظيف البيانات، والتوسيم، وضبط النماذج، مما يعد نموذجاً يحتذى به للغات الأفريقية الأخرى ذات الموارد المنخفضة.
4. نهج متمحور حول المجتمع: يوضح فعالية الجمع بين خبرة المتحدثين الأصليين واللغويات الحاسوبية لبناء مجموعات بيانات عالية الجودة.

4. النتائج

قارنت الدراسة أداء "التعلم من الصفر" (Zero-shot) مقابل النماذج التي تم ضبطها بدقة.

• أداء التعلم من الصفر (Zero-Shot): كان أداء كلا النموذجين ضعيفاً بدون ضبط دقيق (BLEU < 0.22)، مما يؤكد أن النماذج مسبقة التدريب لا يمكنها التعامل مع الإيفيك دون تكييف محدد.
• أداء النماذج المضبوطة بدقة (Fine-Tuned):
  • تفوق NLLB-200 بشكل كبير على mT5 في كلا الاتجاهين.
  • من الإنجليزية ← إلى الإيفيك: حقق NLLB درجة BLEU بلغت 26.64 و chrF بلغت 51.04.
  • من الإيفيك ← إلى الإنجليزية: حقق NLLB درجة BLEU بلغت 31.21 و chrF بلغت 47.92.
  • حقق mT5 درجات أقل (BLEU ~14–18)، مما يشير إلى صعوبات في الطلاقة والدقة الدلالية.
• النتائج النوعية:
  • أظهر NLLB قدرة فائقة على التعامل مع السياق الثقافي، والكيانات المسماة (مثل "William Otu")، والبنى الجملية المعقدة.
  • كان mT5 غالباً ما يحذف العبارات المتكررة، ويُدخل محتوى غير ذي صلة، ويفشل في ترجمة المصطلحات الثقافية المحددة بدقة.
  • لا يزال كلا النموذجين يعانيان مع التعبيرات الاصطلاحية العميقة والمفردات القديمة، مما يسلط الضوء على حدود حجم البيانات الحالي.

5. الأهمية والخاتمة

• جدوى الترجمة الآلية للموارد المنخفضة: تثبت الدراسة أن الترجمة الآلية عالية الجودة للغات ذات الموارد المنخفضة أمر ممكن باستخدام مجموعات بيانات صغيرة نسبياً، عالية الجودة، ومعدة بمشاركة المجتمع، ومع نماذج متعددة اللغات حديثة.
• الحفاظ الثقافي: من خلال تمكين الترجمة الدقيقة، يدعم النظام رقمنة وإحياء لغة الإيفيك، لمواجهة تراجعها.
• شمولية معالجة اللغات الطبيعية (Inclusive NLP): تدعو هذه الدراسة إلى "التقييم المتجذر ثقافياً" وممارسات البيانات الشاملة، والابتعة عن المقاييس الإحصائية البحتة لضمان أن تحترم الترجمات الفروق اللغوية والثقافية.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع حجم مجموعة البيانات، وتطبيق التطبيع الفونولوجي (Phonological Normalization) للاختلافات اللهجوية، واستخدام تقنيات مثل الترجمة العكسية (Back-translation) والتوسيم الجماعي (Crowdsourced Annotation) لتحسين متانة النموذج بشكل أكبر.

باختصار، تضع هذه الورقة مورداً تأسيسياً ومعيار أداء عالياً لترجمة الإنجليزية–الإيفيك، وتثبت أن NLLB-200 هو حالياً البنية الأكثر تفوقاً لهذا الزوج المحدد من اللغات ذات الموارد المنخفضة، مع التأكيد على أن جودة البيانات والمشاركة المجتمعية لا تقل أهمية عن بنية النموذج نفسه.