Building a Functional Machine Translation Corpus for Kpelle

ملخص تقني: بناء متن لغوي وظيفي للترجمة الآلية للغة الكبيل (Kpelle)

بيان المشكلة
على الرغم من وجود أكثر من مليون متحدث للغة الكبيل عبر ليبيريا وغينيا، إلا أن هذه اللغة لا تزال تعاني من نقص شديد في التمثيل ضمن أبحاث معالجة اللغات الطبيعية (NLP). وباعتبارها لغة ذات موارد منخفضة، تعاني الكبيل من ندرة البيانات، وغياب الإملاء المعياري، والتباينات اللهجية (تحديداً بين كبيل ليبيريا وغينيا). وبينما نجحت مبادرات مثل "ماساكاني" (Masakhane)، وصندوق "لاكونا" (Lacuna Fund)، ومشروع "لا لغة تُترك خلف الركب" (NLLB) التابع لشركة ميتا في تطوير موارد للغات أفريقية أخرى، فقد تم استبعاد الكبيل إلى حد كبير، مما ترك المتحدثين بها دون الوصول إلى الأدوات الرقمية مثل الترجمة الآلية (MT) أو التعرف على الكلام.

المنهجية
لمعالجة هذه الفجوة، قام المؤلفون بإنشاء أول متن لغوي متاح للعموم ثنائي اللغة (إنجليزي-كبيل). وقد تضمنت المنهجية عملية متعددة المراحل:

1. جمع البيانات: تم تجميع مجموعة البيانات من ثلاثة مصادر رئيسية:
   • السفر والسياحة: عبارات شائعة مستمدة من مواقع تعلم اللغات القائمة.
     _ النصوص الدينية: مقتطفات من الأدبيات الدينية المترجمة المتاحة للجمهور.
   • المواد التعليمية: محتوى من الكتب المدرسية والقواميس، بما في ذلك كتاب "نهج موجه للمتعلم للغة الكبيل" و"قاموس إنجليزي-كبيل".
2. المعالجة والمحاذاة:
   • الترجمة: قام متحدثون أصليون للغة الكبيل ذوو خبرة لغوية بترجمة الفقرات الإنجليزية التي تفتقر إلى النص المقابل بالكبيل.
   • التجزئة: تم تجزئة الفقرات إلى أزواج جمل لزيادة الدقة لمهام الترجمة الآلية.
   • التنظيف والتوحيد القياسي: خضعت البيانات الخام لتدقيق إملائي، وإزالة التكرار، وتوحيد الإملاء القائم على اللاتينية. وتم إيلاء اهتمام خاص لعلامات التشكيل لتمثيل النظام النغمي للغة الكبيل بدقة (النغمات العالية، والمتوسطة، والمنخفضة، والنغمات المتغيرة).
   • التحقق: تمت مراجعة جميع الترجمات من قبل خبراء لغويين لضمان الصحة النحوية والملاءمة السياقية.
3. الإعداد التجريبي:
   • استخدم المؤلفون نموذج NLLB-200 الخاص بشركة ميتا كنموذج أساسي.
   • تم إنشاء نسختين من مجموعة البيانات: النسخة الأولى (V1) التي تحتوي على 1,518 زوجاً ترجمياً (1,667 جملة كبيل / 1,638 جملة إنجليزية)، والنسخة الثانية (V2) التي تحتوي على 2,005 زوجاً ترجمياً (2,202 جملة كبيل / 2,167 جملة إنجليزية)، والتي تم تحقيقها من خلال تعزيز البيانات.
   • تم تقسيم مجموعات البيانات بنسبة 9:1 للتدريب والاختبار.
   • تم ضبط النماذج بدقة لـ 10 آلاف، و30 ألف، و60 ألف خطوة باستخدام مُحسن Adafactor على وحدة معالجة رسومات Quadro RTX 6000.
   • تم تدريب مُجزئ (tokenizer) من نوع SentencePiece مخصص للغة الكبيل للتعامل مع الرموز خارج المفردات.
   • تم إجراء التقييم باستخدام مقاييس sacreBLEU وchrF2++ ومقاييس الدقة.

المساهمات الرئيسية
تحدد الورقة ثلاث مساهمات رئيسية:

1. إنشاء مجموعة بيانات: إصدار متن لغوي ثنائي اللغة (إنجليزي-كبيل) يحتوي على 3,234 زوجاً ترجمياً فريداً في المجمل (عبر نسخ مجموعة البيانات)، ويضم أكثر من 30,000 كلمة. ويعد هذا حالياً أكبر مورد متاح للعموم للغة الكبيل.
2. إطار منهجي: يقدم المؤلفون إطاراً قابلاً للتكرار لجمع البيانات، والتنظيف، والمحاذاة، المصمم خصيصاً للغات ذات الموارد المنخفضة ذات التقاليد الكتابية المحدودة وعدم الاتساق الإملائي.
3. القياس المرجعي: تم قياس أداء مجموعة البيانات مقابل نموذج NLLB، مما وضع معايير الأداء الأساسية للترجمة الآلية للغة الكبيل.

النتائج
أسفرت تجارب الضبط الدقيق عن النتائج التالية:

• من الكبيل إلى الإنجليزية (kpe_Latn ← eng_Latn): تحقق أفضل أداء مع النسخة الثانية (V2) من مجموعة البيانات عند 60 ألف خطوة تدريب، حيث وصلت درجة BLEU إلى 30.28 (ودرجة chrF2++ بلغت 44.28).
• من الإنجليزية إلى الكبيل (eng_Latn ← kpe_Latn): كانت أفضل نتيجة هي 24.46 لدرجة BLEU، وتحققت مع النسخة الأولى (V1) عند 30 ألف خطوة. وبينما أظهرت النسخة الثانية (V2) تحسينات عند عدد خطوات أعلى (وصلت إلى 20.79 عند 60 ألف خطوة)، إلا أنها لم تتفوق على ذروة أداء النسخة الأولى في هذا الاتجاه.
• تأثير تعزيز البيانات: أدى توسيع المتن من V1 إلى V2 إلى تحسين الأداء بشكل عام، لا سيما في اتجاه (الكبيل إلى الإنجليزية) عند خطوات التدريب العالية. ومع ذلك، بالنسبة للترجمة من الإنجليزية إلى الكبيل، تشير الورقة إلى أن المكاسب كانت متواضعة، حيث تفوقت النسخة الأولى (V1) على النسخة الثانية (V2) عند علامة الـ 30 ألف خطوة.
• التحليل المقارن: إن درجات BLEU المحققة (تتراوح تقريباً بين 20-30) تتوافق مع أداء NLLB-200 في لغات أفريقية أخرى ذات موارد منخفضة (مثل الولوف، ولو، ويوروبا)، وإن كانت تظل أقل من اللغات عالية الأداء مثل السواحيلية.

الأهمية والادعاءات
يزعم المؤلفون أن هذا العمل يضع حجر الأساس لأبحاث مكثفة في لغة الكبيل ولغات ليبيريا الأخرى ذات الموارد المنخفضة. ومن خلال إثبات أن تحقيق أداء تنافسي في الترجمة الآلية أمر ممكن رغم حالة الموارد المنخفضة للغة، تؤكد الورقة على إمكانية تطوير تكنولوجيا لغوية شاملة.

تتمحور أهمية العمل حول:

• تمكين تطبيقات معالجة اللغات الطبيعية: تعمل مجموعة البيانات كمورد ضروري ليس فقط للترجمة الآلية، ولكن أيضاً لتطوير أدوات التعرف على الكلام ونمذجة اللغة.
• المجتمع والشمول: يساهم المشروع في الهدف الأوسع المتمثل في تعزيز التنوع اللغوي والشمول، وتحديداً معالجة تهميش لغات الماندي في مجال معالجة اللغات الطبيعية.
• خارطة الطريق المستقبلية: يؤكد المؤلفون أنه بينما تعد النتائج الحالية واعدة، يجب أن يركز العمل المستقبلي على الاتساق الإملائي، وتوسيع نطاق المجالات (خاصة في الصحة والتعليم والدين)، والتحقق المجتمعي لتحسين أداء النموذج بشكل أكبر.

تختتم الورقة بدعوة للعمل للباحثين واللغويين للتعاون في تنقيح مجموعة البيانات وتطوير تقنيات جديدة لمعالجة اللغات الطبيعية لسد الفجوة الرقمية لمتحدثي لغة الكبيل.