Automatic Correction of Writing Anomalies in Hausa Texts

ملخص تقني: التصحيح التلقائي لعيوب الكتابة في النصوص الهوساوية

بيان المشكلة
تواجه لغة الهوسا، وهي لغة إقليمية رئيسية في غرب أفريقيا تضم حوالي 80 مليون متحدث، تحديات كبيرة في معالجة اللغات الطبيعية (NLP) بسبب انتشار عيوب الكتابة في النصوص الرقمية. تشمل هذه العيوب، لا سيما على وسائل التواصل الاجتماعي، استبدال الحروف غير الصحيح (على سبيل المثال، استبدال الحروف الخطافية الخاصة بلغة الهوسا مثل ɓ, ɗ, ƙ, ƴ بما يعادلها من الحروف اللاتينية القياسية) وأخطاء المسافات (إزالة أو إضافة المسافات). وبينما يمكن للبشر تمييز هذه الأخطاء بسهولة، إلا أنها تسبب ضجيجاً يؤدي إلى تدهور أداء مهام معالجة اللغات الطبيعية اللاحقة مثل الترجمة الآلية، وتصنيف النصوص، وتوجيه النماذج اللغوية الكبيرة (LLM). كما أن ندرة مجموعات البيانات عالية الجودة والموسومة للغة الهوسا تفاقم هذه المشكلة، مما يخلق حلقة مفرغة من نوع "الدجاجة والبيضة"، حيث تعيق ندرة البيانات النظيفة تطوير أدوات التصحيح، ويمنع نقص الأدوات توليد بيانات نظيفة.

المنهجية
يقترح المؤلفون مسار عمل (pipeline) لتصحيح هذه العيوب تلقائياً باستخدام نماذج المحولات (transformer-based models) التي تم ضبطها بدقة باستخدام مجموعة بيانات مُولدة اصطناعياً.

1. جمع وتوليد البيانات:

   • المتن النظيف: تم تجميع قاعدة من أكثر من 400,000 جملة نظيفة بلغة الهوسا من مصادر عامة، بما في ذلك ويكيبيديا الهوسا، وويكيميديا، والنصوص المترجمة من مشروع MultiplEYE (الذي يغطي أنواعاً مثل النصوص الجدلية، والأدبية، والمؤسسية).
   • نمذجة الضجيج: لتكوين مجموعة بيانات متوازية (ضوضائية-نظيفة)، حلل المؤلفون حوالي 10,000 تغريدة بلغة الهوسا من مجموعة بيانات NaijaSenti. وقد حددوا أنماط الخطأ (استبدال الحروف، مشكلات المسافات، الحذف، والتكرار) باستخدام نهج قائم على المعجم وتجميع مسافة ليفنشتاين المعيارية (normalized Levenshtein distance).
   • التوليد الاصطناعي: استُخدمت توزيعات الخطأ هذه لحقن ضجيج اصطناعي في المتن النظيف، مما أنتج أكثر من 400,000 زوج من الجمل (ضوضائية-نظيفة). وقد تمت معايرة الضجيج الاصطنافي ليتوافق مع توزيع مسافة ليفنشتاين المعيارية لبيانات تويتر الحقيقية (مسافة جينسن-شانون قدرها 0.14)، مما يضمن محاكاة الأخطاء الكتابية الواقعية.

2. بنية النموذج والتدريب:

   • تم تأطير المهمة كمسألة ترجمة من نوع (تسلسل إلى تسلسل) (مدخل ضوضائي $\leftarrow$ مخرج نظيف).

   • تم ضبط عدة نماذج محولات متعددة اللغات وأفريقية خاصة بدقة على مجموعة البيانات الاصطناعية:

     • M2M100 (418 مليون معلمة)
     • AfriTeVA (نسخ Base, Small, Large)
     • UBC-NLP/cheetah-base (1.2 مليار معلمة)
     • AfriMBART و mBART-Large-50
     • mT5-Base
     • NCAIR1/N-ATLaS (8 مليارات معلمة، تعتمد على Llama-3)

   • شملت النماذج المرجعية (baselines) نموذج النسخ (copy baseline)، ونموذج LSTM (تسلسل إلى تسلسل)، و GPT-5.1 (zero-shot).

المساهمات الرئيسية

• إنشاء مجموعة البيانات: إصدار مجموعة بيانات متوازية واسعة النطاق ومتاحة للعموم تضم أكثر من 400,000 زوج من الجمل (ضوضائية-نظيفة)، تم إنشاؤها عبر توليد الضجيج الاصطناعي للتغلب على ندرة البيانات.
• تطوير الأدوات: إنشاء أول مجموعة من أدوات المحولات المصممة خصيصاً لتصحيح عيوب الكتابة في لغة الهوسا.
• التحليل التجريبي: إجراء تقييم شامل لمختلف بنيات النماذج واستراتيجيات التدريب المسبق لها على مهمة تصحيح لغة الهوسا.
• تقييم الأثر اللاحق: تحليل كمي يوضح كيف يحسن تصحيح النصوص من أداء المهام اللاحقة، بما في ذلك اكتشاف النوع الأدبي، والترجمة الآلية، واتباع التعليمات في النماذج اللغوية الكبيرة (LLM).

النتائج

• أداء التصحيح: حقق نموذج M2M100 (418M) نتائج رائدة (state-of-the-art)، متفوقاً على النماذج الأكبر مثل AfriTeVA و UBC-NLP/cheetah-base، ومنافساً للنموذج الضخم NCAIR1/N-ATLaS (8B). يشير هذا إلى أن النموذج المدرب مسبقاً على مهام الترجمة من متعدد إلى متعدد (مثل M2M100) فعال للغاية في تطبيع النصوص أحادية اللغة.
• التقييم البشري: في عينة من 500 تنبؤ، اعتبر متحدث أصلي أن 71.6% منها صحيحة. وبينما نجح النموذج في الحفاظ على التماسك، إلا أنه تسبب أحياناً في تحولات دلالية (مثل تغيير الزمن أو الشخص) أو فشل في تصحيح أسماء الأعلام وفقاً لمعايير لغة الهوسا (مثل استخدام "Pridnistria" بدلاً من "Pridnestrovie").
• الأثر على المهام اللاحقة:
  • اكتشاف النوع الأدبي: أدى تنظيف البيانات إلى استعادة دقة المصنف إلى مستويات مقاربة للبيانات الأصلية النظيفة (81% مقابل 80% للأصل، مقارنة بـ 78% للبيانات الضوضائية).
  • الترجمة الآلية: قدمت المدخلات المصححة باستمرار درجات أفضل (BLEU و MetricX) عبر Google Translate و NLLB-200 و GPT-5.1 مقارنة بالمدخلات الضوضائية، رغم أن الاستعادة لم تكن مثالية.
  • اتباع التعليمات (LLMs): أظهرت النماذج اللغوية الكبيرة المملوكة حساسية كبيرة للضجيج. أدى تنظيف المدخلات إلى تحسين الأداء في التعرف على الكيانات المسماة (استعادة درجة F1 من 0.19 إلى 0.37) وفي مهام الاستدلال المختلفة (AfriMMLU، AfriMGSM)، وإن تباينت المكاسب حسب نوع المهمة.

الأهمية والادعاءات
تجادل الورقة بأن التصحيح التلقائي للنصوص هو خطوة معالجة مسبقة حاسمة للغات ذات الموارد المنخفضة مثل الهوسا. وهي تثبت أن النماذج الأصغر التي تم ضبطها بدقة وكفاءة (مثل M2M100) يمكن أن تضاهي النماذج الأكبر بكثير الموجهة للتعليمات في تصحيح الأخطاء الإملائية. ويدعي المؤلفون أن تحسين جودة النص من خلال هذه الطرق له تأثير إيجابي ملموس على موثوقية تطبيقات معالجة اللغات الطبيعية اللاحقة. ومن خلال توفير منهجية ومجموعة بيانات عامة، يهدف هذا العمل إلى تعزيز قدرات معالجة اللغات الطبيعية للغة الهوسا ويقدم إطاراً قابلاً للنقل لمعالجة تحديات كتابية مماثلة في لغات أخرى ذات موارد منخفضة. ويظل المؤلفون متواضعين، حيث أقروا بالقيود مثل الاعتماد على بيانات وسائل التواصل الاجتماعي لنمذجة الضجيج وحقيقة أن التنظيف التلقائي لا يمكنه دائماً استعادة المعنى الأصلي بدقة أو التعامل مع التباينات المعقدة لأسماء الأعيان.