WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

ملخص تقني: WARDEN – نسخ وترجمة لغة أصلية مهددة بالانقراض باستخدام 6 ساعات من بيانات التدريب

بيان المشكلة
إن توثيق اللغات المهددة بالانقراض، مثل لغة "واردامان" (لغة أسترالية أصلية لم يتبقَّ منها سوى متحدثين كاملين فقط بحلول عام 2025)، هي عملية تتطلب جهداً مكثفاً من علماء اللغويات لإنتاج نصوص وترجمات متوافقة زمنياً يدوياً. وبينما توفر تقنيات التعرف التلقائي على الكلام (ASR) والترجمة الآلية (MT) إمكانية التسريع، فإن نماذج التعلم العميق القياسية غير قابلاً للتطبيق في مثل هذه السيناريوهات ذات الموارد المنخفضة للغاية. تتطلب النماذج الحالية عادةً عشرات أو مئات الساعات من البيانات المشروحة لتحقيق أداء مقبول، بينما يتكون طقم بيانات "واردامان" المتاح من 6 ساعات فقط من أزواج الصوت-النص-الترجمة المتوافقة زمنياً. علاوة على ذلك، فإن النماذج الموحدة التي تحاول القيام بكل من النسخ والترجمة في آن واحد غالباً ما تفشل في ظل ظروف البيانات الشحيحة للغاية بسبب نقص الإشارة التدريبية الكافية.

المنهجية
يقترح المؤلفون نظام WARDEN (محرك فك تشفير واردامان - Wardaman Decoding ENgine)، وهو إطار عمل مكون من مرحلتين صُمم لفصل عملية النسخ عن الترجمة، مما يسمح بالتعلم الفعال بأقل قدر من البيانات.

1. مرحلة النسخ (ASR):

• النموذج: يقوم النظام بضبط نموذج Whisper-large-v3 بدقة.
• التهيئة عبر اللغات (Cross-Linguistic Initialization): لمعالجة ندرة بيانات "واردامان"، حدد المؤلفون لغة "وسيطة" (proxy) مشابهة صوتياً لتهيئة رموز اللغة في النموذج. وباستخدام قاعدة بيانات PHOIBLE، قاموا بحساب مسافات "هامينج" (Hamming distances) بين المخزون الفونيمي للغة "واردامان" وست لغات مرشحة (السوندية، الأوزبكية، الهوسا، الكرواتية، الأوكتانية، والإنجليزية).
• الاختيار: تم تحديد اللغة السوندية (Sundanese) باعتبارها تمتلك أصغر مسافة فونيمية. يتم تهيئة النموذج باستخدام رمز اللغة السوندية (<su>) قبل ضبطه بدقة على الـ 6 ساعات من بيانات "واردامان". تهدف هذه الاستراتيجية إلى نقل المعرفة الفونولوجية وتسريع التقارب (convergence).

2. مرحلة الترجمة (MT):

• التحدي: يؤدي الضبط الدقيق المباشر لنماذج اللغات الكبيرة (LLMs) أو المترجمين القائمين على التعرف على الكلام (ASR) على 6 ساعات من البيانات إلى نتائج ضعيفة بسبب الإفراط في التخصيص (overfitting) والافتقار إلى المعرفة المتخصصة في المجال.
• سير العمل المعزز بالمعجم: قام المؤلفون بتجميع قاموس "واردامان-إنجليزي" (حوالي 2,300 مدخل) من تعليقات الخبراء.
• مطابق المعجم (Lexicon Matcher): قبل الترجمة، يقوم مطابق قائم على القواعد باسترجاع مدخلات القاموس ذات الصلة للكلمات الموجودة في نص الـ ASR. يتم المطابقة عبر:
  • معدل خطأ الحروف (CER): مطابقة كلمات النسخ مع مدخلات القاموس باستخدام عتبة $\tau = 0.2$.
  • مطابقة الزوائد (Affix Matching): المطابقة الموضعية للسوابق واللواحق للتعامل مع الأشكال المشتقة.
• تكامل نماذج اللغات الكبيرة (LLM Integration): يتم دمج مدخلات المعجم المسترجعة (بصيغة: الكلمة، معدل الخطأ في الحروف، جزء الكلام، والمعنى المختصر/gloss) مع نص الـ ASR وتغذيتها في نموذج لغة كبير (تحديداً Qwen3-8B).
• التدريب: يتم ضبط النموذج بدقة باستخدام تقنية "التكيف منخفض الرتبة" (LoRA). تتضمن المدخلات النص المنسق مع تلميحات المعجم المسترجعة، مما يحول نموذج اللغة الكبير إلى مترجم يعتمد على المعرفة بدلاً من كونه مجرد مترجم يعتمد على البيانات.
• تعزيز البيانات: يتم تعزيز بيانات التدريب عن طريق دمج العبارات القصيرة في تسلسلات أطول، ومن خلال استخدام مخرجات النسخ "المشوشة" الخاصة بـ Whisper كمدخلات لمحاكاة أخطاء الـ ASR في العالم الحقيقي.

المساهمات الرئيسية

• بنية ثنائية المرحلة: تثبت الورقة أن فصل النسخ عن الترجمة يتفوق على النهج الموحد في حالات الموارد المنخفضة للغاية (6 ساعات من البيانات).
• التهيئة بالوسيط الصوتي: تقديم فكرة تهيئة نماذج الـ ASR برموز من لغة مشابهة صوتياً (السوندية) للتغلب على ندرة البيانات.
• الترجمة المرتكزة على المعجم: خط عمل مبتكر يدمج القواميس التي أعدها الخبراء مباشرة في عملية استنتاج وضبط نماذج اللغات الكبيرة، مما يسمح للنموذج بالاستفادة من المعرفة الخارجية بدلاً من الاعتماد فقط على المعلمات الداخلية.
• وضع خط الأساس: إنشاء خط أساس قوي لمعالجة لغة "واردامان" باستخدام 6 ساعات فقط من البيانات المشروحة، متفوقاً على النماذج مفتوحة المص المصدر والملكية الأكبر حجماً.

النتائج التجريبية

• النسخ: حقق نظام WARDEN (نموذج Whisper الذي تم ضبطه بدقة مع تهيئة سوندية) معدل خطأ في الكلمات (WER) قدره 0.52. وقد تفوق هذا على الضبط الدقيق القياسي لـ Whisper (0.64) ونماذج الـ Zero-shot (1.62). أدى استخدام الرمز السندي إلى تقليل معدل خطأ الكلمات بمقدار 0.12 مقارنة بالضبط الدقيق القياسي.
• الترجمة: باستخدام نموذج Qwen3-8B مع شرط المعجم والضبط الدقيق، حقق WARDEN درجة BLEU-4 بلغت 12.40.
  • تفوق هذا بشكل كبير على أفضل نتيجة لنموذج GPT-5 وهي (7.54) وعلى غيره من النماذج المرجعية التي تم ضبطها بدقة.
  • أظهرت دراسات الاستئصال (Ablation studies) أن إزالة المعجم أو الضبط الدقيق أدى إلى خفض درجة BLEU بمقدار 6.28 و9.57 على التوالي.
  • أظهر النظام أيضاً متانة، حيث حافظ على الأداء حتى عند تغذيته بمخرجات ASR مشوشة.

الأهمية والادعاءات
تدعي الورقة أن WARDEN نجح في الهروب من "لعنة البيانات المحدودة" التي تعيق الأنظمة الحالية. فمن خلال الاستفادة من الرؤى اللغوية (التشابه الصوتي) ومعرفة الخبراء (القواميس)، يحقق النظام أداءً عالياً بجزء بسيط من البيانات المطلوبة عادةً. لا يعتبر المؤلفون WARDEN بديلاً لعلماء اللغويات، بل أداة لتسريع عملية التوثيق، مما يقلل الوقت المطلوب لمعالجة التسجيلات الصوتية من أيام إلى ساعات. ويؤكد العمل أن مثل هذه الأدوات يمكن أن تدعم جهود إحياء اللغات بقيادة المجتمعات المحلية، بشرما يتم تطويرها مع احترام ملكية البيانات وتفضيلات المجتمع المتحدث. ويصرح المؤلفون صراحةً بأن فعالية التصميم قد تم التحقق منها من خلال قدرته على التفوق على النماذج الأكبر والأكثر استهلاكاً للبيانات في هذا السياق المحدد منخفض الموارد.