Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

ملخص تقني: Mix-MoE: تحسين الترجمة الآلية متعددة اللغات للنماذج اللغوية الكبيرة من خلال نماذج الخلط من الخبراء (Mix-MoE)

بيان المشكلة
بينما تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات قوية في الترجمة الآلية (MT) متعددة اللغات، فإن الضبط الدقيق (fine-tuning) لهذه النماذج باستخدام مجموعات بيانات متوازية يفرض تحديًا كبيرًا يتمثل في: تداخل المعلمات (parameter interference). فعندما يتم ضبط نموذج لغوي كبير بدقة لمهمة لاحقة مثل الترجمة باستخدام بيانات جديدة، تتغير معلماته لتحسين أداء المهمة الجديدة، مما يؤدي غالبًا إلى تدهور قدراته الأصلية القوية في فهم وتوليد اللغة أحادية اللغة. وتفتقر الأساليب الحالية، مثل بنيات خلط الخبراء (MoE) العامة أو طرق عزل المعلمات، إلى تصميمات مخصصة للمهام تستفيد صراحةً من المعرفة أحادية اللغة المسبقة لدعم الترجمة، أو قد تعتمد على آليات توجيه (routing) تأخذ في الاعتبار المحتوى الدلالي فقط، مما قد يغفل الأنماط الهيكلية أو الإيقاعية الكامنة في النص.

المنهجية
يقترح المؤلفون إطار عمل Mix-MoE، وهو إطار عمل مختلط لخلط الخبراء مصمم لتدريب النماذج اللغوية الكبيرة للترجمة الآلية متعددة اللغات مع التخفيف من تداخل المعلمات. يقوم هذا الإطار بتحويل نموذج لغوي كبير كثيف إلى نموذج MoE متفرق يتكون من مجموعتين متميزتين من الخبراء، ويستخدم استراتيجية تدريب مكونة من مرحلتين:

1. مجموعات الخبراء المتخصصة:

   • خبراء النموذج اللغوي (LM Experts): صُممت لالتقاط والاحتفاظ بالمعرفة أحادية اللغة التي تم تعلمها أثناء التدريب المسبق. يتم تهيئة هذه الخبراء عن طريق "إعادة تدوير" (upcycling) أوزان طبقات الشبكة العصبية المغذية (FFN) الأصلية للنموذج اللغوي الكبير.
   • خبراء الترجمة الآلية (MT Experts): متخصصة في اكتساب وتخزين المعرفة الثنائية لغوية للترجمة. يتم تهيئتها من خبراء النموذج اللغوي (LM Experts) المسبقة التهيئة.
   • يستهدف النموذج طبقات الـ FFN للتحويل إلى MoE، حيث تعمل هذه الطبقات كذاكرة (مفتاح-قيمة) للمعرفة اللغوية، مع إبقاء طبقات الانتباه (Attention) كثيفة للحفاظ على الوعي بالسياق.

2. آلية التوجيه المعززة بتحويل فوريه السريع (FFT-Enhanced Routing):

   • لتسهيل التفاعل الفعال بين الخبراء والتقاط الإشارات اللغوية المتنوعة، قدم المؤلفون آلية توجيه معززة بميزات تحويل فوريه السريع (FFT).
   • يتم استخراج الميزات الطيفية من الحالات الخفية للنموذج عبر FFT ودمجها مع التمثيلات الدلالية الأصلية.
   • تستخدم شبكات توجيه منفصلة (واحدة لخبراء LM وأخرى لخبراء MT) هذه التمثيلات المعززة لاختيار الخبراء. يتيح ذلك للموجه (router) مراعاً ليس فقط المحتوى الدلالي، بل أيضًا الأنماط في نطاق التردد التي تشير إلى بنية النص (مثل إيقاع الجملة، أو التعقيد الصرفي).

3. استراتيجية ما بعد التدريب المسبق ذات المرحلتين:

   • المرحلة 1 (تدريب خبير النموذج اللغوي - LM Expert Training): يتم تدريب النموذج على مجموعات بيانات أحادية اللغة. يتم تحديث خبراء LM وشبكة التوجيه الخاصة بهم فقط. الهدف هو صقل تمثيل البنى اللغوية الفردية.
   • المرحلة 2 (تدريب خبير الترجمة الآلية - MT Expert Training): يتم تدريب النموذج على مجموعات بيانات ثنائية اللغة متوازية. يتم تجميد (freezing) خبياء LM ومعلمات الموجه الخاص بهم للحفاظ على المعرفة أحادية اللغة المكتسبة. يتم تدريب خبراء MT وشبكة التوجيه الخاصة بهم فقط للتخصص في مهمة الترجمة.

المساهمات الرئيسية

1. بنية Mix-MoE: بنية MoE مبتكرة تتميز بخبراء متخصصين (LM و MT)، مقترنة بآلية توجيه معززة بـ FFT تستفيد من الإشارات الدلالة والأنماط الهيكلية للنصوص.
2. استراتيجية تدريب من مرحلتين: مسار تدريب مخصص يسمح لخبراء MT بالاستفية من المعرفة المسبقة مع التخصص في الترجمة، مما يفصل بفعالية بين أهداف تعلم اللغة أحادية اللغة والتعلم ثنائي اللغة للتخفيف من تداخل المعلمات.
3. التحقق التجريبي: تجارب واسعة النطاق تثبت أن الطريقة المقترحة تحقق نتائج هي الأفضل في مجالها (state-of-the-art) عبر مهام ترجمة متعددة وأزواج لغوية مختلفة.

النتائج التجريبية
قيم المؤلفون Mix-MoE على 14 اتجاهًا لغويًا باستخدام مجموعة بيانات WMT (بما في ذلك الفنلندية، التشيكية، الألمانية، الروسية، التركية، الإستونية، والصينية إلى/من الإنجليزية) ومعيار FLORES-200.

• الأداء: تفوق Mix-MoE باستمرار على النماذج المرجعية، بما في ذلك الضبط الدقيق الكامل (Full Fine-tuning)، وLoRA، وLLaMA-Pro، ومتغيرات MoE العامة (مثل MoE-LPR و LLaMA-MoE v2). على سبيل المثال، في مهمة DE-EN، حقق Mix-MoE درجة BLEU بلغت 31.8، متفوقًا بشكل ملحوظ على النموذج المرجعي للضبط الدقيق الكامل ذي المرحلتين (20.8).
• التخفيف من تداخل المعلمات: أكدت دراسات الاستئصال (ablation studies) أن فصل الخبراء أمر بالغ الأهمية. فقد كان تدريب MoE القياسي ذي المرحلتين (الذي يحدث جميع الخبراء في المرحلة 2) أسوأ من Mix-MoE، مما يشير إلى أن تجميد خبراء LM تحديدًا يمنع النسيان الكارثي.
• توجيه FFT: أظهرت المقارنات مع الإسقاط العشوائي (Random Projection) وتحويل جيب التمام المتقطع (DCT) أن الميزات المستمدة من FFT حسنت بشكل كبير فعالية التوجيه، مما يؤكد أن الأنماط في نطاق التردد توفر إشارات هيكلية قيمة لاختيار الخبراء.
• القابلية للتوسع: أظهرت الطريقة متانة وقابلية للتوسع عند التوسع في نماذج أكبر (Llama3.1-8B و Qwen2.5-14B)، حيث تفوقت باستمرار على أساليب الضبط الدقيق الكامل.

الأهمية والادعاءات
يدعي البحث أن Mix-MoE يعالج التحدي الحرج المتمثل في تداخل المعلمات عند الضبط الدقيق للنماذج اللغوية الكبيرة للترجمة متعددة اللغات. ومن خلال الفصل الصريح بين تعلم نمذجة اللغة أحادية اللغة والترجمة ثنائية اللغة في مجموعات خبراء متميزة، وباستخدام آلية توجيه حساسة للأنماط الهيكلية للنصوص، نجح إطار العمل في الحفاظ على قدرات اللغة الأصلية للنموذج اللغوي الكبير مع تعزيز أداء الترجمة. ويضع المؤلفون هذا العمل كخطوة للأمام في التدريب الفعال للترجمة الآلية، حيث يقدم حلاً عمليًا لنشر أنظمة الترجمة متعددة اللغات التي تحافظ على فهم لغوي عالي الجودة دون الحاجة إلى التكرار الناتج عن التحديثات الهائلة للمعلمات.