One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل نموذج واحد يترجمهم جميعاً؟ رحلة إلى جبل الهلاك لدمج النماذج متعددة اللغات."

1. بيان المشكلة

بينما تقدمت النماذج اللغوية الكبيرة (LLMs) بشكل كبير، فإن تدريب نموذج واحد متعدد اللغات يعمل بشكل جيد عبر أزواج لغوية متنوعة يعد أمراً مكلفاً حوسبياً، وغالباً ما يؤدي إلى أداء ضعيف في اللغات ذات الموارد المنخفضة. وهناك بديل شائع يتمثل في الضبط الدقيق المستقل لنماذج أصغر أحادية اللغة أو متخصصة في مهام معينة. ومع ذلك، فإن نشر العديد من النماذج المتخصصة يعد أمراً مكلفاً. يقدم دمج النماذج (Model merging) حلاً من خلال دمج أوزان النماذج التي تم ضبطها بدقة بشكل مستقل دون الوصول إلى بيانات التدريب الأصلية.

وعلى الرغم من النجاح في إعدادات المهام المتعددة (مثل الرؤية الحاسوبية أو المهام المتمحورة حول اللغة الإنجليزية)، إلا أن سلوك الدمج في فضاء الأوزان في الترجمة الآلية متعددة اللغات (MT) لا يزال غير مفهوم بشكل جيد. وتحديداً، ليس من الواضح ما إذا كان دمج النماذج التوليدية ثنائية اللغة التي تم ضبطها بالكامل (والمدربة على مجموعات بيانات بمقياس الملايين) يمكن أن يندمج بنجاح في نظام واحد متعدد اللغات، أو ما إذا كانت الهندسات اللغوية المتميزة ستؤدي إلى فشل كارثي.

2. المنهجية

الإعداد التجريبي

• النموذج الأساسي: Qwen-2.5-3B-Instruct.
• المهمة: الترجمة الآلية لأزواج (اللغات الهندية - الإنجليزية) (هندي، بنغالي، تاميل، تيلوغو $\leftrightarrow$ إنجليزي).
• البيانات: مجموعات بيانات ثنائية اللغة واسعة النطاق من مجموعة بيانات Samanantar (تتراوح من ~5 مليون إلى 10 ملايين زوج جمل لكل اتجاه).
• الضبط الدقيق: ضبط دقيق لكامل المعلمات (Full-parameter fine-tuning) باستخدام LLaMAFactory لإنشاء نماذج قوية ومتخصصة في المهام تمثل الحد الأعلى للأداء (upper-bound models).
• استراتيجيات الدمج التي تم تقييمها:
  • حساب المهام (Task Arithmetic): مزيج خطي لمتجهات المهام.
  • TIES: تقليم التحديثات ذات المقدار المنخفض وحل صراعات الإشارات.
  • DARE: إسقاط معاملات "دلتا" بشكل عشوائي وإعادة قياسها لتحفيز التناثر (Sparsity).
  • SCE-Merging: اختيار تغييرات الأوزان الهامة بناءً على قوة التحديث.
• التكوينات:
  1. من كثير إلى واحد (هدف مشترك): دمج النماذج التي تترجم من لغات هندية مختلفة إلى الإنجليزية.
  2. من واحد إلى كثير (مصدر مشترك): دمج النماذج التي تترجم من الإنجليزية إلى لغات هندية مختلفة.
  3. ثنائي الاتجاه: دمج نماذج $L \to E$ و $E \to L$ لإنشاء أنظمة ثنائية الاتجاه.

تقنيات التحليل

لشرح تدهور الأداء، استخدم المؤلفون ثلاثة تحليلات للتمثيل الداخلي:

1. انتقائية الخلايا العصبية المشروطة بالنطاق (Span-Conditioned Neuron Selectivity): تحليل تنشيط بوابات MLP لتحديد الخلايا العصبية الخاصة بنطاقات المصدر (الترميز) مقابل نطاقات الهدف (التوليد) واللغات.
2. محاذاة استخدام الخلايا العصبية (NUA): قياس تشابه جيب التمام لمعدلات التنشيط عبر النماذج لتحديد ما إذا كانت تستخدم نفس الوحدات الحسابية.
3. محاذاة النواة المركزية على مستوى الطبقة (Layer-wise CKA): قياس التشابه الهندسي للتمثيلات المخفية بين النماذج في طبقات مختلفة.
4. تحليل الزاوية الرئيسية (Principal Angle Analysis): قياس التباعد الهندسي للفضاءات الفرعية للتمثيل.

3. النتائج الرئيسية

تدهور الأداء

• من كثير إلى واحد (الهندية $\to$ الإنجليزية): يحسن الدمج التغطية متعددة اللغات والاستقرار مقارنة بالنموذج الأساسي، لكنه يفشل في الحفاظ على ذروة الدقة. يحقق النموذج المدمج متوسط BLEU/CHRF أقل بكثير من الحدود العليا الفردية للنماذج المضبوطة بدقة.
• من واحد إلى كثير (الإنجليزية $\to$ الهندية): يسبب الدمج تدهوراً شديداً، وغالباً ما يكون أداؤه أسوأ من النموذج الأساسي قبل التدريب. على سبيل المثال، في حالة (الإنجليزية $\to$ الهندية)، احتفظ النموذج المدمج بـ ~22% فقط من درجة BLEU للنموذج المضبوط بدقة.
• الدمج ثنائي الاتجاه: يظهر عدم تماثل اتجاهي شديد.
  • $L \to E$ (من الهندية إلى الإنجليزية) يتم الحفاظ عليه جزئياً.
  • $E \to L$ (من الإنجليزية إلى الهندية) ينهار تماماً (احتفاظ بـ BLEU < 5% للتاميل/التيلوغو).
• الاستنتاج: دمج مساحات توليد اللغات المستهدلة المختلفة أكثر تدميراً بكثير من تجميع المشفرات المصدرية المتنوعة.

نتائج التمثيل الداخلي

• تمركز الخلايا العصبية: الخلايا العصبية الخاصة باللغة ليست موزعة بشكل موحد.
  • طبقات التضمين (Embedding Layers): تظهر تخصصاً متزايداً للمدخلات الهندية.
  • كتل المحولات العليا (Upper Transformer Blocks): تظهر إعادة تنظيم أكثر أهمية لعملية التوليد (نطاقات الهدف).
• إعادة التوزيع مقابل الشحذ: الضبط الدقيق لا يقوم فقط بشحذ انتقائية اللغة؛ بل يعيد توزيعها. الخلايا العصبية للغات الخاضعة للإشراف تصبح أقل حصريّة، بينما تصبح الخلايا للغات غير الخاضعة للإشراف أكثر عزلة.
• عدم المحاذاة الهندسية:
  • NUA: تنشط النماذج المضبوطة بدقة بشكل مستقل خلايا عصبية متشابهة إلى حد كبير (تداخل عالٍ)، مما يشير إلى أن الفشل ليس بسبب الشبكات الفرعية المنفصلة.
  • CKA والزوايا الرئيسية: رغم استخدام نفس الخلايا العصبية، إلا أن التوجه الهندسي لتنشيطاتها يتباعد بشدة في طبقات فك التشفير النهائية (الطبقات 28–36).
  • عدم التماثل: تظل تمثيلات جانب المصدر متوافقة نسبياً عبر النماذج، لكن الفضاءات الفرعية لتوليد الجانب المستهدف تصبح خاصة باللغة وغير متوافقة هندسياً بشكل حاد.

4. المساهمات الرئيسية

1. دراسة منهجية: واحدة من أول التقييمات الشاملة لدمج الوزن في الترجمة الآلية متعددة اللغات كاملة المعلمات وواسعة النطاق، مع إصدار نقاط تفتيش (checkpoints) للمقارنة المرجعية.
2. اكتشاف عدم التماثل الاتجاهي: أثبتت الدراسة أن الدمج يفشل بشكل أكبر عندما تختلف اللغات المستهدفة (واحد $\to$ كثير) مقارنة باختلاف اللغات المصدرية (كثير $\to$ واحد)، وأن الدمج ثنائي الاتجاه هش للغاية.
3. التفسير الميكانيكي: قدمت تفسيراً هيكلياً لفشل الدمج:
   • الضبط الدقيق متعدد اللغات يعيد تشكيل هندسة طبقات المحولات العليا (كتل التوليد) بطريقة خاصة باللغة المستهدفة.
   • استراتيجيات الدمج القياسية (الاستكمال الخطي) تفترض التوافق الهندسي، لكن هذه النماذج تشغل فضاءات توليد فرعية غير متوافقة في الطبقات النهائية.
   • يؤدي الدمج إلى الجمع بين هذه الفضاءات الفرعية غير المتوافقة، مما يتسبب في كبح السمات التوليدية الخاصة بكل لغة.

5. الأهمية

تتحدى هذه الورقة الافتراض القائل بأن دمج مساحة الأوزان هو حل عالمي لدمج النماذج. فهي تكشف أن التخصص متعدد اللغات يخلق تحولات هندسية هيكلية عميقة في الطبقات التوليدية للنماذج اللغوية الكبيرة، والتي لا تستطيع تقنيات الدمج القياسية حلها.

تشير النتائج إلى أن:

• مجرد متوسط الأوزان ليس كافياً لدمج النماذج المتخصصة في التوليد.
• يجب أن تأخذ استراتيجيات الدمج المستقبلية في الاعتبار المحاذاة الهندسية على مستوى الطبقات، لا سيما في كتل فك التشفير النهائية حيث يحدث التوليد الخاص باللغة.
• إن "فصل الاهتمامات" في النماذج اللغوية الكبيرة (الدوائر الدلالية مقابل دوائر اللغة المحددة) يعني أنه بينما قد يندمج الفهم الدلالي بشكل جيد، فإن آليات التحكم في لغة المخرجات حساسة للغاية لمسار الضبط الدقيق المحدد، مما يؤدي إلى "جبل الهلاك" (الفشل الكارثي) الملاحظ في سيناريوهات الدمج متعدد اللغات.