MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "MoE-GRPO: تحسين خليط الخبراء عبر التعلم المعزز في نماذج الرؤية واللغة".

1. بيان المشكلة

السياق: تُستخدم بنيات "خليط الخبراء" (Mixture-of-Experts - MoE) على نطاق واسع في نماذج الرؤية واللغة (VLMs) لتوسيع قدرة النموذج مع الحفاظ على الكفاءة الحسابية من خلال التنشيط المتفرق لمجموعة فرعية من المعلمات (الخبراء) لكل رمز (token).
القصور: النهج القياسي لتنشيط الخبراء هو التوجيه الحتمي (Deterministic Top-K routing)، حيث يتم اختيار الـ $K$ من الخبراء الذين لديهم أعلى درجات البوابة لكل رمز.
القضايا الجوهرية:

1. الاستكشاف المحدود: يقيّد الاختيار الحتمي النموذج بمسار واحد "جشع" (greedy)، مما يمنعه من اكتشاف تركيبات الخبراء التي قد تكون أكثر مثالية.
2. الإفراط في التخصيص للخبراء (Expert Overfitting): يميل النموذج إلى الإفراط في التخصيص لمجموعة فرعية صغيرة من الخبراء، مما يؤدي إلى ضعف التعميم ونقص التخصص على مستوى المهام.
3. السياسة غير المثالية: الطرق العشوائية الموجودة (مثل إضافة ضجيج غاوسي) تعالج الاستكشاف جزئياً فقط، لكنها لا تعمل صراحة على تحسين سياسة اختيار الخبراء نفسها.

2. المنهجية: MoE-GRPO

يقترح المؤلفون MoE-GRPO، وهو إطار عمل للتعلم المعزز (RL) يعامل اختيار الخبير كمسألة اتخاذ قرار متسلسل، يتم تحسينها باستخدام تحسين السياسة النسبية للمجموعات (Group Relative Policy Optimization - GRPO).

أ. الصياغة كمسألة اتخاذ قرار متسلسل

على عكس GRPO القياسي حيث يكون "الإجراء" هو أخذ عينة من الرمز الناتج التالي، يقوم MoE-GRPO بتوسيع مساحة الإجراء لتشمل قرارات توجيه الخبراء عبر جميع الرموز والطبقات.

• مساحة الإجراء: تسلسل من اختيارات الخبراء $[o_{1,1}, o_{1,2}, \dots, o_{T,L}]$ يغطي $T$ من الرموز و $L$ من الطبقات.
• الهدف: يتعلم النموذج اختيار تركيبات متنوعة من الخبراء التي تعظم مكافأة قابلة للتحقق (مثل دقة الإجابة).

ب. إطار التدريب ثنائي الأهداف

لتحسين توليد الرموز وتوجيه الخبراء بشكل مشترك، يحدد MoE-GRPO هدفين فرعيين:

1. Token-GRPO: يحسن جودة تسلسل المخرجات المولدة ($y$) بناءً على الخبراء المختارين ($E$). إنه يعزز سياسات اختيار الخبراء التي تؤدي إلى مخرجات ذات مكافأة عالية.
2. Gate-GRPO: يحسن شبكة البوابة ($g$) مباشرة عند كل طبقة. يوتم توفير إشراف كثيف ودقيق من خلال مكافأة اختيارات خبراء محددة ($E_{t,l}$) تساهم في النتائج ذات المكافأة العالية، مما يوجه الموجه (router) بفعالية نحو الاستخدام المتوافق مع المكافأة.
   • إجمالي الخسارة: $\mathcal{L}_{\text{MoE-GRPO}} = \mathcal{L}_{\text{Token-GRPO}} + \mathcal{L}_{\text{Gate-GRPO}}$

ج. توجيه الموجه المدرك للنمط (Modality-Aware Router Guidance)

لمعالجة عدم كفاءة استكشاف مساحة بحث هائلة في البيئات متعددة الوسائط، قدم المؤلفون آلية توجيه:

• الآلية: يقوم النظام بحساب درجات الوعي بالنمط ($\hat{s}_v$ للرؤية، $\hat{s}_t$ للنص) لكل خبير بناءً على ترددات التنشيط التاريخية.
• القيد: أثناء التدريب، يتم إلغاء تنشيط الـ $P\%$ الأدنى (مثل 25%) من الخبراء الأقل صلة بالمدخل الحالي (مثل الخبراء البصريين لرموز الصور) (بضبط درجات البوابة إلى $-\infty$).
• الفائدة: يقلل هذا من الاستكشاف غير الضروري للخبراء غير ذوي الصلة، مما يؤدي إلى استقرار التدريب وتحسين سرعة التقارب مع الحفاظ على التنوع ضمن مساحة النمط ذات الصلة.

3. المساهمات الرئيسية

1. أول اختيار للخبراء قائم على التعلم المعزز: هذا هو العمل الأول الذي يصيغ اختيار الخبراء في نماذج الرؤية واللغة القائمة على MoE كمسألة اتخاذ قرار متسلسل ويحسنها عبر التعلم المعزز (تحديداً GRPO).
2. هدف تدريب مبتكر: يسمح تقديم Gate-GRPO بالتحسين المباشر لسياسة التوجيه، مكملاً تحسين توليد الرموز القياسي.
3. التوجيه المدرك للنمط: آلية توازن بين كفاءة الاستكشاف والاستقرار عن طريق تقييد مساحة البحث بالخبراء ذوي الصلة بالنمط دون التضحية بالتنوع.
4. تقييم شامل: تجارب واسعة النطاق تثبت أن التوجيه القائم على التعلم المعزز يتفوق على النماذج الحتمية والأساليب العشوائية التجريبية.

4. النتائج التجريبية

قام المؤلفون بتحويل InternVL3.5-1B إلى بنية MoE (1.3 مليار معلمة نشطة من أصل 2.9 مليار إجمالية) ودربوه باستخدام MoE-GRPO.

• اختبارات تعدد الوسائط: تفوق MoE-GRPO على نظام Top-K الحتمي (Deterministic FT) والمتغيرات العشوائية (Noise/Multinomial) بنسبة 2.0% – 2.3% في متوسط الدقة عبر 9 اختبارات للصور/الفيديو (مثل MMBench، VideoMME).
• التعميم عبر مجموعات البيانات: عند تطبيقه على CLIP-MoE لتصنيف الصور، حقق MoE-GRPO زيادة في متوسط الدقة بنسبة 3.1% مقارنة بالضبط الدقيق الحتمي، مما قلل بشكل كبير من الإفراط في التخصيص.
• التعميم في النطاقات (Domain Generalization): في مجموعات البيانات خارج النطاق (ImageNet-V2، ImageNet-S، إلخ)، تفوق MoE-GRPO باستمرار على النماذج المرجعية، محققاً زيادة بنسبة 4.1% عن CLIP-MoE الأساسي و 1.5% عن Det-FT.
• دراسات الاستبعاد (Ablation Studies):
  • كل من Token-GRPO و Gate-GRPO ضروريان؛ حيث أدى إزالة Gate-GRPO إلى انخفاض كبير في الأداء (55.7% $\to$ 50.9%).
  • تفوق التوجيه المدرك للنمط على أخذ العينات العشوائية/متعدد الحدود (modality-agnostic) بنسبة 1.5%.
  • الطريقة قوية عبر خوارزميات RL المختلفة (GRPO، DAPO، SAPO).

5. الأهمية والتحليل

• التنوع والتخصص: يظهر التحليل أن MoE-GRPO يزيد من إنتروبيا توزيعات التوجيه (من 1.05 إلى 1.82)، مما يشير إلى استخدام أكثر تنوعاً للخبراء. كما أنه يحفز التخصص على مستوى المهام، حيث يتم تنشيط خبراء مختلفين لمهام مختلفة (ارتفع JSD من 0.06 إلى 0.20).
• تخفيف الإفراط في التخصيص: من خلال استكشاف تركيبات متنوعة من الخبراء بدلاً من الالتزام بمسار Top-K الجشع، يتجنب النموذج الاعتماد المفرط على خبراء محددين، مما يؤدي إلى تعميم أفضل.
• التحسين النوعي: تظهر التصورات أن MoE-GRPO يجعل قرارات توجيه أكثر تكيفاً عبر الطبقات، مما يسمح للنموذج بحل مهام الاستدلال المعقدة (مثل عد الأشياء) حيث تفشل النماذج الحتمية المرجعية.

الخلاصة: يثبت MoE-GRPO أن معاملة توجيه الخبراء كسياسة قابلة للتعلم عبر التعلم المعزز، والموجهة بقيود النمط، يعزز بشكل كبير أداء وتعميم وكفاءة نماذج الرؤية واللغة واسعة النطاق.