ملخص تقني: متى يتم توجيه الخبراء بشكل خاطئ؟ تحليل التوجيه المقابل للواقع في نماذج لغة "خليط الخبراء" (MoE)

1. بيان المشكلة

تعمل نماذج لغة "خليط الخبراء" (Mixture-of-Experts - MoE) على توسيع السعة عبر توجيه كل رمز (token) إلى مجموعة فرعية صغيرة من الخبراء ($k$) من أصل مجموعة كبيرة ($N$). وبينما يتم تدريب الموجه (router) عادةً عبر خسارة نمذجة اللغة القياسية وأهداف موازنة الأحمال المساعدة، إلا أن جودة قرارات التوجيه المحددة التي يتخذها موجه $top-k$ مدرب لم تُقيم بشكل مباشر ونادراً ما تم فحصها.

السؤال المركزي الذي تعالجه الدراسة هو: هل المسارات المختارة بواسطة موجه قياسي مدرب هي بالفعل أفضل المسارات المتاحة داخل النموذج المجمد؟

يفترض العمل السابق أن التوجيه يستقر مبكراً وأن الأداء في المهام اللاحقة (downstream) كافٍ كدليل على جودة التوجيه. ومع ذلك، فإن نجاح الاستدلال غالباً ما يعتمد بشكل غير متناسب على مجموعة فرعية صغيرة من الرموز "المفصلية" أو ذات الإنتروبيا العالية. وتفترض المؤلفة أن التدريب القياسي قد يفشل في تحسين التوجيه لهذه الرموز الحرجة ومنخفضة الثقة لأن إشارة التدريب لا تقيم المسارات البديلة ذات الحوسبة المتساوية.

2. المنهجية

تحليل التوجيه المقابل للواقع (Counterfactual Routing Analysis)

تقترح المؤلفة بروتوكولاً لتقييم جودة التوجيه دون تعديل أوزان النموذج (باستثناء تجربة تدخل محددة).

1. الإعداد: باستخدام مسارات استدلال صحيحة ومحققة (مثل MATH Level-5، AIME، HMMT)، تحلل المؤلفة الرموز في طبقات معينة من الـ MoE.
2. أخذ عينات من البدائل: بالنسبة لرمز $t$ عند الطبقة $\ell$، بدلاً من مراقبة المسار القياسي $S^{\text{std}}_{t,\ell}$ فقط، يقومون بأخذ عينات من $G=32$ مسار $top-k$ بديل من نفس مجموعة الخبراء ذات الدرجات العالية باستخدام أخذ عينات Gumbel-top-$k$. جميع البدائل لها نفس التكلفة الحسابية (نفس $k$).
3. التقييم (Scoring): لكل مسار (القياسي والبدائل)، يتم تشغيل النموذج للأمام مع تفعيل ذلك المسار المحدد فقط عند الطبقة $\ell$ (مع بقاء جميع المعلمات الأخرى مجمدة). يتم تقييم فائدة المسار من خلال الاحتمالية التي يخصصها للرمز التالي المتحقق منه في المسار الصحيح.
4. التصنيف (Stratification): يتم تجميع الرموز في ثلاث فئات بناءً على متوسط الاحتمالية التي خصصتها المسارات البديلة المأخوذة كعينات ($\bar{p}$):
   • واثقة (Confident): $\bar{p} > 0.9$
   • غامضة (Ambiguous): $0.5 < \bar{p} \le 0.9$
   • هشة (Fragile): $\bar{p} \le 0.5$

التحليل الهيكلي للتدريب

تحلل الورقة تدفق التدرج (gradient flow) في تدريب MoE القياسي لتفسير حالات الفشل الملحوظة. وهي توضح أن خسارة نمذجة اللغة توفر إشارة للمسار المنفذ فقط. التدرج للخبراء غير المختارين يتلاشى. علاوة على ذلك، فإن خسائر موازنة الأحمال القياسية (مثل أسلوب Switch) تعتمد فقط على الإحصائيات الإجمالية (درجات الموجه وتكرارات الاختيار) ولا توفر إشارات مقابلة للواقع على مستوى الرمز فيما يتعلق بأي مسار بديل كان سيقلل الخسارة.

تحديث الموجه الأدنى (تحسين تفضيل الخبير - EPO)

لاختبار ما إذا كانت إخفاقات التوجيه "يمكن الوصول إليها" ضمن النموذج المجمد، تقوم المؤلفة بتدخل أدنى:

• التجميد: يتم تجميد جميع أوزان الخبراء وجميع أوزان الموجه باستثناء الطبقة الأخيرة.
• التدريب: يتم تحديث الطبقة الأخيرة للموجه فقط باستخدام تحسين تفضيل الخبير (Expert Preference Optimization - EPO).
• الآلية: يحدد الـ EPO "الرموز الصعبة" (عالية الإنتروبيا المتقاطعة). يقوم بأخذ عينات من مسارات بديلة؛ إذا حقق مسار بديل إنتروبيا متقاطعة أقل من الاختيار الحالي، فإنه يُعامل كالمسار "المختار" ($r^+$) والمسار الحالي كالمسرف "المرفوض" ($r^-$). يتم تحديث الموجه عبر هدف شبيه بـ DPO ليفضل $r^+$ على $r^-$.
• التقييم: يتم اختبار الموجه المحدث على معايير المهام اللاحقة (AIME، HMMT) دون بحث وقت الاختبار.

3. النتائج الرئيسية

جودة التوجيه تتدهور في الرموز الهشة

عبر أربعة نماذج (Qwen3-30B-A3B, GPT-OSS-20B, DeepSeek-V2-Lite, OLMoE-1B-7B) وعدة معايير:

• الرموز الواثقة: الموجه القياسي متوافق جيداً مع الفائدة. المسار القياسي غالباً ما يكون الأفضل بين البدائل المأخوذة كعينات، وفجوة الاحتمالية ضئيلة.
• الرموز الهشة: ينهار التوافق.
  • المسار القيسي هو الأفضل بين البدائل المأخوذة كعينات في 0.8% فقط من الرموز الهشة (بالنسبة لـ Qwen3).
  • أفضل مسار متاح (بنفس تكلفة الحوسبة) يحسن احتمالية الرمز التالي بمقدار 20.4 نقطة مئوية في المتوسط لنموذج Qwen3 في الرموز الهشة.
  • هذا النمط مستمر عبر الطبقات (رغم أن الفجوة تتسع في الطبقات الأعمق) وعبر عائلات النماذج المختلفة.

الفجوة المقابلة للواقع (The Counterfactual Blind Spot)

يؤكد التحليل أن التدريب القياسي يخلق "فجوة عمياء مقابلة للواقع".

• دالة الخسارة تقيم المسار المنفذ فقط.
• موازنة الأحمال تشجع التنوع الإجمالي ولكنها لا تشير إلى أي مسار بديل محدد هو الأفضل لرمز صعب معين.
• نتيجة لذلك، يتعلم الموجه التوجيه بثقة جيدة، لكنه يفشل في التمييز بين المسارات دون المثالية والمثالية في الرموز الصعبة حيث يكون الخيار حاسماً.

التحديث الأدنى يغير الأداء

تُظهر تجربة EPO أن الفشل ليس ناتجاً بالضرورة عن نقص في قدرة الخبراء:

• تحديث أقل من 0.001% من معلمات النموذج (فقط موجه الطبقة الأخيرة) كان كافياً لتغيير أداء pass@K في AIME 2024+2025 وHMMT 2025 لكلا النموذجين Qwen3-30B-A3B وGPT-OSS-20B.
• يتركز التحسن في الرموز "الغامضة" و"الهشة"، حيث يختار الموجه المحدث مسارات أفضل، بينما يظل الأداء في الرموز "الواثقة" مستقراً (رغم أن مقاييس توافق الرتب تتغير قليلاً بسبب تقليل الانحياز نحو الرموز السهلة).

4. الأهمية والادعاءات

تجادل الورقة بأن جودة التوجيه يجب أن تُعامل كـ قضية أساسية في تدريب MoE، وليس مجرد تفصيل تنفيذي للندرة (sparsity).

• التشخيص: الموجه القياسي ليس "سيئاً" بشكل عام؛ فهو فعال للغاية في الرموز الواثقة، ولكنه غير متوافق بشكل منهجي في الرموز الهشة التي تقود الاستدلال الصعب.
• السبب الجذري: هذا عدم التوافق هو نتيجة هيكلية لأهداف تدريب $top-k$ القياسية، التي تفتقر إلى الإشارات المقابلة للواقع على مستوى الرمز للمسارات غير المختارة.
• الاستنتاج: الخسارة العالية في الرموز الصعبة ليست بالضرورة حداً لقدرة الخبراء؛ بل يمكن أن تكون فشلاً في التوجيه يمكن معالجته داخل النموذج المجمد.
• الاتجاه المستقبلي: تقترح المؤلفة أن أهداف التدريب المسبق المستقبلية يجب أن تدمج إشارات على مستوى الرمز للمسارات البديلة ذات الحوسبة المتساوية (على سبيل المثال، تقييم البدائل المأخوذة كعينات جنباً إلى جنب مع المسار المنفذ) لمنع عدم التوافق هذا أثناء التدريب، بدلاً من الاعتماد على الإصلاحات اللاحقة.

تظل المؤلفة متواضعة، مشيرة إلى أن تحليلها يتم على مسارات صحيحة ومحققة (حيث الرمز المتحقق منه معروف أنه صحيح) وأنها تحلل الطبقات بشكل مستقل. ومع ذلك، فإن اتساق النمط عبر نماذج ومجالات متنوعة يشير إلى وجود قصور جوهري في نماذج تدريب MoE الحالية.