Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

ملخص تقني: نماذج خليط الخبراء (MoE) يمكن أن تتفوق على النماذج الكثيفة (Dense) في ظل تساوي الموارد بدقة

بيان المشكلة
بينما يُعترف على نطاق واسع بقدرة نماذج اللغة من نوع "خليط الخبراء" (Mixture-of-Experts - MoE) على توسيع سعة النموذج دون زيادة الحوسبة لكل رمز (token)، لا يزال هناك سؤال جوهري لم يُحل: هل يمكن لبنى MoE أن تتفوق على البنى الكثيفة (Dense) عند فرض قيود صارمة متساوية لعدد المعلمات الإجمالي ($N$)، وإجمالي حوسبة التدريب ($C$)، وميزانية البيانات الإجمالية ($D$)؟ غالبًا ما تفضل المقارنات السابقة نماذج MoE عبر تخفيف هذه القيود (على سبيل المثال، السماح لنماذج MoE باستخدام المزيد من البيانات أو مقارنتها بعدد معلمات مختلف تمامًا). تعالج هذه الورقة الفجوة في فهم ما إذا كانت المزايا الهيكلية وحدها، تحت تكافؤ الموارد الصارم، يمكن أن تؤدي إلى أداء متفوق.

المنهجية
يقترح المؤلفون منظورًا جديدًا ومنهجية تجريبية صارمة من ثلاث خطوات لضمان مقارنة عادلة تحت قيم ثابتة لـ $N$ و $C$ و $D$:

1. البحث عن البنية المثلى: قبل مقارنة معدلات التنشيط، يقوم المؤلفون بتحسين هيكل MoE بشكل منهجي. حيث يبحثون في ترتيب الطبقات (MoE كامل، أو متداخل، أو 1-كثيف + MoE)، وتطبيع درجات البوابة (gate score normalization)، وتخصيص المعلمات (إعدادات Top-$K$)، والمعلمات الهيكلية الفائقة (نسبة جانب النموذج $\zeta$ ونسب توسيع FFN). وقد حددوا تكوين "1-كثيف + خبير مشترك" (1dense + Shared Expert) مع نسب هيكلية محددة ($\zeta \approx 88$، $\mu \approx 22$) كالهيكل الأمثل.
2. تحليل معدل التنشيط (AR) تحت ثبات $N$ و $C$: باستخدام الهيكل الأمثل، يقوم المؤلفون بتدريب نماذج MoE بمعدلات تنشيط متغيرة ($r_a$، وهي نسبة المعلمات المنشطة إلى إجمالي المعلمات) مع مطابقة إجمالي حوسبة التدريب لنموذج كثيف مرجعي. وللحفاظ على تساوي $C$، يتم تدريب نماذج MoE (التي تمتلك حوسبة أقل لكل رمز) على عدد أكبر من الرموز بشكل متناسب في البداية.
3. استراتيجية إعادة استخدام البيانات: لضمان تساوي ميزانية البيانات الفريدة ($D$) بدقة، يقدم المؤلفون استراتيجية لإعادة استخدام البيانات. حيث يقومون بتدريب النماذج على مجموعة بيانات فريدة أصغر $\hat{D}$ لعدة دورات (epochs). ويقارنون بين إعادة الاستخدام "الصارمة" (مطابقة $N, C, D$ تمامًا) وإعادة الاستخدام "المرنة" (تثبيت الدورات عند 2) مقابل النماذج الكثيفة المدربة على بيانات فريدة.

النتائج الرئيسية
تضمنت الدراسة تدريب ما يقرب من 200 نموذج بمقياس 2B وأكثر من 50 نموذجًا بمقياس 7B، حيث تمت معالجة ما مجموعه 50 تريليون رمز تراكميًا.

• وجود معدل تنشيط أمثل: تكشف التجارب عن وجود منطقة "معدل تنشيط أمثل" مستقرة ($R^*_a$) تتفوق فيها نماذج MoE باستمرار على نظيراتها الكثيفة. هذا المعدل الأمثل هو تقريبًا 20% ($r_a \approx 0.2$).
• التفوق في الأداء: تحت ثبات $N$ و $C$، تحقق نماذج MoE ذات $r_a \approx 20\%$ خسارة (loss) أقل (أداء أفضل) من النماذج الكثيفة. وتحديدًا، يتفوق نموذج 2B من نوع MoE مع معدل التنشيط الأمثل على نموذج كثيف تم تدريبه بنفس الحوسبة، مقتربًا من أداء نموذج كثيف تم تدريبه بضعف الحوسبة.
• الاتساق عبر المقاييس: يظل معدل التنشيط الأمثل عند ~20% ثابتًا عبر أحجام النماذج المختلفة (2B، 3B، و7B)، مما يشير إلى أن هذه النتيجة مستقلة عن المقياس ضمن النطاق الذي تم اختباره. وهذا يتناقض مع بعض الأعمال السابقة التي تشير إلى أن التخلخل (sparsity) الأمثل يتناسب طرديًا مع حجم النموذج.
• فعالية إعادة استخدام البيانات: نجحت استراتيجية إعادة استخدام البيانات في تعويض متطلبات البيانات الإضافية لنماذج MoE. وبينما تسبب إعادة استخدام البيانات انخفاضًا طفيفًا في الأداء مقارنة بالتدريب على بيانات فريدة، إلا أن نماذج MoE بمعدل التنشيط الأمثل لا تزال تتفوق على النماذج الكثيفة حتى تحت قيود البيانات الصارمة.
• التعميم في المهام النهائية: يتعمم تفوق نماذج MoE ذات $r_a \approx 20\%$ على المهام النهائية (SFT) عبر اختبارات الاستدلال، والمعرفة، والرياضيات، والبرمجة. ومن الملاحظ أن إعادة استخدام البيانات لها تأثير سلبي ضئيل على مهام الاستدلال لكنها تضعف أداء المعرفة؛ ومع ذلك، عند معدل التنشيط الأمثل، لا تزال نماذج MoE التي خضعت لـ SFT باستخدام بيانات معاد استخدامها تتفوق على النماذج الكثيفة المدربة على بيانات فريدة.

الأهمية والادعاءات
تدعي الورقة أنها تقدم أول دليل قاطع على أن بنى MoE يمكن أن تتفوق على النماذج اللغوية الكثيفة تحت قيود موارد متساوية تمامًا ($N, C, D$)، بشرط تحسين البنية وأن يقع معدل التنشيط ضمن المنطقة المثلى المحددة.

• الميزة الهيكلية: تُعزى مكاسب الأداء حصريًا إلى المزايا الهيكلية وليس إلى التفاوت في عدد المعلمات أو ميزانية الحوسبة.
• كفاءة الموارد: تتحدى النتائج الحكمة التقليدية التي ترى أن النماذج الكثيفة هي الأفضل عندما تكون الموارد ثابتة، مما يمهد الطريق لبنى أكثر كفاءة في استهلاك الموارد في أنظمة معالجة اللغات الطبيعية (NLP) من الجيل القادم.
• استراتيجية عملية: يوضح تقديم استراتيجية إعادة استخدام البيانات أن الطلب الإضافي على البيانات لنماذج MoE يمكن التخفيف منه، مما يجعل الأداء المتفوق قابلًا للتحقيق دون الحاجة إلى ميزانيات بيانات فريدة أكبر بكثير من تلك الخاصة بالنماذج الكثيفة.

يقر المؤلفون بالقيود، بما في ذلك عدم تدريب نماذج أكبر من 7B بسبب التكاليف الحسابية، والتركيز على مكونات معينة من MoE مع تثبيت مكونات أخرى. ويقترحون أن العمل المستقبلي يمكن أن يستكشف كيف يعزز معدل التنشيط الأمثل القدرات في نماذج التدريب الأخرى مثل "Upcycling" و "MoEfication".