ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns

إليك ملخص تقني مفصل لورقة البحث بعنوان "ExpertWeaver: إطلاق العنان لهيكل MoE المتأصل في النماذج اللغوية الكبيرة الكثيفة باستخدام أنماط تنشيط GLU."

1. بيان المشكلة

توفر بنية خليط الخبراء (Mixture-of-Experts - MoE) طريقة لتوسيع قدرة النموذج مع الحفاظ على كفاءة الحوسبة من خلال تفعيل مجموعة فرعية متفرقة من المعلمات لكل رمز (token). ومع ذلك، فإن تدريب نماذج MoE عالية الجودة من الصفر يعد مكلفاً للغاية. وبناءً على ذلك، يركز الباحثون على تحويل النماذج اللغوية الكبيرة (LLMs) الكثيفة سابقة التدريب إلى بنيات MoE متفرقة.

تنقسم طرق التحويل الحالية عموماً إلى فئتين:

1. التقليم الهيكلي الديناميكي: يحول النماذج الكثيفة إلى نماذج MoE بتفرق متوسط (على سبيل المثال، 25%) لموازنة الأداء والكفاءة.
2. إعادة التدوير للأسفل (Downcycling): يبدأ نماذج MoE شديدة التفرق (تفرق بنسبة 75%+) عن طريق تقسيم الـ MLPs الكثيفة إلى خبراء أصغر، بهدف تجنب تكلفة التدريب من الصفر.

القصور الجوهري: غالباً ما تكسر الطرق الحالية أنماط التنشيط المتأصلة داخل النماذج الكثيفة. فهي عادةً ما تعامل الخلايا العصبية كوحدات مستقلة أو تستخدم تكوينات موحدة عبر جميع الطبقات، مما يفشل في التقاط أنماط التنشيط الدقيقة على مستوى الخلايا العصبية التي تكشف عنها آلية الوحدة الخطية المبوّبة (GLU). يؤدي هذا إلى بناء خبراء غير مثالي ويتطلب تدريباً إضافياً للموجه (router)، مما قد يؤدي إلى تدهور الأداء.

2. المنهجية: ExpertWeaver

يقترح المؤلفون ExpertWeaver، وهو إطار عمل لا يتطلب تدريباً يقوم بتحويل النماذج اللغوية الكبيرة الكثيفة إلى بنيات MoE من خلال الاستفضاء بأنماط تنشيط GLU المتأصلة. تعمل الطريقة في ثلاث مراحل رئيسية:

أ. الرؤية النظرية: GLU كمخطط توجيهي

يحلل المؤلفون آلية GLU (تحديداً SwiGLU)، التي تستخدم آلية تبويب ($Swish(xW_{gate})$) لتعديل تنشيطات الخلايا العصبية. وقد حددوا أربعة رؤى رئيسية:

1. التفرق المتأصل: يؤدي تبويب GLU طبيعياً إلى إحداث تفرق في مستوى الرمز (token-level activation sparsity).
2. الخلايا العصبية الشاملة: هناك مجموعة أساسية من الخلايا العصبية يتم تنشيطها باستمرار عبر مهام متنوعة (معرفة غير مرتبطة بمهمة محددة).
3. الخلايا العصبية المتخصصة: تظهر خلايا عصبية أخرى أنماط تنشيط مشترك خاصة بمجموعات مهام معينة (معرفة مرتبطة بمهمة محددة).
4. تباين الطبقات: تختلف نسبة الخلايا العصبية الشاملة إلى المتخصصة بشكل منهجي عبر الطبقات (على سبيل المثال، الطبقات الحدودية تكون أكثر شمولية، بينما الطبقات الوسطى أكثر تخصصاً).

ب. العملية المكونة من ثلاث مراحل

1. التقاط أنماط التنشيط:

   • يتم تشغيل النموذج على مجموعة بيانات معايرة متعددة المهام (مثل Flan-v2).
   • لكل خلية عصبية، يتم تسجيل متوسط تنشيط البوابة للرموز عبر جميع المهام لتشكيل ملف تعريف التنشيط.

2. تخصيص الخبراء القائم على الطبقات:

   • يحسب المؤلفون معامل الاختلاف (CV) لكل ملف تعريف تنشيط للخلية العصبية.
     • CV منخفض: يشير إلى "خلية عصبية شاملة" (تنشيط ثابت).
     • CV مرتفع: يشير إلى "خلية عصبية متخصصة" (تنشيط انتقائي).
   • يتم حساب نسبة التخصص الخاصة بكل طبقة. الطبقات ذات التخصص العالي تحصل على خبراء مشتركين أصغر، بينما الطبقات ذات التخصص المنخفض تحصل على خبراء مشتركين أكبر. هذا يتجنب نهج "المقاس الواحد الذي يناسب الجميع".

3. بناء الخبراء:

   • الخبير المشترك: يتم تجميع الخلايا العصبية الأكثر نشاطاً باستمرار (الأقل في CV) لتشكيل خبير مشترك واحد يتم تفعيله دائماً.
   • الخبراء الموجهون: يتم تجميع الخلايا العصبية المتخصصة المتبقية باستخدام K-Means المتوازن بناءً على أنماط تنشيطها. يشكل كل عنقود خبيراً موجهاً.
   • بناء الموجه: يتم بناء موجه MoE دون تدريب عن طريق متوسط أوزان البوابة الأصلية ($W_{gate}$) للخلايا العصبية المخصصة لكل عنقود خبير. هذا يحافظ على منطق التوجيه المدرب مسبقاً.

ج. أوضاع التطبيق

• التقليم الهيكلي الديناميكي: يعمل عند مستويات تفرق منخفضة (على سبيل المثال، 25%) دون تدريب إضافي. يعمل كآلية تقليم مهيكلة حيث يختار الموجه الخبراء الموجهين ديناميكياً، بينما يظل الخبير المشترك نشطاً دائماً.
• إعادة التدوير للأسفل (Downcycling): يحول النماذج الكثيفة إلى نماذج MoE شديدة التفرق، متبوعاً بـ التدريب المسبق المستمر (CPT). في هذا الوضع، يتم تبديل الموجه إلى موجه softmax قياسي للسماح بمزيد من التحسين.

3. المساهمات الرئيسية

1. اكتشاف بنية MoE المتأصلة: توضح الورقة بشكل منهجي أن أنماط تنشيط GLU الدقيقة في النماذج اللغوية الكبيرة الكثيفة تكشف طبيعياً عن بنية MoE خشنة تتكون من خلايا عصبية شاملة ومتخصصة.
2. إطار عمل ExpertWeaver: طريقة مبتكرة لا تتطلب تدريباً لتقسيم الخلايا العصبية بناءً على أنماط التنشيط والتخصص الخاص بالطبقات، وبناء كل من الخبراء المشتركين والموجهين دون إعادة تدريب الموجه في البداية.
3. الأداء المتفوق: يتفوق ExpertWeaver على نماذج المقارنة الأساسية في التقليم الهيكلي وإعادة التدوير للأسفل في كل من كفاءة الاستدلال (zero-shot) وأداء المهام النهائية بعد التدريب المسبق المستمر.

4. النتائج التجريبية

قيم المؤلفون ExpertWeaver على نماذج مثل Qwen2.5-7B و LLaMA3-8B عبر عدة اختبارات معيارية (MMLU، HellaSwag، ARC، إلخ).

• التقليم الهيكلي الديناميكي (تفرق بنسبة 25%):

  • تفوق ExpertWeaver بشكل كبير على النماذج الأساسية التي لا تتطلب تدريباً مثل LLM-Pruner و FLAP و CMoE.
  • على نموذج LLaMA3-8B، حقق تحسناً نسبياً بنسبة 5.6% مقارنة بـ CMoE.
  • حافظ على قدرات الاستنتاج (مثل GSM8K و HumanEval) بشكل أفضل بكثير من طرق التقليم الثابتة، التي غالباً ما تفشل عند مستويات التفرق العالية.

• إعادة التدوير للأسفل (Downcycling):

  • عند استخدامه لتهيئة نموذج MoE شديد التفرق (7 مليار معلمة، 3.5 مليار نشطة) من Qwen2.5-7B، متبوعاً بـ 200 مليار رمز من التدريب المسبق المستمر (CPT)، حقق النموذج متوسط درجة 63.5 في MMLU.
  • تفوق على النموذج الأساسي OLMoE-1B-7B (الذي تم تدريبه من الصفر على 500 مليار رمز) بمقدار 4.6 نقطة، رغم استخدام بيانات تدريب أقل بكثير.
  • احتفظ بـ 87.6% من أداء النموذج الكثيف الأصلي مع تفعيل 25% فقط من معلمات الـ MLP.

• الكفاءة:

  • أظهرت اختبارات الأداء على وحدات GPU من نوع A100 و H100 أن ExpertWever حقق إنتاجية أعلى (RPS, OTPS) وزمن انتقال أقل مقارنة بالنموذج الكثيف الأساسي.

5. الأهمية

• التوسع منخفض التكلفة: يوفر ExpertWeaver مساراً عالي الكفاءة لإنشاء نماذج MoE عالية الأداء دون التكلفة الباهظة للتدريب من الصفر أو التدريب المكثف للموجه.
• الحفاظ على المعرفة: من خلال احترام أنماط التنشيط المتأصلة في النموذج الكثيف المدرب مسبقاً، تتجنب هذه الطريقة "فقدان المعرفة" الذي غالباً ما يُلاحظ في التقليم الثابت أو إعادة التدوير للأسفل الساذجة.
• التصميم الواعي بالطبقات: يقر تقديم تكوينات الخبراء الخاصة بالطبقات بأن الطبقات المختلفة في النماذج اللغوية الكبيرة تخدم أدواراً وظيفية مختلفة، مما يؤدي إلى بنيات أكثر قوة.
• التهيئة التي لا تتطلب تدريباً: القدرة على بناء موجه وتقسيم خبراء وظيفي دون تدريب تجعل الطريقة قابلة للتطبيق الفوري على أي نموذج لغوي كبير يعتمد على GLU.

باختاًصار، يقوم ExpertWeaver بـ "نسج" الخلايا العصبية للنموذج الكثيف في بنية MoE مهيكلة من خلال فك تشفير التخصص الوظيفي الكامن الموجود بالفعل في إشارات تبويب GLU للنموذج، مما يقدم بديلاً متفوقاً لتقنيات تحويل الكثيف إلى MoE الحالية.