Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution

ملخص تقني: كشف النقاب عن تخلخل التنشيط داخل الخبير (Intra-expert Activation Sparsity) لتنفيذ فعال لنماذج خليط الخبراء (Mixture-of-Expert)

بيان المشكلة
أصبحت بنيات "خليط الخبراء" (MoE) هي المعيار لنماذج اللغات الكبيرة (LLMs) ذات الحالة الراهنة بفضل كفاءتها الحسابية المستمدة من التنشيط المتناثر للخبراء (inter-expert sparsity). ومع ذلك، فإن زيادة التخلخل (Sparsity) عبر دقة أكبر في توزيع الخبراء (inter-expert granularity) تواجه تحديات تدريب جوهرية، بما في ذلك انهيار الخبراء (expert collapse)، وعدم توازن الحمل (load imbalance)، وانهيار التمثيل (representation collapse). هذه المشكلات تجعل من الصعب بشكل متزايد تقليل نسبة الخبراء النشطين دون المساس بجودة النموذج أو استقرار التدريب. وبناءً على ذلك، هناك حاجة لاستكشاف أبعاد تكميلية للتخلخل لا تعتمد على تغييرات بنيوية أو إعادة تدريب.

المنهجية
يستقصي المؤلفون تخلخل التنشيط داخل الخبير (intra-expert activation sparsity)، وهو بُعد من أبعاد التخلخل الموجود ضمن تنشيطات الخبراء الفردية في نماذج MoE المدربة مسبقاً. تتضمن المنهجية ثلاثة مكونات رئيسية:

1. التحليل التجريبي: يحلل البحث ثمانية نماذج MoE جاهزة تتراوح أحجامها من 1 مليار إلى 400 مليار معلمة (بما في ذلك إصدارات Granite، وOLMoE، وDeepSeek-V2، وGPT-OSS، وQwen3.5، وLlama-4). يقيس المؤلفون دقة الاختبارات المعيارية (ARC-Challenge، وARC-Easy، وHellaSwag، وWinogrande، وTruthfulQA) مع تصفير تنشيطات العصبونات (neurons) الأقل درجة بشكل تدريجي داخل الخبراء النشطين. ويميزون بين "الخبراء الموجهين" (routed experts) (الذين يختارهم الموجه) و"الخبراء المشتركين" (shared experts) (النشطين دائماً).
2. ملاحظة خصائص التخلخل: يكشف التحليل أن مخرجات التنشيط في طبقات FFN الخاصة بنماذج MoE تتبع توزيعاً ذا ذيل طويل (long-tailed distribution). حيث ينتج جزء كبير من العصبونات تنشيطات قريبة من الصفر، مما يسمح بتخلخل كبير (يصل إلى 90%) مع حد أدنى من فقدان الدقة. وتجد الدراسة أن عصبونات الخبير المشترك لها تأثير أعلى لكل عصبون على الدقة مقارنة بعصبونات الخبير الموجه؛ ففي النماذج الكبيرة مثل Qwen3.5-122B-A10B، يكفي إبقاء جميع عصبونات الخبير المشترك نشطة مع تنشيط حوالي 2% فقط من عصبونات الخبير الموجه للحفاظ على قدرة النموذج.
3. التنفيذ النظامي في vLLM: يدمج المؤلفون هذا التخلخل في نظام الاستدلال عالي الإنتاجية vLLM. يقوم التنفيذ بتعديل مسار تنفيذ الخبير الموجه مع الحفاظ على تنفيذ الخبير المشترك ومنطق الموجه لضمان التوافق مع توازي الخبراء (expert parallelism) والتحسينات الحالية (مثل HIP Graph، وCUDA Graph، وkernel fusion).
   • إسقاط البوابة (Gate Projection): يتم تنفيذه بكثافة باستخدام عملية ضرب المصفوفات المجمعة (BMM) لتحديد درجات التنشيط.
   • قناع التنشيط (Activation Masking): يقوم نواة (kernel) مخصصة من نوع Triton بإجراء قناع قائم على العتبة في تمريرة واحدة ($O(n)$)، لتجنب التكلفة الحسابية لترتيب top-k ($O(n \log n)$).
   • إسقاط الرفع-الأسفل المدمج (Fused Up-Down Projection): تقوم نواة متفرقة (sparse kernel) مخصصة بجمع الأوزان للعصبونات النشطة فقط، وتعبئتها في مصفوفة كثيفة في الذاكرة المشتركة، ثم إجراء ضرب المصفوفة والمتجه الكثيف. يوازن هذا النهج بين عدم انتظام الوصول المتفرق وبين إنتاجية المسرعات العتادية الكثيفة.
   • التبديل الديناميكي: للتعامل مع المقايضة بين التنفيذ المتفرق منخفض التأخير والتنفيذ الكثيف عالي الإنتاجية، يقوم النظام بالتبديل ديناميكياً بين مسارات التنفيذ المتفرقة والكثيفة بناءً على حجم الدفعة (batch size).

المساهمات الرئيسية

1. اكتشاف التخلخل داخل الخبير: يثبت البحث أن تخلخل التنشيط داخل الخبير متاح بشكل كبير في نماذج MoE المدربة مسبقاً دون أي تعديل على معلمات النموذج أو وظائف التنشيط.
2. التكامل النظامي: أعاد المؤلفون تصميم مسار تنفيذ MoE في vLLM لاستغلال كل من التخلخل بين الخبراء (inter-expert) وداخل الخبير (intra-expert) بكفاءة على وحدات معالجة الرسومات (GPUs)، مع الحفاظ على الدعم الكامل لميزات مستوى الإنتاج مثل توازي الخبراء والتقاط الرسم البياني (graph capture).
3. تقييم الأداء: يقدم العمل تقييماً شاملاً عبر مقاييس مختلفة وأجهزة متنوعة (AMD MI355X، وNVIDIA H200، وRTX4090)، مما يثبت الجدوى العملية لهذا التحسين.

النتائج

• مستويات التخلخل: تحدد الدراسة مستويات قطع التخلخل التي تحتفظ فيها النماذج بـ 95% من دقتها الأساسية. على سبيل المثال، يحتفظ أكبر نموذج تم اختباره (Llama-4-Maverick) بالدقة مع تخلخل داخل الخبير يصل إلى 90.8%، بينما يحتفظ النماذج الأصغر مثل Granite-1B-A400M بها عند 26.5%.
• تسريع الطبقة: يحقق التنفيذ المتفرق داخل الخبير تسريعاً يصل إلى 2.5 ضعف في تنفيذ طبقة MoE مقارنة بالنسخة الأساسية الكثيفة من vLLM. ويكون التسريع أكثر وضوحاً في الأجهزة محدودة الموارد (مثل RTX4090) وللنماذج الأكبر (Qwen3.5-122B-A10B)، حيث تكون اختناقات الذاكرة والحوسبة أكثر حدة.
• التسريع الشامل (End-to-End): نظراً لقانون أمدال (حيث تشكل طبقة MoE حوالي 45% من وقت التنفيذ الإجمالي)، فإن التسريع الشامل للاستدلال يكون أكثر تواضعاً، محققاً ما يصل إلى 1.2× على H200 و1.1× على MI355X. وتكون الفوائد أكثر أهمية لأعباء العمل المرتبطة بالتأخير (مثل سيناريوهات فك التشفير - decode-heavy - ذات أحجام الدفعات الصغيرة).
• الحفاظ على الدقة: يحافظ النهج القائم على العتبة على 95% من متوسط درجة الاختبار المعياري الأساسي حتى مستويات قطع التخلخل المحددة (مثل تخلخل 85% المستهدف لـ Qwen3.5-35B-A3B).

الأهمية
يضع هذا البحث تخلخل التنشيط داخل الخبير كتقنية تحسين عملية ومكملة للتخلخل بين الخبراء. فهو يعالج قيود دفع التخلخل بين الخبراء إلى أبعد من ذلك عبر الاستفادة من الحشو المتأصل داخل شبكة FFN الكثيفة لكل خبير مختار. ويزعم المؤلفون أن هذا العمل يضع حجر الأساس لأبحاث LLM الفعالة في المستقبل، حيث يقدم طريقة لتقليل تكاليف الخدمة لنماذج MoE الكبيرة دون الحاجة إلى إعادة تدريب أو تغييرات بنيوية. ويظهر دمج هذا العمل في vLLM أنه يمكن استخدام هذا النوع من التخلخل بفعالية في أنظمة الإنتاج عالية الأداء، مما يسد الفجوة بين التخلخل النظري والإنتاجية الفعلية.