🤖 AI

ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

يُعد ConMoE إطار عمل لا يتطلب تدريباً لضغط نماذج خليط الخبراء (MoE)، حيث يعمل على دمج مجموعة الخبراء من خلال اختيار مجموعة أصغر من الخبراء النماذجية وإعادة تعيين استدعاءات الخبراء الأصلية إليها بشكل حتمي، مما يقلل من تكالن الذاكرة دون الحاجة إلى تحديث الأوزان أو إجراء ضبط دقيق بعد الضغط.

المؤلفون الأصليون: Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مطبخ مطعم فاخر وضخم. هذا المطبخ مصمم بنظام "خليط من الخبراء" (Mixture-of-Experts - MoE). بدلاً من أن يطبخ كل الطهاة كل الأطبى، يوجد في المطبخ مئات من "الخبراء" المتخصصين. عندما يأتي طلب، يقوم "الموجه" (رئيس النادل) بالنظر بسرعة في الطبق ويستدعي فقط أفضل طاهيين أو ثلاثة متخصصين في تلك المهمة المحددة.

المشكلة:
على الرغم من أن عدد قليل فقط من الطهاة يطبخون كل طبق، إلا أن المطعم لا يزال مضطراً لدفع الإيجار، وتخزين الزي الرسمي، وتوفير المعدات لجميع مئات الطهاه في المبنى. ومع نمو المطعم (كبر حجم نموذج الذكاء الاصطناعي)، تصبح تكلفة التخزين هذه ضخمة، مما يجعل تشغيله مكلفاً وبطيئاً، حتى لو لم يكن جميع الطهاة يعملون في وقت واحد.

الحلول القديمة:
حاولت الطرق السابقة تقليص حجم هذا المطبخ بطريقتين:

التقليم (Pruning): طرد الطهاة الذين يبدون الأقل انشغالاً.
الدمج (Merging): أخذ اثنين من الطهاة، وخلط وصفاتهما معاً، وإنشاء "طاهٍ خارق" واحد بأسلوب جديد وممزوج.

الحل الجديد: ConMoE
يقدم البحث ConMoE نهجاً مختلفاً. فبدلاً من طرد الطهاة أو خلط وصفاتهم، يقول ConMoE: "لنحتفظ بفريق أصغر ومختار من أفضل طهاتنا الأصليين، ونخبر رئيس النادل ببساطة أن يرسل الطلبات إليهم بدلاً من ذلك."

إليك كيف يعمل، باستخدام تشبيهات من الحياة اليومية:

1. فريق "النماذج الأولية" (الطهاة النجوم)

ينظر ConMoE إلى جميع الطهاة الأصليين ويختار مجموعة أصغر ليكونوا "النماذج الأولية" (Prototypes). هؤلاء هم الطهاة الأصليون غير المعدلين الذين يتم الإبقاء عليهم في طاقم العمل.

كيف يتم اختيارهم: يفحص النظام شيئين:
- المساهمة: من الذي يتم استدعاؤه أكثر ومن يؤدي أفضل عمل؟
- قابلية الاستبدال: من هو الفريد؟ إذا فقدنا الطاهي (أ)، هل هناك أي شخص آخر يمكنه القيام بما يفعله بالضبط؟ إذا كان الطاهي (أ) فريداً، فإنه يبقى. أما إذا كان الطاهي (ب) مشابهاً جداً للطاهي (ج)، فقد يتم الاستغناء عن الطاهي (ب).

2. "إعادة التعيين" (القائمة الجديدة)

بمجرد اختيار الفريق الأصغر من طهاة "النماذج الأولية"، ينشئ ConMoE خريطة حتمية (قاعدة بيانات صارمة).

إذا أراد رئيس النادل الأصلي استدعاء "الطاهي رقم 42"، تقول قاعدة البيانات: "في الواقع، أرسل هذا الطلب إلى الطاهي النموذجي رقم 5 بدلاً من ذلك".
إذا أراد النادل استدعاء "الطाहي رقم 99"، تقول القاعدة: "أرسل ذلك إلى الطاهي النموذجي رقم 5 أيضاً".
الأمر الجوهري: الطهاة أنفسهم لا يتغيرون. هم لا يتعلمون وصفات جديدة، ولا يمزجون أساليبهم. هم فقط يُعاد استخدامهم. كما أن "الموجه" (رئيس النادل) لا يحتاج إلى إعادة تدريب؛ هو فقط يتبع الخريطة الجديدة.

3. قاعدة "الحي المحلي"

وجد البحث أنه لا يمكنك مجرد اختيار أي طاهٍ من المبنى بأكمله لاستبدال آخر.

التشبيه: الطاهي في الطابق الأول (الطبقات الأولى من الذكاء الاصطناعي) يقوم بعمل مختلف تماماً عن الطاهي في الطابق الخمسين (الطبقات العميقة). هم ليسوا قابلين للتبادل.
الحل: يسمح ConMoE فقط باستبدال الطهاة بآخرين في "حيّهم المحلي" (بضعة طوابق للأعلى أو للأسفل). هذا يضمن أن الطاهي البديل يفهم بالفعل سياق الطلب.

لماذا هذا أفضل؟

لا إعادة تدريب: لا تحتاج لتعليم الطهاة حِيلاً جديدة (لا يوجد "ضبط دقيق" أو fine-tuning). أنت فقط تغير دليل الهاتف.
الاستقرار: لأن الطهاة لا يتم دمجهم أو تعديلهم، تظل مهاراتهم الأصلية سليمة.
النتائج: اختبر البحث ConMoE على ثلاثة نماذج مختلفة من الذكاء الاصطناعي الكبير. ووجدوا أن ConMoE يعمل بنفس كفاءة (وأحياناً أفضل من) الطرق التي تطرد الطهاة أو تدمج وصفاتهم، مع الحفاظ على بساطة النظام بشكل أكبر.

العقبات (القيود)

يحتاج إلى "قائمة" ليقرأها: يحتاج النظام إلى كمية صغيرة من النصوص النموذجية (بيانات المعايرة) ليعرف أي الطهاة هم النجوم وأيهم هم الاحتياط.
محلي فقط: لا يمكنك تبديل طاهٍ من القبو بطاهٍ من الطابق العلوي؛ فهم يقومون بوظائف مختلفة.
واقع التخزين: بينما يكون العدد "المنطقي" للطهاة أصغر، فإنه لتقليص مساحة التخزين الفيزيائية فعلياً، يحتاج المطعم إلى طريقة خاصة لتخزين المبنى بحيث تشير عدة "فتحات" إلى نفس الطاهي الفيزيائي.

باختصار، ConMoE يشبه الاحتفاظ بفريق أصغر ونخبة من خبرائك الأصليين، ثم إعادة توجيه جميع الأعمال إليهم ببساطة، بدلاً من طرد الأشخاص أو محاولة إنشاء خبراء "هجين" جدد. إنها طريقة ذكية لتقليص نماذج الذكاء الاصطناعي الكبيرة دون الحاجة لإعادة التدريب.

ملخص تقني لـ ConMoE: دمج مجمع الخبراء عبر إعادة تعيين النماذج الأولية لضغط نماذج MoE

1. بيان المشكلة

تحقق نماذج لغة Mixture-of-Experts (MoE) قابلية التوسع من خلال تفعيل مجموعة فرعية صغيرة فقط من الخبراء لكل رمز (token)، مما يقلل من الحوسبة لكل رمز. ومع ذلك، يجب لاحقًا تخزين وخدمة مجمع الخبراء الموجه بالكامل، مما يخلق عنق زجاجة كبيرًا في الذاكرة عند النشر. تعالج طرق الضغط الحالية ما بعد التدريب هذه المشكلة بشكل أساسي من خلال تقليم الخبراء (إزالة الخبراء بناءً على الاستخدام أو الأهمية) أو دمج الخبراء (الجمع بين عدة خبراء في وحدات جديدة مدمجة).

يجادل المؤلفون بأن هذه النهج غالبًا ما تخلط بين قرارين متميزين:

أي معاملات الخبراء يجب الاحتفاظ بها؟
كيف ينبغي تمثيل مراجع الخبير الأصلية للموجه (router) بعد الضغط؟

يقوم التقليم بحذف المعاملات، بينما يقوم الدمج بإنشاء أوزان جديدة، وهو ما يتطلب غالبًا ضبطًا دقيقًا ما بعد الضغط أو عمليات دمج معقدة. يطرح البحث وجهة نظر مكملة: دمج مجمع الخبراء (Expert-Pool Consolidation). هذا النهج يحتفظ بمجموعة أصغر من الخبراء المدربين مسبقًا كـ نماذج أولية (prototypes) قابلة لإعادة الاستخدام، ويعيد تعيين كل مرجع خبير أصلي بشكل حتمي إلى أحد هذه النماذج الأولية المختارة. هذا يفصل بين تخزين المجمع المختزل وبين هيكل إعادة الاستخدام، مما يسمح لبنية الموجه الأصلية بالبقاء دون تغيير دون الحاجة لتحديث الأوزان.

2. المنهجية: ConMoE

الإطار المقترح، ConMoE، هو طريقة ضغط من خطوة واحدة (one-shot) ولا تتطلب تدريبًا، تعمل عبر اختيار النماذج الأولية وإعادة التعيين الحتمية.

أ. صياغة المشكلة
تحدد الطريقة نطاقًا محليًا $G$ يحتوي على طبقة واحدة أو أكثر من طبقات MoE المتجاورة. باستخدام نسبة تقليل $\rho$ ، الهدف هو إنشاء مجمع نماذج أولية مختزل $P_G$ بحجم $K$ من مجمع الخبراء الأصلي $E_G$ . يتم إنشاء خريطة إعادة تعيين $m_G: E_G \to P_G$ ، حيث يتم تعيين كل خبير أصلي $e$ إلى نموذج أولي $p$ مختار.
الهدف المثالي هو تقليل تكلفة إعادة التعيين $L_G(P)$ ، مع موازنة أهمية الخبراء المحتفظ بها مقابل الخطأ الناتج عن إعادة تعيين الآخرين.

ب. تسجيل واختيار النماذج الأولية
بدلاً من حل مشكلة التحسين التوافقي مباشرة، يستخدم ConMoE قاعدة تسجيل تجريبية لاختيار أفضل $K$ من الخبراء كنماذج أولية. لكل خبير $e$ ، يتم حساب درجاتتين باستخدام بيانات المعايرة:

المساهمة المشروطة بالتوجيه ( $a_e$ ): تقيس متوسط مساهمة الخبير عندما يتم اختياره بواسطة الموجه، بوزن يعتمد على احتمالات التوجيه ومعايير المخرجات (output norms).
قابلية الاستبدال ( $b_e$ ): تقيس المسافة إلى أقرب جار داخل النطاق. تشير المسافة الأكبر إلى أن الخبير يصعب استبداله.

الدرجة النهائية هي حاصل ضرب درجات المساهمة وقابلية الاستبدال المعيرة ( $s_e = \bar{a}_e \bar{b}_e$ ). يتم اختيار أفضل $K$ من الخبراء لتشكيل مجمع النماذج الأولية $P_G$ .

ج. إعادة التعيين الحتمية
بمجرد اختيار النماذج الأولية، يتم تعيين كل خبير أصلي إلى أقرب نموذج أولي له في $P_G$ .

لا تحديث للأوزان: يتم إعادة استخدام النماذج الأولية المختارة مباشرة كخبراء مدربين مسبقًا؛ لا يحدث دمج أوزان أو ضبط دقيق في المسار الافتراضي.
الحفاظ على الموجه: يظل الموجه الأصلي دون تغيير. عندما يختار الموجه مجموعة من الخبراء لرمز ما، يقوم المشغل المدمج بتوجيه هذه الاستدعاءات إلى نماذجهم الأولية المعينة. إذا تم تعيين عدة خبماء موجهة إلى نفس النموذج الأولي، يتم تجميع أوزان التوجيه الخاصة بهم في معامل واحد.

د. النطاق وإعادة الاستخدام عبر الطبقات
يدعم ConMoE المشاركة المحلية عبر الطبقات. يمكن أن يحتوي النطاق على طبقات متعددة متجاورة، مما يسمح بمشاركة النماذج الأولية عبرها إذا أظهرت تكرارًا. ومع ذلك، يتم تقييد النطاق لتجنب عدم التطابق في التحويلات الخاصة بالعمق الموجودة في الطبقات البعيدة.

3. المساهمات الرئيسية

الصياغة: يصيغ البحث ضغط MoE من خطوة واحدة كعملية دمج لمجمع الخبراء، مع الفصل الصريح بين قرار أي المعاملات يتم تخزينها وكيفية تمثيل شرائح الموجه الأصلية.
الإطار (ConMoE): طريقة إعادة تعيين لا تتطلب تدريبًا تحافظ على واجهة الموجه الأصلية مع تقليل مجمع الخبراء الموجه المنطقي. يعتمد على إشارات المساهمة والقدرة على الاستبدال القائمة على المعايرة لاختيار النماذج الأولية دون تحديثات التدرج.
التحقق التجريبي: يثبت المؤلفون أن الدمج القائم على إعادة التعيين هو بديل قابل للتطبيق للتقليم والدمج عبر عدة نماذج MoE مدربة مسبقًا (Qwen3, DeepSeekMoE, OLMoE).
رؤى الدراسة الاستقصائية (Ablation):
- تم تحديد إعادة التعيين الحتمية كأكثر المكونات استقرارًا في الإطار.
- المشاركة عبر الطبقات مفيدة ولكنها محلية تمامًا؛ توسيع النطاقات بشكل كبير (مثل 8-16 طبقة) يؤدي إلى تدهور الأداء بسبب عدم تطابق العمق.
- أظهر دمج الأوزان اللاحق (مثل Arcee، أو المتوسط الموزون) أنه أقل استقرارًا من إعادة استخدام النموذج الأولي المباشر في هذا السياق.

4. النتائج التجريبية

أُجريت التجارب على ثلاثة نماذج: Qwen3-30B-A3B، و deepseek-moe-16b-base، و OLMoE-1B-7B-0125. تم تقييم الضغط عند نسب تقليل للخبراء الموجهين المنطقيين تبلغ 25% و 50% باستخدام ستة اختبارات متعددة الخيارات (WinoGrande, ARC-C, ARC-E, BoolQ, HellaSwag, PIQA).

الأداء: يضاهي ConMoE أو يتفوق على خطوط الأساس القوية للتقليم (Frequency, REAP) والدمج (M-SMoE, HC-SMoE).
- في DeepSeekMoE، حقق ConMoE أفضل متوسط درجة عند نسب تقليل 25% و 50%.
- في OLMoE، قدم أفضل أداء عند تقليل 25% وظل منافسًا عند 50%.
- في Qwen3، بينما كان التقليم قويًا (خاصة عند 50%)، ظل ConMoE منافسًا وحافظ على أداء قوي في مهام محددة مثل WinoGrande و BoolQ.
الدراسة الاستقصائية (Ablations):
- حجم النطاق: حققت النطاقات الصغيرة (1-4 طبقات) نتائج مماثلة أو الأفضل. تسببت النطاقات الأكبر (8-16 طبقة) في انخفاض كبير في الأداء، مما يؤكد أن قابلية استبدال الخبراء محلية.
- سياسة الاختيار: كانت المساهمة المشروطة بالتوجيه هي الإشارة المهيمنة. أدى الاختيار القائم على المسافة فقط إلى أداء ضعيف، وعملت قابلية الاستبدال كمنظم لتخصيص السعة.
- الدمج: تفوقت إعادة تعيين النموذج الأولي المباشر على الطرق التي طبقت دمج الأوزان اللاحق، مما يشير إلى أن المكاسب تأتي من هيكل إعادة التعيين نفسه وليس من دمج الأوزان.

5. الأهمية والادعاءات

يدعي البحث أن إعادة تعيين النموذج الأولي الحتمية توفر بديلًا قويًا ولا يتطلب تدريبًا لطرق التقليم والدمج التقليدية. من خلال معاملة الضغط كعملية دمج لمجمع الخبراء إلى نماذج أولية قابلة لإعادة الاستخدام، يحقق ConMoE توفيرًا كبيرًا في الذاكرة (التقليل المنطقي) مع الحفاظ على واجهة الموجه الأصلية للنموذج وتجنب عدم الاستقرار المرتبط غالبًا بدمج الأوزان أو الضبط الدقيق.

يؤكد المؤلفون أن نهجهم متواضع فيما يتعلق بنطاقه:

هو لا يتطلب تدريبًا ولكنه يعتمد على بيانات المعايرة للحصول على إحصائيات التوجيه.
إعادة الاستخدام عبر الطبقات محلية؛ فهو لا يفترض قابلية التبادل العالمية للخبراء عبر كامل عمق النموذج.
التوفير المذكود هو منطقي؛ يتطلب تحقيق توفير فعلي في الذاكرة الفيزيائية عند النشر وجود وقت تشغيل (runtime) أو تنسيق نسخة احتياطية (checkpoint) مشترك، وليس مجرد نسخة احتياطية مادية.

يميز هذا العمل نفسه بإظهار أن "هيكل إعادة الاستخدام" يمكن أن يكون جزءًا صريحًا من النموذج المضغوط بدلاً من كونه نتاجًا ثانويًا للحذف أو الدمج، مما يوفر خط أساس مستقر لضغط MoE.