💬 NLP

Post-Trained MoE Can Skip Half Experts via Self-Distillation

تقدم هذه الورقة البحثية "تكييف التقطير الذاتي لصفر الخبراء" (ZEDA)، وهو إطار عمل منخفض التكلفة يحول نماذج "خليط الخبراء" الثابتة بعد التدريب إلى نماذج ديناميكية فعالة عن طريق حقن خبراء مخرجات صفرية خالية من المعلمات وتطبيق تقطير ذاتي على مرحلتين، مما يقلل عمليات الفاصلة العائمة (FLOPs) للخبراء بنسبة تزيد عن 50% مع فقدان طفيف في الدقة ويحقق تسريعاً كبيراً في عملية الاستدلال.

المؤلفون الأصليون: Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة ZEDA البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: المطبخ المجهد

تخيل مطعماً فاخراً (نموذج لغوي كبير - LLM) يمتلك مطبخاً ضخماً به 128 طباخاً خبيراً (هؤلاء هم "الخبراء" في بنية MoE).

في الإعداد القياسي، بغض النظر عن الطلب القادم — سواء كان مجرد "مرحباً" بسيطة أو طلباً معقداً لكتابة سيمفونية — فإن المطبخ يرسل الطلب دائماً إلى نفس الـ 8 طباخين. هذا يضمن أن الطعام سيكون مثالياً دائماً، لكنه مكلف وبطيء للغاية لأنك تدفع لأجر 8 طباخين لتقطيع جزرة واحدة بينما يكفي طباخ واحد فقط.

الهدف من هذه الورقة هو جعل المطبخ أكثر ذكاءً: اجعل الطلب هو من يحدد عدد الطباخين المطلوبين. إذا كان الطلب بسيطاً، استخدم طباخين أقل. إذا كان صعباً، استخدم المزيد. وهذا ما يسمى بالمطبخ "الديناميكي".

التحدي: لا تطرد أحداً بعد!

عادةً، لبناء مطبخ ديناميكي ذكي، عليك توظيف فريق جديد بالكامل وتدريبهم من الصفر. وهذا يستغرق سنوات ويكلف ثروة.

لكن هذه الورقة تسأل: هل يمكننا أخذ مطبخ موجود بالفعل، مدرب بالكامل (يعرف كيف يطبخ بشكل مثالي)، وتحويله إلى مطبخ ديناميكي دون طرد أي شخص أو إعادة تدريبهم من الصفر؟

الإجابة هي ZEDA (التكيف عبر التقطير الذاتي لخبراء الصفر).

حل ZizedA: "الطهاة الأشباح"

تستخدم ZEDA حيلة ذكية تتضمن طهاة أشباح (خبراء صفر).

حقن الأشباح: يأخذ الباحثون المطبخ الحالي ويضيفون إليه سراً مجموعة من "الطهاة" الجدد الذين ليس لديهم أيدٍ ولا يحملون سكاكين. إنهم خبراء صفر. هم لا يفعلون أي شيء على الإطلاق. مخرجاتهم هي دائماً صفر.
القاعدة الجديدة: يتم إخبار مدير المطبخ (الموجه/Router) الآن: "لا يزال يتعين عليك اختيار 8 أشخاص لكل طلب، ولكن يمكنك الآن الاختيار من بين 128 طباخاً حقيقياً بالإضافة إلى هؤلاء الطهاة الأشباح الجدد".
السحر: إذا كان الطلب بسيطاً (مثل "ما هي حالة الطقس؟")، يتعلم المدير اختيار 4 طهاة حقيقيين و4 طهاة أشباح. وبما أن الأشباح لا يقومون بأي عمل، فإن المطبخ يقوم بعمل 4 طهاة فقط. أما إذا كان الطلب صعباً (مثل "حل هذه المسألة الرياضية")، فإن المدير يختار 8 طهاة حقيقيين و0 من الأشباح.

كيف نعلم المدير؟ (التقطير الذاتي)

المشكلة هي أن المدير لا يعرف متى يختار طباخاً شبحاً بعد. إذا اختار شبحاً لمسألة رياضية صعبة، فسيكون الطعام محترقاً.

لحل هذه المشكلة، تستخدم ZEDA التقطير الذاتي (Self-Distillation)، وهو يشبه برنامج "تدريب الظل":

المعلم: المطبخ الأصلي المدرب بالكامل (بـ 128 طباخاً حقيقياً) يعمل كمعلم صارم. هو يعرف بالضبط كيف تبدو الإجابة المثالية.
الطالب: المطبخ الجديد (مع الأشباح) يحاول تقليد المعلم.
العملية:
1. المرحلة 1 (SFT): الطالب يشاهد المعلم وهو يطبخ. يقول المعلم: "لهذا الطلب البسيط، كنت سأستخدم 8 طباخين، لكن يمكنك تجربة استخدام 4 طهاة حقيقيين و4 أشباح. فقط تأكد من أن الطعم هو نفسه".
2. المرحلة 2 (OPD): يبدأ الطالب في الطبخ بمفرده. إذا ارتكب خطأً، يتدخل المعلم ويقول: "لقد اخترت شبحاً لمسألة رياضية صعبة! لهذا السبب الإجابة خاطئة. في المرة القادمة، اختر المزيد من الطهاة الحقيقيين لهذا النوع من الأسئلة".

السر الخفي: "توازن المجموعة"

كان هناك خطر من أن يصبح المدير كسولاً ويختار فقط الأشباح لتوفير الطاقة، أو يختار لا أحد من الأشباح لإضاعة الطاقة.

لإيقاف ذلك، أضاف الباحثون قاعدة توازن المجموعة. أخبروا المدير: "يجب أن تحافظ على نسبة صحية. مقابل كل طباخين حقيقيين تستخدمهما، يجب أن تحاول استخدام طباخ شبح واحد، ولكن لا تعبث أبداً بالتوازن بين الطهاة الحقيقيين أنفسهم".

هذا يضمن بقاء المطبخ فعالاً (استخدام الأشباح عند الإمكان) ولكن دون إفساد جودة الطعام.

النتائج: أسرع، أرخص، ونفس المذاق

بعد هذا التدريب (الذي استغرق أقل من يومين على أجهزة كمبيوتر قوية، مقارنة بسنوات للتدريب الأصلي):

السرعة: أصبح المطبخ أسرع بنسبة 20% لأنه توقف عن دفع أجر العمل غير الضروري.
الكفاءة: تخطى أكثر من 50% من عمل الخبراء (استخدام الأشباح لنحو نصف الرموز/tokens).
الجودة: مذاق الطعام كان هو نفسه تقريباً كما كان من قبل. وفي بعض الاختبارات، أصبح أفضل قليلاً لأن المدير تعلم كيف يركز طاقته بشكل أفضل.

الملخص

ZEDA هي طريقة لأخذ نموذج ذكاء اصطناعي "ثابت" (واحد يقوم دائماً بنفس القدر من العمل) وتحويله إلى نموذج "ديناميكي" (واحد يقوم بعمل أقل للمهام السهلة) من خلال:

إضافة خبراء "أشباح" غير مرئيين لا يفعلون شيئاً.
تعليم النموذج استخدام هؤلاء الأشباح للمهام السهلة عبر تقليد نسخة "المعلم" الخاصة به.
استخدام قاعدة خاصة لضمان استخدام الأشباح بالقدر الكافي لتوفير المال، ولكن ليس كثيراً لدرجة أن تصبح الإجابات سيئة.

الأمر يشبه تحويل حافلة تحمل دائماً 50 راكباً (حتى لو حضر 5 فقط) إلى حافلة تتقلص تلقائياً لتصبح سيارة فان عندما يكون هناك 5 أشخاص فقط، مما يوفر الوقود دون ترك أي شخص خلف الركب.

ملخص تقني: التكيف عبر التقطير الذاتي لصفر الخبراء (ZEDA)

1. بيان المشكلة

أصبحت بنيات خليط الخبراء (MoE) معيارًا لتوسيع نطاق النماذج اللغوية الكبيرة (LLMs) من خلال زيادة السعة مع حصر الحوسبة لكل رمز (token). وبينما توفر متغيرات MoE الديناميكية كفاءة أكبر عبر تعديل عدد الخبراء المفعلين بناءً على صعوبة المدخلات، فإن الطرق الحالية تتطلب عادةً تدريبًا مسبقًا من الصفر أو تكيفًا خاصًا بالمهام. وبناءً على ذلك، لا يزال التحويل العملي لنماذج MoE الثابتة التي خضعت للتدريب اللاحق الكامل (والتي مرت بمراحل مكثفة من التدريب المسبق، والضبط الدقيق الخاضع للإشراف (SFT)، والتعلم التعزيزي (RL)) إلى نظائر ديناميكية فعالة مجالًا غير مستكشف بشكل كافٍ. إن التطبيق المباشر لطرق التوجيه الدينمايكية الحالية على هذه النماذج الناضجة ينطوي على مخاطر تعطيل توزيعات التوجيه والقدرات التي تم ضبطها بعناقة خلال مسارات التدريب الكاملة. ويتمثل التحدي الجوهري في نقل نموذج MoE ثابت بعد التدريب إلى نموذج ديناميكي يتخطى الخبراء غير الضروريين للرموز "السهلة" دون التضحية بالأداء الراسخ أو تحمل تكاليف تكيف باهظة.

2. المنهجية: ZEDA

يقدم البحث إطار عمل التكيف عبر التقطير الذاتي لصفر الخبراء (ZEDA)، وهو إطار منخفض التكلفة يحول نماذج MoE الثابتة بعد التدريب إلى نماذج ديناميكية. وتتكون الطريقة من ثلاثة مكونات رئيسية:

2.1 حقن صفر الخبراء

يقوم ZEDA بتحويل بنية MoE الثابتة إلى ديناميكية عن طريق حقن خبراء صفريين بدون معاملات ( $Z = \{Z_1, ..., Z_{N_Z}\}$ ) في مجموعة الخبراء الحالية.

الآلية: تُنتج الخبراء الصفريون مخرجات صفرية متطابقة ( $Z_j(h) = 0$ ) لأي حالة مخفية (hidden state) مدخلة $h$ .
التوجيه: يختار الموجه (router) مجموعة فرعية مكونة من $K$ -الأعلى من مجموعة الخبراء الموسعة المكونة من $N + N_Z$ خبيرًا. إذا تم اختيار خبير صفري، فإنه لا يساهم بأي حوسبة، مما يقلل فعليًا من عدد الخبراء العاديين النشطين لذلك الرمز.
التهيئة: يتم الحفاظ على معاملات الموجه الأصلية للخبراء العاديين. أما معاملات الموجه الجديدة للخبراء الصفريين، فيتم تهيئتها من توزيع غاوسي (Gaussian) يطابق المتوسط والتباين للمعاملات الأصلية للحفاظ على مقياس قيم الـ logits للموجه.

2.2 التقطير الذاتي ثنائي المراحل

لتكييف النموذج المعزز دون إعادة التدريب من الصفر، يستخدم ZEDA عملية تقطير ذاتي ثنائية المراحل باستخدام نموذج MoE الأصلي بعد التدريب كـ معلم مجمد (frozen teacher):

الضبط الدقيق الخاضع للإشراف (SFT): يتم تدريب نموذج الطالب على الاستجابات المستخرجة من المعلم. تجمع الخسارة بين الإنتروبيا المتقاطعة القياسية وخسارة المجموعة المساعدة (Group Auxiliary Loss).
التقطير في السياسة (On-Policy Distillation - OPD): يقوم الطالب بتوليد مساراته الخاصة، ويقوم المعلم بتقييم هذه المسارات لتوفير أهداف على مستوى الرمز. تهدف الوظيفة إلى تقليل تباعد KL العكسي بين توزيع الطالب في السياسة وتوزيع المعلم.

2.3 خسارة المجموعة المساعدة ( $L_{GA}$ )

إن خسائر موازنة الحمل القياسية (التي تفرض التجانس عبر جميع الخبراء) غير مناسبة لنماذج MoE بعد التدريب لأنها قد تعطل أنماط التوجيه غير المتجانسة المتعلمة بين الخبراء العاديين. يقدم ZEDA خسارة مجموعة مساعدة توازن التنشيط على مستوى المجموعة بدلاً من مستوى الخبير الفردي:

المجموعات: تشكل الخبراء العاديون المجموعة $\mathcal{E}$ ، بينما يشكل الخبراء الصفريون المجموعة $\mathcal{Z}$ .
الهدف: تنظم الخسارة وتيرة التنشيط النسبية بين المجموعتين، ويتم التحكم فيها بواسطة معامل وزن $w$ . وهي تشجع نسبة الخبراء العاديين المنشطين إلى الخبراء الصفريين على التقارب نحو نسبة مستهدفة ( $N : N_Z \cdot w$ ) دون تسطيح توزيع التوجيه داخل مجموعة الخبراء العادية.
النتيجة: يسمح هذا للنموذج بتعلم متى يتخطى الحوسبة (اختيار الخبراء الصفريين) مع الحفاظ على منطق التوجيه الداخلي للنموذج الأصلي.

3. المساهمات الرئيسية

إطار عمل التكيف بعد التدريب: يعد ZEDA أول طريقة تحول نماذج MoE الثابتة بعد التدريب بفعالية إلى نماذج ديناميكية عبر حقن صفر الخبراء والتقطير الذاتي، متجنبًا الحاجة إلى إعادة التدريب المسبق المكلف.
تحويل بنيوي مستقر: إن تقديم خسارة المجموعة المساعدة يعمل على استقرار عملية التحويل من خلال تنظيم استخدام الخبراء الصفريين دون تعطيل هياكل التوجيه المتعلمة للخبراء العاديين.
المفاضلة بين الكفاءة والأداء: يحقق الأسلوب تقليلًا كبيرًا في الحوسبة (تخطي أكثر من 50% من الخبراء) مع فقدان هامشي فقط في الدقة، متفوقًا على النماذج المرجعية لـ MoE الديناميكية (مثل Naive Expert Truncation).
رؤية في ديناميكيات التنشيط: يقدم البحث تحليلًا يوضح أن تنشيط الخبير الصفري يرتبط بـ فجوات توزيع المعلم والطالب (logp-diff) وعدم اليقين في النموذج، وليس بصعوبة المهمة الإجمالية. وتميل الأجزاء المهيكلة (مثل الأكواد البرمجية أو التعبيرات الرياضية) إلى امتلاك نسب أعلى لتنشيط الخبير الصفري (حوسبة أقل) مقارنة بالنصوص الطبيعية.

4. النتائج التجريبية

أُجريت التجارب على نماذج Qwen3-30B-A3B و GLM-4.7-Flash عبر 11 معيارًا تغطي الرياضيات، والبرمجة، واتباع التعليمات.

الأداء: يلغي ZEDA أكثر من 50% من عمليات FLOPs للخبراء (محققًا $r_{ZE} \approx 51.2\%$ $r_{Z E} \approx 51.2%$ في Qwen و $53.0\%$ $53.0%$ في GLM) مع الحفاظ على أداء مماثل للنموذج الثابت الأصلي.
- في Qwen3-30B-A3B، يتفوق ZEDA على أقوى نموذج مرجعي ديناميكي (AdaMoE) بمقدار 6.1 نقطة في المتوسط.
- في GLM-4.7-Flash، يتفوق على النموذج المرجعي بمقدار 4.0 نقاط.
- على عكس النماذج المرجعية التي تنهار في مهام الاستدلال الصعبة أو البرمجة، يحافظ ZEDA على أداء تنافسي بشكل موحد عبر جميع المجالات.
الكفاءة: يحقق التكيف تسريعًا في الاستنتاج النهائي (end-to-end) بنحو 1.20× (تسريع بنسبة 20% تقريبًا في كل من مرحلتي التجهيز/prefill والفك/decode) على 8 وحدات معالجة رسومية من نوع NVIDIA H200.
تكلفة التكيف: تستغرق عملية التكيف بأكملها أقل من 31 ساعة لـ Qwen و 62 ساعة لـ GLM، وهو أمر ضئيل مقارلة بتكاليف التدريب المسبق أو التدريب اللاحق الكامل.
التعميم: يظهر ZEDA قدرة قوية على التعميم خارج التوزيع (OOD) في MMLU-Redux و GPQA-Diamond، حيث يحافظ على الدقة مع الحفاظ على معدل استخدام عالٍ للخبراء الصفريين.

5. الأهمية والادعاءات

يزعم البحث أن ZEDA يوفر حلاً عمليًا وفعالًا من حيث التكلفة لتعزيز كفاءة نشر أنظمة MoE واسعة النطاق. ومن خلال الاستفادة من القدرات الحالية لنماذج ما بعد التدريب واستخدام التقطير الذاتي لتعلم التوجيه الديناميكي، يتيح ZEDA للرموز "السهلة" تجاوز حوسبة الخبراء غير الضرورية دون المساس بمعرفة النموذج أو قدراته الاستدلالية الراسخة.

يؤكد المؤلفون أن هذا النهج يتجنب التعديلات البنيوية الكبيرة وتكاليف إعادة التدريب المرتبطة بطرق MoE الديناميكية السابقة. وتشير النتائج إلى أنه يمكن نقل نماذج MoE بعد التدريب بنجاح إلى بنيات ديناميكية فعالة، مما يجعل النماذج ذات السعة العالية أكثر جدوى للخدمة في العالم الحقيقي حيث تعد تكاليف الاستنتاج قيدًا أساسيًا. يسلط العمل الضوء على أن تخصيص الحوسبة الديناميكية مرتبط جوهريًا بعدم اليقين الداخلي للنموذج والتوافق بين توزيعات الطالب والمعلم، وليس فقط بصعوبة المهمة الخارجية.