💬 NLP

Capacity-Aware Inference: Mitigating the Straggler Effect in Mixture of Experts

للتخفيف من "تأثير المتخلفين عن الركب" (Straggler Effect) الناتج عن عدم توازن توزيع الرموز في نماذج خليط الخبراء (MoE)، تقترح هذه الورقة آليتين تعتمدان على السعة — وهما إسقاط الرموز المدرك للسعة (Capacity-Aware Token Drop) والإسقاط الموسع المدرك للسعة (Capacity-Aware Expanded Drop) — واللتان تعملان على تحسين سرعة الاستدلال واستغلال الخبراء بشكل كبير مع حد أدنى من التأثير على أداء النموذج.

المؤلفون الأصليون: Shwai He, Weilin Cai, Jiayi Huang, Ang Li

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shwai He, Weilin Cai, Jiayi Huang, Ang Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير خدمة توصيل بيتزا ضخمة وعالية السرعة. لمواكبة الطلب، لديك أسطول من الطهاة المتخصصين: أحدهم خبير في الببروني، وآخر خبير في العجين، وثالث متخصص في الخضروات، وهكذا. هذا هو بالضبط كيف يعمل نموذج الذكاء الاصطناعي "خليط الخبراء" (Mixture of Experts - MoE)— فبدلاً من وجود عقل واحد عملاق يقوم بكل شيء، فإنه يستخدم فريقاً من "الخبراء المتخصصين" للتعامل مع أجزاء مختلفة من السؤال.

المشكلة: "تأثير المتلكئ" (The Straggler Effect)

في العالم المثالي، سيحصل كل طاهٍ على عدد متساوٍ من الطلبات. ولكن في الواقع، يحدث خطأ ما. فجأة، الجميع يريد ببروني. طاهي الببروني غارق تحت جبل من الطلبات، يتصبب عرقاً ويصارع لمواكبة العمل، بينما طاهي الخضروات يجلس مسترخياً، يستند إلى الجدار ويتصفح هاتفه لأنه ليس لديه ما يفعله.

لأن محل البيتزا لا يمكنه إرسال الطلب حتى تصبح كل البيتزا جاهزة، فإن المتجر بأكه يتباطأ ليصبح بسرعة ذلك الطاهي المجهد الوحيد المسؤول عن الببروني. في أبحاث الذكاء الاصطناعي، يُسمى هذا "تأثير المتلكئ". فرغم امتلاكك لفريق ضخم، إلا أن سرعتك محدودة بأبطأ عضو أو أكثرهم إرهاقاً.

الحل: "الاستدلال المدرك للسعة" (Capacity-Aware Inference)

ابتكر الباحثون من جامعة ميريلاند وجامعة هونغ كونغ للعلوم والتكنولوجيا (HKUST-GZ) طريقتين ذكيتين لحل هذه "الفوضى في المطبخ" دون الحاجة لتوظيف طهاة جدد أو إعادة تدريب الفريق بأكمله.

1. إسقاط الرموز المدرك للسعة (The "Smart Cut-off")

تخيل أن طاهي الببروني أدرك أن لديه 100 طلب، لكنه لا يستطيع جسدياً طهي سوى 20 طلباً في الخمس دقائق القادمة. بدلاً من محاولة تنفيذ الـ 100 طلب كاملة وجعل الجميع ينتظر ساعة كاملة، ينظر الطاهي إلى الطلبات ويقول: "سأختار أهم 20 طلباً/أعلى جودة الآن، وسأتجاهل البقية في الوقت الحالي".

في نموذج الذكاء الاصطناعي، هذا هو "إسقاط الرموز" (Token Drop). عندما يحصل خبير ما على الكثير من "الرموز" (قطع المعلومات)، يحدد النموذج الرموز الأقل أهمية ويتجاهلها ببساطة. قد يبدو "تجاهل" المعلومات أمراً مخيفاً، لكن الباحثين وجدوا أنه من خلال إسقاط جزء ضئيل جداً من العمل "الزائد"، تزداد سرعة النظام بأكمله بشكل هائل (بنسبة تصل إلى 30%!) مع عدم وجود أي فقدان يذكر في الذكاء.

2. الإسقاط الموسع المدرك للسعة (The "Backup Plan")

الآن، لننظر إلى طاهي الخضروات العاطل عن العمل. في الطريقة القديمة، كان يكتفي بالجلوس هكذا. فكرة الباحثين الثانية، "الإسقاط الموسع" (Expanded Drop)، تخبر الطهاة العاطلين: "مهلاً، إذا كان طاهي الببروني مثقلاً بالأعباء، يمكنك المساعدة! حتى لو لم تكن الخيار 'الأول' لطلب الببروني، فأنت لا تزال طاهياً جيداً بما يكفي للتعامل معه في حالات الطوارئ".

يسمح النموذج للرموز بالبحث في "قائمة احتياطية" من الخبراء المحليين. إذا كان خيارهم الأول مشغولاً جداً، يمكنهم اختيار خيارهم الثاني أو الثالث من نفس المطبخ. هذا يبقي الطهاة العاطلين مشغولين ويمنع الطهاه الرئيسيين من الغرق في العمل. هذا لا يجعل الذكاء الاصطناعي أسرع فحسب، بل يجعله أيضاً أذكى لأنه يستغل القوة الكاملة للفريق بأكمله.

النتائج: أسرع وأذكى

اختبر الباحثون هذه الطريقة على نماذج ذكاء اصطنا-ي شهيرة مثل Mixtral و DeepSeek. وكانت النتائج مبهرة:

السرعة: حققوا تسريعًا يصل إلى 1.85 ضعف (أي الضعف تقريباً).
الذكاء: في بعض الحالات، أصبح الذكاء الاصطناعي في الواقع أفضل قليلاً في الإجابة على الأسئلة لأن عبء العمل تم توزيعه بشكل أكثر فعالية.
متعدد الوسائط (الصور + النصوص): يعمل هذا حتى مع الذكاء الاصطنا الذي "يرى" الصور. وبما أن الصور تحتوي على الكثير من المعلومات المكررة (مثل ألف بكسل من سماء زرقاء)، يمكن للنموذج "إسقاط" بيانات الصورة الزائدة لتوفير الوقت دون فقدان معنى الصورة.

الملخص باخت-صار

بدلاً من ترك "خبير" واحد مجهد يبطئ عملية الذكاء الاصطناعي بأكملها، يعلم هذا البحث الذكاء الاصطناعي كيفية تحديد أولويات المهام الأكثر أهمية و إعادة تعيين العمل إلى الخبراء العاطلين، مما يحول المطبخ الفوضوي إلى خط تجميع متزامن ومثالي.

ملخص تقني: الاستنتاج المدرك للسعة للتخفيف من تأثير المتأخر (Straggler Effect) في نماذج MoE

نُشر في: ICLR 2026

1. المشكلة: تأثير المتأخر (Straggler Effect) في استنتاج MoE

بينما تعمل بنية "خليط الخبراء" (Mixture of Experts - MoE) على توسيع نطاق النماذج اللغوية الكبيرة (LLMs) بكفاءة من خلال التنشيط المتفرق، إلا أنها تعاني من عدم كفاءة كبيرة في الاستنتاج بسبب عدم توازن تخصيص الرموز (Tokens) للخبراء.

في البيئات الموزعة التي تستخدم توازي الخبراء (Expert Parallelism)، يتم تقسيم الخبراء عبر عدة وحدات معالجة رسومية (GPUs). يحدد المؤلفون ظاهرة أطلقوا عليها اسم "تأثير المتأخر" (Straggler Effect): نظرًا لأن زمن انتقال طبقة MoE يتحدد بواسطة الخبير الأكثر حملاً ( $L \propto \max(\{N_i\})$ )، فإن الخبراء ذوي الحمل المنخفض ينهون حساباتهم مبكرًا ويظلون في حالة خمول، بانتظار "المتأخر" (الخبير المثقل بالحمل) ليكتمل. يؤدي هذا إلى سوء استغلال وحدات المعالجة الرسومية وزيادة زمن الانتقال الإجمالي (End-to-end latency). تفشل الحلول الحالية أثناء التدريب (مثل الخسارة المساعدة/Auxiliary Loss) في حل هذا الاختلال أثناء مرحلة الاستنتاج.

2. المنهجية: الاستنتاج المدرك للسعة (Capacity-Aware Inference)

يقترح المؤلفون نهجًا ثنائي المسار لتنظيم الحمل وتعظيم الاستفادة دون الحاجة إلى إعادة تدريب النموذج.

أ. إسقاط الرموز المدرك للسعة (استهداف الخبراء عالي الحمل):
لمنع أي خبير منفرد من أن يصبح نقطة اختناق، يفرض المؤلفون قيد سعة قصوى ( $C = \gamma \bar{N}$ )، حيث $\gamma$ هو عامل السعة و $\bar{N}$ هو متوسط الحمل المتوقع.
- الآلية: عندما يتجاوز عدد الرموز المخصصة لخبير ما السعة $C$ ، يجب على النظام التخلص من الفائض.
- مقياس الاختيار: بدلاً من الإسقاط العشوائي أو القائم على الترتيب، يستخدمون "مقياس الدرجة" (Score metric)، والذي يستخدم درجات البوابة (بعد Softmax) لتحديد والاحتفاظ بالرموز الأكثر "أهمية" مع إسقاط الرموز ذات الصل ذات الصلة الأقل بذلك الخبير المحدد. يضمن هذا أدنى قدر من التدهور في الأداء.
ب. الإسقاط الموسع المدرك للسعة (استهداف الخبراء منخفض الحمل):
إسقاط الرموز وحده قد يترك الخبراء غير المستغلين في حالة خمول. ولإصلاح ذلك، يسمح الإسقاط الموسع (Expanded Drop) للرموز بالنظر في مجموعة أوسع من الخبراء المرشحين.
- الآلية: لكل رمز، يختار الموجه (Router) أفضل $k$ من الخبراء بالإضافة إلى $m$ من الخبراء المحليين الإضافيين (الخبراء الموجودين على نفس وحدة المعالجة الرسومية).
- الفائدة: إذا كان خبير الرمز الأساسي مثقلاً بالحمل، فيمكن إعادة توجيه الرمز إلى أحد المرشحين المحليين. يحسن هذا من استغلال الخبراء غير المستخدمين ويعزز القدرة التمثيلية للنموذج من خلال استغلال الحوسبة المحلية المتاحة.
ج. متغير متقدم: الدقة على مستوى الجهاز (Device-Level Granularity):
يقدم المؤلفون أيضًا قيدًا على مستوى الجهاز، والذي يفرض حد سعة على مجموع الرموز عبر جميع الخبراء في وحدة معالجة رسومية واحدة، بدلاً من كل خبير على حدة. يوفر هذا مرونة أكبر ويمنع الإسقاط العنيف عندما يكون أحد الخبراء ممتلئًا بينما تمتلك الخبراء الأخرى على نفس الجهاز سعة فائضة.

3. المساهمات الرئيسية

صياغة تأثير المتأخر (Straggler Effect): التعريف الصريح لكيفية ترجمة عدم توازن الرموز إلى تأخيرات المزامنة على مستوى الجهاز في استنتاج MoE.
إسقاط الرموز المدرك للسعة: طريقة مستقرة قائمة على الدرجات لتقييد حمل الخبير وتقليل زمن الانتقال.
الإسقاط الموسع المدرك للسعة: طريقة لتحسين توازن الحمل وأداء النموذج من خلال الاستفادة من "الذيل المسطح" لتوزيعات درجات البوابة لإعادة توجيه الرموز إلى الخبراء المحليين غير المستخدمين.
التوسع متعدد الوسائط (Multimodal Extension): إثبات أنه في نماذج MoE متعددة الوسائط، يمكن إعطاء الأولوية لإسقاط الرموز الصورية المكررة (عبر استراتيجية "الأولوية للصورة" / Image-First) لتحقيق مكاسب هائلة في الكفاءة مع تأثير ضئيل على الاستدلال النصي.

4. النتائج الرئيسية

تم التحقق من النهج عبر عدة نماذج رائدة (OLMoE, Mixtral, DeepSeek-V2, Qwen, إلخ):

تسريع الاستنتاج:
- تطبيق "الإسقاط الموسع" على نموذج Mixtral-8×7B-Instruct حقق تسريعًا في الاستنتاج بمقدار 1.85×.
- بالنسبة لـ OLMoE، حقق "إسقاط الرموز" تسريعًا بنسبة 30% مع تدهور بنسبة 0.9% فقط في الأداء.
مكاسب الأداء: على عكس العديد من تقنيات التحسين التي تضحي بالدقة مقابل السرعة، أدى "الإسقاط الموسع" في الواقع إلى تحسين الأداء في بعض الحالات (مثل تحسن بنسبة 0.2% في Mixtral-8×7B-Instruct) من خلال الاستخدام الأفضل لسعة النموذج.
كفاءة تعدد الوسائط: في الإعدادات متعددة الوسائط، كانت قيود السعة الشديدة (ضبط $\gamma=0.5$ ) فعالة لأن الرموز الصورية مكررة للغاية، مما يسمح بتسريع كبير في مهام الإدراك.

5. الأهمية

هذا العمل ذو أهمية بالغة لنشر نماذج MoE واسعة النطاق في بيئات الإنتاج. فهو يوفر تحسينًا للاستنتاج يعمل مباشرة (Plug-and-play) ولا يتطلب إعادة تدريب مكلفة. من خلال نقل التركيز من موازنة وقت التدريب إلى إدارة السعة في وقت الاستنتاج، يقدم المؤلفون مسارًا عمليًا نحو تعظيم الإنتاجية وكفاءة التكلفة للجيل القادم من النماذج اللغوية المتفرقة والنماذج متعددة الوسائط.