🤖 machine learning

DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism

يُعد DisagMoE نظام تدريب مبتكر لنموذج "خليط الخبراء" (Mixture-of-Experts) يعمل على تعزيز الكفاءة في المجموعات الحاسوبية واسعة النطاق من خلال فصل طبقات الانتباه وطبقات التغذية الأمامية إلى مجموعات منفصلة من وحدات معالجة الرسومات باستخدام خط أنابيب متعدد المراحل، مما يضمن تداخلاً فعالاً بين عمليات الاتصال والحوسبة للتغلب على اختناقات اتصالات "الكل إلى الكل" (all-to-all) وتحقيق تسريع في التدريب يصل إلى 1.8 ضعفاً.

المؤلفون الأصليون: Zhichen Zeng, Chi-Chih Chang, Jiayi Wang, Zezhou Wang, Ningxin Zheng, Zheng Zhong, Cesar A. Stuardo, Dongyang Wang, Mohamed S. Abdelfattah, Haibin Lin, Banghua Zhu, Ang Li, Ziheng Jiang

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhichen Zeng, Chi-Chih Chang, Jiayi Wang, Zezhou Wang, Ningxin Zheng, Zheng Zhong, Cesar A. Stuardo, Dongyang Wang, Mohamed S. Abdelfattah, Haibin Lin, Banghua Zhu, Ang Li, Ziheng Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مصنعاً ضخماً فائق السرعة يبني "آلات تفكير" عملاقة (نماذج الذكاء الاصطناعي). هذا المصنع لديه نوعان رئيسيان من العمال:

فريق "السياق" (الانتباه - Attention): هؤلاء العمال يشبهون المحققين. إنهم ينظرون إلى القصة بأكملها حتى الآن لفهم ما يحدث. هم بارعون جداً في التفكير، لكنهم لا يحتاجون إلى الحركة كثيراً.
فريق "المتخصصين" (الخبراء/FFN): هؤلاء هم البناؤون الفعليون. يوجد الآلاف منهم، ولكن بالنسبة لأي مهمة واحدة، لا نحتاج إلا لعدد قليل منهم. هم بارعون في القيام بالأعمال الشاقة، لكنهم منتشرون في جميع أنحاء أرض المصنع.

المشكلة: ازدحام مروري

في الطريقة القديمة لإدارة هذا المصنع (والتي تسمى توازي الخبراء - Expert Parallelism)، كان فريق السياق وفريق المتخصصين محبوسين في نفس الغرفة.

وهذا ما كان يحدث:

أنهى فريق السياق تفكيرهم.
اضطروا للصراخ عبر الغرفة إلى المتخصصين: "مهلاً، أنت، وأنت، وأنت! تعالوا إلى هنا للعمل على هذا!"
قام المتخصصون بعملهم.
ثم اضطروا للصراخ مجدداً: "إليكم النتيجة!"

المشكلة؟ "الصراخ" (إرسال البيانات بين أجهزة الكمبيوتر) كان بطيئاً، خاصة عندما يصبح المصنع ضخماً وتكون العمالة موزعة على طوابق مختلفة (عقد خوادم مختلفة). كان المتخصصون غالباً يجلسون دون عمل، ينتظرون انتهاء فريق السياق من الصراخ، والعكس صحيح. لقد علق المصنع في ازدحام مروري، حيث يقضون وقتاً في الكلام أكثر من العمل الفعلي.

المحاولات السابقة لإصلاح ذلك كانت تشبه محاولة إخبار العمال بأن "يتحدثوا أثناء العمل". ولكن لأن فريق السياق يستغرق وقتاً طويلاً في التفكير (خاصة مع القصص الطويلة) والمتخصصين سريعين في البناء، فإن التوقيت لم يتطابق أبداً. كان هناك دائماً وقت متبقٍ من "الصراخ" لا يمكن إخفاؤه.

الحل: DisagMoE (المصنع المنفصل)

قرر مؤلفو هذه الورقة البحثية، DisagMoE، التوقف عن محاولة جعل الفريقين يعملان في نفس الغرفة. بدلاً من ذلك، بنوا خط تجميع مكون من مرحلتين.

1. فصل الفرق (التفكيك - Disaggregation)
قاموا بنقل فريق السياق إلى مجموعة من الماكينات، ونقل فريق المتخصصين إلى مجموعة أخرى تماماً من الماكينات.

الفريق (أ) (السياق): جميع طبقات "المحققين" موجودة في مجموعة واحدة من أجهزة الكمبيوتر.
الفريق (ب) (المتخصصون): جميع طبقات "البنائين" موجودة في مجموعة أخرى من أجهزة الكمبيوتر.

2. خط التجميع الجديد (AF-Pipe)
بدلاً من الصراخ الفوضوي، أنشأوا نظام سير ناقل سلس باتجاه واحد:

ينهي فريق السياق دفعة من التفكير، ثم يمرر العمل عبر السير الناقل إلى المتخصصين.
بينما يعمل المتخصصون على الدفعة رقم 1، يكون فريق السياح قد بدأ بالفعل في الدفعة رقم 2.
بينما ينهي المتخصصون الدفعة رقم 1 ويرسلون النتائج، يكون فريق السياق قد بدأ بالفعل في الدفعة رقم 3.

هذا ما يسمى بالتوصيل المتتابع (Pipelining). إنه يشبه سباق التتابع حيث يتم تمرير العصا بسلاسة بحيث لا يتوقف أي عداء عن الركض أبداً.

3. المدير الذكي (التخصيص التكيفي - Adaptive Allocation)
هذا هو الجزء الذكي. أدركت الورقة البحثية أن فريق السياق وفريق المتخصصين لديهما احتياجات مختلفة.

فريق السياق يشبه "المفكر الثقيل"؛ فهم يحتاجون إلى عقول قوية (قدرة حوسبية) ولكنهم لا يحتاجون إلى اتصال إنترنت سريع جداً.
فريق المتخصصين يشبه "العداء"؛ فهم يحتاجون إلى طريق سريع فائق السرعة (عرض نطاق ترددي للشبكة) لإيصال بياناتهم إلى الشخص المناسب بسرعة.

في المصنع القديم، كان الجميع يحصل على نفس القدر من الإنترنت وقوة الحوسبة. أما في DisagMoE، فالمدير ذكي. إذا كانت القصة طويلة جداً، فهم يعطون المزيد من "مسارات الإنترنت" للمتخصصين ومزيد من "قوة الدماغ" لفريق السياق. إنهم يعدلون الموارد باستمرار للتأكد من أن لا أحد ينتظر الآخر.

النتائج

من خلال فصل الفرق والسماح للمدير بتعديل الموارد، توقف المصنع عن إضاعة الوقت في انتظار الرسائل.

السرعة: وجدوا أن هذا النظام الجديد جعل التدريب أسرع بمقدار 1.8 مرة من الطرق القياسية القديمة.
الكفاءة: قللوا من الوقت الذي تقضيه أجهزة الكمبيوتر في مجرد "الكلام" (انتظار البيانات) بنسبة تصل إلى 88%.

الخلاصة الكبرى

تجادل الورقة البحثية بأنه لا يمكنك مجرد ضخ المزيد من عرض نطاق الإنترنت لحل المشكلة لجعلها أسرع. يجب عليك النظر إلى المهمة المحددة التي يقوم بها كل جزء من أجزاء الذكاء الاصطناعي. من خلال فصل "التفكير" عن "البناء" وإعطاء كل فريق بالضبط القدر المناسب من الموارد التي يحتاجها، يمكنك بناء هذه النماذج العملاقة من الذكاء الاصطناعي بشكل أسرع بكثير.

باختصار: لقد توقفوا عن محاولة وضع وتد مربع في ثقب مستدير عبر فصل العمال، وبناء سير ناقل أفضل، وتعيين مدير يعرف تماماً كيف يوازن عبء العمل.

ملخص تقني: DisagMoE

1. بيان المشكلة

تتيح بنيات خليط الخبراء (MoE) واسعة النطاق تدريب النماذج اللغوية الكبيرة (LLMs) ذات التريليونات من المعلمات عبر تفعيل مجموعة فرعية من الخبراء بشكل متفرق. ومع ذلك، يواجه تدريب هذه النماذج اختناقات شديدة بسبب اتصالات "الكل-إلى-الكل" (all-to-all) المطلوبة للتوازي الخاص بالخبراء (EP). ومع توسع هذه النماذج عبر عقد متعددة من وحدات معالجة الرسومات (GPUs)، يؤدي عرض نطاق الشبكة بين العقد (مثل InfiniBand) المحدود إلى تفاقم زمن انتقال الاتصال، والذي يمكن أن يستهلك ما يصل إلى 50% من وقت خطوة التدريب.

تركز استراتيجيات التحسين الحالية بشكل أساسي على تداخل الاتصال مع الحوسبة على مستوى العمليات (مثل تقسيم حسابات FFN) أو استخدام أنابيب الدفعات الصغيرة (micro-batch pipelining). ومع ذلك، تعاني هذه النهج من قيود جوهرية:

تعطل البقايا (Residual Stalls): تمنع عدم التوازنات المتأصلة في نسب الحوسبة إلى الاتصال بين طبقات الانتباه (Attention) وطبقات FFN تحقيق تداخل مثالي. حيث تتوسع حسابات الانتباه تربيعياً مع طول التسلسل، بينما تتوسع FFN والاتصالات خطياً. وهذا يخلق "ذيول اتصال" (communication tails) لا يمكن إخفاؤها، خاصة مع زيادة أطوال التسلسل.
عدم كفاءة الموارد: غالباً ما تتطلب النهج المنفصلة السابقة (التي تفصل الانتباه وFFN على أجهزة مختلفة) أن تحتفظ كل مجموعة بكامل معلمات النموذج، مما يؤدي إلى أخطاء نفاذ الذاكن (OOM) عند التوسع، أو تفشل في تكييف تخصيص الموارد مع خصائص الحوسبة والاتصال لكل مكون.

2. المنهجية: DisagMoE

DisagMoE هو نظام تدريب مصمم لتخفيف اختناقات "الكل-إلى-الكل" من خلال التحسين المشترك لوضع النموذج والجدولة عبر بنية منفصلة (disaggregated architecture).

2.1 وضع المكونات المنفصلة

على عكس التوازي الخاص بالخبراء التقليدي حيث تتعايش طبقات الانتباه وFFN في نفس مجموعة وحدات معالجة الرسومات، يقوم DisagMoE بتقسيم النموذج حسب نوع المكون:

مجموعات الانتباه (A-Workers): تحتوي هذه المجموعات على طبقات الانتباه الذاتي من طبقات محول (transformer) متعددة. وهي تكرر المكونات الكثيفة وتوزع بيانات التدريب عبر التوازي للبيانات (DP).
مجموعات FFN (F-Workers): تحتوي هذه المجموعات على طبقات FFN (الخبراء) من طبقات محول متعددة. يتم توزيع الخبراء عبر وحدات معالجة الرسومات داخل المجموعة عبر التوازي الخاص بالخبراء (EP).
تعيين الطبقات: يتم تعيين الطبقات للمجموعات بطريقة متداخلة (على سبيل المثال، المجموعة 0 تتعامل مع الطبقات 0، $p$ ، $2p$ ؛ والمجموعة 1 تتعامل مع الطبقات 1، $p+1$ ، إلخ)، مما يعظم استغلال الأجهزة في ظل قيود الذاكرة.

2.2 AF-Pipe: خط أنابيب متعدد المراحل مع التداخل

يقدم DisagMoE نظام AF-Pipe، وهو جدول أنابيب يعامل الاتصال كـ "مرحلة أولى" بدلاً من كونه أثراً جانبياً.

اتصال كثير-إلى-كثير (M2N): بدلاً من عمليات تبادل "الكل-إلى-الكل" القياسية داخل مجموعة عقدة واحدة، ينشئ AF-Pipe عمليات تبادل رموز أحادية الاتجاه، كثيرة-إلى-كثير بين مجموعات الانتباه ومجموعات FFN.
محاذاة المراحل: يقوم خط الأنابيب بمحاذاة الحدود عبر المجموعات، حيث يدمج عمليات "الإرسال" (dispatch) و"التجميع" (combine) التقليدية في مرحلة اتصال موحدة واحدة. هذا يقلل من عبء الاتصال بنحو $1/k$ (حيث $k$ هو عدد الخبراء top- $k$ ) ويلغي عمليات نقل البيانات المتكررة.
التنفيذ غير المتزامن: يستخدم النظام ثلاثة مسارات منسقة (الأمامي، والخلفي، والاتصال) داخل كل عامل. يسمح هذا لمجموعة FFN بإرسال التدرجات (N2M) بينما تقوم في الوقت نفسه بحساب المسار الأمامي على البيانات المتاحة، مما يضمن التنفيذ غير المحظور والاستخدام المستمر تقريباً لوحدات معالجة الرسومات.

2.3 تخصيص العمال التكيفي

لمعالجة عدم التوازن بين الانتباه (المعتمد على الحوسبة) وFFN (المعتمد على الاتصال)، يستخدم DisagMoE مخصصاً تكيفياً موجهاً بـ نموذج سقف الحوسبة والاتصال (Compute-Communication Roofline Model).

النمذجة: ينمذج النظام نقطة التحول ( $\hat{I}$ ) حيث يتحول المكون من كونه مقيداً بالشبكة إلى مقيد بالحوسبة. تصل طبقات الانتباه إلى سقف الحوسبة أسرع من طبقات FFN مع زيادة طول التسلسل.
التحسين: يصيغ النظام تقسيم وحدات معالجة الرسومات وواجهة بطاقة الشبكة (NIC) كمسألة برمجة خطية صحيحة مختلطة (MILP). ويقوم بتخصيص المزيد من عرض نطاق الشبكة لمجموعات FFN (لرفع سقف الاتصال الخاص بها) والمزيد من موارد الحوسبة لمجموعات الانتباه، مما يوازن مراحل خط الأنابيب لتقليل الفجوات (bubbles).
استراتيجية البحث: تستخدم خوارزمية نموذج السقف (roofline model) لإنشاء تكوين بذر، ثم يتم تحسينه عبر البحث المحلي باستخدام أوقات الخطوة المقاسة لأخذ التكاليف غير المنمذجة في الاعتبار.

3. المساهمات الرئيسية

وضع المكونات المنفصلة: بنية مبتكرة تفصل طبقات الانتباه وFFN إلى مجموعات عمال منفصلة، مما يسمح بالتوسع المستقل وتخصيص الموارد.
جدول AF-Pipe: خط أنابيب متعدد المراحل يستبدل عمليات "الكل-إلى-الكل" التقليدية بتبادلات M2N بين المجموعات، مما يضمن تداخل الاتصال مع كل من حسابات الانتباه وFFN بشكل منهجي.
التخصيص التكيفي للموارد: آلية موجهة بنموذج السقف (roof-line) تقوم بضبط حجم موارد GPU وNIC لمجموعات الانتباه وFFN معاً، مما يوازن بفعالية نسبة الحوسبة إلى الاتصال عبر مختلف أطوال التسلسل وتكوينات النماذج.

4. النتائج التجريبية

قيم المؤلفون DisagMoE على مجموعات مكونة من 16 عقدة (128× H800 GPU) باستخدام ثلاثة نماذج MoE وهي: DeepSeek-MoE، وGPT-OSS-120B، وQwen3، بأطوال تسلسل تتراوح من 4K إلى 32K.

تحسين الإنتاجية (Throughput): تفوق DisagMoE باستمرار على النماذج المرجعية القوية، بما في ذلك Megatron-LM (1F1B interleaved)، وTutel، وComet، وDualPipe.
- حقق تسريعًا يصل إلى 1.81× مقارنة بـ Megatron-1F1B.
- حقق تسريعًا يصل إلى 1.34× مقارنة بأنظمة تداخل MoE الأكثر تطوراً.
تقليل الاتصال: مقارنة بالنماذج المرجعية، قلل DisagMoE من وقت الاتصال غير المتداخل بنسبة تصل إلى 88% (مقابل Tutel)، و75% (مقابل Comet)، و45% (مقابل DualPipe).
القابلية للتوسع: أظهر النظام فعالية عبر قيم top- $k$ مختلفة وأحجام التوازي الخاص بالخبراء (EP).
الحساسية للموارد: أكدت التجارب أن النسب المثلى لوحدات معالجة الرسومات بين مجموعات الانتباه وFFN تختلف باختلاف طول التسلسل (على سبيل المثال، التسلسلات الأطول تفضل المزيد من موارد الانتباه)، مما يؤكد الحاجة إلى التخصيص التكيفي.

5. الأهمية والادعاءات

يدعي البحث أن DisagMoE يعالج حداً جوهرياً في تدريب MoE الحالي: عدم القدرة على التداخل المثالي للاتصال بسبب عدم التوازن الهيكلي بين طبقات الانتباه وFFN. ومن خلال فصل هذه المكونات وتخصيص الموارد بشكل تكيفي بناءً على نموذج السقف، يوسع النظام نافذة التداخل الفعالة بما يتجاوز ما يمكن أن يحققه توفير عرض النطاق الترددي المتماثل.

يؤكد المؤلفون أن نهجهم مهم بشكل خاص لأعباء عمل التدريب المسبق واسعة النطاق ذات أطوال التسلسل الثابتة. ويشيرون إلى أنه بينما يفترض تصميمهم الحالي أشكالاً مستقرة (طول تسلسل ثابت ودفعة صغيرة ثابتة)، فإن الرؤية الجوهرية — وهي أن الأجهزة والبرمجيات المستقبلية يجب أن تستهدف نسب الحوسبة والاتصال المواتية عبر المكونات بدلاً من مجرد زيادة عرض النطاق الترددي الخام — تقدم اتجاهاً جديداً لتوسيع تدريب MoE بكفاءة. تم تنفيذ النظام على Megatron-LM وأثبت أنه حل قابل للتطبيق لتدريب النماذج التي تحتوي على مئات المليارات من المعلمات دون قيود الذاكرة التي عانت منها محاولات التدريب المنفصلة السابقة.