Scalable Training of Mixture-of-Experts Models with Megatron Core
تقدم هذه الورقة Megatron Core، وهو إطار عمل مفتوح المصدر وقابل للتوسع وجاهز للإنتاج، يعالج تحديات الذاكرة والاتصال والحوسبة المترابطة لتدريب نماذج خليط الخبراء (MoE) من خلال تحسينات متكاملة على مستوى النظام، مما يتيح تدريباً عالي الأداء لنماذج تتراوح أحجامها من المليارات إلى التريليونات من المعلمات على مجموعات ضخمة من وحدات معالجة الرسومات (GPU).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء دماغ ضخم فائق الذكاء (نموذج لغوي كبير) لحل المشكلات المعقدة. في الماضي، لكي تجعل هذا الدماغ أكثر ذكاءً، كنت تكتفي بجعله أكبر وأثقل، مثل إضافة المزيد من الطوب إلى جدار. لكن هذا جعل الدماغ بطيئاً للغاية ومكلفاً جداً في التدريب، لأن كل فكرة واحدة كانت تتطلب عمل كل طوبة من تلك الطوب.
خليط الخبراء (Mixture-of-Experts - MoE) هو طريقة ثورية لبناء هذا الدماغ. بدلاً من دماغ واحد عملاق، تخيل فريقاً من 100 مستشار متخصص (خبراء). عندما تطرح سؤالاً، لا يقوم المدير (الموجه/Router) بإيقاظ الـ 100 مستشار جميعهم، بل يختار أفضل خبيرين أو ثلاثة في ذلك الموضوع تحديداً ويطلب منهم فقط العمل.
هذا أمر مذهف؛ لأن الدماغ يمكن أن يكون ضخماً (ملايين الخبراء) ولكنه يستخدم جزءاً ضئيلاً جداً منهم لكل سؤال. الأمر يشبه امتلاك مكتبة بها مليون كتاب، لكنك تسحب الكتابين اللذين تحتاجهما فقط في تلك اللحظة.
ومع ذلك، فإن تدريب هذا النظام يعد كابوساً لوجستياً. ورقة NVIDIA البحثية الجديدة، "التدريب القابل للتوسع لنماذج خليط الخبراء باستخدام Megatron Core"، هي في الأساس دليل تشغيل نهائي لإدارة هذا الفريق الضخم من المستشارين بكفاءة. وقد أطلقوا على المشكلات التي حلتها اسم "الجدران الثلاثة".
إليك كيف اخترقوا هذه الجدران، مشروحة ببساطة:
1. جدار الذاكرة: "مشكلة غرفة القياس"
المشكلة: حتى لو كان عدد قليل من المستشارين يعملون في كل مرة، إلا أن جميع المستشارين المئة يجب أن يتواجدوا في الغرفة (ذاكرة وحدة معالجة الرسومات - GPU) تحسباً لاحتياجهم. إذا كان لديك مليون خبير، فستصبح الغرفة مزدحمة جداً بسيرهم الذاتية وأدواتهم لدرجة أنك لن تستطيع استيعابهم جميعاً.
الحل:
- الضغط: علموا الخبراء كيف يحملون حقائب ظهر أخف (باستخدام دقة FP8/FP4). فبدلاً من حمل مخططات تفصيلية ثقيلة، يحملون رسومات مبسطة أصغر بنسبة 50% إلى 75% ولكنها تنجز المهمة.
- خدعة "افعلها بنفسك": بدلاً من تخزين كل خطوة من عمل الخبراء في الغرفة، يقومون برمي الملاحظات ويطلبون من الخبراء إعادة حساب الخطوات عند الحاجة لاحقاً. يستغرق الأمر وقتاً إضافياً بسيطاً لإعادة الحساب، لكنه يوفر مساحة هائلة.
- العليّة (المخزن العلوي): بالنسبة للأشياء التي لا يحتاجونها الآن، ينقلونها إلى العلية (ذاكرة المعالج المركزي - CPU) ولا يحضرونها للأسفل إلا عند الضرورة القصوى.
2. جدار التواصل: "الازدحام المروري"
المشكلة: بما أن المدير يختار خبراء مختلفين لأسئلة مختلفة، فإن المستشارين يتوزعون في مبانٍ مختلفة (وحدات معالجة الرسومات - GPUs). عندما يأتي سؤال، يتعين على المدير الركض حول المباني، والإمساك بالمستشارين المناسبين، وإحضارهم إلى طاولة العمل، ثم إعادتهم. إذا كان لديك آلاف المباني، فإن الوقت المستغرق في الركض ذهاباً وإياباً (التواصل) يصبح أطول من وقت العمل الفعلي.
الحل:
- الطرق السريعة: بنوا طرقاً متخصصة فائقة السرعة (DeepEP و HybridEP) خصيصاً لنقل هؤلاء المستشارين. هذه الطرق مُحسّنة بحيث يستغرق نقل المستشار وقتاً يكاد لا يُذكر.
- تعدد المهام: اكتشفوا كيفية جعل المستشارين يبدأون العمل على السؤال التالي بينما لا يزال العمل على الأسئلة السابقة قيد التسليم. الأمر يشبه طباخاً يبدأ في تقطيع الخضرووات بينما لا يزال سائق التوصيل يقوم بتفريغ البقالة. هذا يخفي وقت السفر تماماً.
3. جدار كفاءة الحوسبة: "العمال العاطلون"
المشكلة: لأن الخبراء متخصصون جداً، غالباً ما يتلقون مهاماً صغيرة جداً. تخيل نجاراً ماهراً يُطلب منه فقط طرق مسمار واحد. يقضي معظم وقته في انتظار التعليمات التالية، ويصبح "رئيس" الكمبيوتر (المعالج المركزي - CPU) مثقلاً بمحاولة إعطاء آلاف التعليمات الصغيرة كل ثانية. العمال يجلسون دون عمل، والرئيس يشعر بالتوتر.
الحل:
- التجميع (Batching): بدلاً من إعطاء مسمار واحد لكل نجار، يجمعون 100 نجار معاً ويعطونهم جداراً كاملاً لبنائه دفعة واحدة. هذا يبقي الجميع مشغولين.
- "السيناريو" (رسوم CUDA البيانية): بدلاً من أن يصرخ الرئيس بالتعليمات واحدة تلو الأخرى ("اطرق! صنفر! ادهن!")، يكتب التعليمات في سيناريو مرة واحدة. ثم يتبع العمال السيناريو تلقائياً دون انتظار صراخ الرئيس. هذا يزيل تأخير "الصراخ".
- الجدولة الذكية: يستخدمون نظاماً يسمى الطي المتوازي (Parallel Folding). تخيل مصنعاً حيث كان خط التجميع الخاص بـ "الدهان" (طبقات الانتباه - Attention layers) وخط التجميع الخاص بـ "النجارة" (طبقات MoE) مجبرين على استخدام نفس عدد العمال. الآن، يمكنهم امتلاك فريق ضخم للنجارة وفريق صغير للدهان، أو العكس، حسب ما يحتاجه المصنع في ذلك اليوم. هذا يضمن عدم وقوف أي شخص دون عمل.
النتيجة: مصنع خارق
من خلال إصلاح هذه المشكلات الثلاث، تمكنت NVIDIA من إنشاء أنظمة يمكنها تدريب نماذج بـ تريليونات المعلمات (مثل DeepSeek-V3 و Qwen3) بسرعة مذهلة.
- على أحدث الحواسيب الفائقة (GB300/GB200): إنهم يحققون سرعات كانت تُعت de سابقاً مستحيلة، حيث يعالجون البيانات بسرعة تجعل الأمر يشبه مشاهدة فيلم بتقديم سريع.
- "الخلطة السرية": تؤكد الورقة البحثية أنه لا يمكنك إصلاح مشكلة واحدة فقط. إذا أصلحت الذاكرة وتجاهلت حركة المرور، فستفشل في النهاية. يجب عليك إصلاح الثلاث معاً في نفس الوقت، مثل ضبط محرك سيارة سباق، وإطاراتها، والديناميكا الهوائية الخاصة بها في آن واحد.
باختصار: هذه الورقة هي المخطط لكيفية بناء فريق ضخم وموزع من خبراء الذكاء الاصطناعي دون أن يضيعوا في الزحام، أو ينفد منهم مساحة المكتب، أو يجلسوا بانتظار التعليمات. إنها تحول عملية فوضوية وبطيئة إلى آلة انسيابية عالية السرعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.