DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism
يُعد DisagMoE نظام تدريب مبتكر لنموذج "خليط الخبراء" (Mixture-of-Experts) يعمل على تعزيز الكفاءة في المجموعات الحاسوبية واسعة النطاق من خلال فصل طبقات الانتباه وطبقات التغذية الأمامية إلى مجموعات منفصلة من وحدات معالجة الرسومات باستخدام خط أنابيب متعدد المراحل، مما يضمن تداخلاً فعالاً بين عمليات الاتصال والحوسبة للتغلب على اختناقات اتصالات "الكل إلى الكل" (all-to-all) وتحقيق تسريع في التدريب يصل إلى 1.8 ضعفاً.