MMOE: Modernizing Diffusion Transformers with Efficient Expert Design
تقدم الورقة البحثية ModernMOE (MMOE)، وهي بنية محوّلة انتشار حديثة (modernized diffusion transformer architecture) تطوع مبادئ توسيع النماذج اللغوية الكبيرة (LLM) الفعالة — مثل الخبراء الموجهين (routed experts)، والخبراء المشتركين خفيفي الوزن (shared lightweight experts)، والتوجيه المتبقي (residual routing) — لتحقيق تقارب أسرع وتوازن فائق بين الجودة والتكلفة في توليد المحتوى الناتج عن الذكاء الاصطناًعي التوليدي (AIGC) مقارنة بالنماذج الكثيفة والأساسية المتفرقة التقليدية، وكل ذلك ضمن ميزانية تدريب متاحة على جهاز واحد.
المؤلفون الأصليون:Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li
تخيل عالماً تتعلم فيه الحواسيب الرسم، والحلم، وابتكار الفنون من الصفر. هذا هو مجال الذكاء الاصطناعي، وتحديداً فرع يُسمى "الذكاء الاصطناعي التوليدي"، حيث تُنتج الآلات صوراً وفيديوهات وقصصاً جديدة. وللقيام بذلك، تستخدم هذه الآلات أدمغة رقمية ضخمة تُسمى "النماذج التأسيسية". فكر في هذه النماذج كأنها مكتبات عملاقة من الأنماط؛ فكلما قرأت كتباً أكثر (بيانات) وكانت رفوفها أكبر (معلمات)، أصبحت أفضل في الإبداع. ومع ذلك، هناك عقبة: جعل هذه المكتبات أكبر يعني عادةً أنها ستستغرق وقتاً طويلاً جداً في القراءة وتتطلب حاسوباً فائق القدرة لتشغيلها، مما يجعل الأمر مكلفاً وبطيئاً.
مؤخراً، اكتشف العلماء خدعة ذكية استخدمتها النماذج اللغوية (تلك التي تكتب النصوص) لحل هذه المشكلة. فبدلاً من قراءة كل كتاب في المكتبة لكل سؤال، بنوا نظاماً يحتوي على العديد من "الخبراء" المختلفين. فعندما يأتي سؤال ما، يقرر "حارس بوابة" ذكي أي الخبراء القلائل هم المطلوبون للإجابة، بينما يمكن للبقية أخذ استراحة لتناول القهوة. يُسمى هذا "خليط الخبراء" (Moxture of Experts - MoE). إنه يشبه امتلاك فريق من المتخصصين حيث لا تستدعي السباك إلا عند حدوث تسرب، بدلاً من إيقاظ فريق كامل من الأطباء والطهاة والميكانيكيين. والسؤال الكبير لمبتكري الصور كان: هل يمكننا استخدام نفس خدعة "استدعاء الخبراء الذين تحتاجهم فقط" لجعل مولدات الصور أسرع وأرخص دون جعلها أقل إبداعاً؟
تقدم هذه الورقة البحثية نظاماً جديداً يسمى MMOE (ModernMOE) للإجابة على هذا السؤال. لقد أخذ الباحثون مولداً قياسياً للصور، والذي عادة ما يجبر كل جزء من أجزاء دماغه على العمل على كل بكسل، ومنحوه ترقية حديثة. فبدلاً من مجرد إضافة المزيد من الخبراء والأمل في الأفضل، أعادوا تصميم سير عمل الفريق. لقد أضافوا بعض الخبراء "الكسالى" الخاصين الذين يمكنهم القيام بأشياء بسيطة مثل نسخ صورة أو عدم فعل أي شيء على الإطلاق، مما يوفر الطاقة. كما أضافوا نظام "البوابة المتبقية" (gate-residual)، والذي يسمح لحارس البوابة بتذكر ما قرره في الخطوة السابقة، حتى لا يضطر لإعادة التفكير في كل شيء من الصفر. وأخيراً، سمحوا للخبراء بتبادل الملاحظات مع بعضهم البعض عبر طبقات مختلفة من الدماغ، لكي تتدفق المعلومات بسلاسة أكبر.
اختبر الفريق نظام MMOE الجديد على حاسوب قوي واحد مزود بثماني بطاقات رسوميات، وقاموا بتدريبه لمدة 400,000 خطوة. وقارنوه بالنماذج "الكثيفة" القديمة حيث يعمل كل شيء فيها طوال الوقت، وبالنماذج "المتفرقة" الأخرى التي تمتلك فقط المزيد من الخبراء ولكن بدون اختصارات ذكية. تشير النتائج إلى أن MMOE هو الفائز في سباق الكفاءة؛ فقد تعلم إنشاء صور عالية الجودة بشكل أسرع من الآخرين، محققاً درجة خطأ أقل (تُسمى FID) عند كل نقطة فحص. لم يصبح أفضل فحماً فحسب، بل أصبح أفضل "بتكلفة أقل". وأظهر التحليل أن النظام تعلم استخدام خبراء "الكسالى" بكثرة، خاصة في المراحل الأولى من إنشاء الصورة، وأن الخبراء تخصصوا في مهام مختلفة دون ارتباك.
تجادل الورقة بأن مجرد جعل النماذج أكبر وأكثر تعقيداً ليس هو السبيل الوحيد للتحسن. فبدلاً من ذلك، ومن خلال استعارة حيل الكفاءة الذكية من النماذج اللغوية — مثل استخدام خبراء خفيفي الوزن وتبادل المعلومات — يقترح الفريق أنه يمكننا بناء مولدات صور عالية الجودة وعملية للتشغيل بميزانيات أصغر. وبينما اقتصرت الدراسة على أنواع محددة من الصور ولم تختبر كل السيناريوهات الممكنة، إلا أن النتائج تشير بقوة إلى أن هذا النهج "المحدث" هو مسار واعد، يقدم توازناً أفضل بين جودة الصور وتكلفة إنتاجها.
ملخص تقني: MMOE: تحديث نماذج محولات الانتشار باستخدام تصميم الخبراء الفعال
بيان المشكلة بينما نجحت النماذج اللغوية الكبيرة (LLMs) في التوسع من خلال فصل سعة المعلمات الإجمالية عن الحوسبة المفعلة باستخدام خليط الخبراء المتفرق (sparse Mixture-of-Experts) وآليات الكفاءة (مثل الخبراء ذوي الحوسبة الصفرية، وتوجيه المتبقي للبوابة - gate-residual routing)، فإن نماذج التأسيس للذكاء الاصطنا التوليدي (AFMs)، وتحديداً هياكل محولات الانتشار (diffusion-transformer backbones)، قد اتبعت مساراً مختلفاً إلى حد كبير. تركز الجهود الحالية لتطبيق MoE على محولات الانتشار (مثل DiT-MoE وRace-DiT) بشكل أساسائي على توسيع مجمع الخبراء الإجمالي ونسب التفرق دون استيراد آليات الكفاءة التي تجعل توسع النماذج اللغوية الكبيرة عملية ومجدية. يؤدي هذا النهج غالباً إلى نماذج يصعب تدريبها ونشرها على الأجهزة ذات الموارد المحدودة، مما يفشل في تحقيق التوازن بين جودة التوليد وتكاليف التدريب والنشر. يطرح البحث السؤال التالي: هل يمكن تكييف المبادئ المعمارية الكامنة وخذ خلف التوسع الفعال للنماذج اللغوية الكبيرة مع نماذج الذكاء الاصطناعي التوليدي لتحسين جودة التوليد دون زيادة متناسبة في الحوسبة الفعلية أو عبء التدريب؟
المنهجية: ModernMOE (MMOE) يقترح المؤلفون ModernMOE (MMOE)، وهو تحديث لنماذج محولات الانتشار من طراز SiT، يقوم بدمج أربع آليات كفاءة مثبتة في النماذج اللغوية الكبيرة في هيكل الانتشار بشكل منهجي. والأهم من ذلك، يحافظ MMOE على الواجهة الخارجية (هدف إزالة الضجيج، الشرط، التمثيل الكامن، والعينة - sampler) دون تغيير، معدلاً فقط الحوسبة الداخلية على مستوى الكتلة (block-level).
يقدم الهيكل المكونات التالية:
طبقة خبير MoE++: بدلاً من طبقات MLP الموجهة القياسية، يتضمن مجمع الخبراء:
الخبراء الثقال (Heavy Experts): وهي طبقات MLP قياسية.
الخبراء خفيفو الوزن ذوو الحوسبة الصفرية (Lightweight Zero-Computation Experts): خبراء "النسخ" (الهوية)، و"الصفر" (المخرجات صفر)، و"الثابت" (مزيج متجه متعلم). تسمح هذه الأنواع للنموذج بتخطي تنفيذ MLP الكامل للرموز (tokens) التي لا تتطلب تحديثاً ثقيلاً.
توجيه المتبقي للبوابة (Gate-Residual Routing): يتضمن الموجه (router) متبقياً (residual) من قرار بوابة طبقة الخبير السابقة، مما يسمح بوراثة توجهات التوجيه عبر الطبقات، وهو ما يعمل على استقرار القرارات.
الخبراء المشتركون (Shared Experts): يوجد خبير كثيف مشترك يتم تفعيله دائماً لتوفير مسار حوسبة مشترك، جنباً إلى جنب مع الخبراء الموجهين للتخصص المعتمد على الرمز.
تجميع متبقي الانتباه (Attention-Residual Aggregation): يعيد النموذج استخدام المعلومات من حالات الكتل المكتملة سابقاً. قبل كل من طبقتي الانتباه وMLP، يقوم النموذج بتجميع التمثيلات من قائمة حالات الكتل المكتملة باستخدام استعلام زائف (pseudo-query) متعلم، مما يتيح إعادة استخدام المعلومات عبر العمق دون الحاجة لأهداف توليدية جديدة.
تحافظ عملية المرور الأمامي (forward pass) على الحالات المتكررة (حالات الكتل المكتملة، الحالة الجزئية الحالية، ومتبقيات البوابة) لتسهيل عملية التجميع والتوجيه هذه.
المساهمات الرئيسية
صياغة تحديث نماذج الـ AFM: يؤطر البحث توسع نماذج الـ AFM كمسألة تحديث، حيث يفحص بشكل منهجي ما إذا كان تصميمات MoE في النماذج اللغوية الكبيرة يمكن أن تحسن محولات الانتشار دون مجرد تضخيم عدد المعلمات أو نسب التفرق.
هيكل موحد: اقتراح MMOE، الذي يدمج الخبراء الموجهين، والخبراء المشتركين، والخبراء خفيفي الوزن ذوي الحوسبة الصفرية، وتوجيه متبقي البوابة، وتجميع متبقي الانتباه في هيكل واحد من طراز SiT.
دراسة تجريبية منضبطة: يقدم المؤلفون مقارنة صارمة ومنضبطة لمسار التحديث (Dense SiT → Standard MoE → Shared MoE → MoE++ → AttnRes-MoE → MMOE) تحت ميزانية تدريب متطابقة ومتاحة (عقدة واحدة من 8 وحدات معالجة رسومية H100، حجم دفعة 256، و400 ألف خطوة).
النتائج تم التقييم على توليد صور ImageNet-256 مشروط بالفئة:
التقارب والجودة: يحقق MMOE مسافة فريديت (FID) أقل عند كل نقطة زمنية مسجلة مقارنة بنماذج SiT الكثيفة ونماذج الخبراء المتفرقة الوسيطة. كما أنه يتقارب بشكل أسرع لكل خطوة تدريب، حيث يصل إلى FID قدره 3.75 عند 400 ألف خطوة مقارنة بـ 5.20 للنموذج الأساسي الكثيف.
الكفاءة: بينما أدت متغيرات MoE القياسية إلى زيادة وقت التدريب الفعلي بسبب عبء التوجيه، حقق MMOE أفضل توازن بين الجودة والتكلفة بين المتغيرات المتفرقة. فقد قلل وقت تدريب النسخة الأكثر تكلفة (AMORE) من 120 ساعة إلى 67 ساعة مع الحفاظ على FID متفوق.
القابلية للتوسع: تظل التحسينات ثابتة عبر مقاييس النماذج المختلفة (S/2, B/2, L/2) والدقات المختلفة (ImageNet-512)، مما يشير إلى أن الفوائد ليست مقتصرة على إعداد XL/2.
تحليل التوجيه: يكشف تحليل النموذج المتقارب عن:
تخصص مستقر: تخصص قوي للخبراء على مستوى الكتل (معامل جيني للحمل مرتفع) بدلاً من الاستخدام الموحد.
استخدام خفيف يعتمد على العمق: يتم استخدام الخبراء خفيفي الوزن (النسخ/الصفر/الثابت) بكثافة في الكتل المبكرة (44.6% من المسارات) وتقل في الكتل اللاحقة (23.4%)، مما يدعم الفرضية القائلة بأن خطوات إزالة الضجيج المبكرة تستفيد من التحويلات الرخيصة.
معدلات تبديل منخفضة: تتغير مجموعة أفضل خبيرين (top-2) لـ ~1.4% إلى 2.7% فقط من الرموز بين خطوات إزالة الضجيج المتجاورة، مما يشير إلى قرارات توجيه مستقرة.
توفير الذاكرة: يقلل استخدام الخبراء خفيفي الوزن من ذاكرة التنشيط في المرور الأمامي بنسبة ~20% ومن ذاكرة المرور الخلفي بنسبة ~32% لكل كتلة مقارنة بـ Attention-Residual MoE بدون الخبراء خفيفي الوزن.
الأهمية والادعاءات يدعي البحث أن نماذج الـ AFM يمكنها اتباع "مسار التوسع المتوازن" للنماذج اللغوية الكبيرة من خلال استيراد تصميمات الكفاءة المثبتة بدلاً من مجرد زيادة إجمالي المعلمات ونسب التفرق. تكمن أهمية MMOE في إثبات أن:
التوازن بين الجودة والتكلفة: يمكن تحقيق توليد عالي الجودة من خلال توازن أفضل بين الجودة والتكلفة عبر الجمع بين التوجيه المتفرق والمسارات الخبيرة الرخيصة وإعادة استخدام التمثيلات، بدلاً من الاعتماد فقط على مجمعات الخبراء الأكبر.
الجدوى ضمن ميزانيات متاحة: هذه التحسينات قابلة للتحقيق ضمن ميزانية جهاز واحد (8x H100)، مما يجعل أبحاث محولات الانتشار المتقدمة أكثر سهولة مقارنة بالأعمال السابقة التي تتطلب مجموعات ضخمة من العقد وملايين التكرارات.
انتقال الآليات: تنتقل آليات كفاءة النماذج اللغوية الكبيرة (الخبراء ذوو الحوسبة الصفرية، متبقيات البوابة، متبقيات الانتباه) بفعالية إلى محولات الانت diffusione، مما يحسن سرعة التقارب واستقرار التخصص.
يظل المؤلفون متواضعين بشأن ادعاءاتهم، حيث يشيرون إلى أنهم لا يدعون تحقيق FID هو الأفضل عالمياً (SOTA) مقارنة بالطرق التي تم تدريبها بمقايال أكبر بكثير (مثل 7 ملايين تكرار)، بل إن مساهمتهم تكمكمن في دراسة التحديث المنضبط وإثبات الأداء المتفوق تحت ميزانية عقدة واحدة مقيدة. كما يقرون بالقيود، بما في ذلك التركيز على التوليد المشروط بالفئة والحاجة إلى مزيد من الدراسة حول كفاءة التدريب الموزع، والذي يرتبط حالياً بعنق زجاجة في الاتصال (communication-bound).