💻 computer science

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

تشخص هذه الورقة بشكل منهجي خمسة أنماط متميزة لفشل التدريب في نماذج "خليط الخبراء" (Mixture-of-Experts) ذات اختيار الرموز (Token-Choice) المتفرقة في نماذج "ترانسفورمر الانتشار" (Diffusion Transformers) للفيديو، وتقترح "فرضية الفائض الوظيفي" لتفسير حالة الجمود الانتقائي الملحوظة، وتقدم حلاً هندسياً كاملاً إلى جانب خارطة طريق تطورية لتوسيع نطاق هذه البنيات المعمارية.

المؤلفون الأصليون: Haiying Sha

نُشر 2026-05-20

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Haiying Sha

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة، وتشبيهات، واستعارات، مع الالتزام الصارم بالنتائج والادعاءات الواردة في النص.

الصورة الكبيرة: محاولة ترقية مولد فيديو

تخيل أن لديك محرراً للفيديو موهوباً جداً ويعمل بمفرده (نموذج كثيف - "Dense Model")، يمكنه فعل كل شيء: تحرير المقاطع، إضافة النصوص، تغيير الألوان، واتباع التعليمات. إنه رائع، لكنه بطيء ومكلف في التشغيل.

أراد الباحثون ترقية هذا المحرر إلى فريق "خليط من الخبراء" (Mixture-of-Experts - MoE). فكر في الأمر كأنك توظف فريقاً من المتخصصين:

المدير (الموجه - Router): يقرر أي مهمة تذهب لمن.
المتخصصون (الخبراء الموجهون): نسختان متطابقتان من المحرر الأصلي، جاهزتان للقيام بمهام محددة.
المتدرب (الخبير المشترك - Shared Expert): موظف جديد يتعلم المعرفة العامة لمساعدة الجميع.

كان الهدف هو جعل مولد الفيديو أكثر ذكاءً وسرعة من خلال جعل "المدير" يرسل أجزاء مختلفة من الفيديو إلى متخصصين مختلفين. ومع ذلك، اكتشف الباحثون أن هذه الترقية لم تعمل بسلاسة؛ فبدلاً من الحصول على فريق سعيد، وجدوا نظاماً غالباً ما "يتجمد" أو ينهار.

القواعد الثلاث للترقية (القوانين الثلاثة)

قبل التجارب، أدرك الباحثون أنه يتعين عليهم اتباع ثلاث قواعد صارمة للبدء فقط، وإلا سينهار النظام بأكل:

لا تغير الزي الرسمي (الاتساق الهيكلي): يجب أن يُبنى المتخصصون تماماً مثل المحرر الأصلي. إذا كان الأصلي يستخدم نوعاً معيناً من الرياضيات (GELU)، فيجب أن يستخدم المتخصصون النوع نفسه. إذا حاولت استبداله بأسلوب مختلف (مثل SwiGLU)، فلن تتناسب الأوزان، وسينكسر النموذج فوراً.
لا تقلل الإشارة (نسخ 1:1): عند نسخ "عقل" المحرر الأصلي إلى المتخصصين، يجب عليك نسخه بدقة. لا تحاول "تقليص" الأرقام لتجعلها تناسب بشكل أفضل. إذا قللت الإشارة، فستبهت مخرجات الفيديو إلى السواد لأن الإشارة تضيع طبقة تلو الأخرى.
متدرب "الضجيج الدقيق" (تهيئة الخبير المشترك): هذا هو الجزء الأكثر تعقيداً. يبدأ "المتدرب" (الخبير المشترك) بمعرفة تقترب من الصفر.
- الفخ: إذا بدأت المتدرب بأوزان صفرية تماماً، فإن رياضيات الكمبيوتر (تحديداً دقة bfloat16) ستكون خشنة لدرجة أنها ستقرب التحديثات الصغيرة إلى الصفر. لن يستيقظ المتدرب أبداً.
- الحل: يجب أن تعطي المتدرب "شرارة" ضئيلة جداً من الضجيج (مثل صدمة استاتيكية صغيرة) للبدء. هذه الشرارة كافية لإيقاظه دون تغيير مخرجات الفيديو، لكنها تسمح له بالبدء في التعلم.

ما الذي سار بشكل خاطئ: تشخيص الفشل

قام الباحثون بتشغيل النظام لمدة 5000 خطوة وراقبوا كيف يقوم "المدير" (الموجه) بتوزيع المهام. وجدوا تسلسلاً هرمياً للفشل:

1. الموجه الخطي: مشكلة "الخط المستقيم"

الإعداد: استخدموا مديراً بسيطاً يعمل بخط مستقيم.
النتيجة: ارتبك المدير ولم يستطع التمييز بين المهام. انتهى به الأمر بإرسال كل شيء إلى كلا المتخصصين بالتساوي، ولكن بطريقة جعلتهما متطابقين.
التشبيه: تخيل مديراً لا يمكنه سوى رسم خط مستقيم على الخريطة. إذا كانت التضاريس معقدة (مثل فيديو يحتوي على مهام عديدة)، فإن الخط المستقيم لا يمكنه فصل المناطق. أصبح المتخصصان نسخة من بعضهما البعض (متطابقان بنسبة 99%)، مما أدى إلى إضافة تكلفة إضافية دون إضافة أي مهارات جديدة.

2. موجه MLP: "الجمود الانتقائي"

الإعداد: قاموا بترقية المدير ليكون أكثر ذكاءً (غير خطي/MLP).
النتيجة: توقف الارتباك العالمي، لكن ظهرت مشكلة جديدة ومخادعة تسمى الجمود الانتقائي (Selective Deadlock).
الظاهرة: حوالي ثلث طبقات الفيديو توقفت عن استخدام كلا المتخصصين. بدلاً من ذلك، اختارت متخصصاً واحداً وتجاهلت الآخر تماماً.
التشبيه: تخيل فريقاً من عاملين. يدرك المدير: "مهلاً، العامل (أ) يقوم بـ 90% من العمل، والعامل (ب) لا يضيف الكثير". لذا، يتوقف المدير عن إرسال العمل إلى العامل (ب). يجلس العامل (ب) عاطلاً عن العمل. حتى لو صرخت في وجه المدير (لزيادة العقوبة على عدم التوازن)، فلن يتغير لأنه أقنع نفسه بأن عاملاً واحداً يكفي.
النمط: لم يحدث هذا بشكل عشوائي، بل حدث على شكل حرف U:
- أعلى حرف U (الطبقات المبكرة): "عيون" النموذج (معالجة البكسلات الخام) علقت.
- أسفل حرف U (الطبقات العميقة): "عقل" النموذج (معالجة المعاني المعقدة) علق.
- المنتصف: الطبقات الوسطى عملت بشكل جيد.

3. موجه الانتباه المتقاطع (Cross-Attention): محاولة "التعافي الذاتي"

الإعداد: منحوا المدير قوة خارقة: القدرة على قراءة تعليمات النص أثناء النظر إلى الفيديو (باستخدام الانتباه المتقاطع).
النتيجة: كان هذا هو الإعداد الأفضل. بعض الطبقات التي كانت "ميتة" استيقظت بالفعل وبدأت في العمل!
الحد الأقصـى: حتى مع هذه القوة الخارقة، ظلت حوالي 9 طبقات عالقة بعناد. لم يستطع المدير فهم كيفية استخدام كلا المتخصصين في تلك الطبقات المحددة.

نظرية "الفائض الوظيفي": لماذا حدث ذلك؟

اقترح الباحثون نظرية لتفسير سبب تعثر المتخصصين، ويسمونها فرضية الفائض الوظيفي (Functional Redundancy Hypothesis).

التشبيه: تخيل فريقاً مكوناً من "سيدين + متدرب".
- السيدان (الخبراء الموجهون): نسخ متطابقة من الخبير الأصلي.
- المتدرب (الخبير المشترك): يبدأ بمهارات شبه معدومة (ضجيج دقيق).
العملية:
1. البداية: لا يفعل المتدرب شيئاً. السيدان متطابقان. يرى المدير (البوابة) أنه لا يوجد سبب لاستخدام كلا السيدين، فيختار واحداً ويتجاهل الآخر. يصبح السيد المتجاهل "احتياطياً استراتيجياً" (مجمد).
2. النمو: يتعلم المتدرب المهارات العامة ببطء.
3. الاستيقاظ: بمجرد أن يصبح المتدرب جيداً بما يكفي للتعامل مع المهام المملة والأساسية، يدرك المدير: "يمكنني إعطاء الأشياء الأساسية للمتدرب!". هذا يحرر "السيد الميت" ليتعلم شيئاً جديداً ومختلفاً.
الاستنتاج: الطبقات "الميتة" ليست معطلة؛ إنها تنتظر. إنها تنتظر المتدرب (الخبير المشترك) لينمو بما يكفي لدعمها. حتى يصبح المتدرب قوياً، يظل النظام في حالة "جمود" لتوفير الطاقة.

فخ "Bfloat16"

وجدت الورقة أيضاً فخاً تقنياً مخفياً. عند التدريب باستخدام نوع معين من رياضيات الكمبيوتر (bfloat16)، إذا كان الرقم صغيراً جداً (مثل الضجيج الضئيل المعطى للمتدرب)، فإن الكمبيوتر يقرب التحديثات إلى الصفر. الأمر يشبه محاولة قياس نمو بذرة بمسطرة تقيس بالأمتار فقط؛ البذرة تنمو، لكن المسطرة تقول "0".

الحل: احتفظ بالنسخة "الرئيسية" من الأوزان بدقة عالية (float32) واستخدم الرياضيات الخشنة فقط لخطوات توليد الفيديو الفعلية.

خارطة الطريق: إلى أين يتجه هذا؟

بناءً على هذه النتائج، يقترح المؤلفون خطة من ثلاث خطوات للمستقبل:

المدى القصير: إصلاح توليد النصوص. حالياً، لا يستطيع النموذج كتابة الكلمات بشكل جيد. يخططون لإضافة "خبير نصوص" متخصص يتعامل فقط مع الحروف والأشكال.
المدى المتوسط: إضافة الصوت. يريدون إضافة "خبير صوتي" لتمكين النموذج من توليد الفيديو والصوت معاً، بدلاً من إنتاجهما بشكل منفصل.
المدى الطويل: بناء "نموذج عالم" (World Model). يريدون إضافة خبراء يفهمون الفيزياء (الجاذبية، الاصطدامات) حتى لا يكتفي الذكاء الاصطناعي بصنع صور جميلة، بل يفهم كيف يعمل العالم حقاً.

الخلاصة

تخلص الورقة إلى أنه في ظل نظام "اختيار الرمز" الحالي (حيث تختار الرموز الخبراء)، فإن الجمود هو مشكلة هيكلية وليس مجرد خطأ برمجياً (Bug). لا يمكنك إصلاحه بمجرد تعديل الأرقام. لجعل جميع الخبراء يستيقظون تماماً، عليك إما البدء بـ "متدرب" (خبير مشترك) أكثر ذكاءً أو تغيير طريقة تنظيم الفريق بالكامل. هذه واحدة من أول الدراسات التفصيلية التي توضح بالضبط لماذا تفشل ترقيات ذكاء الفيديو الاصطناعي غالباً في العمل كما هو متوقع.

ملخص تقني: تشخيص توجيه Mixture-of-Experts (MoE) البصري

1. بيان المشكلة

بينما نجحت تقنية Mixture-of-Experts (MoE) في توسيع نطاق النماذج اللغوية، إلا أن تطبيقها على توليد الفيديو باستخدام محولات الانتشار (Diffusion Transformers - DiTs) لا يزال في بداياته وعرضة للفشل. تحاول المحاولات الحالية تقديم فوائد محدودة بسبب الاختلافات الجوهرية بين الرموز (tokens) البصرية واللغوية: حيث تظهر الرموز البصرية تكراراً مكانياً هائلاً، وانزياحاً في التوزيع ناتجاً عن خطوات الانتشار (diffusion timesteps)، وإشارات توجيه متضاربة في بيئات المهام المتعددة.

تعالج هذه الورقة غياب التشخيص المنهجي فيما يتعلق بديناميكيات التدريب لنموذج Token-Choice sparse MoE في نماذج الفيديو من نوع DiT. وتحديداً، تبحث الورقة في سبب فشل آليات التوجيه، مما يؤدي إلى حالة "الجمود" (deadlock) حيث تتوقف طبقات أو خبراء معينون عن العمل بفعالية، وتسعى لفهم حدود الظروف التشغيلية لنموذج Token-Choice الحالي.

2. المنهجية

يستخدم البحث إعداداً تجريبياً صارماً ومختصراً مصمماً لإزالة تأثيرات القناع (masking effects) الناتجة عن القدرات المدربة مسبقاً:

النموذج الأساسي: تم تحويل نموذج توليد فيديو كثيف مدرب مسبقاً (Kiwi-Edit، بحوالي 8 مليارات بارامتر، يجمع بين Wan2.2-TI2V-5B و Qwen2.5-VL-3B) إلى بنية MoE.
استراتيجية التحويل ("القوانين الثلاثة"):
1. الاتساق الهيكلي: يجب أن تطابق الخبراء الموجهة (routed experts) هيكل FFN الأصلي تماماً (مثل تنشيط GELU، وتكوينات الانحياز/bias).
2. نسخ الأوزان بنسبة 1:1: يتم تهيئة الخبراء الموجهين عن طريق نسخ أوزان الـ FFN الكثيفة تماماً دون تغيير المقياس (على عكس استراتيجيات التهيئة العشوائية القياسية).
3. تهيئة الخبير المشترك (Shared Expert): يتم تهيئة الخبراء المشتركين بأوزان صفرية بالكامل للتحقق من الهيكلية (لضمان تكافؤ المخرجات مع النموذج الكثيف)، ثم إعادة تهيئتهم بضجيج غير صفري صغير جداً (مثلاً $\sigma=10^{-4}$ ) للتدريب لكسر التماثل وتجنب القطع البرمجي (hardware truncation).
بنيات الموجه (Router Architectures): تمت مقارنة ثلاثة أنواع من الموجهات: الخطي (Linear/Softmax)، وغير الخطي (MLP)، والانتباه المتقاطع (Cross-Attention) (بالاستفادة من التعليمات النصية متعددة الوسائط).
نظام التدريب: تم استخدام مجموعة بيانات لتوليد الفيديو بمهام متعددة (9 مهام في 1) تضم 20 ألف عينة لمدة 5,000 خطوة على وحدة NVIDIA A100 واحدة. استخدم التدريب دقة مختلطة من نوع bfloat16 مع إبقاء المعلمات القابلة للتدريب (البوابات والخبراء المشتركين) في نسخ رئيسية من نوع float32.
المراقبة: تسجيل دقيق لاستخدام الخبراء (نسبة الخبير الأقلية) عبر 30 طبقة Transformer وأكثر من 65 مليون رمز (token).

3. النتائج والمكتشفات الرئيسية

3.1 تسلسل فشل التوجيه

تحدد الدراسة تدرجاً لأنماط الفشل:

التشبع الناعم العالمي (الموجهات الخطية): تعاني الموجهات الخطية من تشبع ناعم عالمي حيث تتلاشى تدرجات Softmax، مما يؤدي إلى تجانس كامل للخبراء (تشابه جيب التمام > 0.99). يتحول MoE إلى شبكة كثيفة غير متوازنة هيكلياً دون أي مكاسب في القدرة.
الجمود الانتقائي (موجهات MLP): تعالج موجهات MLP غير الخطية التشبع العالمي لكنها تسبب "جموداً انتقائياً". حيث تنهار حوالي ثلث الطبقات إلى وضع "الخبير الواحد". ولم ينجح رفع الخسارة المساعدة (إلى 0.2) في منع ذلك، مما يشير إلى مشكلة هيكلية على مستوى النظام وليس مجرد مشكلة توازن أحمال.
التعافي الذاتي والجمود المستمر (موجهات الانتباه المتقاطع): تظهر موجهات الانتباه المتقاطع ظاهرة فريدة من "التعافي الذاتي" حيث تستعيد بعض الطبقات الجامدة نشاطها تلقائياً. ومع ذلك، تظل حوالي 9 طبقات في حالة جمود مستمر.

3.2 توزيع الجمود على شكل حرف U

الطبقات الجامدة ليست موزعة عشوائياً بل تتبع هيكلاً واضحاً على شكل حرف U:

الطبقات الضحلة (1–10): تتركز بكثافة بسبب صعوبة التمييز بين الميزات البصرية منخفضة المستوى ذات التكرار المكاني.
الطبقات العميقة (18–25): تتركز بكثافة بسبب مساحات القرار المضغوطة في طبقات التكامل الدلالي.
الطبقات المتوسطة: تحافظ على استخدام شبه منتظم.

3.3 فخ دقة bfloat16

تم تحديد فخ عددي حرج: تحت دقة bfloat16 المختلطة، يتم قطع التحديثات الصغيرة جداً لأوزان الخبراء المشتركين (التي بدأت قريبة من الصفر) إلى صفر بواسطة الأجهزة لأن حجم التحديث يقل عن "الوحدة في آخر مكان" (Unit in the Last Place - ULP).

الحل: توثق الورقة ضرورة الاحتفاظ بنسخ رئيسية للمعلمات القابلة للتدريب في صيغة float32 وتهيئة الخبراء المشتركين بضجيج مجهري ( $10^{-4}$ ) بدلاً من الصفر المطلق لضمان تراكم التدرجات.

3.4 فرضية التكرار الوظيفي

تقترح الورقة فرضية التكرار الوظيفي لتفسير الجمود الانتقائي. وهي تفترض أن الجمود هو استراتيجية تخصيص موارد عقلانية ومرحلية ضمن ثلاثية "البوابة، الخبير المشترك، والخبراء الموجهين":

في البداية، يمتلك الخبير المشترك (المتدرب) قدرة تقترب من الصفر. يعتمد النظام على الخبيرين الموجهين (الأساتذة)، وهما متطابقان بسبب نسخ الأوزان.
تختار البوابة طبيعياً أحد الأساتذ لتقليل التكرار، تاركة الآخر كـ "احتياطي استراتيجي" (جامد).
مع اكتساب الخبير المشترك للمعرفة المشتركة تدريجياً، فإنه يخلق تكراراً وظيفياً جديداً. وهذا يسمح للنظام في النهاية بـ "تحرير" الخبير الموجه الجامد من أجل تقسيم متخصص للعمل.
تشير الفرضية إلى أن القضاء على الجمود يتطلب وصول الخبير المشترك إلى عتبة قدرة حرجة قبل أن يتمكن النظام من إعادة التشكيل.

4. المساهمات الهندسية

القوانين الثلاثة لتحويل النموذج الكثيف إلى MoE: بروتوكول تم التحقق منه لتحويل النماذج الكثيفة المدربة مسبقاً إلى MoE دون عدم تطابق هيكلي أو انهيار في الإشارة.
تخفيف حدة فخ الدقة: حل كامل لمشكلة قطع التحديث في تدريب MoE تحت دقة bfloat16.
الاشتراط داخل السياق (In-Context Conditioning): التحقق من صحة استخدام تسلسل الدمج (بدلاً من الجمع) لدمج الميزات متعددة الوسائط لتجنب تلوث الميزات.
حل عرض النصوص: بنية مقترحة تعتمد على MoE لتوليد النصوص تتضمن "خبير نصوص" مخصصاً ومشفر Glyph-ByT5 لحل مشكلة الانهيار على مستوى الحروف.

5. الأهمية والادعاءات

تدعي الورقة أنها تقدم أول تشخيص تجريبي شامل لفشل التوجيه في عمليات نشر MoE لتوليد الفيديو في العالم الحقيقي. تكمن أهميتها في:

معايرة الحدود: تحدد بدقة حدود القدرة لنموذج Token-Choice، وتخلص إلى أنه في ظل ظروف تشغيل GPU واحد والخبراء المجمدين الحالية، فإن القضاء التام على الخبراء الجامدين مستحيل هيكلياً بغض النظر عن تعقيد الموجه.
المنظور النظري: تقدم إطاراً نظرياً جديداً (التكريد الوظيفي) يستند إلى علم الأحياء النظمي لتفسير ديناميكيات تدريب MoE، متجاوزة مجرد مقاييس توازن الأحمال البسيطة.
خارطة طريق تطورية: بناءً على هذه النتائج، يحدد المؤلفون مساراً من "التوحيد البصري" إلى "محرك الذكاء العام"، مشيرين إلى أن التقدم المستقبلي يتطلب:
1. تحسين تهيئة الخبير المشترك (المعرفة المدربة مسبقاً).
2. تصميم أوزان خبراء متباينة.
3. الانتقال المحتمل إلى نماذج Expert-Choice أو نماذج التوجيه الديناميكي.
4. دمج الأولويات الفيزيائية والاستدلال السببي لنمذجة العالم.

تؤكد الورقة أنه بينما يواجه نموذج Token-Choice MoE حالياً جموداً هيكلياً في المجالات البصرية، فإن فهم أنماط الفشل هذه يوفر الأساس الضروري للجيل القادم من النماذج التوليدية متعددة الوسائط.