ملخص تقني: MoECa – مواءمة إعادة استخدام الميزات مع تفكيك الخبراء في محولات الانتشار (Diffusion Transformers)

1. بيان المشكلة

أصبحت محولات الانتشار (Diffusion Transformers - DiTs) هي النموذج السائد في التوليد البصري، وقد أدى دمج بنيات خليط الخبراء (Mixture-of-Experts - MoE) في هذه المحولات (DiT-MoE) إلى تعزيز قدرة النموذج من خلال التنشيط المتفرق (sparse activation). ومع ذلك، لا تزال كفاءة الاستدلال تشكل عائقاً بسبب عملية إزالة الضجيج التكرارية. وبينما برزت تقنية "تخزين الميزات المؤقت" (feature caching) كاستراتيجية تسريع أساسية عبر إعادة استخدام الميزات الوسيطة عبر الخطوات الزمنية، فإن الأساليب الحالية تعمل بشكل أساسي على مستوى الرمز (token level).

حدد المؤلفون عدم تطابق هيكلي جوهري عند تطبيق التخزين على مستوى الرمز في نماذج DiT-MoE:

• التفكيك الداخلي: في نماذج DiT-MoE، يتم تفكيك تحديث ميزة الرمز الواحد إلى عدة فروع خبراء موجهة (routed expert branches).
• التباين (Heterogeneity): تُظهر فروع الخبراء المختلفة داخل نفس الرمز أنماط تطور زمنية متباينة؛ حيث تظل بعض الفروع مستقرة عبر الخطوات الزمنية، بينما تتغير فروع أخرى بسرعة.
• عدم المثالية: إن معاملة الرمز بأكمله كوحدة تخزين ذرية يفرض قراراً من نوع "الكل أو لا شيء". وهذا يؤدي إما إلى إعادة حساب غير ضرورية للفروع المستقرة (هدر) أو إعادة استخدام مفرطة للفروع سريعة التغير (تدهور الجودة).

وبناءً على ذلك، فإن مستوى تفصيل آليات التخزين الحالية غير متوافق مع بنية تطور الميزات الجوهرية لنماذج MoE.

2. المنهجية: MoECa

لمعالجة عدم التوافق هذا، يقترح المؤلفون MoECa، وهو إطار عمل للتخزين المؤقت دقيق، يراعي الميزات والبنية، وينقل وحدة التخزين من مستوى الرمز إلى مستوى فرع الخبير (expert-branch level).

2.1 بنية ذاكرة الخبير المؤقتة (Expert Cache Architecture)

تحتفظ MoECa بذاكرة مؤقتة للحالات الوسيطة لكل فرع خبير بدلاً من الرمز بأكمله.

• تعريف الحالة: بالنسبة للرمز $i$ عند الخطوة الزمنية $t$، يتتبع النظام نتيجة التوجيه الحالية (الخبراء المختارين والأوزان) ويقارنها بالحالة المرجعية المخزنة من خطوة التحديث الأخيرة $t_0$.
• التقسيم: يتم تقسيم الفروع الحالية إلى مجموعتين:
  1. مجموعة إعادة الحساب ($R_i^t$): الفروع التي تتطلب حساباً جديداً.
  2. مجموعة إعادة الاستخدام: الفروع التي يمكنها إعادة استخدام الميزات المخزنة بأمان.
• المزامنة: لمنع انحراف التمثيل (representation drift)، تقوم MoECa بمزامنة التحديثات بين مسار MoE ومسار الانتباه (Attention path). إذا تمت إعادة حساب أي فرع، يتم تحديث مخرجات الانتباه في نفس الخطوة؛ وإلا، يقوم كلا المسارين بإعادة استخدام حالاتهما المخزنة.

2.2 قرار إعادة الاستخدام على مستوى الخبير

يعتمد القرار بإعادة الاستخدام أو إعادة الحساب لفرع معين على آلية تسجيل النقاط على مستوى الفرع والتي تقيم ثلاث إشارات:

1. وزن التوجيه ($w$): المساهمة الحالية للفرع في تمثيل الرمز.
2. الانحراف الزمني ($\Delta$): التغير في وزن التوجيه بين الخطوة الحالية والخطوة المخزنة.
3. المساهمة التاريخية ($o$): الحجم النسبي لميزة مخرجات الفرع في الحالة المخزنة.

يتم حساب درجة إعادة الحساب $s_{i,p}^t$ كالتالي:
$$s_{i,p}^t = w_{i,p}^t + \lambda_1 \Delta_{i,p}^t + \lambda_2 o_{i,p}^{t_0}$$
وتُختار الفروع التي تتجاوز العتبة $\tau$ لإعادة الحساب.

2.3 التحكم التكيفي الواعي بالخبير

إدراكاً بأن الخبراء المختلفين يظهرون أنماط استجابة مكانية متفاوتة (التخصص)، تقدم MoECa آلية العتبة التكيفية:

• الاعتلاج المكاني (Spatial Entropy): يقدر النظام اعتلاج الاستجابة المكانية لكل خبير عبر الإنترنت باستخدام المتوسط المتحرك الأسي (EMA) لإحصائيات التنشيط.
• العتبة التكيفية: الخبراء ذوو الاعتلاج المنخفض (الاستجابات المركزة والموجهة نحو التفاصيل) يتم تخصيص عتبات أقل لهم، مما يجعلهم أكثر عرضة لإعادة الحساب للحفاظ على التفاصيل المحلية. أما الخبماء ذوو الاعتلاج العالي (الاستجابات الواسعة والخلفية) فيتم تخصيص عتبات أعلى لهم، مما يفضل إعادة الاستخدام.
• الصيغة: $\tau_e^t = \tau_0 (1 + \alpha(2\bar{H}_e^t - 1))$، حيث $\bar{H}$ هو الاعتلاج الموحد.

3. المساهمات الرئيسية

1. التحليل الهيكلي: يقدم البحث تحليلاً يكشف أن التكرار عبر الخطوات الزمنية في DiT-MoE يُوصَف بشكل أفضل على مستوى فرع الخبير منه على مستوى الرمز، مما يسلط الض الضوء على عدم التوافق الهيكلي في التخزين على مستوى الرمز.
2. إطار عمل MoECa: اقتراح إطار عمل للتخزين المؤقت دقيق المقياس يتوافق مع بنية تفكيك MoE، مما يسمح بقرارات إعادة استخدام مستقلة لمختلف الفروع داخل نفس الرمز.
3. التحكم التكيفي: تقديم آلية العتبة التكيفية الواعية بالخبير التي تأخذ في الاعتبار تباين تخصص الخبراء، مما يوازن بين التسريع وجودة التوليد.
4. التحقق التجريبي: تقييم شامل عبر نماذج متعددة من DiT-MoE (مثل DSMoE-S-E16 إلى DSMoE-L-E48) لإثبات المقايضة الإيجابية بين السرعة والجودة.

4. النتائج التجريبية

قيم المؤلفون MoECa في توليد الصور المشروط بالفئة (ImageNet) وتوليد الصور من النصوص (DrawBench200) باستخدام نماذج تتراوح من DSMoE-S-E16 إلى DSMoE-L-E48.

• التسريع: تحقق MoECa تسريعاً كبيراً مقارنة بالنماذج الكثيفة (dense baselines) وطرق التخزين الأخرى.
  • في نموذج DSMoE-L-E48، حققت تسريعاً في زمن الاستجابة بمقدار 2.14× وتسريعاً في العمليات الحسابية (FLOPs) بمقدار 2.83× مع الحفاظ على FID قدره 9.54.
  • في نموذج HiDream-I1 (بدقة 1024px)، حققت تسريعاً في العمليات الحسابية بمقدار 2.93× (5.61 ثانية زمن استجابة مقابل 14.29 ثانية للنموذج الأساسي).
• الحفاظ على الجودة: تتفوق MoECa باستمرار أو تضاهي نماذج التخزين الأخرى (مثل ToCa، DuCa، TeaCache) من حيث مقاييس FID، وInception Score، وPSNR، وSSIM.
  • في المقارنات النوعية، تحافظ MoECa على التفاصيل عالية التردد (مثل الأنسجة والحواف) بشكل أفضل من الطرق القائمة على مستوى الرمز، والتي تميل إلى إظهار ضبابية هيكلية.
• الكفاءة: تقلل الطريقة العمليات الحسابية (FLOPs) بشكل أكثر فعالية من استراتيجيات تقليل الخطوات (مثل تقليل الخطوات بنسبة 33%) التي غالباً ما تعاني من تدهور كبير في الجودة.
• العبء الإضافي (Overhead): تضيف منطق التحكم (التسجيل، التوجيه، تحديثات التخزين) عبئاً ضئيلاً، حيث يمثل فقط 4.8% من زمن الاستدلال النهائي في DSMoE-S-E16. كما أن العبء على الذاكرة متوسط، حيث تخزن حالات الفروع دون تجاوز البصمة الذاكرية لطرق التخزين الأخرى على مستوى الرمز بفارق كبير.

5. الأهمية والادعاءات

يزعم البحث أن MoECa تمثل تطوراً ضرورياً لاستراتيجيات تسريع الانتشار في بنيات MoE. فمن خلال نقل دقة التخزين لتتوافق مع تفكيك الخبير، تحل MoECa مشكلة عدم المثالية المتأصلة في إعادة الاستخدام على مستوى الرمز.

يؤكد المؤلفون أن نهجهم لا يتطلب تدريباً (training-free)، ولا يتطلب أي تعديل على أوزان النموذج المدرب أو رسم التوجيه الخاص به. تكمن الأهمية في إثبات أن إعادة الاستخدام الدقيقة والواعية بالبنية يمكن أن تفتح وفورات حسابية كبيرة (تصل إلى 2.93×) دون المساس بجودة التوليد، وهي مقايضة تفشل الطرق الخشنة (تقليل الخطوات) أو الطرق الدقيقة غير المتوافقة (التخزين على مستوى الرمز) في تحقيقها في آن واحد.

تخلص الدراسة إلى أنه بينما يركز العمل الحالي على توليد الصور أحادي المعالج الرسومي (single-GPU)، فإن مبادئ مواءمة دقة التخزين مع التفكيك الداخلي للنموذج قابلة للتطبيق في سياقات أوسع، رغم أن توليد الفيديو وخدمة الخبراء المتوازية (expert-parallel serving) تظل من أعمال المستقبل.