ملخص تقني: متى يفيد نظام Mixture-of-Experts (MoE) في الرؤية الحاسوبية؟

1. بيان المشكلة

تقدم شبكات Mixture-of-Experts (MoE) مساراً نظرياً لتحقيق مقايضات مواتية بين الدقة والحوسبة من خلال توجيه المدخلات عبر شبكات فرعية متخصصة. وبينما نجح التوجيه المتناثر (sparse gating) في توسيع نطاق النماذج اللغوية وبعض تطبيقات الرؤية، فإن النشر العملي في تصنيف الرؤية يواجه عقبتين مستمرتين:

1. عدم توازن الحوسبة: في بنيات الرؤية القياسية، تهيمن الخلفية الالتفافية (convolutional backbone) المشتركة على إجمالي التكلفة الحسابية (FLOPs). وبناءً على ذلك، يشكل رأس التصنيف (حيث يوضع MoE غالباً) جزءاً ضئيلاً من إجمالي الحوسبة (غالباً أقل من 0.1%). وحتى مع وجود توجيه مثالي، فإن الفرصة الهيكلية لتقليل التكلفة الإجمالية تكون ضئيلة، مما يقلل من الحافز لتحسين آليات التوجيه.
2. انهيار الخبراء (Expert Collapse): غالباً ما تنهار الموجهات (Routers) على مجموعة فرعية من الخبراء، مما يقوض التخصص الذي صُمم MoE لتحقيقه.

يستقصي البحث الظروف المحددة التي يؤدي فيها التوجيه المتناثر من نوع top-$k$ مع قيود السعة الصارمة (hard capacity constraints) إلى تحقيق مكاسب في الدقة في تصنيف الرؤية، متجاوزاً الافتراض بأن MoE مفيد بشكل عالمي.

2. المنهجية

يقترح المؤلفون دراسة تجريبية منضبطة لعزل المتغيرات التي تدفع أداء MoE في الرؤية.

البنية والتوجيه

• الخلفيات (Backbones): تستخدم الدراسة خلفيات التفافية قياسية وتلافيفات منفصلة عميقة (DW). تُستخدم التلافيفات العميقة ليس لمجرد الكفاءة، بل لإزاحة نسبة الحوسبة بين الرأس والخلفية نحو التكافؤ، مما يزيد من كسر إجمالي الحوسبة الذي يمكن توجيهه ($\rho$).
• الموجه المتناثر (Sparse Router): يتم توجيه المدخلات عبر موجه متعلم يجمع بين القيم المنطقية المتعلمة (learned logits) ومعامل تشابه المفتاح ($\cos(Kh, e_i)$).
• قيود السعة الصارمة: لمنع انهيار الخبراء، يفرض المؤلفون حدود سعة صارمة لكل دفعة (باتبًعاً لـ Switch Transformer)، مما يضمن توزيعاً متوازناً عبر جميع الخبراء $E$ أثناء التدريب.
• هدف التدريب: تجمع الخسارة (loss) بين الإنتروبيا المتقاطعة (cross-entropy) والمنظمات الخاصة بالتوازن والإنتروبيا. ويُستخدم جدولة درجة الحرارة (linear or sigmoid) لتنعيم توزيع التوجيه.

التصميم التجريبي

تستخدم الدراسة بروتوكولاً متعدد البيانات (CIFAR-10/100, Tiny-ImageNet, ImageNet-1K) مع التجارب المنضبطة التالية:

1. مسح $\rho$ (CIFAR-10): مسح للحجم المخفي عبر الخلفيات القياسية والعميقة لتغيير الجزء الموجه من إجمالي الـ FLOPs ($\rho$) مع تثبيت العوامل الأخرى.
2. استئصال اتساع التوجيه (Routing Breadth Ablation) (ImageNet-1K): تجربة تغير فقط اختيار top-$k$ (أي $k=1$ مقابل $k=2$) مع تثبيت البنية، والتهيئة، و $\rho$.
3. تشخيص الإرسال (Dispatch Diagnostic): مقارنة بين Soft MoE القياسي (الذي يرسل عبر بُعد الدفعة) ومتغير مقترح لكل عينة (يقوم بعمل softmax فوق الخبراء لكل صورة) لعزل أوضاع فشل الإرسال.
4. تكامل الخلفية (Backbone Integration): وضع طبقات MoE مباشرة داخل التلافيف الخلفية (الطبقة 3/4 من ResNet-18) لاختبار أنظمة $\rho$ المرتفعة.

3. النتائج الرئيسية

نمط الرافعة الحسابية (The Compute-Leverage Pattern)

الملاحظة المركزية هي نمط "الرافعة الحسابية": تتطلب الفجوات الإيجابية في الدقة بين MoE والنماذج الكثيفة (dense baselines) جزءاً كبيراً $\rho$ من إجمالي الـ FLOPs ليتم توجيهه.

• $\rho$ منخفض ($\rho$ للرأس فقط): عندما يكون الرأس الموجه جزءاً ضئيلاً من إجمالي الحوسبة (على سبيل المثال، $\rho < 1\%$ في ImageNet مع الخلفيات القياسية)، فإن التوجيه المتناثر يقلل الأداء باستمرار، بغض النظر عن نوع الخلفية.
• $\rho$ مرتفع (العميقة/الخلفية): عندما تُستخدم التلافيف العميقة لرفع $\rho$ (على سبيل المثال، إلى $\sim49\%$ في CIFAR) أو عند وضع MoE داخل الخلفية ($\rho \approx 38\%$ في ImageNet)، تظهر فجوات دقة إيجابية.

ضرورة توجيه تعدد الخبراء عند النطاقات الكبيرة

عند مقياس ImageNet-1K، يكون $\rho$ المرتفع ضرورياً ولكنه ليس كافياً.

• أظهر استئصال منضبط على ImageNet-1K مع بنية و $\rho$ ثابتين أن الانتقال من $k=1$ (خبير واحد) إلى $k=2$ (متعدد الخبراء) عكس فجوة الدقة من $-2.08\%$ إلى $+1.17\%$ عبر جميع البذور الخمسة.
• يشير هذا إلى أنه في المقاييس الكبيرة، لا يكفي مجرد توجيه جزء كبير من الحوسبة؛ بل يجب على النموذج الاستفادة من عدة خبراء في آن واحد لتحقيق المكاسب.

استقرار التوجيه وأنماط الفشل

• جدولة درجة الحرارة: يمكن أن تسبب الجدولة الخطية العنيفة لدرجة الحرارة انهيار التوجيه في المراحل المتأخرة. تتطلب الاستقرار جداول sigmoid أو درجات حرارة دنيا ($\tau_{min}$) أعلى.
• آلية الإرسال (Dispatch Mechanism): ينهار نظام Soft MoE القياسي، الذي يدمج الـ tokens عبر بُعد الدفعة، بشكل كارثي في إعدادات CNN لكل عينة لأنه يخلط صوراً غير مرتبطة. النسخة المخصصة لكل عينة (التي تقوم بعمل softmax فوق الخبراء لكل صورة) تنقذ الأداء في CIFAR-100 ولكنها تفشل في تجاوز النماذج الكثيفة في Tiny-ImageNet و ImageNet-1K، مما يشير إلى أن التجميع الموزون بدون توجيه صارم غير كافٍ في المقاييس الكبيرة.

الكفاءة مقابل زمن الوصول (Latency)

• FLOPs: تؤكد الدراسة أن الخلفيات العميقة تمكن من تقليل الـ FLopS بشكل كبير (يصل إلى 22.7% في CIFAR) مع الحفاظ على الدقة أو تحسينها.
• زمن الوصول (Latency): يعاني التنفيذ غير المدمج (unfused) من زمن وصول عالٍ في وقت الجدار (wall-clock latency) بسبب أعباء إطلاق نواة (kernel) لكل خبير (حلقات Python واستدعاءات CUDA تسلسلية). وبينما الـ FLOPs أقل، فإن زمن الوصول أعلى بكثير من النماذج الكثيفة (مثلاً 36 مللي ثانية مقابل 0.25 مللي ثانية في CIFAR-100). يشير المؤلفون إلى أن نوى MoE المدمجة (fused) يمكنها نظرياً سد هذه الفجوة، لكن تنفيذهم الحالي يعمل كحد أقصى لتكلفة الإنتاج.

4. المساهمات

1. ملاحظة الرافعة الحسابية التجريبية: تثبت أن فجوات الدقة الإيجابية لـ MoE في الرؤية تتطلب جزءاً موجهاً كبيراً $\rho$. وتسهل الخلفيات المنفصلة العميقة ذلك من خلال رفع $\rho$ نحو التكافؤ.
2. عزل المتغيرات: تظهر تجربتان منضبطتان أن:
   • عائلة الخلفية (قياسية مقابل عميقة) ليست المتغير النشط؛ بل إن $\rho$ الموجه هو الذي يقود النتيجة.
   • في مقياس ImageNet، يعد توجيه تعدد الخبراء ($k \ge 2$) شرطاً ضرورياً بالإضافة إلى $\rho$ المرتفع.
3. التحقق متعدد البيانات: تقدم نتائج ذات دلالة إحصائية عبر CIFAR-10/100 و Tiny-ImageNet و ImageNet-1K، مما يظهر أن التحسين المشترك للعمق (depthwise co-optimization) يحقق فجوات إيجابية في المقايسات الصغيرة وعند دمج MoE في الخلفية.
4. تحليل استقرار التوجيه: تحدد جدولة درجة الحرارة كرافعة حاسمة لمنع الانهيار وتشخص آلية الإرسال عبر محور الدفعة كنمط الفشل المهيمن لـ Soft MoE في نماذج CNN لكل عينة.

5. الأهمية والادعاءات

يدعي البحث تقديم تفسير منضبط وصارم لـ متى يفيد MoE المتناثر في الرؤية، رداً على فكرة أن MoE هو تحسين عالمي جاهز للاستخدام. يجادل المؤلفون بأن فشل MoE في العديد من عمليات نشر الرؤية لا يعود إلى آلية التوجيه نفسها، بل إلى عدم توازن الحوسبة الهيكلي حيث يكون المكون الموجه صغيراً جداً لتبرير عبء التوجيه أو تعقيده.

تخلص الدراسة إلى أنه بالنسبة لتصنيف الرؤية:

• يجب توجيه جزء كبير من إجمالي الـ FLOPs لرؤية الفوائد.
• في المقاييس الكبيرة (ImageNet)، يكون توجيه جزء كبير ضرورياً ولكنه يتطلب اختيار تعدد الخبراء ($k \ge 2$) ليكون كافياً.
• التلافيف المنفصلة العميقة هي مُمكّن عملي لهذا الشرط من خلال إزاحة توزيع الـ FLOPs.

يبقى المؤلفون متواضعين فيما يتعلق بالأداء المطلق، مشيرين إلى أن نماذجهم تستخدم وصفات تدريب أساسية (تعزيزات قياسية، بدون AdamW/CutMix) مقارنة بالنماذج المرجعية الحديثة. مساهمتهم الأساسية هي التحسين النسبي لـ MoE مقارنة بالنماذج الكثيفة المتطابقة تحت ظروف منضبطة، مما يعزل تأثير التوجيه عن التداخلات في وصفة التدريب. كما يقرون بأن عقوبات زمن الوصول الحالية تعتمد على التنفيذ وأن النوى المدمجة (fused kernels) مطلوبة لكفاءة النشر العملي.