Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts

ملخص تقني: ما وراء التوجيه: توصيف الضبط والتمثيل في نماذج "خليط الخبراء" للرؤية

بيان المشكلة
تنتشر نماذج "خليط الخبراء" (Mixture-of-Experts - MoE) بشكل متزايد في التعلم العميق، حيث توفر قابلية للتفسير من خلال تقسيم المهام إلى شبكات فرعية متميزة (خبراء). ومع ذلك، تقتصر جهود التفسير الحالية في نماذج MoE الخاصة بالرؤية بشكل أساسي على تحليل إحصائيات التوجيه (مثل أوزان البوابة، أو تخصيص الرموز للخبراء، أو الخرائط الحرارية القائمة على الفئات). يرى المؤلفون أن قرارات التوجيه تعمل كوكيل (proxy) للتخصص، لكنها تفشل في الكشف عما يشفر الخبراء فعلياً. غال%باً ما تفترض الأدبيات الحالية أن الخبراء يتم ضبطهم وفق فئات دلالية منفصلة (مثل "الحيوانات" أو "المركبات") بناءً على المدخلات التي يتلقونها فقط. هذا النهج يتجاهل ملفات ضبط الميزات الداخلية والهندسة التمثيلية للخبماء أنفسهم، مما يترك طبيعة تخصص الخبراء غير مفهومة بشكل جيد.

المنهجية
لمعالجة ذلك، قام المؤلفون بتدريب نماذج MoE تلافيفية ذات بوابات متفرقة (MoE-CNNs) باستخدام هدف تباين ذاتي التوجيه (فقدان NT-Xent) على مجموعة بيانات STL10 غير المصنفة. يتجنب نظام التدريب هذا حشر هياكل فئوية محددة مسبقاً في إشارة التعلم، مما يسمح لظهور التخصص في الميزات البصرية بشكل طبيعي مدفوع بالبيانات.

• البنية: يستخدم النموذج هيكل ResNet حيث تكون الكتل الثلاث الأولى مشتركة. ثم تقوم شبكة بوابة بتوجيه المدخلات إلى $k=2$ من الخبراء المختارين من مجموعة تضم $E \in \{4, 8, 16\}$ خبراً. وللتحكم في عدد المعلمات، يتم تغيير عرض القنوات للخبراء بمقدار $1/\sqrt{E}$، مما يضمن بقاء إجمالي عدد المعلمات ثابتاً (~46 مليون) عبر جميع الإعدادات.
• أدوات التحليل: وسع البحث نطاق التحليل من مستوى البوابة إلى مستوى الخبير، ومن مستوى الفئة إلى مستوى الميزة، باستخدام أدوات من علوم الأعصاب البصرية:
  1. المدخلات الأكثر إثارة (MEIs): تصور المدخلات التي تعظم معيار $L_2$ لتمثيل القراءة (readout embedding) الخاص بالخبير.
  2. مجموعة بيانات THINGS: استخدام مجموعة بيانات THINGS (1,854 مفهوماً للأشياء) وما يرتبط بها من مجموعة بيانات تشابه THINGS (66 بُعداً بصرياً ودلالياً مستمدة من السلوك البشري) كأداة استقصاء خارج نطاق التوزيع (OOD).
  3. تحليل الانحدار: ملاءمة انحدارات Lasso غير السالبة للتنبؤ بلوغيتات البوابة (gating logits) وحجم القراءة لتحديد ملفات الضبط المستمرة.
  4. تحليل التشابه التمثيلي (RSA): حساب قابلية الفصل بين الفئات الزوجية وRSA من الدرجة الثانية لتقييم استقرار الهندسة التمثيلية عبر 10 نماذج مدربة بشكل مستقل (بذور عشوائية مختلفة).

المساهمات الرئيسية

1. ما وراء التوجيه: يوضح المؤلفون أن إحصائيات التوجيه تسيء توصيف تشفير الخبراء بشكل منهجي. حيث أظهروا أنه بينما يوحي التوجيه بتفضيلات فئوية متفرقة، فإن الضبط الفعلي للخبير يكون أوسع ومدفوعاً بأبعاد مستمرة.
2. ما وراء الفئات: من خلال الاستفادة من مجموعة بيانات THINGS، يفصل البحث بين ضبط الخبير والبنية الفئوية لمجموعة بيانات التدريب. وقد استعادوا ملفات ضبط مستمرة وقابلة للتفسير بناءً على الأبعاد الدلالية والبصرية (مثل "معدني"، "مدبب/مسنن"، "مرتبط بالحيوانات") بدلاً من الفئات المنفصلة.
3. الاستقرار التمثيلي: حددت الورقة أن موتيفات (motifs) تمثيلية محددة (خاصة التمييز بين الكائنات الحية وغير الحية) تظهر مجدداً بشكل موثوق عبر عمليات تهيئة النماذج المستقلة، مما يشير إلى أن هذه هي مبادئ تنظيمية قوية وليست مجرد نواتج عشوائية.

النتائج

• التباعد بين التوجيه والضبط: أشارت تحليلات التوجيه على مجموعة اختبار STL10 إلى تخصص الخبراء في فئات عامة (مثل الشاحنات، الطيور). ومع ذلك، كشف تحليل MEI والانحدار على مجموعة بيانات THINGS أن الخبراء كانوا مضبوطين غالباً على إحصائيات صور منخفضة المستوى (مثل الحبيبية، التردد المكاني) أو ميزات مستمرة محددة (مثل "معدني"، "متكرر/مدبب") والتي لم تتوافق مع الملصقات الفئوية التي اقترحها التوجيه.
• عدم التطابق بين البوابة والقراءة: لم يكن هناك علاقة خطية بين لوغيتات البوابة (ما يتم توجيهه إلى الخبير) وحجم تنشيط القراءة (ما يشفر الخبير فعلياً). فالخبراء يحولون مدخلاتهم الموجهة، ويكتشفون ويعززون ميزات متميزة عن تلك المستخدمة في التوجيه.
• هيمنة الحيوية (Animacy): رغم تنوع ضبط الميزات، هيمن تمييز ثنائي بين الكائنات الحية وغير الحية على تقسيم الخبراء. كان هذا الانقسام واضحاً في التوجيه، والقراءة، والهندسة التمثيلية. وكان هذا الانقسام مستقراً عبر جميع تكوينات النماذج ($E=4, 8, 16$) وعبر التهيئة المستقلة.
• هندسة مشتركة، تنفيذ متميز: بينما أظهر الخبراء ضبطاً متميزاً للميزات (MEIs)، كانت هندستهم التمثيلية (قابلية فصل الفئات) متشابهة بشكل صارخ. يشير هذا إلى أن الهياكل المتكافئة وظيفياً على مستوى الفئة يمكن تحقيقها من خلال أنماط استجابة سكانية متميزة.

الأهمية والادعاءات
تدعي الورقة أن تخصص الخبراء في نماذج MoE للرؤية يُفهم بشكل أفضل ليس كضبط متفرق لفئات دلالية منفصلة، بل كضبط متفرق لأبعاد مستمرة وذات صلة سلوكية.

• إعادة صياغة التفسير: يجادل المؤلفون بأن الانتقال من مج-رد التوجيه إلى استقصاء الضبط الدقيق على مستوى الخبير والبنية التمثيلية يوفر صورة أكثر دقة لما تتعلمه نماذج MoE.
• التوازي العصبي: تتوافق النتائج مع الأوصاف المعاصرة للضبط الموزع في القشرة البصرية البطنية البشرية، حيث تكون المناطق "الخبيرة" (مثل FFA أو PPA) حساسة على نطاق واسع لأبعاد مستمرة (مثل الحيوية، الحجم، الملمس) بدلاً من كونها انتقائية للفئات فقط.
• الاستقرار: يشير استعادة تقسيم (الحي/غير الحي) عبر عمليات التشغيل المستقلة إلى أن الأنظمة البصرية (سواء البيولوجية أو الاصطناعية) مقيدة بالبنية الإحصائية للصور الطبيعية، مما يؤدي إلى محاور تنظيمية متسقة.

يظل المؤلفون متواضعين بشأن نطاق البحث، مشيرين إلى أن نتائجهم تعتمد على التعلم ذاتي التوجيه على مجموعة بيانات صغيرة نسبياً (STL10)، وأن النتائج قد تختلف مع نماذج MoE الصناعية الأكبر حجماً أو أهداف التدريب المختلفة. ومع ذلك، يرى المؤلفون أن نماذج MoE توفر إطاراً حوسبياً للتحقيق في سبب توزيع الميزات البصرية عبر القشرة كما هي.