ملخص تقني: عدم التماثل الهندسي في تخصص نماذج خليط الخبراء (MoE)

بيان المشكلة

بينما أصبحت بنيات "خليط الخبراء" (Mixture-of-Experts - MoE) آلية قياسية لتوسيع نطاق نماذج المحولات (Transformers) عبر تمكين أعداد ضخمة من المعلمات بتكاليف حوسبة ثابتة، لا يزال الهيكل الهندسي الداخلي لتخصص الخبراء غير مفهوم بشكل كافٍ. تركز التحليلات الحالية بشكل كبير على إحصائيات التوجيه (routing)، وتوازن الأحمال، أو الأداء على مستوى النظام. وهناك فجوة حرجة في فهم كيفية اختلاف الخبراء في فضاء الوظيفة (التحويلات التي يؤدونها) مقابل فضاء التمثيل (كيف يتم تنظيم الرموز/الـ tokens في الحالات الخفية).

تشير الحدسية الحالية إلى أن طبقات MoE تقسم توزيع المدخلات إلى مجموعات منفصلة حيث يعمل كل خبير كمُقرب محلي (local approximator). ومع ذلك، تشير الأدلة التجريبية إلى أن الخبراء غالباً ما يعملون على نطاقات رموز متداخلة، مما يثير السؤال التالي: ما هو الهيكل الهندسي الذي يستحثه التوجيه داخل نموذج محول MoE مدرب مسبقاً؟ وتحديداً، هل ينفذ الخبراء وظائف متميزة، وكيف ترتبط تمثيلاتها ببعضها البعض؟

المنهجية

يقدم المؤلفون إطار عمل موحداً يسمى إطار (Jacobian-PCA-Grassmann) لتحليل طبقات MoE في كل من فضاء الوظيفة وفضاء التمثيل. تم تطبيق هذا الإطار على نماذج مدربة مسبقاً (Mistral، Qwen) ونماذج محولات مكونة من 3 طبقات تم تدريبها من الصفر تحت ظروف محكومة.

1. الهندسة الوظيفية: جاكوبيان الخبير المحلي (Expert-Local Jacobians)

لتوصيف وظيفة كل خبير بشكل مستقل عن ديناميكيات التوجيه، يحلل المؤلفون جاكوبيان الخبير المحلي ($J_e(x) = \partial f_e(x) / \partial x$).

• المقياس: يقومون بحساب متوسط الجاكوبيان ($\bar{J}_e$) لكل خبير عبر مجموعة بيانات ويحولونه إلى متجه.
• المحاذاة: يتم قياس المحاذاة الوظيفية الزوجية عبر حاصل الضرب الداخلي لـ "فوروبينيوس" الموحد (تشابه جيب التمام) بين هذه الجاكوبيانات المتجهة.
• التفسير: يشير تشابه جيب التمام المنخفض إلى إلغاء الارتباط الوظيفي (functional decorrelation)، مما يعني أن الخبراء ينفذون تحويلات متميزة محلياً بدلاً من كونهم نسخاً مكررة من نفس الوظيفة.

2. هندسة التمثيل: تحليل المكونات الرئيسية الموجه (Routed PCA) ومسافات غراسمان (Grassmannian Distances)

لتوصيف هندسة التمثيلات الموجهة، يجمع المؤلفون الحالات الخفية الموزونة بأوزان التوجيه ($h_e(x) = g_e(x)h(x)$).

• تحليل المكونات الرئيسية (PCA): يتم إجراء تحليل المكونات الرئيسية القياسي على الحالات الخفية الموجهة لتحديد الاتجاهات الرئيسية وأطياف التباين.
• مسافة الفضاء الجزئي: يتم قياس الفصل الهندسي بين الخبراء باستخدام مسافة غراسمان الجيوديسية (Grassmannian Geodesic Distance) بين أعلى-$n$ من فضاءات PCA الخاصة بالخبراء المختلفين.
• التفسير: يلتقط هذا المقياس الفصل متعدد الاتجاهات بين الفضاءات الجزئية الكاملة. المسافة القريبة من الصفر تعني أدواراً وظيفية مكررة، بينما المسافة التي تقترب من الحد الأقصى النظري ($\frac{\pi}{2}\sqrt{n}$) تعني التعامد.

3. تجارب التوجيه المحكومة

لعزل تأثير آليات التوجيه عن ديناميكيات التدريب، يقارن المؤلفون بين نظامين في نموذج محكوم مكون من 3 طبقات مع معلمات خبراء ثابتة:

• توجيه Top-k: اختيار متقطع ومتفرق (sparse, discrete).
• توجيه ناعم كلي (Fully-Soft Routing): مزيج كثيف ومستمر (dense, continuous).

النتائج الرئيسية

1. عدم التماثل الهيكلي: إلغاء الارتباط الوظيفي مقابل تداخل التمثيل

عبر نماذج Transformer من نوع MoE المدربة مسبقاً (Mistral-8x7B و Qwen1.5-MoE-A2.7B)، يلاحظ المؤلفون عدم تماثل هيكلي ثابت:

• إلغاء ارتباط وظيفي قوي: تقارب محاذاة جاكوبيان الخبراء المتقاطعة باستمرار نحو الصفر (المتوسط $\approx$ 0.000–0.068). يشير هذا إلى أن الخبراء ليسوا مكررين؛ بل ينفذون تحويلات محلية متميزة.
• تداخل تمثيلي جزئي: رغم إلغاء الارتباط الوظيفي، تشغل التمثيلات الموجهة فضاءات جزئية متميزة ولكن متداخلة جزئياً. مسافات غراسمان كبيرة (مما يشير إلى الفصل) ولكنها تظل أقل بكثير من الحد الأقصى النظري للتعامد الكامل.
• الاستنتاج: يتعايش إلغاء الارتباط الوماثني وتداخل التمثيل. يعمل الخبراء كمشغلات (operators) ملغاة الارتباط محلياً فوق نطاقات متداخلة على "متعدد طيات" (manifold) مشترك، بدلاً من تقسيم فضاء المدخلات إلى مجموعات منفصلة.

2. ندرة التوجيه كمقبض تحكم هندسي

تكشف التجارب المحكومة أن حدة التوجيه تشكل هذه الهندسة بشكل مباشر:

• توجيه Top-k: يستحث فصلاً وظيفياً أكثر حدة (محاذاة جاكوبيان منخفضة) ومسافات غراسمان أكبر (تباعد أكبر في الفضاء الجزئي).
• التوجيه الناعم الكلي: يؤدي إلى هياكل خبراء متشابكة مع محاذاة جاكوبيان عالية (مما يشدي إلى الانهيار نحو خرائط مكررة) ومسافات غراسمان منهارة (تداخل عالٍ في الفضاء الجزئي).
• الآثار المترتبة: ندرة التوجيه (Sparsity) هي عامل رئيسي في فرض التخصص.

3. المقارنة مع الطبقات الكثيفة (Dense Layers)

تظهر خبراء MoE اضمحلالاً أسرع في القيم الذاتية (eigenvalue decay) في أطياف التباين الخاصة بهم مقارنة بطبقات التغذية الأمامية الكثيفة. تلتقط المكونات الرئيسية القليلة الأولى نسبة مئوية أعلى بكثير من التباين في خبراء MoE، مما يشير إلى أن التوجيه يركز الرموز في فضاءات جزئية ذات أبعاد أقل وأكثر تركيزاً.

4. الاتساق عبر النماذج

الأنماط الهندسية الملحوظة (محاذاة جاكوبيان منخفضة + مسافة غراسمان عالية ولكن دون الحد الأقصى) ثابتة عبر نماذج مختلفة (Mistral, Qwen)، وطبقات مختلفة (مبكرة، متوسطة، متأخرة)، ومجموعات بيانات مختلفة، مما يشير إلى أن هذه خاصية قوية في بنيات MoE وليست مجرد نتاج عارض لعمليات تدريب محددة.

الأهمية والادعاءات

يدعي البحث تقديم إطار تشخيصي عام لدراسة الحوسبة المشروطة في بنيات المحولات الحديثة. وتتمثل مساهماته الرئيسية في:

1. أداة تشخيص موحدة: يوفر طريقة منهجية لتحليل تخصص الخبراء بما يتجاوز مجرد إحصائيات التوجيه أو أنماط التنشيط، حيث يصف بشكل مشترك فضاء الوظيفة وفضاء التمثيل.
2. التفسير الهندسي لـ MoE: تدعم النتأئج رؤية طبقات MoE كمنفذة لـ تقسيم ناعم (soft partitioning) لمتعدد طيات تمثيل مشترك. الخبراء متميزون وظيفياً ولكنهم يعملون على "متعدد طيات" (submanifolds) متداخلة.
3. الرؤية الآلية: تحدد الدراسة "حدة التوجيه" (الندرة) كآلية تحكم مباشرة لدرجة التخصص، مما يربط خيارات التصميم البنيوي بالهياكل الهندسية القابلة للقياس.
4. الآثار على تصميم النماذج: يشير المؤلفون إلى أن استراتيجيات دمج الخبراء أو تقليمهم (pruning) بناءً فقط على تشابه التمثيل (مثل تداخل التنشيط) قد تكون معيبة. نظرًا لإمكانية امتلاك الخبراء تمثيلات متداخلة مع أداء وظائف متميزة، فإن المقاييس الوظيفية (مثل محاذاة جاكوبيان) قد تكون مطلوبة لتحديد التكرار الحقيقي بدقة.

يحافظ البحث على نطاق متواضع، مقراً بأن تحليله محلي (جاكوبيان من الدرجة الأولى) وخطي (PCA)، ولا يلتقط السلوك غير الخطي العالمي أو تطور الهندسة أثناء التدريب. ومع ذلك، فإنه يضع منظوراً هندسياً تأسيسياً حول كيفية تنظيم نماذج Mo@ للحوسبة.