ملخص تقني: المتجهات الذاتية للخبراء هي موجهات غير منهارة خالية من التدريب

بيان المشكلة

أصبحت بنيات خليط الخبراء المتفرقة (SMoE) حجر الزاووة لتوسيع نطاق النماذج اللغوية الكبيرة (LLMs) ونماذج الرؤية واللغة عبر توجيه رموز الإدخال (tokens) إلى مجموعة فرعية من الخبراء المتخصصين. ومع ذلك، تعاني هذه النماذج من مشكلة مستمرة تُعرف باسم انهيار الخبير (أو انهيار التمثيل)، حيث تتقارب الخبراء المتميزة لإنتاج مخرجات متشابهة أو زائدة عن الحاجة، مما يؤدي إلى تدهور السعة الفعلية للنموذج وأدائه.

بينما حاولت الأبحاث السابقة التخفيف من حدة ذلك عن طريق تحسين الموجه (الآلية التي تختار الخبراء)، فإن هذه النهج تتطلب عادةً التدريب من الصفر أو الضبط الدقيق، مما يترتب عليه تكاليف حسابية ومعالجة بيانات عالية. علاوة على ذلك، تُظهر الأدلة التجريبية المقدمة في هذا العمل أن نماذج SMoE المسبقة التدريب جيدًا، بما في ذلك الأنظمة المتطورة مثل GPT-OSS وQwen3 وDeepSeek-MoE، لا تزال تعاني من انهيار موجه كبير عبر مختلف الطبقات ومقاييس النماذج. يشير هذا الاستمرار إلى أن تحسينات الموجه التقليدية غير كافية، وأن إعادة الفحص الجذري لآلية التوجيه أمر ضروري.

المنهجية: SMoE القائم على تحليل القيم المفردة (SSMoE)

يقترح المؤلفون SSMoE، وهو إطار عمل جديد خالٍ من التدريب يلغي الاعتماد على الموجهات المتعلمة من خلال الاستفيد من الخصائص الطيفية لمصفوفات أوزان الخبراء نفسها.

الرؤية الجوهرية

من خلال تحليل نماذج SMoE المتقدمة والمسبقة التدريب، لاحظ المؤلفون أن المتجهات الذاتية (eigenvectors) لمصفوفات أوزان الخبراء تشفر معلومات دلالية غنية. وخلافًا لتمثيلات الموجه (router embeddings) التي يمكن أن تنهار، تحافظ هذه المتجهات الذاتية بشكل طبيعي على التعامد وتلتقط التخصص الجوهري للخبير.

إطار عمل SSMoE

تعمل الطريقة عبر أربع خطوات رئيسية:

1. استخراج المتجهات الذاتية: لكل خبير $i$، يحسب المؤلفون مصفوفتي جرام (Gram matrices) مشتقتين من أوزان الشبكة العصبية للتغذية الأمامية للخبراء ($FFN_1$ و $FFN_2$). ثم يستخرجون المتجهات الذاتية لهذه المصفوفات.
2. بناء التمثيل الطيفي: لكل خبير، يتم اختيار أفضل-$c$ من المتجهات الذاتية الأكثر تشابهًا مع تمثيل الموجه الخاص بالخبير من كلتا مصفوفتي جرام. ويتم حساب متوسط هذه المتجهات لتشكيل "تمثيل طيفي" ($C^{(i)}$) يمثل التخصص الدلالي للخبير.
3. التوجيه: يتم دمج التمثيلات الطيفية لجميع الخبراء لتشكيل مصفوفة أوزان التوجيه ($W_{EV}$). يتم إسقاط رمز الإدخال $x$ عبر هذه المصفوفة لتوليد لوجيتات (logits) قائمة على المتجهات الذاتية ($f_{EV}(x)$).
4. التوجيه الهجين: لموازنة الإشارة الطيفية الجديدة مع الموجه الأصلي المدرك للسياق، يستخدم SSMoE مزيجًا محدبًا:
   $$V(x) = \alpha f_{EV}(x) + (1 - \alpha) s(x)$$
   حيث $s(x)$ هي لوجيتات الموجه المتعلمة الأصلية و $\alpha \in [0, 1]$ هو عامل توازن قابل للضبط. تشير النتائج التجريبية إلى أن قيم $\alpha$ بين 0.5 و0.9 تحقق الأداء الأمثل.

الضمان النظري

تقدم الورقة لِمّة (lemma) نظرية توضح أن موجه SSMoE يقلل من الارتباطات الثنائية للوجيتات. وتحديدًا، إذا كانت لوجيتات المتجهات الذاتية متعامدة مع لوجيتات الموجه المتعلمة، فإن التباين للموجه المدمج ينخفض بشكل صارم بمعامل $(1-\alpha)^2$ مقارنة بالموجه الأصلي. يثبت هذا رياضيًا أن SSMOE يخفف من مشكلة الانهيار المتأصلة في موجهات SMoE التقليدية.

المساهمات الرئيسية

1. تحديد الانهيار في النماذج المسبقة التدريب: أثبت المؤلفون تجريبيًا أن انهيار الموجه مشكلة منتشرة عبر عشرة نماذج متطورة تعتمد على MoE (تتراوح من 4 مليار إلى 120 مليار معلمة)، مما يؤثر على بنيات الاستدلال وغير الاستدلال.
2. التشفير الدلالي في المتجهات الذاتية: يكشف العمل أن المتجهات الذاتية لمصفوفات أوزان الخبراء تشفر طبيعيًا معلومات دلالية غنية، مما يجعلها بديلًا قويًا لتمثيلات الموجه المتعلمة.
3. إطار عمل SSMOE: تقديم إطار عمل فعال وخالٍ من التدريب يستخدم هذه الخصائص الطيفية لتعزيز توجيه الرموز وتمثيل الخبراء دون الحاجة إلى تدريب إضافي.
4. استراتيجية تقليم الخبراء: اقتراح طريقة لإسقاط الخبراء بناءً على SSMoE تعمل على تحسين الأداء مع تقليل استهلاك الذاكرة بشكل كبير.

النتائج التجريبية

قيم المؤلفون SSMoE عبر مهام ومقاييس نماذج متنوعة تحت ظروف البيانات النظيفة والمفسدة (المشوشة).

• نماذج الاستدلال الكبيرة (GPT-OSS): على نماذج GPT-OSS-20B و GPT-OSS-120B، تفوق SSMoE على النماذج الأصلية واستراتيجيات الإسقاط العشوائي الأساسية.
  • حقق تحسنًا متوسطًا بنسبة ~6% مقارنة بنماذج GPT-OSS الأصلية في اختبارات الاستدلال (ARC، GSM8K، إلخ) مع تقليل استهلاك الذاكرة بنسبة ~23%.
  • في إعداد 10-shot، حسن SSMOE الأداء بنسبة 21% فوق الخطوط المرجعية لنموذج 20B و 10% لنموذج 120B.
  • والأهم من ذلك، أظهرت دراسات الاستئصال (ablation studies) أن مكاسب الأداء كانت مدفوعة بآلية التوجيه نفسها، وليس مجرد تقليل عدد الخبراء.
• النماذج اللغوية الكبيرة (MTEB): عند التقييم على OLMoE و Qwen-MoE و DeepSeekMoE، تفوق SSMoE باستمرار على الخطوط المرجعية (Router, SMoE, MoEE) في اختبار MTEB الضخم.
  • حقق أداءً رائدًا في 15/18 مهمة في الإعدادات النظيفة و 16/18 مهمة في الإعدادات المفسدة.
  • أظهرت الطريقة متانة فائقة تحت الاضطرابات العدائية (البيانات المفسدة)، متفوقة على التمثيلات المعقدة التي عانت من انخفاض كبير في الأداء.
• نماذج الرؤية واللغة (CLIP-MoE): في مهام استرجاع الصورة والنص (zero-shot) مثل COCO و Flickr30k والتصنيف، حسن SSMoE من قيمة Recall@1 بنسبة تصل إلى +1.1% وأظهر متانة أكبر تجاه ضوضاء الصور مقارنة بـ CLIP-MoE الأساسي.
• الكفاءة: قلل إطار العمل من استخدام الذاكرة بنسبة تقارب 23% في مهام الاستدلال و 5% في GFLOPs لمهام التضمين (embedding tasks)، مع الحفاظ على الدقة أو تحسينها.

الأهمية والادعاءات

تدعي الورقة أن SSMoE يمثل تحولًا في النموذج لكيفية تحسين بنيات SMoE. ومن خلال نقل التركيز من تعلم موجه إلى تحليل الخصائص الطيفية الجوهرية للخبراء، يوضح المؤلفون أن:

• التحسين الخالي من التدريب قابل للتطبيق: يمكن تحقيق مكاسب كبيرة في الأداء والمتانة دون التكلفة الحسابية لإعادة التدريب أو الضبط الدقيق.
• البنية الداخلية مهمة: إن الفهم الأعمق للنماذج الداخلية (تحديدًا تعامد المتجهات الذاتية) يمكن أن يوجه تطوير بنيات أكثر فعالية.
• المتانة: يوفر التمثيل القائم على المتجهات الذاتية إشارة أكثر استقرارًا وثراءً دلاليًا، وهي أقل عرضة للانهيار وأكثر صمودًا أمام فساد البيانات مقارنة بالموجهات المتعلمة التقليدية.

يخلص المؤلفون إلى أن نتائجهم تؤكد أهمية الاستفادة من الرؤى الطيفية لإنشاء بنيات SMoE أكثر كفاءة وفعالية ومتانة، مما يقدم حلاً عمليًا لمشكلة انهيار الخبير طويلة الأمد.