ملخص تقني: SDG-MoE (رسم بياني للمناظرة الموقعة لخليط الخبراء)

بيان المشكلة

تعالج بنيات خليط الخبراء المتناثرة (Sparse Mixture-of-Experts) التكلفة الحسابية لتوسيع نماذج اللغات الكبيرة (LLMs) عبر تفعيل مجموعة فرعية صغيرة فقط من "الخبراء" لكل رمز (token). في نموذج Top-K MoE القياسي، يعالج الخبراء المختارون الرموز بشكل مستقل، وتُدمج مخرجاتهم عبر مجموع مرجح. تعامل استراتيجية التجميع هذه الخبراء كمتنبئات معزولة، مما يفشل في محاكاة التفاعلات أو المداولات بينها قبل توليد المخرج النهائي. وبينما استكشف العمل السابق آليات دمج قائمة على الانتباه (attention-based fusion) أو آليات اتصال مساعدة، إلا أن التفاعل المباشر والمتكرر بين مجموعة الخبراء النشطة الموجهة يظل غير مستكشف بشكل كافٍ. وتحديداً، تعتمد الطرق الحالية غالباً على عقد ذاكرة مركزية أو تقطير أثناء وقت التدريب بدلاً من تمكين مجموعة الخبراء النشطة من تبادل الإشارات المتضاربة والوصول إلى إجماع أثناء الاستدلال.

المنهجية: SDG-MoE

يقترح المؤلفون SDG-MoE، وهو طبقة MoE متناثرة مبتكرة تُدرج مرحلة مداولة خفيفة الوزن ومتكررة بين خطوة التوجيه (routing) والتجميع النهائي. تتعامل البنية مع الخبراء $K$ النشطين ليس كوحدات مستقلة، بل كمجموعة صغيرة متفاعلة قادرة على دعم بعضها البعض أو نقد بعضها البعض.

المكونات الجوهرية

1. الحالات الخاصة والمشتركة:
   عند التوجيه، يحسب كل خبير نشط $i$ تمثيلاً مخفياً $r_i$. يتم تقسيم هذا التمثيل إلى حالتين متمايزتين:

   • الحالة الخاصة ($h_{i,priv}$): متجه عالي الأبعاد يتجاوز الرسم البياني للاتصال تماماً، مما يحافظ على المعرفة المتخصصة للخبير.
   • الحالة المشتركة ($h_{i,shr}$): متجه منخفض الأبعاد ($d_s \ll d$) يشارك في عملية المداولة.

2. الرسم البياني للمناظرة الموقعة (Signed Debate Graph):
   لكل جولة مداولة $t$، يبني الخبراء النشطون رسمين بيانيين موجهين متعلمين:

   • رسم الدعم ($A^+$): يلتقط التأثيرات التعزيزية بين الخبراء.
   • رسم النقد ($A^-$): يلتقط التأثيرات التصحيحية. لضمان النقد المستهدف، يتم جعل هذا الرسم متناثراً للاحتفاظ فقط بأقوى $m^-$ من الحواف السلبية لكل خبير.
     يتم حساب هذه الرسوم عبر إسقاطات الاستعلام/المفتاح (query/key projections) للحالات المشتركة المعززة بتمثيلات هوية الخبير المتعلمة.

3. المداولة المبوّبة والترسيخ (Gated Deliberation and Anchoring):
   يتم التحكم في قوة التفاعل ديناميكياً بواسطة بوابة عدم الاتفاق (disagreement gate). يتم حساب درجة عدم الاتفاق $D^{(t)}$ بناءً على مسافة جيب التمام (cosine distance) بين الحالات المشتركة المعيرة للخبراء النشطين.

   • خطوة التكيف (Adaptive Step Size): خطوة التحديث الاجتماعي $\lambda^{(t)}$ هي دالة لـ $D^{(t)}$، حيث تزداد فقط عندما يختلف الخبراء بشكل كبير.
   • ترسيخ فريدكين-جونسن (Friedkin–Johnsen Anchoring): يتبع التحديث نموذج ديناميكيات حيث تكون الحالة الجديدة هي مزيج مرجح من الحالة المحدثة والحالة الأولية الموجهة ($h^{(0)}_{i,shr}$). يعمل المعامل $\beta$ كمعامل "عناد"، مما يمنع الخبراء من الابتعاد كثيراً عن تخصصهم الأولي.
   • التباين الموقّع (Signed Contrast): يستقبل MLP التحديث الحالة الحالية، ورسالة الدعم، ومصطلح تباين موقّع ($m^+ - \gamma m^-$)، مما يميز صراحةً بين الأدلة المؤيدة والأدلة المضادة.

4. التجميع:
   بعد $T$ من جولات المداولة، يكون المخرج النهائي للخبير $i$ هو إسقاط لكل من الحالة الخاصة والحالة المشتركة النهائية. يتم تجميع هذه النتائج باستخدام أوزان الموجه (router) الأصلية.

التحليل النظري

يقدم البحث تحليلاً نظرياً يثبت استقرار وكفاءة ديناميكيات المداولة:

• الاستقرار: يثبت المؤلفون أنه تحت شروط محددة (أوزان تحديث محدودة واستمرارية ليبشيتز لبوابة عدم الاتفاق)، فإن عملية المداولة هي "تطبيق انكماشي" (contraction mapping). يضمن ذلك بقاء حالات الخبراء محدودة وتقاربها نحو نقطة ثابتة فريدة، مما يمنع الانجراف غير المنضبط.
• التعقيد: يُظهر أن التكلفة الحسابية للاتصال منخفضة الرتبة بالنسبة لحجم المجموعة النشطة $K$. التكلفة لكل رمز هي $O(T(Kb^2 + K^2b))$، حيث يمثل $b$ أبعاد الاختناق. بالنسبة لقيم $K$ و $T$ الصغيرة، يضيف هذا تصحيحاً مدمجاً بدلاً من طبقة خبير كاملة إضافية.

النتائج التجريبية

قيم المؤلفون SDG-MoE في بيئة تدريب مسبق مضبوطة باستخدام بنية Transformer من نوع decoder-only شبيهة بـ Qwen.

• الأداء: قلل SDG-MoE من تشتت التحقق (validation perplexity) من 63.14 (Vanilla MoE) إلى 48.03، وهو تحسن كبير عن أقوى خط أساس (baseline).
• المقارنات الخارجية: حقق SDG-MoE أفضل تشتت على مجموعات البيانات الخارجية (WikiText-103، C4، وPaloma) بين جميع الأنظمة التي تمت مقارنتها.
• الدراسات الاستقصائية (Ablations):
  • الدلالات الموقعة (Signed Semantics): أدى إزالة التمييز بين الدعم والنقد (Dual-Unsigned) أو إزالة قناة النقد تماماً (Zero-Neg) إلى تدهور الأداء، مما يؤكد أن التواصل الموقّع ضروري.
  • البوابة التكيفية (Adaptive Gating): استبدال بوابة عدم الاتفاق التكيفية بمعامل ثابت أدى إلى تدهور كبير في التشتت، مما يشير إلى أن النموذج يجب أن يتداول انتقائياً بناءً على اختلاف الخبراء.
  • عمق المداولة: حققت جولتان من المداولة ($T=2$) أفضل النتائج؛ بينما أدت زيادة المداولة إلى $T=4$ إلى تدهور الأداء، مما يشير إلى أن الإفراط في التكرار يؤدي إلى تصحيح مفرط.

الأهمية والادعاءات

يزعم البحث تقديم أول طبقة MoE متناثرة تسمح بـ اتصال مباشر وموقّع بين الخبراء الموجهين النشطين قبل التجميع. تكمن أهميته في:

1. آلية تفاعل مبتكرة: الانتقال من التصويت المستقل للخبراء أو التنسيق المركزي إلى نموذج مداولة "ند لند" (peer-to-peer) مستوحى من ديناميكيات الرأي الاجتماعي (تحديداً نماذج فريدكين-جونسن).
2. مدالة مهيكلة: إثبات أن السماح للخبراء بدعم ونقد بعضهم البعض، مع ترسيخهم في حالاتهم المتخصصة الأولية، يؤدي إلى تمثيلات أغنى دون التضحية بكفاءة التوجيه المتناثر.
3. تأسيس نظري: توفير ضمانات استقرار تظهر أن عملية المداولة هي اضطراب محكوم لنموذج MoE القياسي، مما يضمن حالات محدودة وتكلفة حسابية منخفضة.

يخلص المؤلفون إلى أن مكاسب الأداء ليست مجرد نتيجة لزيادة السعة أو التواصل العام، بل تنتج تحديداً عن التفاعل المتوازن بين الدعم، والنقد، والترسيخ، والبوابة التكيفية. ويشيرون إلى أن هذا النهج يفتح مجال تصميم جديد للتفاعل بين الخبراء بعد مرحلة التوجيه، رغم إقرارهم بأن التقييمات واسعة النطاق والدمج في النماذج المدربة مسبقاً بالكامل تظل عملاً مستقبلياً.