ملخص تقني: RotMoLE – تعزيز خليط الخبراء منخفضة الرتبة عبر البوابات الدورانية

بيان المشكلة

بينما تستخدم النماذج اللغوية الكبيرة (LLMs) بنيات "خليط الخبراء" (Mixture-of-Experts - MoE) وتقنيات "الضبط الدقيق الفعال للمعلمات" (Parameter-Efficient Fine-Tuning - PEFT) مثل LoRA للتعامل مع المهام المتنوعة، تواجه أطر عمل "خليط الخبراء منخفضة الرتبة" (MoE-LoRA) الحالية قيوداً في السيناريوهات المعقدة، سواء كانت متعددة المهام أو متعددة اللغات.

تتمثل المشكلة الجوهرية المحددة في قصور آليات التوجيه (gating mechanisms) التقليدية في نماذج MoE. حيث تقوم الموجهات القياسية بتطبيق إعادة وزن قياسية فقط (scaling) على الخبراء المختارين. وبينما يعمل هذا على ضبط مقدار مساهمة الخبير، إلا أنه يفتقر إلى القدرة على إجراء تحويلات مكانية معقدة على مخرجات الخبراء. ونتيجة لذلك، فإن فضاء الحل الناتج عن التجميع الموزون للخبراء يظل مقيداً بتركيبة خطية على طول اتجاهات مكانية ثابتة. ويظهر هذا القصور بشكل جلي عندما يكون عدد الخبراء المرشحين محدوداً بالنسبة لعدد المهام (على سبيل المثال، في السيناريوهات محدودة الموارد حيث يجب مشاركة الخبراء عبر مجالات متعددة)، إذ لا يستطيع الموجه التمييز بين الخبراء المشتركين أو تخصيصهم بما يكفي بما يتجاوز مجرد تغيير المقدار (magnitude scaling).

علاً على ذلك، فإن تنفيذ تحويلات معقدة (مثل التحويلات الخطية الكاملة) عبر وحدات التوجيه يتطلب عادةً عدداً باهظاً من المعلمات القابلة للتدريب (مثل المصفوفات $d \times d$ للأبعاد المخفية $d$)، مما يلغي ميزة كفاءة المعلمات التي توفرها تقنية PEFT.

المنهجية: RotMoLE

يقترح المؤلفون RotMoLE (الخليط الدوراني للخبراء منخفضة الرتبة)، وهو إطار عمل متخصص لـ MoE-LoRA يقدم آلية توجيه دورانية إلى جانب بوابة القياس التقليدية.

الأساس النظري

تستند الطريقة إلى ملاحظة أن أي تحويل بين متجهين غير صفريين يمكن تفكيكه إلى عملية قياس بحتة (pure scaling) ودوران بحت (pure rotation) داخل المستوى الفرعي ثنائي الأبعاد الذي يشغله المتجهان. ومن خلال الاستفادة من البنية منخفضة الرتبة لـ LoRA (حيث الرتبة $r \ll d$)، يطبق RotMoLE هذه التحويلات داخل الفضاء ذي الرتبة $r$ لمهايئات الخبراء بدلاً من البعد المخفي الكامل.

مكونات البنية

تُصاغ عملية تحديث الوزن للنموذج كما يلي:
$$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$$
حيث:

• $W_0$ هي مصفوفة الأوزان سابقة التدريب.
• $A_i$ و $B_i$ هما مصفوفتان منخفضتا الرتبة للخبير رقم $i$.
• $g_i$ هي قيمة بوابة القياس (الوزن القياسي).
• $R_i$ هي مصفوفة الدوران الخاصة بالخبير $i$.

يعمل الإطار في وضعين بناءً على رتبة LoRA (الرتبة $r$):

1. الرتبة $r = 2$ (الدوران ثنائي الأبعاد):

   • يتم نمذجة الدوران باستخدام زاوية واحدة قابلة للتعلم $\theta_i$.
   • مصفوفة الدوران $R_i$ هي مصفوفة دوران قياسية ثنائية الأبعاد:
     $$R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$$
   • يتم توليد الزاوية $\theta_i$ بواسطة بوابة دوران $\Theta(x)$، والتي تخرج قيماً في النطاق $[-\pi, \pi]$ باستخدام تطبيع يعتمد على دالة Sigmoid لضمان الاستقرار والدورية.

2. الرتبة $r > 2$ (الدوران عالي الأبعاد):

   • بما أن زاوية واحدة لا يمكنها تعريف دوران في أبعاد أكبر من 2، يقوم المنهج بإنشاء مستوى دوران محدد $P_i$ لكل خبير.
   • يتم تعريف المستوى بواسطة متجهين أساسيين:
     1. التضمين المدخل الموحد للخبير ($e_1 = A_i x / |A_i x|$).
     2. متجه مركز العنقود $q_i$ القابل للتعلم والخاص بكل خبير، والذي يمثل المركز المجمع للمدخلات الموجهة لذلك الخبير. ويتم اشتقاق المتجه الأساسي الثاني $e_2$ من مركبة $q_i$ المتعامدة مع $e_1$.
   • يتم بناء مصفوفة الدوران $R_i$ عن طريق إسقاط الدوران ثنائي الأبعاد (المحدد بـ $\theta_i$) على هذا المستوى ذي الرتبة $r$ الذي تشغله $e_1$ و $e_2$.

كفاءة المعلمات

يحافظ RotMoLE على كفاءة عالية في المعلمات. المعلمات الإضافية التي تم إدخالها هي:

• للرتبة $r = 2$: عدد $d \times n$ من المعلمات (لأوزان بوابة الدوران).
• للرتبة $r > 2$: عدد $(d + r) \times n$ من المعلمات (لبوابة الدوران ومتجهات مركز العنقود $q$).
  وهذا أصغر بكثير من عدد المعلمات $d^2 \times n$ المطلوبة للتحويلات الخطية الكاملة، مما يجعل العبء الإضافي مقارباً لمعلمات الخبراء نفسها.

المساهمات الرئيسية

1. تحديد القيود: تسلط الورقة الضوء على أن موجهات MoE الحالية تقتصر على قياس المعيار (norm scaling)، وتفتقر إلى القدرة على إجراء التحويلات المكانية المعقدة الضرورية للسيناريوهات المتنوعة مع عدد محدود من الخبراء.
2. إطار عمل RotMoLE: اقتراح إطار عمل متخصص لـ MoE-LoRA يدمج بوابة دوران، مما يسمح بإجراء دورانات ثنائية الأبعاد داخل الفضاء منخفض الرتبة للخبراء لتوسيع فضاء الحلول لمجموعات الخبراء الموزونة.
3. التحقق التجريبي: إجراء تجارب مكثفة عبر سيناريوهات التعلم المشترك متعدد المهام ومتعدد اللغات، مما أظهر تفوق RotMoLE على نماذج MoE-LoRA المرجعية والنسخ الأخرى الحديثة.

النتائج التجريبية

قام المؤلفون بتقييم RotMoLE على نماذج Llama-3.2-3B و Qwen-2.5-3B و GLM-4-9B عبر عدة اختبارات مرجعية:

• التعلم المشترك متعدد المهام (QA & GLUE):
  • في مزيج من ثلاث مهام للأسئلة والأجوبة (CommonsenseQA, OpenBookQA, SocialIQA)، تفوق RotMoLE باستمرار على نموذج MoE-LoRA المرجعي، محققاً تحسناً في متوسط الدقة يتراوح بين 1% إلى 10% (بمتوسط ~5%).
  • كانت التحسينات أكثر وضوحاً عندما كان عدد الخبراء محدوداً (على سبيل المثال، $n=2$)، مما يؤكد فرضية أن الدوران يساعد في تمييز الخبراء المشتركين.
    ما شابه ذلك من مكاسب لوحظت في مهام GLUE (SST-2, MRMR, QNLI).
• التعلم المشترك متعدد اللغات:
  • في توليد النصوص متعدد اللغات (MTG) واختبار XNLI (الاستدلال اللغوي)، حقق RotMoLE درجات متوسطة ولكل لغة أعلى مقارنة بالنماذج المرجعية.
  • أشار تحليل التقارب إلى أن RotMoLE يظهر خصائص أفضل لمقاومة الإفراط في التخصيص (anti-overfitting)، حيث يتقارب ببطء أكبر في البداية ولكنه يحقق أداءً نهائياً أفضل دون التشبع المبكر الذي تشهده النماذج المرجعية.
• المقارنة مع المتغيرات:
  • تفوق RotMoLE على متغيرات MoE-LoRA الأخرى التي تركز على التوجيه الأمامي (MoCLE, MoLA, AdaMoLE) من حيث الدقة الإجمالية ودقة كل مهمة.
• دراسات الاستئصال (Ablation Studies):
  • أكدت التجارب أن مكاسب الأداء تعود إلى البنية الدورانية وليس مجرد زيادة عدد المعلمات. حيث كان النموذج المرجعي ذو الحجم المكافئ الذي يستخدم بوابة MLP أقل أداءً، مما يشير إلى أن آلية الدوران أكثر فعالية في استغلال المعلمات الإضافية لتحقيق التنوع.

الأهمية والادعاءات

تدعي الورقة أن RotMoLE يوفر دالة تحويل أكثر قوة للخبراء منخفضة الرتبة تتجاوز مجرد القياس البسيط. ومن خلال تقديم بوابة دوران، يوسع هذا الإطار بشكل كبير فضاء الحل العالمي لـ MoE، مما يسمح باستغلال وتخصيص أفضل للخبراء، خاصة في السيناريوهات التي يتم فيها مشاركة الخبماء عبر مهام أو لغات متعددة.

يؤكد المؤلفون أن هذا النهج يعالج فجوة محددة في أبحاث PEFT-MoE الحالية: وهي عدم القدرة على نمذجة استراتيجيات الاستغلال المتنوعة للخبراء المرشحين عندما يكون عدد الخبراء محدوداً. وتشير النتائج إلى أن RotMoLE يقدم طريقة قوية وفعالة من حيث المعلمات لتعزيز القدرة التمثيلية للنماذج اللغوية الكبيرة في التطبيقات المعقدة متعددة المجالات دون تحمل التكال Kosten الحسابية للتحويلات كاملة الرتبة.