LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts

إليك ملخص تقني مفصل لورقة البحث "LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts" (المقبولة في ICLR 2026).

1. بيان المشكلة

بينما تعد طرق الضبط الدقيق الفعال للمعلمات (PEFT) مثل LoRA فعالة لتكييف النماذج اللغوية الكبيرة (LLMs)، فإن الاعتماد على وحدة LoRA واحدة غالبًا ما يؤدي إلى مقايضة: التكوينات ذات الرتب العالية (high-rank) تخاطر بالإفراط في التخصيص (overfitting) وتكلفة حوسبة عالية، بينما التكوينات ذات الرتب المنخفضة (low-rank) يكون أداؤها ضعيفًا. يعالج إطار عمل Mixture of LoRA Experts (MoLE) هذه المشكلة من خلال استخدام عدة خبراء من نوع LoRA.

ومع ذلك، تعاني أساليب MoLE الحالية من قيود كبيرة في آليات التوجيه (routing mechanisms) الخاصة بها:

• التوجيه الصلب بنظام Top-K: تستخدم معظم الطرق (مثل MoLA) اختيار Top-K غير القابل للتفاضل حيث يتم تخصيص عدد ثابت من الخبراء ($k$) لكل رمز (token). يتطلب هذا ضبطًا يدويًا للمعلمات الفائقة ويمنع النموذج من تكييف تخصيص الموارد بناءً على تعقيد الرمز.
• عدم الاستقرار في التوجيه الديناميكي: غالبًا ما تعاني المحاولات الأخيرة لجعل التوجيه ديناميكيًا وقابلاً للتفاضل (مثل ReMoE باستخدام ReLU) من عدم الاستقرار. وتحديدًا، يمكن للموجه القائم على ReLU تخصيص صفر من الخبراء لبعض الرموز، مما يؤدي إلى تمثيلات متدهورة ومشكلات في تدفق التدرج (gradient flow).
• الافتقار إلى التحكم في التناثر (Sparsity Control): لا توجد طريقة منهجية للتحكم صراحة في عدد الخبراء المفعلين لموازنة الكفاءة والأداء أثناء التدريب.

2. المنهجية: LD-MoLE

يقترح المؤلفون LD-MoLE (التوجيه الديناميكي القابل للتعلم لمزيج من خبراء LoRA)، وهو إطار عمل يستبدل اختيار Top-K المنفصل بـ دالة توجيه قابلة للتفاضل وذات صيغة مغلقة تعتمد على Sparsegen.

المكونات الأساسية:

1. توجيه Sparsegen (الإسقاط القابل للتفاضل):

   • بدلًا من اختيار Top-K المنفصل، يقوم LD-MoLE بإسقاط لوغاريتمات الموجه ($u$) على "السمبلكس الاحتمالي" (probability simplex) باستخدام حل ذي صيغة مغلقة مشتق من Sparsegen.
   • يتم حساب احتمالية التوجيه $p$ كالتالي:
     $$p = \arg\min_{p \in \Delta} \|p - u\|_2^2 - \lambda \|p\|_2^2$$
     حيث $\Delta$ هو السمبلكس الاحتمالي، و $\lambda$ هو مقياس التناثر (sparsity scalar).
   • الخاصية الجوهرية: تضمن هذه الصيغة أن خبيرًا واحدًا على الأقل يتم تفعيله دائمًا لكل رمز (على عكس توجيه ReLU)، مما يضمن تدفقًا مستقرًا للتدرج ويمنع مشكلات التفعيل الصفري.

2. عامل التناثر القابل للتعلم ($\lambda$):

   • معلمة التناثر $\lambda$ ليست معلمة فائقة ثابتة، بل يتم التنبؤ بها ديناميكيًا لكل رمز بواسطة شبكة عصبية متعددة الطبقات (MLP) خفيفة الوزن ومشتركة.
   • تأخذ الـ MLP تمثيل الرمز $x$ كمدخل وتخرج $\lambda = f(x)$.
   • يسمح هذا للنموذج بتحديد عدد الخبراء المطلوب تفعيلهم بشكل تكيفي بناءً على تعقيد الرمز وطبقة معينة، مما يخصص سعة أكبر للرموز الصعبة وسعة أقل للرموز البسيطة.

3. خسارة التحكم في التناثر التحليلية:

   • بالاستفيد من الطبيعة ذات الصيغة المغلقة لـ Sparsegen، اشتق المؤلفون علاقة تحليلية بين $\lambda$ وعدد الخبراء المفعلين ($k$).
   • قدموا خسارة التناثر ($L_{sparse}$) التي تعاقب $\lambda$ إذا وقع خارج النطاق المطلوب لتفعيل عدد معين من الخبراء (على سبيل المثال، $\le k$).
   • يتيح ذلك تنظيم مستوى التناثر صراحة دون الاعتماد على عتبات استدلالية.

4. البنية الهيكلية:

   • النموذج اللغوي الأساسي (Base LLM) يكون مجمدًا.
   • تحل طبقات MoE محل الشبكات الأمامية القياسية (feed-forward networks). كل خبير هو وحدة LoRA ($\Delta W = A B$).
   • المخرج هو مجموع مرجح لخبراء LoRA بناءً على احتمالات التوجيه $p$.

3. المساهمات الرئيسية

1. آلية توجيه مبتكرة: تقديم LD-MoLE، وهو أول إطار عمل لـ MoLE يستخدم آلية توجيه قابلة للتفاضل بالكامل وذات صيمة مغلقة (Sparsegen) تضمن تفعيل خبير واحد على الأقل لجميع الرموز.
2. تخصيص ديناميكي قابل للتعلم: تتنبأ MLP مشتركة بمعامل تناثر $\lambda$ خاص بكل رمز، مما يسمح بتخصيص الخبراء بشكل تكيفي عبر الطبقات والرموز دون الحاجة لضبط يدوي لـ $k$.
3. التحكم التحليلي في التناثر: اشتقاق دالة خسارة التناثر بناءً على الخصائص الرياضية لـ Sparsegen، مما يسمح بالتحكم المباشر في عدد الخبراء المفعلين أثناء التدريب.
4. التحقق التجريبي الشامل: تجارب واسعة تثبت تفوق LD-MoLE على أفضل الأساليب المرجعية (baselines) مثل (MoLA مع Top-K، وReMoE مع ReLU) عبر نماذج متعددة (Llama-3.2-3B/8B, Qwen3-1.7B) ومعايير متنوعة.

4. النتائج التجريبية

قيم المؤلفون LD-MoLE على Llama-3.2-3B، و Llama-3.2-8B، و Qwen3-1.7B عبر مهام الضبط الدقيق للتعليمات (instruction tuning) وتصنيف المتواليات (sequence classification) (مثل MMLU-Pro, ARC, CommonsenseQA, GLUE، إلخ).

• الأداء: حقق LD-MoLE أعلى متوسط درجات عبر جميع النماذج والمهام، متفوقًا على كل من توجيه Top-K الثابت (MoLA) والتوجيه الديناميكي القائم على ReLU (ReMoE).
  • لوحظت مكاسب ملحوة في المهام التي تعتمد على الاستنتاج (مثل +3.5% في ARC-E, SWAG, HellaSWAG).
  • حافظ النموذج على الاستقرار في مهام تصنيف المتواليات حيث غالبًا ما يعاني التوجيه الديناميكي.
• السلوك التكيفي: أظهر التحليل أن $\lambda$ المتعلمة تختلف بشكل كبير عبر الطبقات والرموز. نجح النموذج في تفعيل المزيد من الخبراء للرموز النادرة أو المعقدة وأقل للرموز المتكررة أو المتوقعة.
• التحكم في التناثر: نجحت خسارة التناثر في تقليل عدد الخبراء المفعلين. وبينما قد يؤدي التناثر الشديد (قيمة $\beta$ منخفضة جدًا) إلى تراجع طفيف في الأداء، إلا أن التحكم المعتدل في التناثر سمح بتحقيق مكاسب في الكفاءة مع حد أدنى من الخسارة في الأداء.
• مشكلة التفعيل الصفري: على عكس ReMoE، الذي يخصص أحيانًا صفر من الخبراء للرموز (خاصة في الطبقات العميقة)، قام LD-MoLE بتفعيل خبير واحد على الأقل باستمرار، مما أدى إلى تمثيلات أكثر قوة.

5. الأهمية

• التقدم النظري: تسد الورقة الفجوة بين التوجيه المنفصل غير القابل للتفاضل والتوجيه الديناميكي غير المستقر من خلال توفير بديل قابل للتفاضل ومبرر رياضيًا (Sparsegen) بخصائص مضمونة (دعم غير صفري).
• الكفاءة العملية: من خلال تمكين النموذج من تعلم عدد الخبراء الذين يجب استخدامهم بدلًا من فرض عدد ثابت، يقدم LD-MoLE استخدامًا أكثر كفاءة للمعلمات، خاصة في مهام الاستنتاج المعقدة حيث يعد تخصيص السعة الديناميكي أمرًا بالغ الأهمية.
• القابلية للتوسع: استخدام MLP مشتركة للتنبؤ بـ $\lambda$ يحافظ على انخفاض العبء الإضافي للمعلمات (parameter overhead)، مما يجعل النهج قابلًا للتوسع في النماذج اللغوية الكبيرة.
• الاتجاهات المستقبلية: يفتح هذا العمل آفاقًا جديدة للتناثر القابل للتحكم في PEFT ويشير إلى أن آليات التوجيه القابلة للتفاضل يمكن أن تتفوق على آليات التوجيه الاستدلالية التقليدية في سيناريوهات الضبط الدقيق.

باختصار، يقدم LD-MoLE إطار عمل قويًا وقابلًا للتعلم لضبط Mixture-of-Experts، يتغلب على جمود Top-K وعدم استقرار التوجيه القائم على ReLU، محققًا أداءً فائقًا من خلال تخصيص الخبراء التكيفي المعتمد على الرمز.