ملخص تقني: LoRA-Mixer

بيان المشكلة

غالبًا ما تدمج الجهود الأخيرة لتكييف النماذج اللغوية الكبيرة (LLMs) مع المجالات متعددة المهام بين التكيف منخفض الرتبة (LoRA) وبنيات خليط الخبراء (MoE). ومع ذلك، تعاني النهج الحالية من قيود كبيرة في كفاءة المعلمات والتخصص في المهام. تتبع الطرق الحالية عادةً نمطين: (1) استبدال طبقات الانتباه أو شبكات التغذية الأمامية (FFN) بالكامل بخبراء تبديل، أو (2) إلحاق فروع خبراء متوازية تدمج المخرجات مرة أخرى في المسار الرئيسي. هذه التصميمات غالبًا ما تقوض كفاءة المعلمات، وتتطلب تدريبًا مشتركًا لجميع الخبراء (مما يعيق إعادة استخدام وحدات LoRA الجاهزة والمسبقة التدريب)، وتؤدي إلى دمج سطحي للمخرجات يفشل في الاستفاد الكامل من آليات الانتباه أو انتقال الحالة الجوهرية. علاوة على ذلك، تعطي خسائر التوجيه المساعدة الشائعة الأولوية لتوازن الحمل الموحد، مما يثبط التخصص القائم على المدخلات ويجبر الخبراء على الاستخدام بالتساوي بغض النظر عن دلالات المدخلات.

المنهجية: LoRA-Mixer

يقترح المؤلفون LoRA-Mixer، وهو إطار عمل MoE معياري مصمم للمزامنة بين وحدات LoRA مسبقة التدريب عبر معاملتها كخلايا ذاكرة ديناميكية وقابلة للتوصيل.

1. التكامل المعماري

على عكس الأعمال السابقة التي تستبدل أو توازي طبقات كاملة، يدمج LoRA-Mixer خبراء LoRA مباشرة في طبقات الإسقاط الخطي (طبقات الإسقاط المدخلة/المخرجة) لوحدة الانتباه (ونماذج فضاء الحالة لـ SSMs).

• الآلية: يعزز إطار العمل مصفوفة الإسقاط مسبقة التدريب $W$ بمجموعة من $E$ من خبراء الرتبة المنخفضة. يتم تمثيل كل خبير كـ $\Delta W^{(e)} = A^{(e)}B^{(e)}$.
• التوجيه: يقوم موجه خفيف الوزن $\alpha(x)$ بدمج هذه الخبراء ديناميكيًا بناءً على دلالات المدخلات. يتم حساب المخرج كالتالي:
  $$y = Wx + \text{F}_{\text{route}}\left( \left\{ \alpha_e(x) \cdot \Delta W^{(e)}x \right\}_{e=1}^E \right)$$
• التوافق: نظرًا لأن طبقات الإسقاط الخطي منتشرة في كل من بنيات Transformer وState-Space Model (SSM)، فإن LoRA-Mixer محايد تجاه البنية ويدعم كليهما.

2. خسارة توازن تخصص التوجيه (RSL)

لمعالجة مشكلة "الإفراط في المتوسط" الناتجة عن الخسائر المساعدة التقليدية، قدم المؤلفون خسارة توازن تخصص التوجيه (RSL).

• الدافع: تشجع الخسائر المساعدة القياسية (مثل مصطلحات توازن الحمل) على استخدام الخبراء بشكل موحد، وهو ما يتعارض مع الحاجة إلى التخصص القائم على المدخلات.
• الصيغة: توحد RSL توازن الحمل العالمي مع الانتقائية المحلية عن طريق إضافة حد تنظيم الإنتروبيا إلى الخسارة المساعدة:
  $$L_{RSL} = \alpha \cdot \sum_{i=1}^K \bar{p}_i \cdot \bar{f}_i - \lambda \cdot \mathbb{E}_{x \sim D}[H(p(x))]$$
  حيث $\bar{p}_i$ هو متوسط درجة التوجيه، و$\bar{f}_i$ هو درجة الاستخدام المعيارية، و$H(p(x))$ هي إنتروبيا توزيع التوجيه.
• الأثر: يعمل حد الإنتروبيا كموفر انحناء في سيمبلكس التوجيه، مما يعزز التحدب القوي ويمنع الموجه من الانهيار في توزيع موحد. إنه يشجع على توزيعات ذات تباين عالٍ وقمم حادة تتوافق مع دلالات المدخلات مع الحفاظ على توازن الحمل العالمي.

3. أنظمة التدريب

يدعم LoRA-Mixer نمطين متميزين للتدريب:

1. التحسين المشترك: يتم تحسين المهايئات والموجه بشكل مشترك باستخدام مخطط توجيه top-k صلب-ناعم قابل للتفاضل.
2. التوصيل والتشغيل (Plug-and-Play): يمكن للإطار توجيه وحدات LoRA مسبقة التدريب والمجمدة المستمدة من المستودعات العامة (مثل LoRAHub) مع الحد الأدنى من البيانات الإضافية (مثل 2 ألف نقطة بيانات مختلطة) لتدريب الموجه فقط.

المساهمات الرئيسية

1. إطار عمل MoE معياري: تصميم مبتكر يوجه خبراء LoRA الخاصين بالمهام إلى مصفوفات الإسقاط الأساسية لوحدات الانتباه/SSM، مما يسمح بتخصص دقيق على مستوى الرمز (token) دون تعطيل البنيات الأساسية.
2. خسارة توازن تخصص التوجيه (RSL): هدف تحسين يحل الصراع بين توازن الحمل وتخصص المدخلات. فهو يقلل من البيانات المطلوبة لتدريب التوجيه الفعال ويمنع تحيز "الإفراط في المتوسط" الذي تسببه الخسائر المساعدة التقليدية.
3. كفاءة البيانات والمعلمات: يحقق الأسلوب أداءً رائدًا باستخدام 48% فقط من المعلمات القابلة للتدريب لنماذج LoRA-MoE الأساسية. كما أظهر كفاءة عالية في البيانات، حيث يتطلب بيانات تدريب أقل بكثير لتدريب الموجه مقارنة بالطرق التي تستخدم الخسائر المساعدة القياسية.
4. قابلية النقل عبر النماذج: يدعم الإطار إعادة استخدام وحدات LoRA عبر نماذج مختلفة (على سبيل المثال، نقل الموجهات المدربة على Mistral-7B إلى LLaMA3-8B) ويسمح بتكوين وحدات LoRA غير متجانسة من مصادر متنوعة.

النتائج التجريبية

قيم المؤلفون LoRA-Mixer عبر 15 اختبارًا مرجعيًا تغطي خمسة مجالات: الأسئلة الطبية، الاستدلال المنطقي، معالجة اللغات الطبيعية (NLP)، الرياضيات، والبرمجة.

• الأداء: تفوق LoRA-Mixer المحسن بـ RSL على النماذج الأساسية الرائدة في التوجيه وLoRA-MoE (بما في ذلك MoLE وMixLoRA وLoRAHub) في معظم المهام.
  • المكاسب: تحسينات ملحوظة قدرها +3.79% في GSM8K، و**+2.90%** في CoLA، و**+3.95%** في ARC-C.
  • الكفاءة: حقق هذه النتائج باستخدام 48% فقط من المعلمات القابلة للتدريب مقارنة بالطرق المماثلة.
• كفاءة البيانات: في سيناريوهات البيانات المنخفضة (مثل 2 ألف عينة تدريب)، تفوق LoRA-Mixer المحسن بـ RSL بشكل كبير على النماذج الأساسية التي تستخدم الخسائر المساعدة القياسية (على سبيل المثال، مكسب متوسط قدره +1.97% عند 2 ألف عينة).
• قدرة التوصيل والتشغيل: عند تطبيقه على وحدات LoRA المستمدة من الإنترنت (LoRAHub) مع 2 ألف نقطة بيانات إضافية فقط لتدريب الموجه، حقق النموذج أداءً ممتازًا في مهام GLUE (SST-2, CoLA, MRPC, RTE, QQP).
• التعميم: أظهرت الطريقة قدرة قوية على التعميم في المهام عبر المجالات (مثل الرياضيات-البرمجة، الطب-الرياضيات) وفي الاختبارات المرجعية خارج التوزيع (OOD).
• قابلية النقل: أكدت تجارب نقل الموجهات من Mistral-7B إلى LLaMA3-8B دون ضبط دقيق للموجه قوة وطبيعة آليات التوجيه المتعلمة المحايدة تجاه البنية.

الأهمية والادعاءات

يزعم البحث أن LoRA-Mixer يمثل خطوة مهمة للأمام في التكيف متعدد المهام بكفاءة المعلمات من خلال:

• تعظيم إعادة الاستخدام: تمكين التكوين السلس لوحدات LoRA المدربة بشكل مستقل دون الحاجة إلى إعادة تكييف واسعة أو تدريب مشترك لجميع الخبراء.
• الموازنة بين التخصص والحمل: توفير حل مستند إلى أساس نظري (RSL) للمفاضلة بين توازن الحمل وتخصص الخبراء، وهو ما أعاق تاريخيًا أداء MoE في أنظمة البيانات المنخفضة.
• تعدد الاستخدامات: تقديم حل متوافق "جاهز للاستخدام" لكل من بنيات Transformer وSSM، مما يسهل بناء نماذج لغوية معيارية واسعة النطلة ذات ذاكرة خاصة بالمهام وقابلية نقل قوية.

يخلص المؤلفون إلى أنه بينما قد يحد نظام توجيه top-K الثابت الحالي من القدرة على التكيف مع المدخلات الغامضة، فإن الإطار يثبت بنجاح أن التكوين المعياري الفعال لخبراء LoRA أمر ممكن بأقل قدر من البيانات والأعباء الحسابية.