Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

ملخص تقني: فك تشابك تداخل LoRA: الفضاءات الفرعية المتعامدة لدمج النماذج القوي

بيان المشكلة
بينما يؤدي الضبط الدقيق للنماذج اللغوية الكبيرة (LMs) لمهام محددة إلى أداء قوي، فإن الاحتفاظ بنماذج منفصلة لكل مهمة يعد أمرًا مكلفًا من حيث التخزين والنشر. يوفر دمج النماذج حلاً عبر الجمع بين عدة نماذج مخصصة للمهام في نموذج واحد متعدد المهام دون تدريب إضافي. ومع ذلك، غالبًا ما تفشل طرق الدمج الحالية عند تطبيقها على النماذج التي تم ضبطها دقيقًا باستخدام التكيف منخفض الرتبة (LoRA)، مما يؤدي إلى تدهور كبير في الأداء.

يجادل المؤلفون بأن هذا التدهور ينبع من تداخل المعلمات (parameter interference) المدفوع بالتفاعل بين معلمات النموذج وتوزيعات البيانات. وتحديدًا، عندما يتم دمج وحدات LoRA (على سبيل المثال، $W_m = W_0 + B_1A_1 + B_2A_2$)، فإن حد التحديث من مهمة واحدة ($B_2A_2$) يعمل كـ "اضطراب" غير مقصود على الميزات الكامنة لمهمة أخرى ($h_1$)، مما يزيح المخرجات بعيدًا عن الاستجابة المنشودة. إن النهج الحالي الخالي من البيانات، والذي يركز فقط على تعامد أو محاذاة متجهات المهمة، غالبًا ما يتجاهل هذا التفاعل الحيوي بين الميزات الكامنة وتحديثات المعلمات.

المنهجية: OSRM
يقترح البحث طريقة الأسطح الفرعية المتعامدة لدمج النماذج القوي (OSRM)، وهي طريقة تقيد الفضاء الفرعي لـ LoRA قبل الضبط الدقيق لتقليل التداخل مع توزيعات بيانات المهام الأخرى.

1. الهدف الجوهري: تهدف الطريقة إلى تقليل حد التداخل $\|B_2A_2 h_1\|$ عن طريق تقليل معيار فروبينيوس $\|A_2 H_1^\top\|_F$، حيث تمثل $H_1$ مصفوفة الميزات الكامنة لعينات من مهمة مختلفة ($T_1$).
2. الحل التحليلي: لتجنب الحلول البديهية (مثل $A_2=0$) والحفاظ على القدرة التمثيلية، فرض المؤلفون قيدًا يقضي بأن تكون لـ $A_2$ صفوف متعامدة ($A_2 A_2^\top = I$). وتحت هذا القيد، يتم اشتقاق التهيئة المثلى لـ $A_2$ تحليليًا باستخدام التفكك الذاتي لمصفوفة التباين المشترك للعينة $S = \frac{1}{k-1}H^\top H$. وتحديدًا، يتم تهيئة $A_2$ باستخدام المتجهات الذاتية المقابلة لـ أصغر القيم الذاتية لـ $S$. وهذا يضع الفضاء الفرعي لـ LoRA في اتجاهات يكون فيها تباين بيانات المهام الأخرى في أدنى مستوياته.
3. التوسعات العملية:
   • الاسترخاء أثناء الضبط الدقيق: بينما يشير الحل النظري إلى تجميد $A_2$، وجد المؤلفون أن هذا يقلل من دقة المهمة الواحدة. بدلاً من ذلك، يستخدمون الحل التحليلي فقط كـ تهيئة (initialization) لـ $A_2$، مما يسمح بتحديثه أثناء الضبط الدقيق. وتظهر النتائج التجريبية أن الانحراف عن الحالة المتعامدة الأولية ضئيل (حوالي 14%)، مما يحافظ على صحة الطريقة.
   • القابلية للتوسع والخصوصية: لدمج $N$ من المهام، تقوم الطريقة بتجميع الميزات الكامنة من جميع المهام باستثناء المهمة المستهدفة $T_t$. ولتقليل استهلاك الذاكرة ومعالجة مخاوف الخصوصية، اقترح المؤلفون حساب متوسط الميزات الكامنة لكل عينة قبل الدمج.
   • التطبيق اللاحق (Post-Hoc): يمكن توسيع الطريقة لتشمل وحدات LoRA الموجودة عن طريق تفكيك الأوزان المتعلمة باستخدام الأساس المستمد من OSRM، وإن كان ذلك قد يؤدي إلى بعض الخسارة في الأداء.

المساهمات الرئيسية

• تحديد التفاعل بين البيانات والمعلمات: يسلط البحث الضوء على أن تداخل المعلمات في دمج LoRA ليس مجرد وظيفة لصراعات الأوزان، بل يرتبط ارتباطًا وثيقًا بكيفية تفاعل المعلمات مع توزيعات بيانات محددة.
• قيد ما قبل الضبط الدقيق: على عكس الأعمال السابقة التي تعمل أثناء أو بعد الدمج، تتدخل OSRM قبل الضبط الدقيق من خلال تهيئة الفضاء الفرعي لـ LoRA ليكون متعامدًا مع توزيعات البيانات غير ذات الصلة.
• التكامل السلس (Plug-and-Play): صُممت الطة لتتكامل بسلاسة مع خوارزميات الدمج الحالية (مثل Task Arithmetic، وFisher Merging، وTIES، وRegMean، وEMR) دون الحاجة إلى تغيير منطق الدمج نفسه.
• القوة والمتانة: تُظهر الطريقة حساسية منخفضة تجاه المعلمات الفائقة مثل معاملات القياس، وأحجام العينات، وعدد المهام.

النتائج التجريبية
قيم المؤلفون OSRM على ثماني مجموعات بيانات من اختبار GLUE باستخدام ثلاثة نماذج لغوية واسعة الانتشار (RoBERTa-large، وT5-large، وLlama3.2-1B) ونموذجين أكبر (Llama3.2-3B، وLlama3-8B).

• مكاسب الأداء: تفوقت OSRM باستمرار على قواعد الدمج الحالية عبر جميع النماذج والتقنيات المختبرة.
  • في RoBERTa-large، حسنت OSRM متوسط الأداء بشكل كبير مقارنة بالنماذج المرجعية (على سبيل المثال، +13% في CoLA لـ Task Arithmetic، و+21% في MNLI لـ Fisher Merging).
  • في T5-large، تفوقت بشكل كبير على النماذج المرجعية في RegMean (+3.76% متوسط) وFisher (+7.9% متوسط).
  • في Llama3.2-1B و3B، تجاوزت OSRM النماذج المرجعية في TA، وRegMean، وTIES، وEMR، مع وصول التحسينات لكل مهمة إلى 12.78%.
• الحفاظ على المهمة الواحدة: تؤثر الطريقة بشكل ضئيل على دقة المهمة الواحدة (متوسط الفجوة <1%) وغالبًا ما تتجاوز أداء المهمة الواحدة للنماذج المرجعية.
• المتانة:
  • معامل القياس: حافظت OSRM على أداء متفوق عبر نطاق واسع من معاملات القياس ($\lambda \in [0.1, 1.3]$)، بينما كانت النماذج المرجعية أكثر حساسية.
  • حجم العينة: عملت الطة بشكل جيد مع 100 عينة فقط للتهيئة.
  • عدد المهام: أصبحت مزايا الأداء أكثر وضوحًا مع زيادة عدد المهام المدمجة ($N > 5$).

الأهمية والادعاءات
يزعم البحث أن OSRM تقدم استراتيجية قابلة للتعميم لدمج نماذج LoRA بشكل أكثر فعالية من خلال معالجة التفاعل بين البيانات والمعلمات صراحةً. ويؤكد المؤلفون أن نهجهم يوفر حلاً جاهزًا للاستخدام (plug-and-play) يعزز أداء الدمج مع الحفاظ على دقة المهمة الواحدة. ويجادلون بأن مراعاة التفاعلات بين البيانات والمعلمات أمر بالغ الأهمية لدمج النماذج القوي، والانتقال إلى ما وراء الاستراتيجيات الخالية من البيانات التي تركز فقط على محاذاة الأوزان. وتشير النتماج إلى أن تقييد الفضاء الفرعي لـ LoRA قبل الضبط الدقيق هو خطوة حيوية للتخفيف من حدة انزياحات المخرجات غير المقصودة التي تعاني منها عمليات دمج نماذج LoRA حاليًا.