Label-Free Cross-Task LoRA Merging with Null-Space Compression

إليك ملخص تقني مفصل لورقة البحث بعنوان "Label-Free Cross-Task LoRA Merging with Null-Space Compression" (دمج LoRA عبر المهام بدون تسميات باستخدام ضغط الفضاء الصفري).

1. بيان المشكلة (Problem Statement)

تعالج الورقة تحدي دمج النماذج (Model Merging)، وتحديداً دمج محولات Low-Rank Adaptation (LoRA) التي تم ضبطها بدقة بشكل مستقل في نموذج واحد دون الوصول إلى بيانات مصنفة (Labeled Data).

• قصور الطرق الحالية:
  • دمج الأوزان الكاملة (Full-Weight Merging): تعمل الطرق التقليدية (مثل Task Arithmetic وTIES) على أوزان النموذج الكاملة، وهي عملية تستهلك الذاكرة وغالباً ما تفشل عند تطبيقها على محولات LoRA ذات الرتب المنخفضة بسبب عدم محاذاة الفضاء الجزئي (Subspace Misalignment).
  • الدمج القائم على الإنتروبيا (Entropy-Based Merging): تستخدم الطرق الحديثة القائمة على التدرج (مثل AdaMerging) تقليل إنتروبيا المخرجات كإشارة خالية من التسميات. ومع ذلك، تواجه هذه الطرق عقبتين حرجتين:
    1. نطاق المهمة (Task Scope): الإنتروبيا غير معرفة لمهام الانحدار (Regression) مثل تقدير العمق (Depth Estimation) وتوليد المتواليات، مما يحد من قابليتها للتطبيق على التصنيف فقط.
    2. القابلية للتوسع (Scalability): بالنسبة للنماذج اللغوية الكبيرة (LLMs) ونماذج الرؤية واللغة (VLMs)، يتطلب حساب الإنتروبيا معالجة كل رمز (Token) يتم توليده. ومع زيادة أطوال المتواليات، تصبح التكلفة الحسابية باهظة.
• الهدف: تطوير استراتيجية دمج تكون خالية من التسميات (Label-free)، غير مرتبطة بنوع المهمة (Task-agnostic) (تتعامل مع التصنيف والانحدار معاً)، وقابلة للتوسع (Scalable) للمتواليات الطويلة والنماذج الكبيرة.

2. المنهجية: دمج ضغط الفضاء الصفري (Null-Space Compression - NSC)

يقترح المؤلفون ضغظ الفضاء الصفري (NSC)، وهو خوارزمية دمج تعتمد على التدرج وتعتمد على الخصائص الهندسية لمحولات LoRA بدلاً من لوغاريتمات المخرجات (Output Logits).

ملاحظة رئيسية: ضغط الفضاء الصفري (Null-Space Compression)

أثناء الضبط الدقيق لـ LoRA، يتم تعريف التحديث كـ $\Delta W = BA$، حيث $A$ هي مصفوفة الإسقاط السفلي (Down-projection matrix).

• تقوم المصفوفة $A$ بإسقاط تنشيطات المدخلات (Input Activations) في فضاء جزئي منخفض الأبعاد، مما يؤدي إلى استبعاد المكونات الموجودة في فضاؤها الصفري (Null Space).
• لاحظ المؤلفون أنه مع استمرار ضبط النموذج وتحسن أدائه، فإن نسبة الفضاء الصفري (نسبة طاقة التنشيط المستبعدة بواسطة $A$) تتناقص.
• الارتباط: يوجد ارتباط عكسي قوي بين نسبة الفضاء الصفري وأداء المهمة؛ حيث تعني النسبة المنخفضة أن المحول (Adapter) يلتقط بفعالية المعلومات الخاصة بالمهمة.

خوارزمية NSC

تستخدم NSC تناقص نسبة الفضاء الصفري كـ إشارة تحسين خالية من التسميات لتحديد أوزان الدمج ($\lambda$).

1. تعريف نسبة الفضاء الصفري:
   بالنسبة لميزة مدخلة $z$ ومصفوفة الإسقاط السفلي $A$، تُعرف نسبة الفضاء الصفري $\omega(z)$ كالتالي:
   $$\omega(z) = \frac{\| \text{Proj}_{\mathcal{N}(A)}(z) \|^2}{\|z\|^2} = \sqrt{1 - \frac{z^\top A^\top (AA^\top)^{-1} A z}{\|z\|^2}}$$
   ملاحظة: المصطلح $(AA^\top)^{-1}$ هو معكوس غرام (Gram-inverse)، وهو صغير الحجم ($r \times r$) وفعال حسابياً.

2. هدف التحسين (Optimization Objective):
   الهدف هو إيجاد معاملات الدمج $\{\lambda_k\}$ التي تقلل متوسط نسبة الفضاء الصفري عبر جميع المهام على بيانات غير مصنفة:
   $$\min_{\{\lambda_k\}} \frac{1}{K} \sum_{k=1}^K \mathbb{E}_{x \sim D_k} \left[ \Omega_k(x; \Theta_{merge}) \right]$$
   حيث $\Omega_k$ هو متوسط نسبة الفضاء الصفري عبر طبقات LoRA المزودة.

3. آليات الكفاءة:

   • تخزين معكوس غرام (Gram-Inverse Caching): بدلاً من حساب مصفوفات الإسقاط الكاملة، تقوم الطريقة بحساب وتخزين $(A_k A_k^\top)^{-1}$ مسبقاً. هذا يحافظ على انخفاض استهلاك الذاكرة ($O(r^2)$) ويتجنب تكلفة $O(d^2)$ للإسقاطات الكاملة.
   • التوجه نحو المدخلات (Input-Oriented): تُشتق إشارة التدرج من المدخلات (أو الرموز الأولية) بدلاً من لوغاريتمات المخرجات. وهذا يجعل التكلفة مستقلة عن طول المتوالية المولدة، مما يحل مشكلة القابلية للتوسع في LLMs وVLMs.
   • الطبقات المستهدفة: يتم حساب الهدف فقط في الربع الأخير من كتل Transformer لتحقيق التوازن بين الكفاءة وتدفق التدرج.

3. المساهمات الرئيسية

1. ملاحظة مبتكرة: اكتشاف أن الضبط الدقيق لـ LoRA يضغط بشكل منهجي الفضاء الصفري لمصفوفة الإسقاط السفلي $A$، وأن هذا الضغط يرتبط بالأداء.
2. إشارة خالية من التسميات: تقديم NSC، وهي طريقة دمج تستخدم هندسة المحول الهيكلية (نسبة الفضاء الصفري) كإشارة تعلم، مما يلغي الحاجة إلى إنتروبيا المخرجات.
3. عدم الارتباط بنوع المهمة (Task Agnosticism): تعمل الطريقة بسلاسة عبر التصنيف، والانحدار، وتوليد المتواليات، متجاوزة القيود الجوهرية للمناهج القائمة على الإنتروبيا.
4. القابلية للتوسع: من خلال فصل تكلفة التحسين عن طول المتوالية، تعد NSC فعالة لنماذج LLM وVLMs ذات السياق الطويل حيث تفشل طرق الإنتروبيا.

4. النتائج التجريبية

قيم المؤلفون NSC على 20 مهمة رؤية غير متجانسة، و6 اختبارات NLI (على LLaMA-3)، و6 اختبارات VLM (على LLaVA-1.5).

• الرؤية غير المتجانسة (20 مهمة):
  • حققت NSC متوسط درجة معيارية (Normalized Score) قدره 92.0%، متفوقة بشكل كبير على النماذج المرجعية مثل Task Arithmetic (~77%) وTIES وAdaMerging.
  • والأهم من ذلك، حافظت NSC على أداء متوازن عبر مهام الانحدار (العمق، المتجهات العمودية) ومهام التصنيف، بينما انهارت الطرق الخالية من التدرج في مهام الانحدار (مثل انخفاضها إلى ~1-2% في التجزئة الدلالية).
• النماذج اللغوية الكبيرة (LLM - اختبارات NLI):
  • حققت NSC دقة متوسطة معيارية بلغت 92.3%، متفوقة على AdaMerging (89.6%) وغيرها من النماذج المرجعية.
  • أظهرت متانة في الحفاظ على المعلومات الخاصة بالمهمة في مقياس نماذج بـ 8 مليارات معلمة (8B parameters).
• نماذج الرؤية واللغة (VLM):
  • تفوقت NSC على AdaMerging (Single Token) وطابقت أو تجاوزت قليلاً AdaMerging (Full Token) في الدقة.
  • الكفاءة: بينما تتطلب طريقة AdaMerging (Full Token) حوالي 7 أضعاف تحديثات التدرج بسبب طول المتوالية، تحقق NSC أداءً مماثلاً بتكلفة رمز واحد (Single Token)، مما يجعلها أكثر كفاءة بمراحل.
• التعميم (Generalization): في بروتوكولات (Seen-Unseen)، أظهرت NSC قدرة فائقة على الانتقال إلى مهام غير مرئية (87.1% في المهام غير المرئية) مقارنة بالنماذج المرجعية التي عانت من تغيرات التوزيع.

5. الأهمية والأثر

• سد الفجوة: تسد NSC فجوة حرجة في دمج النماذج من خلال تمكين دمج نماذج متنوعة (تصنيف + انحدار) دون الحاجة لبيانات مصنفة، وهو سيناريو فشلت فيه الطرق السابقة.
• تمكين الدمج واسع النطاق: من خلال إزالة الاعتماد على إنتروبيا المخرجات وطول المتوالية، تجعل NSC دمج النماذج ممكناً لنماذج LLM ذات السياق الطويل ونماذج VLM المعقدة، والتي يصعب دمجها بكفاءة حالياً.
• رؤية نظرية: تقدم هذه الدراسة منظوراً نظرياً جديداً لديناميكيات LoRA، بربط الضغط الهندسي للفضاء الصفري بفعالية التعلم.
• الفائدة العملية: الطريقة خفيفة حسابياً، لا تتطلب بيانات مصنفة، ومتوافقة مع مستودعات النماذج مفتوحة المصدر الحالية، مما يسهل إنشاء نماذج تأسيسية متعددة المهام ومتعددة الاستخدامات.

باختصار، يمثل دمج NSC تحولاً جذرياً من الإشراف القائم على المخرجات إلى الإشراف القائم على الهندسة في دمج النماذج، مما يوفر حلاً قوياً، وقابلاً للتوسع، وغير مرتبط بنوع المهمة لعصر النماذج التأسيسية.