Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment

إليك ملخص تقني مفصل لورقة البحث بعنوان "Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment" (GOAT).

1. بيان المشكلة

بينما تُعد التكيف منخفض الرتبة (LoRA) المعيار القياسي للضبط الدقيق الفعال للمعلمات (PEFT) للنماذج اللغوية الكبيرة (LLMs)، إلا أنها غالبًا ما يكون أداؤها أقل من الضبط الدقيق الكامل (Full FT). حدد المؤلفون عقبتين رئيسيتين تحدان من أداء LoRA، لا سيما عند دمجها مع بنيات خليط الخبراء (Mixture-of-Experts - MoE):

1. التهيئة غير المثالية (Suboptimal Initialization):
   • تستخدم LoRA القياسية تهيئة عشوائية أو صفرية، مما يوفر احتمالات مسبقة غير معلوماتية.
   • تعتمد الطرق الحالية القائمة على تحليل القيم المفردة (SVD) (مثل PiSSA و MiLoRA) على مجموعات فرعية ثابتة من الأوزان سابقة التدريب (إما القيم المفردة الرئيسية فقط أو القيم المفردة الصغرى فقط).
   • المشكلة: تتطلب المهام والمدخلات المختلفة أجزاءً مختلفة من المعرفة سابقة التدريب. الفشل في الاختيار الثابت يمنع التقاط النطاق الكامل للمعلومات ذات الصلة بشكل تكيفي.
2. عدم توافق التحسين (Unaligned Optimization):
   • يخلق القيد منخفض الرتبة فجوة كبيرة في ديناميكيات التدرج مقارنة بالضبط الدقيق الكامل (Full FT)، مما يؤدي إلى بطء التقارب وضعف الأداء.
   • في سيناريوهات LoRA MoE، يتم تقسيم الرتبة الإجمالية بين الخبراء، مما يؤدي إلى رتب فردية أقل ويؤدي بدوره إلى تفاقم فجوة التحسين.
   • المشكلة: تفشل الطرق الحالية في مواءمة مسار تحسين LoRA MoE مع Full FT MoE، خاصة عند استخدام تهيئة SVD، مما يؤدي إلى عدم محاذاة الأوزان وديناميكيات تدرج معقدة.

2. المنهجية: GOAT (Great LoRA Mixture-of-Experts)

يقترح المؤلفون إطار عمل GOAT، الذي يدمج MoE مهيكل بـ SVD مع توسيع نظري لسد الفجوة بين LoRA و Full FT.

أ. التهيئة الاحتمالية التكيفية (SVD-Structured MoE)

بدلاً من تجميد مجموعة فرعية ثابتة واحدة من القيم المفردة، يقوم GOAT بتفكيك مصفوفة الوزن سابقة التدريب $W_0$ إلى عدة كتل برتبة $r$ باستخدام تحليل القيم المفردة (SVD):
$$W_0 = \sum_{i=0}^{l} U_i \Sigma_i V_i^\top$$

• تهيئة الخبير: يتم تهيئة كل خبير في طبقة MoE بـ قطعة متميزة من تفكيك SVD (على سبيل المثال، يحصل الخبير 1 على الكتلة الأولى من القيم المفردة، والخبير 2 يحصل على الثانية، وهكذا).
• الاختيار التكيفي: يقوم موجه (Router) الـ MoE باختيار الخبراء الأكثر صلة ديناميكيًا (وبالتالي أكثر قطع القيم المفردة صلة) بناءً على المدخلات. يسمح هذا للنموذج بدمج المعرفة سابقة التدريب ذات الصلة بشكل تكيفي بدلاً من الاعتماد على احتمال مسبق ثابت.

ب. مواءمة التحسين النظرية (Theoretical Optimization Alignment)

لمعالجة فجوة الأداء، اشتق المؤلفون عامل توسيع نظري لمواءمة تدرجات LoRA MoE مع Full FT MoE.

• الوزن والتدرج المكافئ: قاموا بتعريف وزن مكافئ $\tilde{W}$ وتدرج مكافئ $\tilde{g}$ لـ LoRA. وقد أثبتوا أنه لمواءمة LoRA مع Full FT، يجب أن يتطابق الوزن المكافئ عند التهيئة مع الوزن سابقة التدريب، وأن تتطابق التدرجات المكافئة طوال عملية التحسين مع تدرجات Full FT.
• محاذاة الأوزان: لضمان أن $\tilde{W}_0 \approx W_0$ عند إضافة خبراء مهيئين بـ SVD، يتم طرح حد متبقٍ $W_{res}$ من الأوزان سابقة التدريب المجمدة.
  $$\tilde{W}_0 = W_0 - W_{res} + \sum w_i(x) s B_i A_i \approx W_0$$
  تم اشتقاق $W_{res}$ الأمثل في صيغة مغلقة بناءً على أوزان التوجيه المتوقعة.
• توسيع التدرج: اشتق المؤلفون عامل توسيع أمثل $s$ لضمان مطابقة حجم تدرجات LoRA لتدرجات Full FT.
  $$s = \sqrt{\frac{3n\eta}{r}}$$
  حيث $n$ هو بُعد المدخلات، و $r$ هي الرتبة، و $\eta$ هي نسبة معدل التعلم. يعوض هذا التوسيع نقص الرتبة في خبراء MoE، مما يعزز معايير التدرج وسرعة التقارب بشكل كبير.

3. المساهمات الرئيسية

1. التهيئة الاحتمالية التكيفية: إطار عمل SVD-structured MoE مبتكر يستبدل الاحتمالات الثابتة بآلية تكيفية حيث يختار الموجه قطعًا محددة من القيم المفردة ذات الصلة بالمدخلات.
2. مواءمة التحسين النظرية: اشتقاق دقيق للعلاقة بين LoRA MoE و Full FT MoE، مما نتج عنه استراتيجية محاذاة أوزان محددة ومخطط توسيع نظري ($s$) يغلق فجوة الأداء دون تغيير البنية.
3. أداء رائد (State-of-the-Art): تحقق الطريقة نتائج متفوقة عبر مهام متنوعة، مما يسد أو يتجاوز فجوة الأداء مع الضبط الدقيق الكامل (Full Fine-Tuning) مع الحفاظ على كفاءة PEEF.

4. النتائج التجريبية

قام المؤلفون بتقييم GOAT على 25 مجموعة بيانات عبر أربعة مجالات: تصنيف الصور (IC)، توليد اللغة الطبيعية (NLG)، الاستدلال المنطقي (CR)، وفهم اللغة الطبيعية (NLU).

• تصنيف الصور (ViT-B/32): حقق GOAT نسبة 99.07% من أداء Full FT. وقد تفوق على أفضل متغير لـ LoRA (وهو PiSSA) بنسبة 6.0% وعلى أفضل LoRA MoE (وهو HydraLoRA) بنسبة 2.4%.
• توليد اللغة الطبيعية (LLaMA-2-7B): أظهر GOAT أصغر فجوة مع Full FT، حيث تفوق على MoLoRA بمقدار 0.25 في MT-Bench، وبمقدار 6.30% في GSM8K، وبمقدار 3.14% في HumanEval.
• الاستدلال المنطقي: تجاوز GOAT أفضل طريقة LoRA فردية (KaSA) بنسبة 1.47% وأفضل LoRA MoE (HydraLoRA) بنسبة 1.98%.
• فهم اللغة الطبيعية (RoBERTa-large): تفوق GOAT على Full FT (89.76 مقابل 89.47) وقلص الفجوة مع Full FT MoE إلى 0.1% فقط.
• الكفاءة: يحافظ GOAT على عدد معلمات يبلغ حوالي 2.24% (لـ ViT) و 0.96% (لـ LLaMA) من Full FT، مع تكاليف تدريب وذاكرة مماثلة لطرق LoRA MoE الأخرى ولكنها أقل بكثير من Full FT MoE.

5. الأهمية

• سد الفجوة: يثبت GOAT أن الفجوة في الأداء بين الطرق الفعالة في المعلمات والضبط الدقيق الكامل يمكن تقليصها بالكامل تقريبًا من خلال تهيئة أفضل وتوسيع نظري، دون زيادة التكاليف الحسابية.
• الاستخدام الديناميكي للمعرفة: من خلال معاملة قطع القيم المفردة كـ "خبراء"، تسمح الطريقة للنماذج بالوصول ديناميكيًا إلى أجزاء مختلفة من المعرفة سابقة التدريب بناءً على تعقيد المدخلات، وهي قدرة تفتقر إليها طرق SVD الثابتة.
• القابلية للتوسع: تتميز الطريقة بقابلية عالية للتوسع عبر مختلف الرتب وإعدادات الخبراء، مما يثبت قوتها في كل من الإعدادات منخفضة الموارد (الرتب المنخفضة) والإعدادات عالية السعة.
• الأثر العملي: من خلال تقليل متطلبات الذاكرة والحوسبة مع مطابقة أداء Full FT، يجعل GOAT الضبط الدقيق المتقدم للنماذج الكبيرة متاحًا للباحثين والممارسين ذوي الموارد المحدودة، مما يعزز الابتكار في تطبيقات معالجة اللغات الطبيعية، والرؤية الحاسوبية، والتطبيقات متعددة الوسائط.

باختصار، يعيد GOAT تعريف LoRA MoE من خلال الجمع بين التهيئة التكيفية لـ SVD و التوسيع المشتق نظريًا، مما يقدم معيارًا جديدًا رائدًا (SOTA) للتكيف الفعال للنماذج الكبيرة.