LoRA-GA$^2$: Low Rank Adaptation with Multi-step Gradient Adaptive Alignment

ملخص تقني لـ LoRA-GA2: التكيف ذو الرتبة المنخفضة مع المحاذاة التكيفية متعددة الخطوات

1. بيان المشكلة

يُعد التكيف ذو الرتبة المنخفضة (LoRA) طريقة مهيمنة في الضبط الدقيق الفعال للمعلمات (PEFT)، حيث يقلل من عبء الذاكرة عبر تفكيك تحديثات الأوزان إلى مصفوفات ذات رتب منخفضة. ومع ذلك، لا تزال هناك فجوة أداء مستمرة بين LoRA والضبط الدقيق الكامل (Full Fine-tuning). تحاول المنهجيات الحديثة الموجهة بالتدرج سد هذه الفجوة من خلال محاذاة تحديثات LoRA مع الاتجاهات الرئيسية للضبط الدقيق الكامل باستخدام تقريبات التدرج ذات الخطوة الواحدة للأوزان مسبقة التدريب.

حدد المؤلفون قصورين حرجين في المنهجيات الحالية:

1. نطاق التدرج القاصر (Myopic Gradient Scope): تفشل طرق الخطوة الواحدة (مثل LoRA-GA) في التقاط ديناميكيات التحسين المعقدة لمسار الضبط الدقيق الفعلي. فهي تعتمد على تدرجات يتم حسابها عند نقطة التحقق الأولية، والتي قد لا تمثل اتجاهات التحديث المستمرة المطلوبة للتكيف الفعال.
2. مقاييس تخصيص الرتب غير المثالية: تعتمد الطرق الحالية على مقاييس أحادية الجانب لتخصيص الرتب. تستخدم بعضها الحساسية فقط (مثل GoRA)، بينما تستخدم أخرى الرتبة الفعالة فقط (مثل RaLoRA). وتجادل الورقة بأن الاعتماد على الحساسية وحدها يتجاهل البنية الهندسية للتدرجات (فقد تكون الطبقة حساسة ولكن تدرجها مركز وذو رتبة منخفضة)، بينما الاعتماد على الرتبة الفعالة وحدها يتجاهل أهمية المهمة (فقد تمتلك الطبقة طيف تدرج مشتت ولكن ذات صلة منخفضة بالخسارة النهائية). ويؤدي الاعتماد على أي منهما بشكل منعزل إلى توزيع غير فعال للمعلمات.

علاوة على على ذلك، فإن طرق المحاذاة متعددة الخطوات الحالية (مثل LoRA-Pro) التي تحاول تقليل التباينات في كل خطوة، تتسبب في تكاليف حوسبية باهظة، بما في ذلك زيادة ذاكرة وحدة معالجة الرسومات (GPU) لحالات المُحسن (Optimizer States) وإطالة أوقات التدريب، مما يجعلها غير متوافقة مع مسارات العمل القياسية.

2. المنهجية: LoRA-GA2

يقترح LoRA-GA2 خوارزمية موحدة تستفيد من معلومات التدرج متعددة الخطوات لمعالجة تخصيص الرتب والتهيئة في آن واحد دون تحمل عبء ذاكرة دائم أو تكاليف زمنية كبيرة. تتكون الطريقة من أربع مراحل رئيسية:

أ. مسبار التدرج متعدد الخطوات خفيف الوزن (Lightweight Multi-Step Gradient Probe)
بدلاً من تعديل المُحسن أثناء التدريب أو تخزين حالات مُحسن كاملة، يستخدم LoRA-GA2 مرحلة "استشراف" مؤقتة باستخدام AdaLomo، وهو مُحسن كفء في استهلاك الذاكرة.

• العملية: يقوم النموذج بـ $N$ من خطوات التدريب بدءاً من الأوزان مسبقة التدريب $W_0$. خلال هذه المرحلة، يتم تجميع التدرجات على وحدة المعالجة المركزية (CPU) بينما يتم تحديث الأوزان على طول المسار.
• الاستعادة: بعد التجميع، يتم استعادة الأوزان مسبقة التدريب إلى حالتها الأصلية. يتم الاحتفاظ بإشارة التدرج المتراكمة ($G_{avg}$) حصرياً للتحليل والتهيئة.
• الفائدة: يلتقط هذا النهج ديناميكيات مسار التحسين الحقيقي دون تغيير حالة النموذج النهائي أو طلب ذاكرة إضافية لحالات المُحسن أثناء حلقة التدريب الرئيسية.

ب. تخصيص الرتب المدرك للطيف (Spectrum-Aware Rank Allocation)
تقدم الطة مقياساً مزدوجاً جديداً لتخصيص الرتب عبر الطبقات، يجمع بين خاصيتين متعامدتين:

1. الحساسية ($I_{sens}$): تقيس مقدار تفاعل التدرج مع الأوزان مسبقة التدريب، مما يشير إلى مدى أهمية الطبقة للخسارة النهائية للمهمة.
2. الرتبة الفعالة ($I_{erank}$): مشتقة من طيف القيم المفردة للتدرج المتراكم، وتقيس الأبعاد الجوهرية (كم عدد الاتجاهات المطلوبة لتمثيل التحديث).

يتم تعريف درجة التخصيص $S_l$ للطبقة $l$ كالتالي:
$$S_l = \bar{I}_{sens} \cdot (\bar{I}_{erank})^\lambda$$
حيث يمثل $\bar{I}$ عملية التطبيع (min-max normalization) عبر الطبقات، و $\lambda$ هو معامل فائق (hyperparameter). يضمن هذا النهج الضربِي تخصيص رتبة عالية فقط للطبقات التي تكون مهمة (حساسية عالية) ومعقدة (رتبة فعالة عالية) في آن واحد، مما يمنع الهدر في الطبقات التي تكون إما غير مهمة أو ذات بنية تدرج بسيطة ومنخفضة الرتبة.

ج. التهيئة القائمة على تحليل القيم المفردة (SVD-Based Initialization)
لمحاذاة المُهايئ (Adapter) الأولي مع اتجاهات التحديث المهيمنة، يقوم LoRA-GA2 بإجراء تحليل قيم مفردة مبتور (Truncated SVD) على التدرج المتراكم السالب ($D_{avg} = -G_{avg}$).

• يتم تهيئة العوامل منخفضة الرتبة $A_0$ و $B_0$ باستخدام المتجهات المفردة والقيم المفردة لـ $D_{avg}$.
• يتم تطبيق عامل قياس $\gamma$ للتحكم في حجم التهيئة، مما يضمن أن يكون التحديث الأولي بمثابة "بداية دافئة" (warm start) محكومة ومحاذية لاتجاه الهبوط دون التسبب في عدم الاستقرار.

د. التدريب القياسي (Standard Training)
بعد مرحلة المسبار والتهيئة، يستمر تدريب LoRA القياسي باستخدام مُحسنات شائعة (مثل Adam)، باستخدام الرتب المخصصة والأوزان المهيأة.

3. المساهمات الرئيسية

1. تحديد أوجه القصور: تحدد الورقة بشكل منهجي النقص المعلوماتي لتدرجات الخطوة الواحدة والتكاليف الحوسبية التي تمنع المحاذاة المستمرة متعددة الخطوات. كما تكشف عن الثغرات النظرية لاستخدام الحساسية أو الرتبة الفعالة بشكل منفصل لتخصيص الرتب.
2. خوارزمية LoRA-GA2: يقدم المؤلفون طريقة مسبار تدرج متعددة الخطوات خفيفة الوزن تستخرج معلومات مسار مستقرة دون تعديلات دائمة على الأوزان. وهذا يتيح أداءً تجريبياً فائقاً بتكلفة زمنية ضئيلة وصفر عبء إضافي على الذاكرة.
3. تخصيص الرتب بالإشارة المزدوجة: استراتيجية جديدة لتخصيص الرتب تعتمد على الأهمية، تجمع بشكل تآزري بين الحساسية والرتبة الفعالة، مع احترام كل من مقدار وهيكل التدرج الهندسي.
4. التقييم الشامل: تم تقييم الطريقة عبر وسائط متنوعة (اللغات الطبيعية، الاستدلال الرياضي/البرمجي، الرؤية الحاسوبية) وببنى نماذج مختلفة (T5, Llama-3.1, CLIP)، مما أظهر تفوقاً مستمراً على المتغيرات الرائدة.

4. النتائج التجريبية

تثبت التجارينات المكثفة أن LoRA-GA2 يتفوق باستمرار على متغيرات LoRA الموجودة مع الحفاظ على كفاءة LoRA التقليدي:

• اختبار GLUE (نموذج T5-Base): حقق LoRA-GA2 متوسط درجة قدره 88.62، متفوقاً على خط الأساس الرائد GoRA بمقدار 0.66 نقطة وعلى الضبط الدقيق الكامل بمقدار 0.71 نقطة. لوحظت مكاسب ملحوية في CoLA (82.39)، حيث تحسن عن LoRA-GA بمقدار 1.82 نقطة.
• الاستدلال والبرمجة (Llama-3.1-8B-Base): في اختبار GSM8K، يتفوق LoRA-GA2 على GoRA بمقدار 1.03 نقطة (73.94 مقابل 72.91) بل ويتجاوز الضبط الدقيق الكامل بمقدار 0.25 نقطة. وفي HumanEval، تفوق على GoRA بمقدار 0.87 نقطة (49.85 مقابل 48.98)، مما قلص الفجوة مع الضبط الدقيق الكامل بشكل كبير.
• الرؤية الحاسوبية (CLIP-ViT-B/16): في سبعة مهام لتصنيف الصور، حقق LoRA-GA2 متوسط 91.16، متفوقاً على RaLoRA بمقدار 0.63 نقطة وحقق أفضل النتائج في ست من أصل سبع مجموعات بيانات.
• الكفاءة: يستغرق مسبار التدرج متعدد الخطوات لنموذج Llama-3.1-8B-Base حوالي 6 دقائق مع ذروة ذاكرة تبلغ 108,019 ميجابايت (~105.5 جيجابايت)، بينما يستغرق التدريب اللاحق حوالي 30 دقيقة. لا يضيف المسبار أي عبء ذاكرة دائم أو تكلفة عند الاستنتاج.

تؤكد دراسات الاستئصال (Ablation studies) أن كلاً من مسبار التدرج متعدد الخطوات وتخصيص الرتب بالإشارة المزدوجة ضروريان؛ حيث يؤدي حذف أي منهما إلى انخفاض كبير في الأداء.

5. الأهمية والادعاءات

تدعي الورقة أن LoRA-GA2 يمثل خطوة هامة نحو سد الفجوة في الأداء بين LoRA والضبط الدقيق الكامل. فمن خلال تجاوز الرؤية "القاصرة" لتدرجات الخطوة الواحدة وتبني منظور أكثر شمولية يعتمد على المسار، تلتقط الطريقة الديناميكيات الحقيقية للضبط الدقيق.

يؤكد المؤلفون أن نهجهم عملي وقابل للتوسع:

• لا يتطلب أي ذاكرة إضافية لوحدة معالجة الرسومات لحالات المُحسن خلال مرحلة التدريب الرئيسية.
• متوافق مع أطر التدريب الموزع والمُحسنات القياسية.
• يوفر طريقة مبدئية لتخصيص المعلمات بناءً على صلة المهمة وتعقيد التدرج، بدلاً من القواعد التجريبية.

تشير الدراسة إلى أن التدرج الأولي غالباً ما يكون وسيطاً غير كافٍ للمرحلة الأولى من التدريب، خاصة في المهام المعقدة مثل الاستدلال الرياضي وتوليد الكود، وأن محاذاة المُهايئات مع اتجاهات التدرج متعددة الخطوات هي استراتيجية قوية لاستعادة أداء الضبط الدقيق الكامل.