ملخص تقني: الإفراط في التوصيف الاستراتيجي لضبط التكيف منخفض الرتبة لتعزيز القدرة على التعميم

بيان المشكلة

أصبح تكييف النماذج اللغوية الكبيرة (LLMs) مع المهام اللاحقة عبر الضبط الدقيق الكامل أمراً غير عملي بشكل متزايد بسبب المتطلبات الحسابية والذاكرة الباهظة. وبينما تعمل طرق الضبط الدقيق الفعال للمعلمات (PEFT)، ولا سيما "تكييف الرتبة المنخفضة" (LoRA)، على تخفيف هذه المشكلات من خلال قصر التحديثات على مجموعة مدمجة من المعلمات القابلة للتدريب، إلا أن هذا الاختزال الشديد غالباً ما يضعف القدرة على التعميم. وتحديداً، يعاني LoRA في التعميم بفعالية عبر المهام والمجالات غير المتجانسة مقارنة بالضبط الدقيق الكامل. يكمن التوتر الجوهري في المقايضة بين كفاءة المعلمات وقدرة التكيف: إذ إن تقليل المعلمات القابلة للتدريب بشكل مفرط يحد من قدرة النموذج على تعلم تمثيلات معقدة خاصة بالمهمة. علاوة على ذلك، فإن الإفراط في التوصيف بشكل عشوائي لجميع المصفوفات يعد فائضاً حسابياً غير ضروري، حيث لا تستفيد جميع مصفوفات الأوزان بالتساوي من السعة المضافة.

المنهجية: LoRA-Over

يقترح المؤلفون LoRA-Over، وهو إطار عمل مصمم لحل المقايضة بين الكفاءة والتعميم من خلال الإفراط في التوصيف استراتيجياً للمهايئات منخفضة الرتبة أثناء التدريب وطيّها (collapsing) مرة أخرى إلى بنية قياسية أثناء الاستدلال. تتكون المنهجية من ثلاثة مكونات رئيسية:

1. تفكيك مؤثر حاصل ضرب المصفوفة (MPO)

بدلاً من ضرب المصفوفات القياسي، يستخدم LoRA-Over تقنية MPO، وهي تقنية تفكيك شبكة الموتر (tensor network decomposition) مستمدة من فيزياء الأجسام المتعددة الكمومية، لتوسيع مساحة المعلمات.

• الآلية: يتم تفكيك مصفوفة معلمات منخفضة الرتبة $W \in \mathbb{R}^{I \times J}$ إلى حاصل ضرب تسلسلي لـ $m$ من الموترات المحلية $\{T^{(k)}\}_{k=1}^m$.
• الإفراط في التوصيف: أثناء التدريب، يستخدم النموذج هذه الموترات المفككة، مما يزيد فعلياً من عدد المعلمات القابلة للتدريب ويوسع مشهد التحسين (فضاء الفرضيات).
• الطي (Collapse): بعد تقارب التدريب، يتم ضغط الموترات تسلسلياً لإعادة بناء بنية المصفوفة الأصلية منخفضة الرتبة. وهذا يضمن أن تكلفة الاستدلال وزمن التأخير يظلان متطابقين مع vanilla LoRA، مع خطأ إعادة بناء ضئيل للغاية.

2. الاختيار الاستراتيجي للمصفوفات

إدراكاً بأن الإفراط في التوصيف العشوائي مكلف حسابياً وقد يكون غير ضروري، يستخدم LoRA-Over استراتيجيتين متمايزتين لتحديد وتوسيع المصفوفات منخفضة الرتبة الأكثر أهمية فقط:

• الاستراتيجية المحددة مسبقاً: قبل الضبط الدقيق، يتم حساب درجات الأهمية لجميع المصفوفات المرشحة بناءً على الاضطراب في خسارة التدريب ($L_W - L_{W=0}$) في حال تمت إزالة مصفوفة جراحياً. ويتم اختيار أفضل-$N$ من المصفوفات في كل مجموعة وحدة لعملية تفكيك MPO.
• استراتيجية وقت التشغيل: أثناء الضبط الدقيق، يتم تحديث درجات الأهمية ديناميكياً باستخدام التدرجات المطلقة للمعلمات ($|\frac{\partial L}{\partial W} W|$). وهذا يسمح للنظام بتحديد وتوسيع المصفوفات الأكثر حرجاً باستمرار مع تطور مشهد التحسين.

3. سير العمل

يتضمن سير العمل اختيار مصفوفات محددة منخفضة الرتبة (مثل Q، K، V، O، أو وحدات FFN)، وتطبيق تفكيك MPO لزيادة رتبتها الفعلية وعدد معلماتها أثناء مرحلة التدريب، ثم طيها مرة أخرى في بنية $A \times B$ القياسية من أجل النشر.

المساهمات الرئيسية

1. إطار عمل LoRA-Over: تقديم إطار عمل جديد لـ PEFT يستفيد من الإفراط في التوصيف المهيكل عبر تفكيك MPO لتعزيز التعميم دون زيادة تكاليف الاستدلال.
2. آليات الاختيار المزدوجة: اقتراح استراتيجيات (محددة مسبقاً تعتمد على حساسية الخسارة) و(وقت التشغيل تعتمد على تغير التدرج) لتطبيق الإفراط في التوصيف بشكل انتقائي على المصفوفات الحرجة، مما يحسن المقايضة بين مكاسب الأداء والأعباء الحسابية.
3. التحقق النظري والتجريبي: إثبات أن الإفراط في التوصيف، عندما يتم تصميمه ليتلاشى عند الاستدلال، يعد وسيلة فعالة لتحسين تعميم PEFT، مما يسد الفجوة في الأداء بين LoRA والضبط الدقيق الكامل.

النتائج التجريبية

قيم المؤلفون LoRA-Over على نماذج T5-Base (اختبار GLUE)، وLLaMA 2-7B، وLLaMA 3.1-8B عبر مهام متنوعة تشمل فهم اللغة، وتوليد الحوار، والاستدلال الحسابي، وتوليد الكود.

• GLUE (T5-Base): حقق LoRA-Over-MPOR متوسط درجة 88.03، متفوقاً على vanilla LoRA (82.08) بنسبة 5.95%، ومتفوقاً على متغيرات LoRA الأخرى مثل LoRA+ (84.95) وPiSSA (84.71).
• LLaMA 2-7B:
  • MT-Bench: سجل 5.92 (مقابل 5.61 لـ LoRA).
  • GSM8K: سجل 54.21 (مقابل 42.08 لـ LoRA).
  • HumanEval: سجل 19.96 (مقابل 14.76 لـ LoRA).
  • تفوقت الطريقة باستمرار على vanilla LoRA ومعظم المتغيرات، بمتوسط تحسن قدره 5.88% عن LoRA.
• LLaMA 3.1-8B:
  • MT-Bench: سجل 6.26.
  • GSM8K: سجل 73.95 (متفوقاً على الضبط الدقيق الكامل البالغ 73.69).
  • HumanEval: سجل 44.84.
  • كان متوسط الأداء 41.68، متجاوزاً LoRA+ (40.72) وvanilla LoRA (39.01).
• الكفاءة: رغم زيادة وقت التدريب بسبب عمليات الموتر، تحافظ الطريقة على صفر من زمن التأخير في الاستدلال. ومن حيث الذاكرة، وُجد أن LoRA-Over-MPOR أكثر كفاءة في استخدام الذاكرة أثناء التدريب مقارنة بـ vanilla LoRA بسبب الطبيعة المدمجة لموترات MPO، مما قلل من ذروة استخدام ذاكرة GPU بشكل كبير (على سبيل المثال، 17.66 جيجابايت مقابل 42.74 جيجابايت لـ LLaMA 2-7B).

الأهمية والادعاءات

يزعم البحث أن LoRA-Over ينجح في تحدي الافتراض القائل بأن كفاءة المعلمات وقدرة التكيف متعارضان بطبيعتهما. فمن خلال تقديم "إفراط في التوصيف مبني على أسس" يعمل على إثراء فضاء التحسين أثناء التدريب ولكنه يتقلص إلى بنية منخفضة الرتبة قياسية عند الاستدلال، تحقق الطريقة تعميماً فائقاً.

يؤكد المؤلفون أن نهجهم:

• يحافظ على الكفاءة الهيكلية: لا يضيف أي متطلبات إضافية لزمن التأخير أو التخزين أثناء النشر.
• يعزز التعميم: يقلص بشكل كبير الفجوة في الأداء بين LoRA والضبط الدقيق الكامل عبر مختلف المجالات ونطاقات النماذج.
• يوفر المرونة: تسمح استراتيجية الاختيار في وقت التشغيل بالتكيف الديناميكي مع عملية التحسين، مما يؤدي غالباً إلى نتائج أفضل من الاستراتيجيات الثابتة المحددة مسبقاً.

يُقدم هذا العمل كخطوة مهمة للأمام في مجال PEFT، حيث يثبت أن التوسع المؤقت في فضاء الفرضيات هو استراتيجية قابلة للتطبيق وفعالة لتحسين متانة طرق التكيف منخفضة الرتبة.