ملخص تقني: Hybrid-LoRA

بيان المشكلة

تعد مرحلة ما بعد التدريب (Post-training) للنماذج اللغوية الكبيرة (LLMs) أمراً بالغ الأهمية لتكييفها مع سلوكيات معقدة في المهام النهائية مثل اتباع التعليمات، ومواءمة التفضيلات، والاستنتاج متعدد الخطوات. وبينما أثبت التعلم المعزز بالمكافآت القابلة للتحقق (RLVR)، لا سيما من خلال الخوارزميات الخالية من الناقد (critic-free) مثل تحسين السياسة النسبي للمجموعات (GRPO) وتحسين تسلسل المجموعات (GSPO)، فاعلية كبيرة في مهام الاستنتاج، إلا أنه يعتمد تقليدياً على الضبط الدقيق الكامل (Full Fine-Tuning - FFT). يقوم الـ FFT بتحديث جميع معاملات النموذج، مما يتسبب في تكاليف باهظة لذاكرة وحدة معالجة الرسومات (GPU) ونفقات تدريب عالية.

في المقابل، تساهم طرق الضبط الدقيق الفعال للمعلمات (PEFT) مثل التكيف منخفض الرتبة (LoRA) في تقليل التكاليف الحسابية بشكل كبير. ومع ذلك، في سيناريوهات ما بعد التدريب المعقدة لمهام الاستنتاج، غالباً ما تعاني LoRA من فجوة أداء ملحوحة مقارنة بـ FFT. تحاول المحاولات الحالية لتحسين LoRA، مثل AdaLoRA وAutoLoRA، إعادة تخصيص ميزانية الرتبة المحدودة ديناميكياً داخل مساحة التكيف منخفض الرتبة. لكن هذه الطرق تفشل في معالجة القيد الجوهري المتمثل في أن بعض وحدات الـ Transformer قد تتطلب ببساطة تحديثات كاملة الرتبة لاستيعاب السلوكيات الضرखीصة الخاصة بالمهمة، وهو قيد لا تستطيع عملية التكيف منخفض الرتبة البحتة تجاوزه.

المنهجية: إطار عمل Hybrid-LoRA

يقترح المؤلفون Hybrid-LoRA، وهو إطار عمل هجين لما بعد التدريب يجسّر الفجوة بين FFT وLoRA عبر تطبيق الضبط الدقيق الكامل بشكل انتقائي على وحدات محددة مع تكييف بقية الوحدات باستخدام LoRA. يعمل هذا الإطار تحت ميزانية ثابتة للمعلمات ويتكون من مرحلتين متمايزتين:

1. الصياغة

الهدف هو تقسيم مجموعة كافة الوحدات الخطية المرشحة $\mathcal{U}$ (بما في ذلك إسقاطات الاستعلام (query)، والمفتاح (key)، والقيمة (value)، والمخرجات (output)، وإسقاطات الشبكة العصبية المغذية (FFN) عبر جميع الطبقات) إلى مجموعتين منفصلتين: $S_{fft}$ (الوحدات المخصصة للضبط الدقيق الكامل) و $S_{lora}$ (الوحدات المخصصة لـ LoRA). يجب أن تحقق هذه القسمة قيداً بحيث لا يتجاوز إجمالي المعلمات القابلة للتدريب في $S_{fft}$ نسبة ميزانية محددة مسبقاً $R_{fft}$ (على سبيل المثال، 10%).

2. عملية التدريب ذات المرحلتين

• المرحلة الأولى: الاستقصاء والتقييم (Probing and Scoring):

  • يتم إرفاق محول (adapter) من نوع LoRA بجميع الوحدات الخطية المرشحة.
  • تُجرى مرحلة تدريب تمهيدية قصيرة (warm-up).
  • حساب درجة Hybrid-LoRA: يقدم المؤلفون مقياساً مبتكراً لتقدير مدى ملاءمة كل وحدة للتكيف منخفض الرتبة. يعتمد هذا المقياس على حساسية الأوزان المعتمدة على التدرج من الدرجة الأولى.
    • يتم تقسيم مجموعة التحقق إلى دفعات صغيرة (mini-batches). لكل دفعة، يتم تقسيم الوحدات المرشحة عشوائياً إلى حاويتين متكاملتين ($U_A$ و $U_B$).
    • يتم إجراء ممرين عكسيين مقنعين (masked backward passes): أحدهما يعطل $U_A$ والآخر يعطل $U_B$.
    • يتم حساب التدرج بالنسبة لمعاملات نمط SVD القطرية ($e_{l,m}$) لكل وحدة. وبما أن الوحدة تكون نشطة في مسار واحد فقط من المسارين، فإن تدرجها يعكس مساهمتها في سياق مشترك مأخوذ بالعينة.
    • تُحسب درجة الحساسية $s^{(t)}_{l,m}$ كمعيار $L_1$ لضرب العناصر في بعضها البعض بين المعاملات وتدرجاتها ($e_{l,m} \odot g^{(t)}_{l,m}$).
    • الدرجة الهجينة (Hybrid-Score) النهائية $H(l, m)$ هي حاصل ضرب المتوسط ($\mu$) والانحراف المعياري ($\sigma$) لدرجات الحساسية هذه عبر جميع دفعات التحقق.
    • التفسير: تشير الدرجة العالية إلى أن فرع LoRA له تأثير قوي ومتسق على سلوك التحقق، مما يعني أن LoRA كافية. أما الدرجة المنخفضة فتعني حساسية ضعيفة، مما يشير إلى أن الوحدة قد تتطلب تحديثات كاملة المعلمات.

• المرحلة الثانية: التدريب النهائي:

  • يتم إعادة تهيئة النموذج من نقطة الأصل للنموذج المدرب مسبقاً.
  • يتم تعيين الوحدات بناءً على الدرجة الهجينة (Hybrid-Score): الوحدات ذات الدرجات الأدنى (حتى حد الميزانية) تُخصص لـ $S_{fft}$، والوحدات المتبقية تُخصص لـ $S_{lora}$.
  • بعد ذلك، يتم تحسين النموذج باستخدام أهداف RLVR القياسية (GRPO أو GSPO) مع هذا النوع من البارامتريّة المختلطة.

المساهمات الرئيسية

1. إطار عمل Hybrid-LoRA: استراتيجية مبتكرة لما بعد التدريب تكسر الخيار الثنائي بين FFT وLoRA عبر تخصيص طرق التكيف بشكل غير متجانس لمختلف وحدات الـ Transformer بناءً على احتياجاتها الخاصة.
2. درجة Hybrid-LoRA: مقياس تقييم فعال على مستوى الوحدة مشتق من حساسية الأوزان المعتمدة على التدرج من الدرجة الأولى. وعلى عكس الطرق السابقة التي تعتمد كلياً على معاملات البنية المتعلمة أو اضطراب خسارة التحقق (وهي عمليات مكلفة حسابياً)، فإن هذه الدرجة تقرب مساهمة الوحدة بكفاءة من خلال تقنيات الحجب العشوائي (random bucket masking) وتحليل التدرج.
3. التحقق التجريبي: تقييم شامل عبر ستة معايير معقدة للاستنتاج (Math-500, AIME-24/25, MMLU-Pro, GPQA, LeetCode) وعبر أحجام نماذج متعددة (1.5B, 3B, 7B).

النتائج التجريبية

قام المؤلفون بتقييم Hybrid-LoRA مقابل أحدث النماذج المرجعية (baselines)، بما في ذلك FFT، وLoRA القياسي، وAdaLoRA، وAutoLoRA، وLoRA-Drop، ونموذج هجين استدلالي (LoRA-FFN).

• الأداء مقابل FFT: في ظل ميزانية ضبط دقيق كامل بنسبة 10% (مع تكييف الـ 90% المتبقية عبر LoRA)، يقترب Hybrid-LoRA من أداء الضبط الدقيق الكامل.
• الأداء مقابل نماذج PEFT المرجعية: يتفوق Hybrid-LoRA باستمرار على أربعة من أحدث نماذج PEFT.
  • يحقق تحسينات تصل إلى 5.65% بمتوسط تحسن قدره 4.36% مقارنة بأفضل نموذج مرجعي عبر جميع أحجام النماذج والمعايير.
  • في نموذج Qwen-2.5 1.5B، قلل Hybrid-LoRA عدد المعلمات القابلة للضبط من 1544 مليون (في FFT) إلى حوالي 105 مليون مع الحفاظ على أداء مماثل أو متفوق.
• توزيع الوحدات: يكشف تحليل التخصيص النهائي أن الوحدات المخصصة لـ FFT (ذات الدرجة الهجينة المنخفضة) تتركز في كتل الانتباه (attention blocks) في الطبقات المتأخرة (تحديداً إسقاطات الاستعلام، والمفتاح، والقيمة، والمخرجات). وعلى العكس من ذلك، يتم التعامل مع وحدات الشبكة العصبية المغذية (FFN) بشكل أساسي بواسطة LoRA، مما يشير إلى أن آليات الانتباه في الطبقات العميقة أكثر حساسية لاستراتيجية التكيف في مهام الاستنتاج المعقدة.

الأهمية والادعاءات

يزعم البحث أن Hybrid-LoRA يجسّر بفعالية فجوة الأداء بين الضبط الدقيق الكامل وطرق التكيف الفعال للمعلمات لمهام الاستنتاج المعقدة. ويرى المؤلفون أن مفتاح هذا النجاح ليس مجرد زيادة عدد المعلمات القابلة للتدريب في طريقة PEFT، بل في كيفية تخصيص تلك المعلمات. ومن خلال تحديد الوحدات التي لا تتناسب جيداً مع التكيف منخفض الرتبة وتخصيصها للضبط الدقيق الكامل، يحقق Hybrid-LoRA أداءً يقارب FFT بتكاليف حسابية أقل بكثير.

يُظهر العمل أن النهج الهجين، الموجه بمقياس يعتمد على الحساسية، يسمح بتدريب فعال لما بعد التدريب لنماذج LLM على أجهزة محدودة الموارد دون التضحية بقدرات الاستنتاج التي تقتصر عادةً على الضبط الدقيق الكامل.

القيود

يقر المؤلفون بوجود قيدين رئيسيين:

1. حجم النموذج: بسبب القيود الحسابية، اقتصرت التجارب على نماذج حتى حجم 7B فقط.
2. هيكل خط الإنتاج (Pipeline): يتبع المنهج الحالي عملية مكونة من مرحلتين (الاستقصاء ثم التدريب). ويقترح المؤلفون أن العمل المستقبلي يمكن أن يستكشف استراتيجيات تخصيص ديناميكية أو شاملة (end-to-end) لتحسين العملية بشكل أكبر.