ملخص تقني: الضبط الدقيق بالتعلم التعزيزي يعالج النسيان الناتج عن التوزيع خارج النطاق في الضبط الدقيق الخاضع للإشراف

بيان المشكلة

تتضمن خطة ما بعد التدريب القياسية للنماذج اللغوية الكبيرة (LLMs) عادةً الضبط الدقيق الخاضع للإشراف (SFT) يليه الضبط الدقيق بالتعلم التعزيزي (RLFT). وهناك فرضية سائدة في هذا المجال مفادها أن "SFT يحفظ، وRL يعمم"، مما يشير إلى أن SFT يؤدي إلى الإفراط في التخصيص (overfitting) على توزيع التدريب، بينما يعزز RL القدرة على التعميم خارج النطاق (OOD). ومع ذلك، لا تزال الديناميكيات الكامنة وراء تطور أداء الـ OOD خلال هاتين المرحلتين غير واضحة. وتحديداً، ليس من المفهوم جيداً ما إذا كان RL يخلق قدرات استدلال جديدة أم أنه مجرد استعادة للقدرات المفقودة، كما أن الآلية وراء تدهور أداء الـ OOD أثناء عملية SFT لم تُشخص بشكل كامل بعد.

المنهجية

يجري المؤلفون تحليلاً شاملاً لكل نقطة تفتيش (checkpoint-wise analysis) لعملية الضبط الدقيق ذات المرحلتين باستخدام نموذجين مفتوحي المصدر: LLaMA-3.2-11B-Vision و Qwen-2.5-7B.

1. الإعداد التجريبي:

   • المهام: تستخدم الدراسة بيئات استدلال محكومة لتحديد تقسيمات التوزيع داخل النطاق (ID) والتوزيع خارج النطاق (OOD) بشكل صريح: GeneralPoints (الاستدلال الحسابي مع قواعد بطاقات معدلة)، Navigation (الاستدلال المكاني مع تغيير الاتجاهات)، و Rank-Determinant Computation (حساب المحددات في الجبر الخطي).
   • البروتوكول: تخضع النماذج لضبط دقيق خاضع للإشراف (SFT) بكامل المعلمات، يليه تعلم تعزيزي (باستخدام PPO أو GRPO). ومن الأهمية بمكان أن المؤلفين لا يقارنون فقط بين نقطة تفتيش SFT النهائية ونقطة تفتيش RL النهائية؛ بل يقومون بتطبيق RL بدءاً من نقاط تفتيش SFT وسيطة مختلفة لرسم مسار تطور الأداء.
   • التقييم: يتم تتبع الأداء في كل من مهام ID و OOD عبر مسار التدريب بأكمله.

2. التحليل الآلي:

   • تحليل SVD: يقوم المؤلفون بإجراء تحليل القيم المفردة (SVD) على مصفوفات المعلمات الرئيسية (Self-Attention $W_Q, W_K, W_V$ وطبقات MLP). ويجرون دراسات استئصال (ablation studies) حيث يقومون باستعادة القيم المفردة أو المتجهات المفردة من نقاط تفتيش محددة (على سبيل المثال، استبدال المتجهات المفردة لنقطة تفتيش SFT متأخرة بمتجهات من نقطة تفتيش "ذروة" مبكرة) لعزل تأثير التغيرات الطيفية على الأداء.
   • تحليل توزيع الميزة (Advantage Distribution): يحللون توزيع تقديرات الميزة أثناء عمليات التدفق (rollouts) في RL لفهم الظروف التي ينجح فيها RL في استعادة أداء الـ OOD.

النتائج الرئيسية

1. ظاهرة "SFT ينسى، وRL يستعيد"

خلافاً للسردية البسيطة "SFT يحفظ، وRL يعمم"، يلاحظ المؤلفون ديناميكية أكثر دقة:

• ذروة SFT المبكرة: غالباً ما يصل أداء استدلال الـ OOD إلى ذروته في مرحلة مبكرة جداً من عملية SFT (يُرمز لها بـ $SFT_{MaxOOD}$).
• نسيان الـ OOD: مع استمرار SFT بعد هذه الذروة، يتدهور أداء الـ OOD بشكل كبير، حتى بينما يستمر أداء الـ ID (خسارة التدريب/الاختبار) في التحسن. يشير هذا إلى أن النموذج يتخصص بشكل مفرط في تنسيق أو قواعد بيانات التدريب، مما يؤدي فعلياً إلى "نسيان" قدرة الاستدلال العامة المطلوبة لمهام الـ OOD.
• RL كآلية استعادة: لا يتجاوز RL عادةً أفضل أداء OOD تم تحقيقه بواسطة SFT المبكر. بدلاً من ذلك، يعمل RL كـ آلية استعادة، حيث يستعيد قدرة الـ OOD التي فُقدت خلال المراحل المتأخرة من SFT. وتكون هذه الاستعادة فعالة فقط ضمن نطاق محدود من نقاط تفتيش SFT (على سبيل المثال، حيث تكون دقة ID بين 40% و 80% تقريباً).

2. الآلية: دوران المتجه المفرد (Singular Vector Rotation)

يكشف التحليل الطيفي عن السبب الجذري لهذه الديناميكيات:

• استقرار القيم المفردة: تظل القيم المفردة لمصفوفات المعلمات مستقرة إلى حد كبير طوال مرحلتي SFT و RL. فالضبط الدقيق لا يضخم أو يقلل بشكل كبير من حجم هذه القيم.
• دوران المتجهات المفردة: يرتبط تدهور واستعادة أداء الـ OOD بقوة بـ دوران المتجهات المفردة.
  • خلال مرحلة "النسيان" في SFT، تدور المتجهات المفردة بعيداً عن الاتجاهات المرتبطة بالمتانة تجاه الـ OOD.
  • خلال RL، تدور المتجهات المفردة عائدة، مما يستعيد جزئياً محاذاة الفضاء الجزئي (subspace alignment) الأصلية.
• دليل الاستئصال: إن استعادة المتجهات المفردة لنقطة تفتيش SFT مبكرة (عندما كان الـ OOD مرتفعاً) إلى نقطة تفتيش SFT متأخرة (عندما كان الـ OOD منخفضاً) يستعيد أداء الـ OOD، مما يؤكد أن دوران المتجهات هو المحرك الأساسي للنسيان.

3. قيود توزيع الميزة

تعتمد فعالية RL في استعادة أداء الـ OOD على توزيع إشارات الميزة. يكون RL أكثر فعالية عندما يكون توزيع الميزة متوازناً (انحراف منخفض، اعتلاج/entropy عالٍ، وانحراف KL منخفض عن التوزيع الطبيعي). إذا كانت نقطة تفتيش SFT متقدمة جداً (انهيار اعتلاج السياسة) أو مبكرة جداً (نقص في كفاءة المهمة)، تصبح إشارات الميزة منحرفة أو غير مستقرة، مما يمنع الاستعادة الفعالة.

الأهمية والادعاءات

يدعي البحث تقديم فهم أكثر دقة وآلية لديناميكيات ما بعد التدريب:

• إعادة صياغة النموذج: تتحدى الدراسة الرؤية الثنائية لـ SFT مقابل RL، وتقترح أن SFT يمكن أن ينسى و RL يمكن أن يستعيد. غالباً ما يوجد أفضل أداء OOD في نقاط تفتيش SFT المبكرة، وليس بالضرورة بعد RL.
• القيمة التشخيصية: تسلط الدراسة الضوء على أن طرق اكتشاف الإفراط في التخصيص التقليدية (مراقبة خسارة ID) تفشل في رصد نسيان الـ OOD، حيث قد تستمر خسارة ID في الانخفاض بينما ينخفض أداء الـ OOD.
• الآثار الخوارزمية: تشير النتائج إلى اتجاه محتمل لـ الضبط الدقيق المحمي (Protected SFT)، حيث يتم جعل التحديثات متعامدة مع اتجاهات الرتب العليا للمتجهات المفردة المرتبطة بقدرات الـ OOD لمنع دورانها ونسيانها اللاحق. وتظهر التجارب الأولية لهذا النهج نتائج واعدة في الحفاظ على دقة الـ OOD مع الحفاظ على أداء الـ ID.
• القدرة على التعميم: لوحظ نمط "النسيان والاستعادة" عبر نماذج مختلفة (LLaMA, Qwen)، ومهام استدلال مختلفة، وخوارزميات RL مختلفة (PPO, GRPO, DAPO)، مما يشير إلى أنها خاصية أساسية لعملية التدريب ذات المرحلتين.

في الختام، يرى المؤلفون أن RL ليس مولداً عالمياً لقدرات استدلال جديدة، بل هو أداة قوية للتخفيف من نسيان الـ OOD الناجم عن SFT المطول، بشرط أن يبدأ من نقطة تفتيش ذات توزيع ميزة متوازن.