Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

ملخص تقني: التغلب على النسيان الكارثي في التعلم المستمر البصري باستخدام الضبط الدقيق بالتعزيز

بيان المشكلة
بينما تشير الدراسات الحديثة إلى أن الضبط الدقيق بالتعزيز (RFT)، ولا سيما أساليب مثل تحسين السياسة النسبي للمجموعات (GRPO)، أكثر مرونة بطبيعتها تجاه النسيان الكارثي مقارنة بالضبط الدقيق الخاضع للإشراف (SFT) في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، إلا أن فعاليتها في إعدادات التعلم المستمر البصري (VCL) الصعبة تظل مشكلة مفتوحة. وتحديداً، في السيناريوهات التي لا تعتمد على إعادة العرض (rehearsal-free) مثل التعلم المتزايد للفئات (CIL) والتعلم المتزايد للنطاقات (DIL)، لا يزال الـ RFT القياسي يعاني من نسيان غير مهمل. وقد حدد المؤلفون عقبة محددة تسمى "الجمود تجاه الانحراف على مستوى المسار" (Trajectory-level Drift Agnosticism): فمن بين المسارات المرشحة التي تحقق مكافآت مهام متطابقة، يتباين تباعد كولباك-ليبلر (KL divergence) عن سياسة المهمة السابقة بشكل كبير. إن السلوك المدفوع بمكافأة المهمة فقط يفشل في التمييز بين هذه المسارات، مما يؤدي إلى تخصيص ائتماني (credit assignment) يحابي دون قصد الحلول ذات الانحراف العالي ويسرع فقدان المعرفة التاريخية.

المنهجية: تحسين السياسة المدرك للاحتفاظ (RaPO)
لمعالجة الجمود تجاه الانحراف على مستوى المسار، يقترح المؤلفون RaPO، وهو طريقة RFT بسيطة وفعالة تعمل على الحد من النسيان صراحةً من خلال تشكيل المكافأة على مستوى المسار. يتكون RaPO من مكونين أساسيين:

1. مكافأة الاحتفاظ (Retention Reward): يقوم هذا المكون بتحويل انحراف التوزيع على مستوى المسار إلى إشارة مكافأة مستمرة. بالنسبة لمسار $y_i$ يتم توليده بواسطة السياسة الحالية $\pi_t$، يتم قياس الانحراف كنسبة لوغاريتم الاحتمال الموزونة حسب الطول مقابل سياسة المرتكز (anchor policy) $\pi_{t-1}$ المجمدة (وهي سياسة المهمة السابقة).

   • يتم تعريف مقياس الانحراف كالتالي: $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$.
   • يتم رسم هذا الانحراف إلى مكافأة موجبة محدودة: $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$، حيث تؤدي الانحرافات الأقل إلى مكافأة أعلى.
   • تُصاغ المكافأة الإجمالية كـ $R_{total} = R_{task} + \lambda R_{ret}$. ومن الأهمية بمكان أن هذه المكافأة تُضاف قبل حساب الميزة النسبية للمجموعة. وهذا يضمن أنه من بين المسارات ذات أداء المهمة المتماثل، تتلقى تلك التي تظل أقرب إلى سياسة المرتكز (مما يحافظ على المعرفة السابقة) مزايا أعلى، مما يوجه السياسة نحو مناطق الانحراف المنخفض.

2. تطبيع الميزة عبر المهام (CTAN): لمواجهة عدم استقرار التحسين الناتج عن التحولات المفاجئة في توزيعات المكافأة عند حدود المهام، يستبدل RaPO الانحراف المعياري للمكافأة لكل دفعة (per-batch) بمتوسط متحرك أسي (EMA) مستمر $\hat{\sigma}$.

   • يتم تحديث $\hat{\sigma}$ عبر خطوات التحسين وحدود المهام ($\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$).
   • يتم حساب الميزة كـ $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$.
   • تمنع هذه الآلية مقياس الميزة من الانهيار أو الانفجار عند الانتقال بين المهام، مما يضمن تخصيص ائتمان مستقر طوال تدفق التعلم المستمر.

المساهمات الرئيسية

• التحديد التجريبي للجمود تجاه الانحراف: يقدم البحث أول تحليل منهجي يظهر أن GRPO التقليدي يعاني من الجمود تجاه الانحراف على مستوى المسار في VCL البصري، حيث تظهر مسارات ذات مكافآت متساوية درجات متفاوتة تماماً من الانحراف التوزيعي بالنسبة للمهام السابقة.
• إطار عمل RaPO: يقدم المؤلفون RaPO، الذي يدمج مكافأة الاحتفاظ وCTAN لمعاقبة المسارات عالية الانحراف وتثبيت مقاييس التحسين، على التوالي.
• التقييم الشامل: تم تقييم الطريقة عبر خمسة إعدادات متنوعة للتعلم المستمر البصري: تصنيف الصور المتزايد للفئات، تصنيف الصور المتزايد للنطاقات، اكتشاف الأشياء المتزايد للفئات، اكتشاف الأشياء المتزايد للنطاقات، وتصنيف الفيديو المتزايد للفئات.
• الاستكشاف المنهجي الأول: على حد علم المؤلفين، يعد هذا أول عمل يستكشف بشكل منهجي إمكانات RFT القائم على المُحقِّق (verifier-based) للتعلم المستمر البصري.

النتائج التجريبية
أظهرت التجارب المكثفة على مجموعات بيانات تشمل ImageNet-R، وImageNet-A، وTinyImageNet، وCUB-200، وCOCO 2017، وUCF-101، وKinetics-200 أن RaPO يتفوق باستمرار على النماذج المرجعية القوية (بما في ذلك SFT، وEWC، وLwF، وGRPO القياسي).

• تصنيف الصور: في ImageNet-R (10 مهام)، حقق RaPO دقة بلغت 85.92% مع نسيان بنسبة 4.69% فقط، متفوقاً بشكل كبير على GRPO (دقة 74.67%، ونسيان 20.02%).
• اكتشاف الأشياء: في COCO (5 مهام)، حسن RaPO دقة الصندوق (box AP) من 14.64% إلى 19.31% مع تقليل النسيان من 6.67% إلى 1.39%.
• التعميم: أظهر RaPO أداءً قوياً عبر تصنيف الفيديو وإعدادات زيادة النطاقات، محافظاً على قدرة عالية على التكيف مع المهام الجديدة مع الحفاظ على المعرفة التاريخية.
• دراسات الاستئصال (Ablation Studies): أكد المؤلفون أن كلاً من مكافأة الاحتفاظ وCTAN مكملان لبعضهما البعض؛ حيث يؤدي إزالة أي منهما إلى تدهور الأداء. كما أظهرت الطريقة متانة تجاه خيارات المعلمات الفائقة (hyperparameters) وفعالية عند تطبيقها على خوارزميات تحسين السياسة الأخرى (مثل SAPO).

الأهمية والادعاءات
يدعي البحث أنه بينما يعد RFT أكثر مرونة بطبيعتها تجاه النسيان الكارثي مقارنة بـ SFT، إلا أنه غير كافٍ للتعلم المستمر البصري الصعب دون تدخل صريح ضد الانحراف على مستوى المسار. يعالج RaPO ذلك من خلال تعديل إشارة المكافأة لإعطاء الأولوية للمسارات التي تحافظ على المعرفة دون الحاجة إلى تغييرات هيكلية أو إعادة عرض البيانات. يضع المؤلفون هذا العمل ليس كمجرد سعي وراء تحقيق أفضل النتائج (SOTA) عبر هندسة معقدة، بل كاستكشاف تأسيسي لكيفية تكييف RFT من أجل التعلم المستمر. ويخلصون إلى أن RaPO يقدم استراتيجية بسيطة وفعالة تقلل بشكل كبير من النسيان الكارثي مع الحفاظ على قدرات الاستدلال والتكيف القوية للنماذج اللغوية الكبيرة متعددة الوسائط، آملين في إلهام المزيد من الأبحاث في مجال التعلم المستمر القائم على RFT.