Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

Technische Samenvatting: Catastrophic Forgetting Overwinnen in Visueel Continu Leren met Versterkingsfijnafstelling

Probleemstelling
Hoewel recente studies suggereren dat Versterkingsfijnafstelling (RFT), en met name methoden zoals Group Relative Policy Optimization (GRPO), inherent robuuster is tegen catastrophic forgetting dan Supervised Fine-Tuning (SFT) in Multi-modal Large Language Models (MLLMs), blijft de effectiviteit ervan in uitdagende visuele continu-lerende (VCL) scenario's een open vraag. Specifiek in rehearsal-vrije situaties zoals Class-Incremental Learning (CIL) en Domain-Incremental Learning (DIL) lijdt standaard RFT nog steeds aan niet-verwaarloosbaar vergeten. De auteurs identificeren een specifiek knelpunt, getiteld Traject-niveau Drift Agnosticisme: onder kandidaat-rollouts die identieke taakbeloningen behalen, varieert de Kullback-Leibler (KL) divergentie ten opzichte van het beleid van de voorgaande taak aanzienlijk. Zuiver op taakbeloning gedreven gedrag faalt in het onderscheiden tussen deze trajecten, wat leidt tot credit assignment die onbedoeld voorkeur geeft aan oplossingen met hoge drift en zo het verlies van historische kennis versnelt.

Methodologie: Retention-aware Policy Optimization (RaPO)
Om traject-niveau drift agnosticisme aan te pakken, stellen de auteurs RaPO voor, een eenvoudige maar effectieve RFT-methode die vergeten expliciet mitigeert via traject-niveau beloningsvorming. RaPO bestaat uit twee kerncomponenten:

1. Retention Reward: Deze component converteert traject-niveau distributiedrift in een continue beloningssignaal. Voor een rollout $y_i$ gegenereerd door het huidige beleid $\pi_t$, wordt de drift gemeten als de lengte-genormaliseerde log-kansverhouding ten opzichte van een bevroren ankerbeleid $\pi_{t-1}$ (het beleid van de voorgaande taak).

   • De driftmetriek wordt gedefinieerd als $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$.
   • Deze drift wordt gemapt naar een gebonden, positieve beloning $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$, waarbij lagere drift een hogere beloning oplevert.
   • De totale beloning wordt geformuleerd als $R_{total} = R_{task} + \lambda R_{ret}$. Cruciaal wordt deze beloning voordat de groepsrelatieve voordeelberekening wordt toegevoegd. Dit zorgt ervoor dat, onder rollouts met vergelijkbare taakprestaties, diegenen die dichter bij het ankerbeleid blijven (en zo eerdere kennis behouden), een hoger voordeel ontvangen, waardoor het beleid wordt gestuurd naar gebieden met lage drift.

2. Cross-Task Advantage Normalization (CTAN): Om optimalisatie-instabiliteit veroorzaakt door abrupte verschuivingen in beloningsdistributies op taakgrenzen te counteren, vervangt RaPO de standaarddeviatie per batch door een persistente Exponentiële Glijdende Gemiddelde (EMA) $\hat{\sigma}$.

   • $\hat{\sigma}$ wordt bijgewerkt over optimalisatiestappen en taakgrenzen heen ($\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$).
   • Het voordeel wordt berekend als $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$.
   • Dit mechanisme voorkomt dat de voordeelschaal instort of explodeert bij overgangen tussen taken, en zorgt voor stabiele credit assignment gedurende de hele continu-lerende stroom.

Belangrijkste Bijdragen

• Empirische Identificatie van Drift Agnosticisme: Het artikel biedt de eerste systematische analyse die aantoont dat vanilla GRPO lijdt aan traject-niveau drift agnosticisme in visuele VCL, waarbij trajecten met gelijke beloning zeer verschillende graden van distributiedrift vertonen ten opzichte van eerdere taken.
• RaPO Framework: De auteurs introduceren RaPO, dat een Retention Reward en CTAN integreert om respectievelijk rollouts met hoge drift expliciet te straffen en optimalisatieschalen te stabiliseren.
• Uitgebreide Evaluatie: De methode wordt geëvalueerd over vijf diverse visuele continu-lerende settings: class-incrementale beeldclassificatie, domain-incrementale beeldclassificatie, class-incrementale objectdetectie, domain-incrementale objectdetectie, en class-incrementale video-classificatie.
• Eerste Systematische Verkenning: Voor zover de auteurs weten, is dit het eerste werk dat systematisch het potentieel verkent van verifier-gebaseerde RFT voor visueel continu leren.

Experimentele Resultaten
Uitgebreide experimenten op datasets waaronder ImageNet-R, ImageNet-A, TinyImageNet, CUB-200, COCO 2017, UCF-101 en Kinetics-200 tonen aan dat RaPO consistent betere prestaties levert dan sterke baselines (waaronder SFT, EWC, LwF en standaard GRPO).

• Beeldclassificatie: Op ImageNet-R (10 taken) behaalde RaPO een nauwkeurigheid van 85,92% met slechts 4,69% vergeten, wat aanzienlijk beter is dan GRPO (74,67% nauwkeurigheid, 20,02% vergeten).
• Objectdetectie: Op COCO (5 taken) verbeterde RaPO de box AP van 14,64% naar 19,31% terwijl het vergeten werd gereduceerd van 6,67% naar 1,39%.
• Generalisatie: RaPO toonde robuuste prestaties over video-classificatie en domain-incrementale settings, waarbij sterke plasticiteit voor nieuwe taken werd behouden terwijl historische kennis werd bewaard.
• Ablatiestudies: De auteurs bevestigden dat zowel de Retention Reward als CTAN complementair zijn; het verwijderen van een van beide verslechtert de prestaties. De methode bleek ook robuust te zijn voor hyperparameterkeuzes en effectief wanneer toegepast op andere beleidsoptimalisatie-algoritmen (bijv. SAPO).

Betekenis en Claims
Het artikel claimt dat, hoewel RFT van nature robuuster is tegen catastrophic forgetting dan SFT, het onvoldoende is voor uitdagende visuele VCL zonder expliciete interventie tegen traject-niveau drift. RaPO adresseert dit door het beloningssignaal te modificeren om kennisbehoudende rollouts te prioriteren, zonder dat architecturale wijzigingen of data-replay nodig zijn. De auteurs positioneren dit werk niet als een streven naar state-of-the-art benchmarks via complexe engineering, maar als een fundamentele verkenning van hoe RFT kan worden aangepast voor continu leren. Zij concluderen dat RaPO een eenvoudige, effectieve strategie biedt die catastrophic forgetting aanzienlijk reduceert terwijl de sterke redeneer- en adaptatiecapaciteiten van MLLMs behouden blijven, met de hoop verdere research in RFT-gebaseerd continu leren te inspireren.