Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

Sintesi Tecnica: Superamento dell'Oblio Catastrofico nell'Apprendimento Continuo Visivo con Affinamento tramite Rinforzo

Enunciato del Problema
Sebbene studi recenti suggeriscano che l'Affinamento tramite Rinforzo (RFT), in particolare metodi come l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), sia intrinsecamente più resiliente all'oblio catastrofico rispetto all'Affinamento Supervisionato (SFT) nei Modelli Linguistici Multimodali di Grande Dimensione (MLLM), la sua efficacia in scenari di apprendimento continuo visivo (VCL) impegnativi rimane un problema aperto. Nello specifico, in scenari senza rehearsal come l'Apprendimento Incrementale per Classe (CIL) e l'Apprendimento Incrementale per Dominio (DIL), il RFT standard soffre ancora di un oblio non trascurabile. Gli autori identificano un collo di bottiglia specifico denominato Agnosticismo della Deriva a Livello di Traiettoria: tra le espansioni (rollout) candidate che ottengono ricompense di task identiche, la divergenza di Kullback-Leibler (KL) rispetto alla politica del task precedente varia sostanzialmente. Un comportamento guidato esclusivamente dalla ricompensa del task non riesce a distinguere tra queste traiettorie, portando a un'assegnazione del credito che favorisce involontariamente soluzioni ad alta deriva e accelera la perdita di conoscenze storiche.

Metodologia: Ottimizzazione della Politica Consapevole della Ritenzione (RaPO)
Per affrontare l'agnosticismo della deriva a livello di traiettoria, gli autori propongono RaPO, un metodo RFT semplice ma efficace che mitiga esplicitamente l'oblio attraverso una modellazione della ricompensa a livello di traiettoria. RaPO è composto da due componenti fondamentali:

1. Ricompensa di Ritenzione: Questa componente converte la deriva della distribuzione a livello di traiettoria in un segnale di ricompensa continuo. Per un'espansione $y_i$ generata dalla politica corrente $\pi_t$, la deriva è misurata come il rapporto di log-probabilità normalizzato per la lunghezza rispetto a una politica di riferimento (anchor) congelata $\pi_{t-1}$ (la politica del task precedente).

   • La metrica di deriva è definita come $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$.
   • Questa deriva è mappata in una ricompensa positiva e limitata $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$, dove una deriva inferiore produce una ricompensa più alta.
   • La ricompensa totale è formulata come $R_{total} = R_{task} + \lambda R_{ret}$. Crucialmente, questa ricompensa viene aggiunta prima del calcolo del vantaggio relativo di gruppo. Ciò garantisce che, tra le espansioni con prestazioni di task comparabili, quelle che rimangono più vicine alla politica di riferimento (preservando le conoscenze precedenti) ricevano vantaggi più elevati, indirizzando la politica verso regioni a bassa deriva.

2. Normalizzazione del Vantaggio Cross-Task (CTAN): Per contrastare l'instabilità dell'ottimizzazione causata da bruschi spostamenti nelle distribuzioni di ricompensa ai confini dei task, RaPO sostituisce la deviazione standard della ricompensa per batch con una Media Mobile Esponenziale (EMA) persistente $\hat{\sigma}$.

   • $\hat{\sigma}$ viene aggiornata attraverso i passi di ottimizzazione e i confini dei task ($\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$).
   • Il vantaggio è calcolato come $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$.
   • Questo meccanismo previene il collasso o l'esplosione della scala del vantaggio durante le transizioni tra task, garantendo un'assegnazione del credito stabile lungo tutto il flusso di apprendimento continuo.

Contributi Chiave

• Identificazione Empirica dell'Agnosticismo della Deriva: Il documento fornisce la prima analisi sistematica che dimostra come il GRPO standard soffra di agnosticismo della deriva a livello di traiettoria nel VCL visivo, dove traiettorie con ricompense uguali esibiscono gradi di deriva distribuzionale molto diversi rispetto ai task precedenti.
• Framework RaPO: Gli autori introducono RaPO, che integra una Ricompensa di Ritenzione e CTAN per penalizzare esplicitamente le espansioni ad alta deriva e stabilizzare le scale di ottimizzazione, rispettivamente.
• Valutazione Completa: Il metodo è stato valutato su cinque diversi scenari di apprendimento continuo visivo: classificazione di immagini incrementale per classe, classificazione di immagini incrementale per dominio, rilevamento di oggetti incrementale per classe, rilevamento di oggetti incrementale per dominio e classificazione di video incrementale per classe.
• Prima Esplorazione Sistematica: Per quanto ne sappiano gli autori, questo è il primo lavoro a esplorare sistematicamente il potenziale del RFT basato su verificatori per l'apprendimento continuo visivo.

Risultati Sperimentali
Estesi esperimenti su dataset tra cui ImageNet-R, ImageNet-A, TinyImageNet, CUB-200, COCO 2017, UCF-101 e Kinetics-200 dimostrano che RaPO supera costantemente basi solide (inclusi SFT, EWC, LwF e GRPO standard).

• Classificazione di Immagini: Su ImageNet-R (10 task), RaPO ha raggiunto un'accuratezza dell'85,92% con un oblio del solo 4,69%, superando significativamente GRPO (74,67% di accuratezza, 20,02% di oblio).
• Rilevamento di Oggetti: Su COCO (5 task), RaPO ha migliorato l'AP delle caselle dal 14,64% al 19,31% riducendo l'oblio dal 6,67% all'1,39%.
• Generalizzazione: RaPO ha mostrato prestazioni robuste nella classificazione di video e negli scenari incrementali per dominio, mantenendo una forte plasticità per i nuovi task preservando al contempo le conoscenze storiche.
• Studi di Ablazione: Gli autori hanno confermato che sia la Ricompensa di Ritenzione che CTAN sono complementari; la rimozione di una delle due degrada le prestazioni. Il metodo è stato inoltre dimostrato robusto rispetto alle scelte degli iperparametri ed efficace quando applicato ad altri algoritmi di ottimizzazione della politica (ad es. SAPO).

Significato e Affermazioni
Il documento afferma che, sebbene il RFT sia naturalmente più resiliente all'oblio catastrofico rispetto all'SFT, è insufficiente per il VCL visivo impegnativo senza un intervento esplicito contro la deriva a livello di traiettoria. RaPO affronta questo problema modificando il segnale di ricompensa per dare priorità alle espansioni che preservano la conoscenza, senza richiedere modifiche architetturali o replay di dati. Gli autori posizionano questo lavoro non come una ricerca di benchmark all'avanguardia attraverso ingegneria complessa, ma come un'esplorazione fondamentale di come il RFT possa essere adattato per l'apprendimento continuo. Concludono che RaPO offre una strategia semplice ed efficace che riduce sostanzialmente l'oblio catastrofico preservando al contempo le forti capacità di ragionamento e adattamento degli MLLM, sperando di ispirare ulteriori ricerche nell'apprendimento continuo basato su RFT.