Sintesi Tecnica: Calibrated Partial Resets (CPR) per il Reinforcement Learning Continual

1. Definizione del Problema

Le reti neurali profonde soffrono spesso di una perdita di plasticità durante un addestramento non stazionario prolungato, un problema critico nel Reinforcement Learning (RL) Continual. In questi contesti, gli aggiornamenti della policy alterano la distribuzione dei dati futuri dell'agente, creando cicli di feedback in cui piccole instabilità di ottimizzazione possono trasformarsi in un catastrofico degrado della policy (Juliani & Ash, 2024).

I rimedi esistenti per la perdita di plasticità, come Continual Backpropagation (CBP), ReDo e ReGraMa, si basano su reset binari dei neuroni. Questi metodi identificano i neuroni a bassa utilità (basandosi su statistiche di attivazione o di gradiente) e li reinizializzano completamente. Gli autori sostengono che i reset binari confondono due scelte progettuali distinte: quali unità rinfrescare e quanto intensamente cambiarle.

• Instabilità: La natura "tutto o niente" dei reset binari introduce cambiamenti bruschi dei parametri e picchi di gradiente, che destabilizzano l'addestramento RL a lungo termine e possono portare al collasso della policy.
• Fragilità: La reinizializzazione completa azzera i pesi in uscita, causando shift nelle distribuzioni degli strati successivi, un problema particolarmente critico in assenza di normalizzazione degli strati.
• Limitazioni del Decadimento Uniforme: Metodi alternativi come Shrink & Perturb applicano un decadimento uniforme a tutte le unità, il che è fluido ma indiscriminato, fallendo nel colpire le specifiche unità che necessitano di un refresh.

Il problema centrale è la mancanza di un metodo che sia al contempo selettivo (mirato alle unità a bassa utilità) e fluido (evitando salti bruschi dei parametri) per prevenire il collasso della policy mantenendo al contempo prestazioni massime.

2. Metodologia: Calibrated Partial Resets (CPR)

Gli autori propongono Calibrated Partial Resets (CPR), un ottimizzatore che periodicamente attira i neuroni verso la loro inizializzazione con una forza scalata in base all'utilità di ciascun neurone. A differenza dei reset binari, CPR applica un aggiustamento parziale e continuo.

2.1 Stima dell'Utilità

CPR utilizza punteggi di utilità basati sul gradiente, che studi recenti suggeriscono scalino in modo più favorevole (Liu et al., 2025).

• Punteggio Grezzo ($S_i^\ell$): L'entità media del gradiente dei pesi in entrata per l'unità $i$ nello strato $\ell$.
• Punteggio Normalizzato ($u_i^\ell$): Per garantire la comparabilità tra strati e tempo, il punteggio grezzo viene normalizzato per strato (diviso per la media dello strato) e smussato tramite una Media Mobile Esponenziale (EMA) con parametro di decadimento $\beta$.

2.2 Il Meccanismo di Reset

Ogni $f$ passi, CPR aggiorna i pesi di ogni neurone $i$ nello strato $\ell$ secondo:
$$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$$
$$W_{:, i}^{\ell+1} \leftarrow (1 - r_i^\ell) W_{:, i}^{\ell+1}$$

Dove:

• $\xi$ è un peso estratto dalla distribuzione di inizializzazione (es. Kaiming).
• $r_i^\ell$ è il coefficiente di reset, limitato da una frazione massima di reset $\rho \in (0, 1]$.
• Il coefficiente è determinato da una funzione decrescente monotona $\phi$ dell'utilità normalizzata $u_i^\ell$:
  $$r_i^\ell = \rho \cdot \phi(u_i^\ell)$$

2.3 La Funzione di Trasformazione

La funzione $\phi$ mappa l'utilità nell'intensità del reset. Gli autori utilizzano una forma basata sulla sigmoide:
$$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$$

• Selettività: Le unità con utilità inferiore alla media dello strato ($u < 1$) ricevono una frazione di reset vicina al massimo $\rho$. Le unità con alta utilità ($u > 1$) ricevono reset progressivamente più piccoli.
• Parzialità: Anche per le unità con la più bassa utilità, il reset è parziale (attrazione verso l'inizializzazione tramite $\rho$) piuttosto che una reinizializzazione completa. Ciò evita i picchi di gradiente associati ai reset binari.
• Nitidezza ($\kappa$): Controlla quanto bruscamente scende la frazione di reset all'aumentare dell'utilità. Gli autori fissano $\kappa=16$ sulla base di studi di ablazione che mostrano robustezza attraverso un ampio intervallo.

3. Contributi Chiave

1. Identificazione della Fonte di Instabilità: Il paper identifica i reset binari dei neuroni come una fonte primaria di instabilità nel RL continual a lungo termine, distinguendo tra la selezione delle unità e l'entità del loro aggiornamento.
2. Ottimizzatore CPR: Introduzione di un ottimizzatore a reset parziale scalato sull'utilità che evita la fragilità della reinizializzazione completa pur mantenendo la selettività dei metodi di reset.
3. Validazione Empirica: Dimostrazione che CPR previene il collasso della policy per 400 milioni di passi nell'ambiente SlipperyAnt, un regime in cui i metodi di reset binario e Adam falliscono.
4. Controllo del Trade-off: Gli studi di ablazione rivelano che la frazione massima di reset $\rho$ fornisce un trade-off regolabile tra plasticità (adattamento) e prestazioni di picco, permettendo la prevenzione del collasso senza richiedere una sintonizzazione precisa degli iperparametri.

4. Risultati

Gli autori hanno valutato CPR su quattro benchmark: SlipperyAnt, SlipperyHumanoid, Continual MetaWorld e Continual MinAtar.

• Prevenzione del Collasso della Policy: In SlipperyAnt (400M passi), CPR è stato l'unico metodo tra 15 seed a ottenere zero collassi di policy. Al contrario, Adam è collassato, e i metodi di reset binario (ReDo, ReGraMa) hanno mostrato un significativo degrado delle prestazioni o collassi.
• Prestazioni: CPR ha ottenuto l'Interquartile Mean (IQM) di ritorno episodico più elevato in SlipperyAnt e SlipperyHumanoid. Ha inoltre superato i baseline (CBP, ReDo, ReGraMa, Shrink & Perturb) in Continual MetaWorld e Continual MinAtar.
• Metriche di Stabilità:
  • Neuroni Dormienti: CPR ha mantenuto un rapporto di neuroni dormienti basso e piatto, comparabile a CBP ma senza il drift di fine addestramento visto in Adam.
  • Norme del Gradiente: CPR ha mostrato fluttuazioni minori nelle norme del gradiente dell'actor rispetto ai baseline di reset binario, il che correla con la sua capacità di evitare i collassi.
  • Norme dei Parametri: CPR ha limitato la crescita dei parametri, un driver noto della perdita di plasticità, mentre i baseline hanno mostrato una crescita dei parametri più elevata.
• Ablazioni:
  • Nitidezza ($\kappa$): Le prestazioni sono rimaste robuste per $\kappa \in [2, 20]$. Valori bassi ($\kappa \le 1$) hanno degradato le prestazioni rendendo i reset troppo uniformi.
  • Magnitudo del Reset ($\rho$): Un intervallo di $\rho \in [0.01, 0.05]$ ha costantemente prevenuto il collasso. Un $\rho$ più basso preservava la stabilità ma ostacolava l'adattamento; un $\rho$ più alto aumentava la plasticità ma rischiava un eccessivo reset delle strutture utili.

5. Significato e Rivendicazioni

Il paper sostiene che CPR rappresenti un cambio qualitativo nell'affidabilità dell'addestramento per il RL a lungo termine. Sostituendo gli aggiornamenti "tutto o niente" con reset parziali scalati sull'utilità, CPR inietta la plasticità necessaria senza gli aggiornamenti bruschi dei parametri che causano il collasso della policy.

Gli autori sottolineano che, sebbene CPR introduca una complessità di implementazione (calcolo dell'utilità per neurone e memorizzazione di medie mobili), l'overhead computazionale è marginale (~6% di aumento del tempo di esecuzione per compiti ad alta dimensionalità) e il metodo è modulare, richiedendo modifiche minime alle pipeline di addestramento standard (es. Optax).

Il lavoro conclude che la reinizializzazione scalata sull'utilità è una direzione promettente per il continual learning, offrendo un meccanismo regolabile per bilanciare il trade-off stabilità-plasticità. Gli autori riconoscono i limiti, notando che CPR si concentra sulla dinamica dei task e sugli shift di identità e non pretende di risolvere tutte le forme di instabilità del RL continual (es. non-stazionarietà del reward o cambiamenti morfologici). Si suggerisce che il lavoro futuro possa isolare i ruoli della stima dell'utilità, della reinizializzazione parziale e della gestione dello stato dell'ottimizzatore attraverso architetture più ampie.