TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning

1. Enunciato del Problema

Il paper affronta l'Apprendimento per Rinforzo Offline Continuo (CORL), un contesto in cui un agente deve apprendere una sequenza di compiti da dataset statici e pre-collezionati, senza interagire con l'ambiente. Questo scenario si presenta in domini dove l'interazione in tempo reale è troppo costosa, rischiosa o impossibile (ad esempio, robotica, sanità).

Il CORL affronta una "doppia difficoltà":

1. Sfide dell'RL Offline: Gestire gli spostamenti distribuzionali tra i dati di addestramento e la valutazione, ed evitare azioni Fuori Distribuzione (OOD).
2. Sfide dell'Apprendimento Continuo: Prevenire l'oblio catastrofico dei compiti appresi in precedenza durante l'acquisizione di nuovi, senza accesso ai dati passati a meno che non siano esplicitamente memorizzati.

Le soluzioni esistenti fanno affidamento su metodi basati sul replay (memorizzare e riutilizzare campioni passati), che comportano un sovraccarico di memoria e soffrono di disallineamenti distribuzionali. Al contrario, i metodi architettonici (che allocano parametri specifici per i compiti) hanno mostrato promesse nell'apprendimento supervisionato, ma rimangono poco esplorati nel CORL a causa delle complessità del processo decisionale sequenziale e degli spostamenti distribuzionali indotti dalla politica.

2. Metodologia: TSN-Affinity

Gli autori propongono TSN-Affinity, un approccio architettonico innovativo che combina TinySubNetworks (TSN) con un backbone Decision Transformer (DT). L'innovazione centrale è una strategia di riutilizzo dei parametri guidata dalla similarità che instrada i compiti verso copie specifiche del modello basandosi sull'"affinità".

Componenti Principali:

• Backbone Decision Transformer: Il metodo utilizza un DT per riformulare l'RL come un problema di modellazione sequenziale supervisionato. Questo vincola naturalmente le previsioni alla distribuzione empirica del dataset, mitigando i problemi OOD.
  • Atari (Discreto): Addestrato con perdita Cross-Entropy sui logit delle azioni.
  • Panda (Continuo): Addestrato con Errore Quadratico Medio Mascherato sulle azioni continue.
• Sotto-reti Sparse Specifiche per il Compito: Invece di addestrare un singolo modello denso, il sistema mantiene multiple copie del modello. Per ogni compito, viene appresa una maschera binaria sparsa sui pesi di una copia specifica.
  • Protezione dei Pesi: Una volta che un peso è allocato a un compito, viene "congelato" e protetto dai gradienti durante l'addestramento dei compiti successivi.
  • Riutilizzo: I nuovi compiti possono "riattivare" pesi congelati da compiti precedenti se ritenuti simili, utilizzandoli come componenti funzionali fissi invece di riaddestrarli.
• Instradamento per Affinità (La Novità): Prima di addestrare un nuovo compito $T_t$, il sistema decide se riutilizzare una copia del modello esistente o generarne una nuova. Questa decisione si basa su tre modalità di instradamento:
  1. Affinità d'Azione ($d_A$): Misura quanto bene la politica di un compito sorgente (sotto-rete) predice le azioni delle traiettorie del nuovo compito (usando Cross-Entropy per Atari, MSE per Panda).
  2. Affinità Latente ($d_L$): Misura la similarità delle rappresentazioni interne. Confronta le statistiche latenti (media e varianza delle codifiche delle osservazioni) del nuovo compito con le statistiche memorizzate dei compiti sorgente usando la Divergenza KL Simmetrica.
  3. Affinità Ibrida ($d_H$): Una combinazione ponderata delle affinità d'azione e latente.

Se il punteggio di affinità tra il nuovo compito e un compito sorgente è inferiore a una soglia $\tau$, il nuovo compito viene assegnato alla copia di quella sorgente. Altrimenti, viene creata una nuova copia.

Varianti Studiate:

• TSN-Affinity: Il metodo completo con instradamento basato sull'affinità.
• TSN-ReplayKL: Sostituisce l'instradamento per affinità con un'euristica basata sulla similarità a livello di osservazione (divergenza KL tra le memorie di replay).
• TSN-Core: Rimuove completamente l'instradamento; utilizza una singola copia del modello in evoluzione con sotto-reti sparse (nessuna selezione di copia).

3. Contributi Chiave

1. Framework TSN-Affinity: Un nuovo metodo CORL che formula il trasferimento di conoscenza come un problema di instradamento su sotto-reti sparse e specifiche per il compito, selezionando e riutilizzando dinamicamente i parametri basandosi su una similarità consapevole dell'RL.
2. Meccanismo di Instradamento per Affinità: Un meccanismo specifico che sfrutta metriche a livello di azione (compatibilità della politica) e a livello di rappresentazione (similarità latente) per decidere il riutilizzo dei parametri, andando oltre il semplice replay o l'allocazione casuale.
3. Benchmark Completi: L'introduzione di due benchmark di RL offline continuo che coprono:
   • Controllo Discreto Visuale: Una suite di giochi Atari (Breakout, Alien, Atlantis, Boxing, Centipede).
   • Manipolazione Robotica Continua: Ambienti Panda-gym (Reach, Push, Pick-and-Place) utilizzando un braccio Franka Emika Panda.
4. Validazione Empirica: Esperimenti estesi che dimostrano come gli approcci architettonici possano mitigare completamente l'oblio e come il riutilizzo guidato dalla similarità superi significativamente le baseline basate sul replay, specialmente in contesti eterogenei di controllo continuo.

4. Risultati

Benchmark Atari (Controllo Discreto)

• Oblio: Le sotto-reti sparse (TSN-Core) hanno raggiunto zero oblio su tutti i compiti. Le baseline dense (Naive, EWC, SI) hanno sofferto di un grave oblio catastrofico (rendimenti normalizzati ~15-18%).
• Prestazioni: Sebbene le sole sotto-reti sparse eliminassero l'oblio, l'Instradamento per Affinità ha ulteriormente migliorato le prestazioni multi-compito.
  • TSN-Affinity-A (affinità d'azione) e TSN-Affinity-L (affinità latente) hanno raggiunto rispettivamente ~89,7% e ~89,6% di prestazioni normalizzate.
  • Questo ha superato la migliore baseline densa (Replay Cumulativo al 76,2%) e si è avvicinato alle prestazioni dei modelli addestrati su singoli compiti.
• Conclusione: Nei contesti discreti, le sotto-reti sparse sono sufficienti per prevenire l'oblio, e l'instradamento per affinità ottimizza l'uso della capacità per potenziare le prestazioni.

Benchmark Panda (Controllo Continuo)

• Sfida: Questo contesto è significativamente più difficile a causa degli spazi di azione eterogenei e delle dinamiche di controllo continuo. Lo zero-oblio non è stato universale su tutte le varianti TSN.
• Efficacia dell'Instradamento:
  • TSN-ReplayKL (instradamento basato sull'osservazione) ha performato male, peggio di TSN-Core, indicando che la similarità delle osservazioni è insufficiente per l'instradamento nel controllo continuo.
  • TSN-Affinity-L (affinità latente) ha raggiunto i migliori risultati con zero oblio e il divario medio più basso rispetto ai rendimenti target (0,670), superando il Replay Cumulativo (0,729).
• Trade-off: Le migliori prestazioni hanno richiesto la creazione di multiple copie del modello (3 copie), evidenziando un compromesso tra prestazioni e capacità. Tuttavia, i risultati confermano che l'affinità consapevole dell'RL è un segnale affidabile per l'instradamento in domini continui complessi dove le euristiche di replay falliscono.

5. Significato e Conclusione

Il paper dimostra che l'apprendimento continuo architettonico è un'alternativa vitale e spesso superiore alle strategie basate sul replay nel contesto dell'RL offline.

• Mitigazione dell'Oblio Catastrofico: Isolando i parametri specifici del compito in sotto-reti sparse, il metodo previene efficacemente l'interferenza distruttiva.
• Efficienza rispetto al Replay: TSN-Affinity evita il sovraccarico di memoria e i problemi di disallineamento distribuzionale intrinseci nei buffer di replay.
• Instradamento Superiore: Lo studio dimostra che i punteggi di affinità rilevanti per il controllo (similarità d'azione e latente) sono molto più efficaci per le decisioni di instradamento rispetto alla semplice similarità basata sull'osservazione o alle euristiche di replay, specialmente nei compiti di controllo continuo.
• Impatto Futuro: Questo lavoro apre la strada a un apprendimento continuo scalabile ed efficiente dal punto di vista della memoria in domini critici per la sicurezza (come la robotica), dove la ricollezione dei dati o l'interazione con l'ambiente non sono fattibili.

Gli autori concludono che il riutilizzo architettonico guidato dalla similarità è una strategia robusta per il CORL, offrendo un forte equilibrio tra la ritenzione della conoscenza passata e il suo trasferimento a nuovi compiti correlati.