Sintesi Tecnica: Plasticità Guidata dalla Sparsità nel Multi-Task Reinforcement Learning

Problematica

Gli agenti di Deep Reinforcement Learning (DRL) soffrono spesso di perdita di plasticità, un fenomeno in cui la capacità della rete di adattarsi a nuove esperienze diminuisce con il progredire dell'addestramento. Questo problema è caratterizzato da patologie di ottimizzazione come l'interferenza dei gradienti, il collasso rappresentazionale e la dormienza neuronale (neuroni che diventano inattivi). Sebbene ampiamente studiata in contesti a compito singolo, la perdita di plasticità è particolarmente critica nel Multi-Task Reinforcement Learning (MTRL). Nel MTRL, gli agenti devono mantenere la flessibilità rappresentazionale per gestire simultaneamente richieste di compiti diversi e potenzialmente conflittuali. Gli attuali approcci MTRL si affidano spesso a modelli sovra-parametrizzati che possono sottoutilizzare la capacità della rete o fallire nella generalizzazione, portando ad agenti che faticano con l'interferenza negativa tra i compiti e l'acquisizione di policy universali.

Metodologia

Il paper investiga se i metodi di sparsificazione possano mitigare la perdita di plasticità e migliorare le prestazioni nel MTRL. Gli autori si concentrano su due tecniche di sparsificazione dinamica:

1. Gradual Magnitude Pruning (GMP): Aumenta incrementalmente la sparsità della rete durante l'addestramento rimuovendo i pesi di bassa magnitudo su una finestra temporale prestabilita, permettendo alla rete di adattarsi alla crescente sparsità.
2. Sparse Evolutionary Training (SET): Mantiene un livello di sparsità complessiva fisso durante l'addestramento attraverso il continuo ricollegamento della connettività della rete (potatura delle connessioni deboli e rigenerazione di nuove connessioni), ispirandosi agli algoritmi evolutivi.

Configurazione Sperimentale

Lo studio valuta questi metodi attraverso tre diverse architetture MTRL:

• MTPPO: Una baseline a policy condivisa con teste specifiche per compito.
• Mixture of Experts (MoE): Utilizza un meccanismo di gating per selezionare gli esperti per compiti specifici.
• Mixture of Orthogonal Experts (MOORE): Incorpora submoli ortogonali per imporre la separazione dei compiti.

Benchmark:

• MiniGrid: Benchmark MT3, MT5 e MT7 (osservabilità parziale, ricompensa sparsa).
• MetaWorld: Benchmark MT10 (controllo continuo, spazi di stato/azione ad alta dimensionalità).

Confronti:
Gli agenti sparsi (GMP e SET) sono confrontati con:

• Baseline dense.
• Interventi espliciti per l'induzione della plasticità: ReDo (reset periodico dei neuroni dormienti) e Reset (ri-inizializzazione periodica dei layer).
• Tecniche di regolarizzazione implicita: Weight Decay (WD) e Layer Normalization (LayerNorm).

Metriche:
Le prestazioni sono misurate tramite la Media Interquantile Normalizzata (IQM). La plasticità è valutata tramite:

• Percentuale di Neuroni Dormienti: La proporzione di neuroni inattivi.
• Rank Effettivo: Una misura della diversità rappresentazionale (un rank basso indica collasso).
• Traccia della Matrice di Informazione di Fisher (FIM): Un proxy della sensibilità della policy rispetto ai cambiamenti dei parametri (valori elevati indicano minimi acuti/instabilità).

Contributi Chiave

1. Mitigazione della Degradazione della Plasticità: Gli autori stabiliscono che GMP e SET mitigano efficacemente i principali indicatori di perdita di plasticità, riducendo specificamente la dormienza neuronale e prevenendo il collasso rappresentazionale. Gli agenti sparsi mostrano costantemente profili di plasticità più favorevoli (minore dormienza, rank effettivo più alto/stabile) rispetto ai corrispettivi densi.
2. Correlazione con le Prestazioni: I miglioramenti della plasticità indotti dalla sparsificazione correlano spesso con un aumento delle prestazioni multi-task. Gli agenti sparsi superano frequentemente le baseline dense e ottengono risultati competitivi rispetto agli interventi specializzati sulla plasticità (ReDo, Reset) e ai metodi di regolarizzazione.
3. Effetti Dipendenti dall'Architettura: Si dimostra che l'impatto della sparsificazione dipende fortemente dall'architettura della rete. Mentre GMP e SET producono guadagni consistenti nelle configurazioni MTPPO e MoE, i loro effetti su MOORE sono più sfumati, suggerendo che i meccanismi architettonici intrinsechi (come i vincoli di ortogonalità) interagiscono diversamente con la sparsità.

Risultati

• Prestazioni: Sulle architetture MTPPO e MoE, sia GMP che SET hanno costantemente ottenuto rendimenti aggregati finali più elevati rispetto alle baseline dense in tutti i benchmark MiniGrid (MT3, MT5, MT7). Nel setting di controllo continuo MetaWorld MT10, la potatura selettiva della rete dell'attore (GMP-Actor) ha superato sia la baseline densa che la potatura globale, raggiungendo un tasso di successo dell'81%.
• Dinamiche di Plasticità:
  • SET si è rivelato particolarmente efficace nel minimizzare la dormenza neuronale sia nei componenti dell'attore che del critico, mantenendo al contempo un alto rank effettivo.
  • GMP ha mostrato un pattern caratteristico di "picco e declino" nella Traccia di Fisher, suggerendo la convergenza verso minimi più piatti, mentre SET ha mantenuto una traccia bassa e stabile.
  • LayerNorm, pur riducendo la dormenza, ha causato un calo severo e persistente del rank effettivo (collasso rappresentazionale), portando a scarse prestazioni.
  • ReDo e Reset hanno mostrato risultati misti; ReDo ha ridotto la dormenza ma non si è sempre tradotto in guadagni di prestazione, mentre Reset ha introdotto instabilità nelle metriche di plasticità.
• Specifiche di MOORE: Nell'architettura MOORE, la sparsificazione non ha prodotto gli stessi guadagni di prestazione osservati in MTPPO o MoE. SET ha talvolta portato a lievi declini delle prestazioni, e la potatura estrema (99% di sparsità) ha causato il collasso del rank e la degradazione delle prestazioni in MOORE, evidenziando i limiti della sparsità in design altamente strutturati e ortogonali.

Significato e Claim

Il paper sostiene che la sparsificazione dinamica funge da meccanismo robusto e general-purpose per migliorare la plasticità nel MTRL, spesso superando o eguagliando interventi specializzati progettati esplicitamente per ripristinare la plasticità. I risultati suggeriscono che i benefici della potatura non sono dovuti meramente alla compressione del modello, ma derivano dagli effetti di regolarizzazione che guidano la rete verso minimi più "piatti" e prevengono il sottoutilizzo della capacità della rete.

Gli autori sottolineano che la sparsificazione offre una forma distinta di regolarizzazione implicita che bilancia il controllo della capacità con la diversità rappresentazionale, un equilibrio che le tecniche standard come LayerNorm non riescono a raggiungere nei contesti multi-task. Tuttavia, il paper nota con modestia che questi benefici sono sensibili al contesto; l'efficacia della sparsificazione dipende fortemente dall'architettura sottostante e non è una soluzione universale per tutti i design MTRL (ad esempio, MOORE). Il lavoro evidenzia l'interazione tra design della rete, sparsità e dinamiche di apprendimento, promuovendo la sparsificazione come uno strumento prezioso nel toolkit MTRL che merita ulteriori indagini teoriche.