Riepilogo Tecnico: SPHERE - Mitigazione della Perdita di Plasticità Spettrale nelle Mixture-of-Experts per l'Apprendimento per Rinforzo Profondo

1. Enunciato del Problema

Nell'Apprendimento per Rinforzo Profondo (DRL), gli agenti addestrati su flussi di esperienza soffrono spesso di perdita di plasticità: un declino graduale della loro capacità di apprendere nuove abilità da nuove esperienze man mano che l'addestramento procede. Questo fenomeno è particolarmente dannoso negli scenari di Apprendimento per Rinforzo Continuo (CRL), dove un agente deve padroneggiare sequenzialmente una serie di compiti.

Sebbene le architetture Mixture-of-Experts (MoE) siano state implementate con successo per scalare la capacità delle politiche nel DRL (ad esempio, per manipolatori, umanoidi e quadrupedi), studi empirici indicano che anche le politiche MoE soffrono di una grave perdita di plasticità in contesti continui. Man mano che l'addestramento procede, le prestazioni MoE possono degradarsi, suggerendo che l'architettura stessa è suscettibile agli stessi meccanismi di perdita di capacità osservati nelle reti dense.

La sfida centrale affrontata da questo lavoro è la mancanza di una caratterizzazione formale della perdita di plasticità specificamente all'interno delle politiche MoE e l'assenza di metodi pratici per mitigarla. Le strategie di mitigazione esistenti per le reti dense (ad esempio, normalizzazione spettrale, regolarizzazione dell'Hessiano) non si traducono direttamente nella struttura sparsa e instradata delle politiche MoE.

2. Metodologia: SPHERE

Gli autori propongono SPHERE (Spectral Plasticity via Hyperspherical Expert REgularization), un regolarizzatore principiato progettato per preservare la capacità di apprendimento delle politiche MoE. La metodologia procede attraverso quattro passaggi teorici e pratici chiave:

2.1 Formalizzazione della Perdita di Plasticità come Plasticità Spettrale

Sulla base della teoria del Neural Tangent Kernel (NTK), gli autori formalizzano la perdita di plasticità come una perdita di plasticità spettrale.

• Meccanismo: La direzione di aggiornamento di una politica è governata dalla matrice empirica NTK (eNTK), $K = JJ^\top$, dove $J$ è la Jacobiana delle uscite della rete rispetto ai parametri.
• Definizione: La perdita di plasticità corrisponde a un collasso nel rank effettivo di entropia spettrale ($r_e$) dell'eNTK. Un alto rank effettivo implica uno spettro isotropo, consentendo aggiornamenti in direzioni diverse. Un basso rank effettivo (collasso spettrale) limita gli aggiornamenti a poche direzioni dominanti, ostacolando la capacità di apprendere nuovi compiti.
• Osservazione: Nel CRL, lo spettro eNTK delle politiche MoE collassa, riducendo il rank effettivo e confinando gli aggiornamenti funzionali.

2.2 Derivazione di un Proxy Gestibile

Il calcolo diretto della matrice eNTK $K$ è intrattabile per reti di grandi dimensioni a causa dei vincoli di memoria ($O(N^2P)$). Per affrontare questo problema, gli autori derivano un proxy gestibile basato sulla matrice Gauss-Newton (GN) nello spazio dei parametri ($G_{GN} = \frac{1}{N}J^\top J$).

• Decomposizione: Decompongono la matrice GN in componenti a blocchi diagonali corrispondenti ai parametri dei gate e degli expert.
• Approssimazione Livello per Livello: Sotto un'approssimazione a blocchi diagonali, il rank effettivo dell'eNTK completo è espresso come una miscela dei rank effettivi dei singoli blocchi di livello.
• Surrogato del Blocco Expert: Per i livelli degli expert, gli autori utilizzano un proxy di Kronecker ($\tilde{G}_{GN} = A \otimes G$), dove $A$ è la matrice Gram delle caratteristiche e $G$ è la matrice Gram del gradiente. Dimostrano che il rank effettivo del blocco expert è limitato inferiormente da una funzione del numero di condizione di questo proxy di Kronecker.

2.3 Il Regolarizzatore SPHERE

Per massimizzare il limite inferiore sulla plasticità spettrale, gli autori mirano a minimizzare il numero di condizione della matrice Gram delle caratteristiche $A$.

• Obiettivo: Si concentrano sulla Gram pesata delle caratteristiche dell'expert ($A_{last}^{exp}$) nell'ultimo livello nascosto dell'expert. Questa matrice è costruita concatenando le caratteristiche degli expert pesate dalle loro probabilità di gating Top-K.
• Penalità: SPHERE applica una penalità di Parseval (penalità quadratica) alla componente anisotropa di $A_{last}^{exp}$. La funzione di perdita è definita come:
  $$L_{SPHERE}(A_{last}^{exp}) = \left\| A_{last}^{exp} - \frac{\text{Tr}(A_{last}^{exp})}{m} I_m \right\|_F^2$$
  Questa penalità incoraggia gli autovalori della Gram delle caratteristiche ad essere uguali (isotropi), aumentando così il rank effettivo e preservando la plasticità spettrale.
• Garanzia Teorica: Gli autori dimostrano che l'ottimizzazione di questa penalità induce una contrazione spettrale, diminuendo monotonicamente il numero di condizione del proxy e aumentando il limite inferiore sul rank effettivo dell'eNTK.

2.4 Implementazione

SPHERE è integrato nel ciclo di addestramento PPO. Ad ogni aggiornamento del gradiente, la Gram pesata delle caratteristiche dell'expert viene calcolata dal passaggio in avanti e la penalità SPHERE viene aggiunta alla funzione di perdita dell'attore. Il coefficiente di regolarizzazione viene scalato adattivamente in base al rapporto tra la norma del gradiente dell'attore e la norma del gradiente SPHERE.

3. Contributi Chiave

1. Formalizzazione: Il lavoro definisce formalmente la perdita di plasticità nelle politiche MoE come una perdita di plasticità spettrale, quantificata dal rank effettivo di entropia spettrale dell'NTK empirico.
2. Proxy Gestibile: Deriva un surrogato pratico, livello per livello, per la plasticità spettrale che si basa solo sulle matrici delle caratteristiche degli expert individuali, evitando la costruzione dell'eNTK completo.
3. Algoritmo (SPHERE): Introduce SPHERE, un regolarizzatore principiato che impone l'isotropia sulle caratteristiche pesate degli expert per contrastare il collasso spettrale.
4. Validazione Empirica: Il metodo è stato valutato su MetaWorld e HumanoidBench, dimostrando miglioramenti coerenti rispetto alle baseline MoE non regolarizzate e ai precedenti metodi di mitigazione della plasticità.

4. Risultati Sperimentali

Gli autori hanno valutato SPHERE su due benchmark robotici:

• MetaWorld (CW10): Una suite di 10 compiti di manipolazione.
• HumanoidBench: Una suite di 5 compiti di locomozione per l'umanoide H1.

Risultati Chiave:

• Miglioramenti delle Prestazioni:
  • Su MetaWorld in CRL, SPHERE ha migliorato il tasso di successo medio del 133% rispetto a una baseline MoE Top-K non regolarizzata.
  • Su HumanoidBench in CRL, SPHERE ha migliorato il successo medio del 50% rispetto alla baseline.
  • SPHERE ha mostrato anche guadagni in ambienti RL standard (addestramento su singolo compito), suggerendo che la plasticità spettrale può decadere anche all'interno di un singolo compito a causa della deriva distribuzionale.
• Mantenimento della Plasticità Spettrale: Durante l'addestramento, SPHERE ha mantenuto un rank effettivo significativamente più alto ($r_e(K)$) rispetto alle baseline, che hanno mostrato un rapido collasso spettrale.
• Studi di Ablazione:
  • È stato scoperto che regolarizzare solo l'ultimo livello nascosto dell'expert è il più efficace; regolarizzare tutti i livelli o solo il gate ha prodotto prestazioni inferiori.
  • La concatenazione tra expert (regolarizzare la Gram congiunta delle caratteristiche invece degli expert individuali) è stata cruciale per i guadagni, indicando l'importanza di gestire le correlazioni tra expert.
  • Il metodo è robusto attraverso diverse funzioni di attivazione (ReLU, Tanh), numeri di expert e varianti MoE (Dense-MoE, DS-MoE).
• Analisi Qualitativa: Le visualizzazioni t-SNE hanno mostrato che senza SPHERE, le rappresentazioni degli stati collassavano su una singola direzione di caratteristica dominante. Con SPHERE, le rappresentazioni sono rimaste diversificate e isotrope.

5. Significato e Affermazioni

Il lavoro afferma che SPHERE fornisce una soluzione principiale al problema della perdita di plasticità negli agenti DRL basati su MoE. Inquadrando la perdita di plasticità attraverso la lente della teoria spettrale (rank effettivo dell'eNTK), gli autori colmano il divario tra comprensione teorica e regolarizzazione pratica.

Il significato del lavoro risiede in:

• Abilitazione dell'Apprendimento Continuo Scalabile: Man mano che le architetture MoE diventano standard per scalare gli agenti RL, SPHERE garantisce che questi modelli mantengano la capacità di apprendere nuove abilità su lunghe sequenze di compiti, prevenendo fallimenti sistematici sui compiti successivi.
• Insight Teorico: Offre una nuova prospettiva sulla dinamica MoE, collegando i meccanismi di instradamento e la specializzazione degli expert alle proprietà spettrali del paesaggio di apprendimento.
• Efficacia Pratica: Il metodo è computazionalmente efficiente (aggiungendo solo ~3-6% di sovraccarico anche con 1000 expert) e si integra perfettamente nelle pipeline PPO esistenti senza richiedere modifiche architetturali.

Gli autori riconoscono le limitazioni, notando che la loro derivazione si basa su approssimazioni teoriche (blocchi diagonali e indipendenza all'interno del livello) e che l'ambito attuale è limitato all'RL a controllo continuo. Identificano l'estensione di SPHERE a modelli fondazionali su larga scala come una direzione per lavori futuri.