Task diversity produces systematic transfer but inhibits continual reinforcement learning

Sintesi Tecnica: Banyan – Un ambiente generato proceduralmente per studiare l'effetto della diversità dei task sul trasferimento

1. Definizione del Problema

L'apprendimento per rinforzo (RL) continuo mira a sviluppare agenti che non solo migliorino nei task attuali, ma che siano anche in grado di adattarsi man mano che le distribuzioni dei task cambiano. Mentre la ricerca precedente ha stabilito che l'addestramento su task diversificati può indurre una generalizzazione zero-shot (valutata con pesi congelati), rimane poco chiaro se la diversità dei task migliori la capacità di un agente di continuare ad apprendere attraverso aggiornamenti dei pesi al variare delle distribuzioni. I benchmark esistenti per il RL continuo coinvolgono tipicamente l'apprendimento sequenziale su al massimo centinaia di task, mentre gli ambienti su larga scala generati proceduralmente (ad es. XLand, AdA) contengono milioni di task, ma mancano del controllo necessario per isolare come la quantità e il tipo di diversità influenzino l'apprendimento attraverso cambiamenti controllati della distribuzione.

2. Metodologia: L'ambiente Banyan

Gli autori introducono Banyan, un dominio generato proceduralmente e accelerato su GPU, progettato per studiare il RL continuo su spazi di task composizionali. Banyan fattorizza un task $\tau = \langle L, T, O \rangle$ in tre assi indipendentemente controllabili:

• Layout ($L$): La mappa dell'ambiente, inclusi i configurazioni delle pareti e il posizionamento iniziale degli oggetti, che definisce il problema di navigazione.
• Topologia dell'Albero dei Task ($T$): La struttura astratta dell'obiettivo, che definisce la profondità, la ramificazione e l'ordine di dipendenza dei sotto-obiettivi (trasformazioni rispetto a combinazioni).
• Assegnazione degli Oggetti ($O$): Le identità concrete degli oggetti assegnati ai nodi dell'albero dei task.

Meccanica del Task:

• Obiettivo: L'agente deve navigare nella griglia, raccogliere, rilasciare e combinare oggetti (o trasformare singoli elementi) per produrre un oggetto radice specifico definito dall'albero del task.
• Osservazioni: L'agente vede l'intera griglia e la descrizione dell'oggetto obiettivo, ma deve inferire la struttura dell'albero del task e la sequenza di soluzione.
• Dinamiche: Le regole di combinazione e trasformazione degli oggetti sono fisse; variano solo la disposizione spaziale e l'identità degli oggetti.
• Curriculum: I task spaziano dalle profondità 1 a 6. I task più profondi fungono da curriculum per quelli più superficiali e le distribuzioni sono annidate (i task di profondità 6 contengono tutti i sotto-task più superficiali).

Protocollo Sperimentale:
Gli autori valutano due algoritmi: Proximal Policy Optimization (PPO) e Parallelised Q-Network (PQN). Misurano:

• Trasferimento Forward (Avanti): Il "gap di trasferimento" ($\Delta_i$) tra il tasso di successo terminale sulla distribuzione $d_{i-1}$ e il tasso di successo iniziale sulla distribuzione $d_i$.
• Trasferimento Backward (Indietro): La variazione delle prestazioni su una distribuzione precedente $d_i$ dopo l'addestramento sulle distribuzioni successive.

3. Contributi Chiave

1. Benchmark Banyan: Un dominio controllato e con molti task che permette la variazione indipendente di layout, istanze di alberi dei task e topologie, consentendo lo studio del RL continuo su miliardi di potenziali task.
2. Evidenza di Trasferimento Sistematico: Prova sperimentale che l'aumento della diversità lungo qualsiasi asse (layout, assegnazione oggetti o topologie) induce un trasferimento sistematico, permettendo agli agenti di iniziare nuove distribuzioni vicino ai loro livelli di prestazione precedenti.
3. Evidenza di Inibizione Indotta dalla Diversità: Prova sperimentale che, mentre una moderata diversità favorisce il trasferimento, una diversità eccessiva inibisce l'apprendimento continuo a lungo termine, causando un plateau nelle prestazioni sulle nuove distribuzioni pur continuando a perfezionare le prestazioni sui task precedenti.

4. Risultati Chiave

A. La Diversità Produce Trasferimento Sistematico (Singolo Shift)
Negli esperimenti che coinvolgono un singolo spostamento dalla distribuzione $d_1$ a $d_2$:

• Trasferimento Forward: L'aumento del numero di layout ($|L|$), assegnazioni di oggetti ($|O|$) o topologie ($|T|$) in $d_1$ riduce il gap di trasferimento ($\Delta_2$) verso lo zero. Gli agenti addestrati su una $d_1$ altamente diversificata iniziano $d_2$ con livelli di prestazione comparabili alle loro prestazioni finali su $d_1$.
• Trasferimento Backward: L'aumento di $|L|$ o $|O|$ ha avuto poco effetto sul trasferimento backward. Tuttavia, l'aumento del numero di topologie ($|T|$) ha migliorato significativamente il trasferimento backward, suggerendo che variare le dipendenze strutturali dei task è cruciale per mantenere la conoscenza delle distribuzioni precedenti.
• Meccanismo: L'analisi dell'errore TD di PQN al confine $d_1 \to d_2$ ha rivelato che una maggiore diversità produce un errore TD iniziale inferiore e policy iniziali migliori. Ciò suggerisce che la diversità modella caratteristiche di valore che generalizzano bene fuori distribuzione.
• Generalizzabilità: Questi effetti sono stati replicati in un dominio di controllo continuo "Point Mass", indicando che il fenomeno non è un artefatto del controllo in griglia discreta.

B. La Diversità Inibisce l'Apprendimento Continuo a Lungo Termine (Sequenza di Shift)
Negli esperimenti che coinvolgono una sequenza di dieci distribuzioni ($d_1 \dots d_{10}$):

• Il Paradosso: Sebbene un'alta diversità ($n=256$ layout/topologie unici) abbia avuto successo nel chiudere il gap di trasferimento ad ogni singolo confine (gli agenti iniziavano ogni nuova distribuzione al picco precedente), ha causato un plateau nella capacità dell'agente di migliorare all'interno della sequenza.
• Traiettoria delle Prestazioni:
  • Con diversità intermedia ($n=16$), gli agenti continuano ad apprendere, migliorando i tassi di successo da $\approx 0,74$ su $d_1$ a $\approx 0,95$ su $d_{10}$.
  • Con alta diversità ($n=256$), il tasso di successo sulle nuove distribuzioni rimane piatto vicino a $0,80$ attraverso tutti i dieci distribuzioni. La prestazione finale su $d_{10}$ è effettivamente diminuita monotonicamente all'aumentare della diversità oltre $n=16$.
• Interferenza: L'alta diversità ha portato a un forte trasferimento backward (la prestazione su $d_1$ è migliorata da $\approx 0,80$ a $\approx 0,95$ dopo 10 round) ma ha impedito la specializzazione sulle nuove distribuzioni. Gli autori attribuiscono questo fenomeno all'interferenza: la rete apprende la struttura generale del task condivisa tra le distribuzioni, ma è inibita dall'apprendere le strutture specifiche richieste dalle nuove distribuzioni.

5. Significato e Rivendicazioni

Il paper sostiene un risultato significativo e parzialmente paradossale: la diversità dei task è un'arma a doppio taglio per il RL continuo.

• Motivazione: La diversità è essenziale per indurre un trasferimento sistematico, permettendo agli agenti di adattarsi immediatamente ai nuovi cambiamenti di distribuzione senza un catastrofico oblio della struttura generale del task.
• Limitazione: Tuttavia, la stessa diversità che rende fluidi i singoli passaggi inibisce l'accumulo di apprendimento su lunghe sequenze. Gli autori sostengono che "l'apprendimento e la scala, da soli, potrebbero non bastare" per abilitare il RL continuo; il compromesso tra generalizzazione (trasferimento) e specializzazione (apprendimento di nuovi dettagli specifici) sembra essere intrinseco all'approssimazione di funzione con condivisione dei pesi nel regime di molti task.

Questo lavoro evidenzia una lacuna critica nella ricerca attuale sul RL: mentre la diversità è celebrata per la generalizzazione zero-shot, essa può attivamente ostacolare la capacità degli agenti di ottimizzare le prestazioni su nuove distribuzioni durante l'apprendimento continuo. Gli autori rilasciano Banyan come strumento per la comunità per investigare ulteriormente questi trade-off e sviluppare algoritmi in grado di mitigare l'interferenza causata dall'alta diversità dei task.