🤖 machine learning

Goal-Conditioned Agents that Learn Everything All at Once

Questo articolo introduce Learning Everything all at Once (LEO), un metodo che abilita aggiornamenti efficienti, paralleli e off-policy per tutti gli obiettivi nell'apprendimento per rinforzo condizionato agli obiettivi, generando congiuntamente valori e azioni per ogni obiettivo, ottenendo così significativi miglioramenti delle prestazioni e enormi accelerazioni rispetto alle tecniche di rietichettatura tradizionali.

Autori originali: Michael Matthews, Matthew Jackson, Michael Beukman, Thomas Foster, Alistair Letcher, Scott Fujimoto, Cédric Colas, Jakob Foerster

Pubblicato 2026-05-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Michael Matthews, Matthew Jackson, Michael Beukman, Thomas Foster, Alistair Letcher, Scott Fujimoto, Cédric Colas, Jakob Foerster

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot a navigare in un labirinto gigante e in continua evoluzione. Nel vecchio modo di fare questo (chiamato Apprendimento per Rinforzo Condizionato agli Obiettivi), daresti al robot un'istruzione specifica, come "Vai in cucina". Il robot si aggirerebbe, sbatterebbe contro i muri e alla fine forse troverebbe la cucina.

Quando il robot finisce, l'insegnante esamina il percorso che ha fatto. Se al robot era stato detto di andare in cucina ma ha accidentalmente camminato oltre la biblioteca lungo la strada, il vecchio metodo direbbe: "Quella parte della biblioteca è stata un errore; buttala via. Ci interessa solo la cucina".

Il Problema: Questo è uno spreco di informazioni! Il robot ha imparato molto sulla biblioteca mentre cercava di trovare la cucina. Buttando via quei dati, il robot deve reimparare tutto sulla biblioteca in seguito, se mai gli chiederai di andare lì.

La Vecchia "Soluzione" (Hindsight Experience Replay):
In precedenza, i ricercatori cercavano di risolvere questo problema osservando il percorso del robot e dicendo: "Oh, è finito alla biblioteca! Facciamo finta che volessimo che andasse alla biblioteca fin dall'inizio". Questo aiuta un po', ma è come cercare di ridenominare un intero film dopo averlo guardato. È lento e puoi farlo solo per pochi finali diversi alla volta.

La Nuova Soluzione: "Imparare Tutto Tutto Insieme" (LEO)
Gli autori di questo articolo propongono un modo più intelligente. Invece di insegnare al robot un obiettivo alla volta, costruiscono un "super-cervello" che impara ogni possibile obiettivo simultaneamente.

Pensaci come a uno chef che sta cucinando un banchetto enorme.

Il Vecchio Modo: Lo chef cucina un solo piatto (la cucina), lo assaggia, butta via le note su come ha tritato le cipolle e poi ricomincia per cucinare il piatto successivo (la biblioteca).
Il Modo LEO: Lo chef cucina l'intero banchetto in una sola volta. Ha una lavagna gigante con 512 ricette diverse (obiettivi) scritte sopra. Mentre trita una cipolla, aggiorna istantaneamente la sua conoscenza per tutte le 512 ricette contemporaneamente. Si rende conto: "Ehi, tritare le cipolle è utile per la zuppa, lo stufato e l'insalata!"

Come funziona tecnicamente (ma semplicemente):
Di solito, una rete informatica chiede: "Qual è la mossa migliore per questo specifico obiettivo?"
LEO modifica la rete in modo che chieda: "Qual è la mossa migliore per ogni singolo obiettivo proprio ora?" Emette un'enorme lista di risposte per ogni possibile destinazione in un'unica passata. Questo rende l'apprendimento incredibilmente veloce (oltre 250 volte più veloce del vecchio metodo di "ridenominazione") perché il robot non deve ripercorrere lo stesso viaggio centinaia di volte.

Il Rovescio della Medaglia: Il Problema della "Fusione Tardiva"
Gli autori hanno trovato un piccolo difetto. Poiché il robot deve pensare a tutti gli obiettivi contemporaneamente, a volte si confonde. È come uno studente che cerca di studiare per 500 esami diversi nello stesso identico momento. Potrebbe avere una sensazione generale del materiale, ma potrebbe non essere così acuto nel rispondere a una domanda specifica quanto uno studente che ha studiato solo per quell'esame.

Nell'articolo, questo significava che LEO era ottimo nel risolvere obiettivi difficili e complessi ma a volte peggiore con quelli semplici perché stava "diluitando" il suo focus.

La Soluzione Definitiva: "Dual LEO" (Il Sistema Insegnante-Studente)
Per risolvere questo, gli autori hanno creato una collaborazione:

L'Insegnante (LEO): Questa rete è la "spugna di dati". Impara tutto su tutto, anche se è un po' disordinato. Fornisce una mappa approssimativa del mondo.
Lo Studente (Rete Standard): Questa rete è lo specialista. Si concentra solo sull'obiettivo specifico che gli stai chiedendo di fare attualmente.

L'Insegnante dice allo Studente: "Ehi, conosco la direzione generale per la biblioteca, anche se non sono perfetto. Ecco un indizio". Lo Studente prende quell'indizio e lo rifinisce per diventare un esperto nel raggiungere la biblioteca.

I Risultati
Il team ha testato questo su un videogioco complesso chiamato Craftax (un po' come Minecraft) e su alcuni compiti di movimento robotico.

Sulla versione grande e difficile del gioco con 512 obiettivi diversi, il nuovo metodo Dual LEO è stato il chiaro vincitore, battendo tutti gli altri metodi.
Ha imparato molto più velocemente e ha potuto gestire una vasta varietà di compiti che altri metodi avevano abbandonato.
Hanno anche dimostrato che questo funziona per movimenti continui (come un braccio robotico che si muove fluidamente), non solo per passi di videogiochi.

In Sintesi
Questo articolo introduce un metodo in cui un'intelligenza artificiale impara a risolvere ogni possibile problema contemporaneamente, invece che uno alla volta. Quando diventa troppo ampia e perde il focus, la associano a una rete "studente" specializzata che utilizza la conoscenza ampia come guida. Questo permette a robot e AI per videogiochi di imparare enormi quantità di informazioni molto più velocemente ed efficientemente di prima.

Riepilogo Tecnico: Imparare Tutto Tutto In Una Volta (LEO)

Enunciato del Problema

L'Apprendimento per Rinforzo Condizionato agli Obiettivi (GCRL) mira ad addestrare agenti in grado di eseguire una vasta gamma di compiti su comando. Una sfida fondamentale nel GCRL è l'efficienza dei dati. Quando un agente esplora un ambiente per raggiungere un obiettivo specifico comandato, la traiettoria risultante contiene informazioni ricche rilevanti per molti altri potenziali obiettivi. Gli aggiornamenti standard on-policy o i metodi che rietichettano le traiettorie con un singolo obiettivo alternativo (ad esempio, Hindsight Experience Replay, HER) scartano la vasta maggioranza di queste informazioni.

Sebbene l'apprendimento "tutti-gli-obiettivi" — aggiornare la funzione di valore rispetto a ogni possibile obiettivo per ogni transizione — offra una via teorica per l'estrazione massima delle informazioni, storicamente è stato computazionalmente non fattibile. La rietichettatura ingenua degli obiettivi scala linearmente con il numero di obiettivi, rendendola impraticabile per insiemi di obiettivi grandi o continui. Inoltre, gli approcci esistenti spesso faticano a bilanciare il costo computazionale dell'aggiornamento rispetto a tutti gli obiettivi con la capacità rappresentativa necessaria per apprendere politiche ad alta fedeltà per comandi specifici.

Metodologia

Il documento propone Learning Everything All at Once (LEO), un metodo progettato per eseguire aggiornamenti efficienti e paralleli "tutti-gli-obiettivi" su insiemi di obiettivi discreti arbitrari.

1. L'Architettura LEO

Invece di condizionare la rete di valori su un obiettivo specifico (come negli Universal Value Function Approximators, UVFA), LEO riparametrizza la rete per outputare valori per ogni obiettivo simultaneamente.

Currying: La funzione Q viene trasformata da $Q(s, g) \to \mathbb{R}^A$ a $Q(s) \to \mathbb{R}^{G \times A}$ , dove $G$ è l'insieme degli obiettivi e $A$ è l'insieme delle azioni.
Aggiornamenti Efficienti: Ciò permette all'agente di eseguire una singola passata in avanti per generare i valori Q per tutti gli obiettivi e una singola passata all'indietro per aggiornare la rete utilizzando i vettori di ricompensa per tutti gli obiettivi. Ciò elimina il costo di scalabilità lineare della rietichettatura ingenua.
Inferenza: Durante l'esecuzione, l'agente si limita a indicizzare il vettore di output corrispondente all'obiettivo comandato.

2. Il Limite della Fusione Tardiva e Dual LEO

Gli autori identificano un compromesso critico nell'architettura LEO. Sebbene LEO eccell nell'assorbire informazioni da tutti gli obiettivi, soffre di fusione tardiva. Poiché la rete deve produrre output per tutti gli obiettivi prima che venga selezionato l'obiettivo comandato specifico, ciò crea un collo di bottiglia informativo. La rete è costretta ad apprendere una rappresentazione adatta a tutti gli obiettivi simultaneamente, il che può degradare le prestazioni su obiettivi specifici, in particolare su quelli più semplici dove una rappresentazione focalizzata (fusione precoce) è superiore.

Per affrontare ciò, il documento introduce Dual LEO, che combina i punti di forza di LEO e delle reti standard condizionate agli obiettivi di tipo UVFA:

Dinamica Maestro-Allievo: Una rete LEO (il maestro) e una rete UVFA (l'allievo) vengono addestrate indipendentemente sullo stesso flusso di dati.
Trasferimento di Informazioni: La rete LEO agisce come una "spugna di dati", interiorizzando informazioni massimali e fornendo una guida grezza e direzionale per gli obiettivi che la rete UVFA non ha ancora visto o risolto.
Varianti di Implementazione:
- Dual LEO (PQN): Il valore Q finale è una combinazione lineare delle stime LEO e UVFA ( $\alpha Q_{LEO} + (1-\alpha) Q_{UVFA}$ ).
- Dual LEO (PPO): La rete LEO fornisce termini di perdita aggiuntivi per guidare l'attore e il critico PPO verso le stime della politica e del valore LEO, in particolare per gli obiettivi in cui la rete UVFA manca di segnali positivi.

3. Estensione al Controllo Continuo

Gli autori estendono LEO agli ambienti di controllo continuo (ad esempio, Ant Maze) discretizzando lo spazio degli obiettivi continui in una griglia. Gli obiettivi continui vengono agganciati al punto della griglia quantizzata più vicino, permettendo al meccanismo di aggiornamento "tutti-gli-obiettivi" di funzionare. La rete politica viene adattata in modo simile per outputare azioni per tutte le teste di obiettivo discrete.

Contributi Chiave

Metodo LEO: Un approccio innovativo che consente aggiornamenti efficienti "tutti-gli-obiettivi" su insiemi di obiettivi discreti arbitrari outputando valori per tutti gli obiettivi in una singola passata di rete, ottenendo un'accelerazione >250× rispetto alla rietichettatura "tutti-gli-obiettivi" ingenua.
Benchmark CraftaxGC: L'introduzione di un benchmark GCRL parzialmente osservabile, procedurale e impegnativo basato su Craftax, caratterizzato da un vasto insieme eterogeneo di obiettivi semantici (ad esempio, conteggi dell'inventario, adiacenze specifiche di blocchi, livelli di dungeon) che non possono essere risolti da una semplice mappatura stato-obiettivo.
Dual LEO: Un'architettura ibrida che mitiga il collo di bottiglia della fusione tardiva del LEO puro utilizzando LEO come maestro per avviare (bootstrap) una rete studente standard condizionata agli obiettivi, ottenendo prestazioni allo stato dell'arte.
Versatilità: Dimostrazione che il concetto LEO si estende oltre gli ambienti discreti fino ai compiti di controllo continuo, mantenendo la competitività con le baseline esistenti.

Risultati Sperimentali

Gli autori valutano i loro metodi su CraftaxGC (con 136 e 512 obiettivi) e JaxGCRL (compiti Ant Maze).

CraftaxGC (Insieme di Obiettivi Grande): Sul benchmark Craftax completo (512 obiettivi), i metodi UVFA standard (PPO, PQN) e PQN+HER performano male a causa delle ricompense sparse e dell'incapacità di sfruttare efficacemente i dati off-policy. LEO supera significativamente queste baseline. Dual LEO (PPO) ottiene le migliori prestazioni finali, superando massicciamente tutti gli altri metodi.
CraftaxGC (Insieme di Obiettivi Piccolo): Sul più piccolo Craftax-Classic (136 obiettivi), il semplice PPO performa relativamente bene. LEO supera la sua base PQN ma è leggermente inferiore a PQN+HER. Tuttavia, le varianti Dual LEO superano costantemente le loro parti costituenti, dimostrando la robustezza dell'approccio maestro-allievo.
Prestazioni Specifiche per Obiettivo: L'analisi rivela che mentre LEO eccelle sugli obiettivi difficili (dove fornisce l'unico segnale positivo), può performare peggio sugli obiettivi facili rispetto a UVFA a causa del collo di bottiglia della fusione tardiva. Dual LEO risolve ciò, mantenendo alte prestazioni sugli obiettivi difficili senza sacrificare le prestazioni su quelli facili.
Controllo Continuo: Sui compiti Ant Maze, SAC+LEO supera le baseline su labirinti più piccoli. Su labirinti più grandi, le prestazioni sono comparabili a SAC+HER e Contrastive RL (CRL).
Velocità: LEO registra un rallentamento del 34% rispetto all'apprendimento su singolo obiettivo, ma è 264× più veloce della rietichettatura "tutti-gli-obiettivi" ingenua.

Significato e Affermazioni

Il documento afferma che LEO sblocca il potenziale dell'apprendimento "tutti-gli-obiettivi" su larga scala, fornendo uno strumento pratico per i praticanti di RL in ambienti complessi. Gli autori ipotizzano che il compromesso fondamentale nel GCRL risieda tra:

Approcci di tipo UVFA: Che generalizzano bene grazie alla fusione precoce ma possono faticare ad assorbire efficientemente enormi quantità di dati off-policy.
Approcci di tipo LEO: Che assorbono efficientemente informazioni massimali ma faticano con rappresentazioni ad alta fedeltà a causa della fusione tardiva.

Dual LEO viene presentato come una soluzione che colma questo divario, permettendo agli agenti di interiorizzare informazioni grezze da tutti gli obiettivi mentre affinano politiche specifiche attraverso una rete dedicata condizionata agli obiettivi. Gli autori sottolineano che, sbloccando un apprendimento "tutti-gli-obiettivi" efficiente, LEO permette agli agenti di riformulare l'esperienza precedente nel contesto di nuovi obiettivi, moltiplicando efficacemente le informazioni estratte da ogni traiettoria. Il lavoro è reso open-source per facilitare ulteriori ricerche in domini complessi e condizionati agli obiettivi.