Curriculum reinforcement learning with measurable task representation learning

Riepilogo Tecnico: Apprendimento per Rinforzo con Curriculum e Apprendimento di Rappresentazioni di Task Misurabili

Enunciato del Problema
L'Apprendimento per Rinforzo con Curriculum (CRL) mira ad accelerare l'apprendimento su compiti target complessi addestrando gli agenti su una sequenza di compiti con difficoltà crescente. Mentre i primi metodi CRL si concentravano sulla sequenziazione di compiti predefiniti, la ricerca recente si è spostata verso la generazione automatica di curriculum. Un paradigma dominante in questo campo prevede l'interpolazione di distribuzioni di task, dove nuovi task intermedi vengono generati interpolando tra una distribuzione di task iniziale e una distribuzione di task target, utilizzando metriche di distanza come la divergenza KL o la distanza di Wasserstein.

Tuttavia, questo approccio basato sull'interpolazione si fonda sull'assunzione che la similarità tra task possa essere misurata tramite la distanza euclidea nello spazio dei contesti (task). Tale assunzione fallisce in ambienti complessi, in particolare quelli con strutture geometriche non euclidee (ad esempio, labirinti con muri). In tali contesti, un'interpolazione a linea retta nello spazio dei parametri può generare task fisicamente non fattibili (ad esempio, posizionare un obiettivo dietro un muro) o non rappresentare un progresso significativo in termini di difficoltà, ostacolando così la capacità dell'agente di trasferire efficacemente le conoscenze. Inoltre, i metodi esistenti spesso faticano a definire metriche di similarità significative in ambienti complessi, ad alta dimensionalità o con ricompense sparse, senza segnali di ricompensa esterni specificamente progettati per la generazione del curriculum.

Metodologia: ACRL
Gli autori propongono ACRL (Automatic Curriculum with Representation Learning), un framework che genera curriculum apprendendo una rappresentazione di task misurabile in uno spazio latente. L'idea centrale è che la similarità tra task debba essere definita dal comportamento dell'agente (transizioni di stato e ricompense) piuttosto che dai parametri grezzi dell'ambiente.

La metodologia è composta da tre componenti principali:

1. Apprendimento della Rappresentazione del Task tramite VAE:
   Gli autori impiegano un Variational Autoencoder (VAE) per mappare i contesti dei task in uno spazio latente.

   • Encoder: Assume le traiettorie (sequenze di stati, azioni, ricompense e stati successivi) raccolte da un contesto di task specifico $c$ e le codifica in un embedding latente $z$. Per garantire l'invarianza permutazionale, l'embedding della traiettoria è calcolato come il prodotto degli embedding per le singole transizioni.
   • Decoder: Il VAE include un decoder di transizione ($p_\theta(s'|z)$) e un decoder di ricompensa ($p_\theta(r|z)$) per ricostruire lo stato successivo e la ricompensa, assicurando che lo spazio latente catturi la dinamica e la struttura delle ricompense del task.
   • Decoder del Task: Un decoder ausiliario ($p_c^\theta(z)$) mappa l'embedding latente indietro nello spazio dei contesti, permettendo la generazione di nuovi parametri di task a partire da punti latenti.
   • Vincolo di Addestramento: Per garantire rappresentazioni significative, il VAE viene addestrato solo su traiettorie in cui l'agente ottiene un ritorno superiore a una specifica soglia $\delta$, filtrando tentativi casuali o falliti.

2. Generazione Automatica del Curriculum:
   Una volta apprese le rappresentazioni dei task, il curriculum viene aggiornato utilizzando due strategie basate sul progresso dell'apprendimento dell'agente:

   • Predizione nello Spazio Latente (LSP): Utilizzata quando l'agente ha raggiunto una certa performance sul task target. Il metodo interpola tra gli embedding latenti dei task attuali di successo e l'embedding del task target nello spazio latente. Questi punti interpolati vengono decodificati nello spazio dei contesti per generare nuovi task, progressivamente più difficili, che rispettano i vincoli geometrici sottostanti dell'ambiente.
   • Aggiornamento del Confine di Esplorazione (EBU): Utilizzato nelle fasi iniziali o quando la performance sul task target è bassa. Il metodo identifica il "confine di esplorazione" — i task più vicini al target che l'agente può attualmente risolvere — e campiona nuovi task vicino a questo confine aggiungendo rumore gaussiano per incoraggiare l'esplorazione.

3. Strategia di Campionamento:
   Il framework mantiene un buffer di task e utilizza un rapporto di campionamento $\lambda$ per bilanciare il campionamento dalla distribuzione del curriculum appresa (per sfruttare i progressi) e una distribuzione uniforme sullo spazio dei contesti (per garantire l'esplorazione e prevenire il collasso modale).

Contributi Chiave

1. Framework ACRL: La proposta di un framework automatico di RL con curriculum che genera distribuzioni di task intermedi tra task sorgente e target senza richiedere ricompense esterne per la generazione del curriculum. Utilizza l'apprendimento di rappresentazioni di task per mappare i contesti in uno spazio latente, garantendo una metrica più fluida e significativa per la similarità tra task.
2. Similarità di Task Misurabile: Un metodo innovativo di apprendimento di rappresentazioni di task che mappa lo spazio dei contesti in uno spazio latente utilizzando un VAE. Questo approccio permette la misurazione della similarità in spazi metrici non euclidei codificando le transizioni di stato e le ricompense, superando i limiti dell'interpolazione euclidea diretta.
3. Superiorità Empirica: Dimostrazioni che mostrano come ACRL raggiunga un'efficienza di apprendimento e una performance asintotica superiori su compiti di navigazione complessi con strutture geometriche intricate rispetto a baseline dello stato dell'arte, inclusi metodi basati sull'interpolazione (CURROT) e approcci generativi (Goal GAN, ALP-GMM).

Risultati Sperimentali
Gli autori hanno valutato ACRL su due domini:

• MiniGrid (Spazio di Azioni Discreto): Un insieme di compiti di navigazione in labirinti con difficoltà variabile (Facile, Medio, Difficile) che coinvolgono chiavi, porte e lava. In questi ambienti, la distanza euclidea fallisce perché i muri bloccano i percorsi diretti.

  • Performance: ACRL ha superato le baseline (Default, Random, ALP-GMM, Goal GAN, VDS, PLR, CURROT) in termini di tempo per raggiungere la soglia e stabilità.
  • Visualizzazione del Curriculum: Le distribuzioni di task generate hanno navigato con successo attorno agli ostacoli, muovendosi dalla posizione iniziale verso il target attraverso percorsi fattibili. Al contrario, CURROT ha generato task intermedi che spesso portavano gli agenti contro i muri, fallendo nel fornire un percorso di apprendimento valido.
  • Analisi della Rappresentazione: La Scalatura Multidimensionale (MDS) dello spazio latente ha rivelato che gli embedding appresi hanno catturato efficacemente la struttura non euclidea dei task, raggruppando task simili (in termini di difficoltà e geometria) insieme.

• U-Maze (Spazio di Azioni Continuo): Un ambiente di controllo continuo in cui l'agente deve navigare una barriera a forma di U.

  • Performance: ACRL ha dimostrato una migliore efficienza nel campionamento rispetto alle baseline. Mentre Goal GAN ha raggiunto una buona performance asintotica, ha sofferto nel tempo per raggiungere la soglia a causa della mancanza di guida verso il target. Altre baseline hanno fallito perché hanno generato task in regioni irraggiungibili.
  • Studi di Ablazione: Lo studio ha confermato che la combinazione di LSP e EBU è cruciale. Rimuovere uno dei due componenti o impostare il rapporto di campionamento $\lambda$ troppo alto (riducendo l'esplorazione) o troppo basso (degenerando in campionamento uniforme) ha ridotto significativamente le performance. È stato inoltre dimostrato che l'inclusione di entrambi i decoder di ricompensa e transizione è essenziale per un apprendimento stabile delle rappresentazioni.

Significato e Affermazioni
Il paper afferma che ACRL affronta una limitazione fondamentale nella generazione automatica di curriculum: l'incapacità delle metriche di distanza euclidea di catturare la similarità tra task in ambienti complessi e non euclidei. Apprendendo una rappresentazione latente basata sull'interazione effettiva dell'agente (traiettorie), il metodo può generare curriculum che rispettano i vincoli geometrici e dinamici dell'ambiente.

Gli autori sottolineano che il loro approccio:

• Non richiede ricompense esterne per la generazione del curriculum.
• È compatibile con qualsiasi algoritmo RL esistente (ad esempio, PPO, SAC).
• Gestisce sia spazi di contesti discreti che continui.
• Fornisce un percorso di apprendimento più robusto ed efficiente per agenti che affrontano compiti a lungo orizzonte con ricompense sparse.

Il paper conclude con modestia, riconoscendo una limitazione: il metodo assume attualmente uno spazio di contesti parametrico (parametri numerici) e non può gestire direttamente definizioni non parametriche come contesti simbolici o basati sul linguaggio, sebbene ciò sia indicato come una potenziale direzione per lavori futuri che coinvolgono encoder semantici.