Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL

Sintesi Tecnica: Apprendimento di una Politica di Skill Generalizzabile con RL Non Supervisionato ed Efficiente dal Punto di Vista dei Dati

Definizione del Problema
L'Apprendimento per Rinforzo Non Supervisionato (URL) mira a pre-addestrare politiche condizionate da skill scalabili, senza ricompense estrinseche, per servire come fondamento per compiti di controllo a valle. Nonostante i recenti progressi, gli autori sostengono che gli attuali metodi URL off-policy affrontino due colli di bottiglia critici e trascurati che ne ostacolano la scalabilità:

1. Semantica della Skill Non Stazionaria (Inefficienza dei Campioni): Nei contesti off-policy, le traiettorie sono memorizzate in un replay buffer con etichette di skill ($z$) campionate al momento della raccolta. Poiché la politica della skill e la funzione di rappresentazione latente ($\phi$) evolvono durante l'addestramento, il significato semantico di una $z$ fissa cambia. Di conseguenza, la stessa $z$ memorizzata nel buffer può corrispondere a traiettorie comportamentali diverse nel tempo. L'utilizzo di queste etichette "obsolete" per l'addestramento introduce rumore ad alta varianza e deriva semantica, destabilizzando l'apprendimento e riducendo l'efficienza dei dati.
2. Generalizzazione Fragile: I metodi esistenti spesso condizionano le politiche delle skill su osservazioni complete dello stato, che includono informazioni contestuali globali (ad es. coordinate assolute o sfondi visivi). Ciò causa l'overfitting della politica a specifici contesti globali. Quando vengono implementate in ambienti con distribuzioni spostate (ad es. diverse posizioni di partenza o sfondi), la stessa skill $z$ non riesce a produrre comportamenti coerenti, limitando la riutilizzabilità nei compiti a valle.

Metodologia: GenDa
Gli autori propongono GenDa (Generalizable Data-efficient Agent), un framework unificato progettato per affrontare questi colli di bottiglia attraverso due meccanismi primari:

1. Relabeling della Skill per l'Apprendimento della Rappresentazione e della Politica:

   • Meccanismo: Per mitigare la deriva semantica, GenDa rintraccia dinamicamente le etichette delle traiettorie passate nel replay buffer. Invece di utilizzare l'etichetta originale della rollout ($z_{roll}$), il framework calcola una nuova etichetta ($z_{relab}$) basata sull'attuale funzione di rappresentazione latente $\phi$. Nello specifico, $z_{relab}$ è definito come il vettore unitario della differenza tra gli stati finale e iniziale nello spazio latente: $z_{relab} = \text{unit}(\phi(s_T) - \phi(s_0))$.
   • Ottimizzazione: L'obiettivo di apprendimento della rappresentazione viene aggiornato utilizzando questi target rintracciati (relabeled), bloccando i gradienti sulla rete target (utilizzando una Media Mobile Esponenziale, EMA). Ciò allinea il segnale di supervisione con l'attuale interpretazione dello spazio latente.
   • Regolarizzatore di Uniformità: Per prevenire il collasso della rappresentazione (dove tutti gli stati mappano in una regione ristretta) causato dalla distribuzione non fissa delle skill rintracciate, viene introdotto un regolarizzatore di uniformità di tipo contrastivo. Questo massimizza l'entropia delle skill rintracciate ($H(z_{relab})$), garantendo la scoperta di comportamenti diversificati.
   • Relabeling della Politica: Per l'apprendimento della politica, la ricompensa intrinseca è arricchita mescolando la skill rintracciata $z_{relab}$ con target multi-orizzonte ($z_c$) derivati da coppie di stati intermedi all'interno della stessa traiettoria, migliorando il bootstrapping e l'utilizzo dei dati off-policy.

2. Complementary Information Bottleneck (CIB):

   • Meccanismo: Per disaccoppiare l'esecuzione della skill dal contesto globale, GenDa introduce un modulo CIB. Un encoder variazionale $q_\psi(\ell|s)$ apprende un embedding $\ell$ che è complementare alla rappresentazione latente consapevole della metrica $\phi(s)$.
   • Obiettivo: L'encoder è addestrato tramite un obiettivo di bottleneck informativo variazionale ($J_{CIB} = I(\ell; s) - I(\ell; \phi(s))$). Poiché il decoder può ricostruire informazioni già catturate da $\phi(s)$, l'encoder è costretto a preservare solo l'informazione rimanente necessaria per ricostruire lo stato $s$.
   • Applicazione: La politica della skill $\pi(a|s, z)$ viene sostituita con $\pi(a|\ell, z)$, dove la politica si condiziona sull'embedding CIB $\ell$ invece che sullo stato grezzo. Ciò impedisce strutturalmente alla politica di sfruttare indizi contestuali globali, costringendola a fare affidamento su caratteristiche egocentriche rilevanti per la skill.

Contributi Chiave

• Formalizzazione dei Modi di Fallimento: Il documento identifica formalmente e fornisce prove teoriche ed empiriche per la "deriva semantica" nell'URL off-policy e la "generalizzazione fragile" dovuta all'overfitting del contesto globale.
• Framework di Skill Relabeling: Un approccio innovativo per mitigare la non stazionarietà allineando dinamicamente le esperienze passate con l'evoluzione dello spazio latente, migliorando significativamente l'efficienza dei dati.
• Complementary Information Bottleneck (CIB): Un modulo "drop-in" che apprende un embedding per disgiungere il contesto globale dall'esecuzione della skill, potenziando la robustezza ai cambiamenti di distribuzione.
• Framework Unificato: GenDa integra questi componenti in una pipeline di scoperta di skill non supervisionata scalabile basata su obiettivi metric-aware allo stato dell'arte.

Risultati Sperimentali
Gli autori valutano GenDa su diversi benchmark basati su stati e pixel (DeepMind Control Suite e MuJoCo), inclusi ambienti ad alta dimensionalità (ad es. "Dog" con 226 dimensioni di stato) dove i metodi precedenti falliscono.

• Efficienza dei Dati: GenDa raggiunge una copertura superiore di stati e task con significativamente meno interazioni con l'ambiente rispetto ai baseline (METRA, CSF, DIAYN, CIC). In ambienti ad alta dimensionalità come "Dog" e "Fish", GenDa riesce ad apprendere skill coerenti dove i baseline non riescono a scoprire comportamenti significativi.
• Generalizzazione a Valle: In compiti a valle che coinvolgono condizioni iniziali spostate (ad es. Random Start, Random Goal) e navigazione complessa (benchmark Maze), GenDa dimostra tassi di successo significativamente più elevati.
• Robustezza: Gli studi di ablazione confermano che la rimozione del meccanismo di relabeling porta a un pre-addestramento inefficiente, mentre la rimozione del CIB risulta in politiche che falliscono sotto cambiamenti di distribuzione (ad es. diverse coordinate di partenza o colori di sfondo).
• Scalabilità: GenDa raggiunge prestazioni comparabili ai limiti asintotici dei baseline con 5 volte meno interazioni con l'ambiente, dimostrando il suo potenziale come fondamento pratico per l'apprendimento robotico reale.

Significatività e Rivendicazioni
Il documento sostiene che GenDa affronti i limiti fondamentali nella scalabilità dell'apprendimento per rinforzo non supervisionato. Risolvendo la deriva semantica, il metodo sblocca il potenziale dell'apprendimento off-policy per l'URL, rendendo il pre-addestramento più efficiente dal punto di vista dei dati. Imponendo l'esecuzione della skill egocentrica tramite CIB, garantisce che le skill apprese siano robuste e riutilizzabili attraverso diversi compiti a valle e cambiamenti ambientali. Gli autori posizionano GenDa come un passo verso la creazione di politiche fondazionali general-purpose per il controllo che possano adattarsi a vari compiti con un fine-tuning minimo.

Limitazioni e Direzioni Future
Gli autori riconoscono che l'attuale framework di relabeling assume una sola skill per episodio, il che potrebbe non valere per comportamenti eterogenei all'interno di una singola traiettoria. Suggeriscono che il lavoro futuro potrebbe estendere il relabeling a etichette di skill variabili nel tempo. Inoltre, l'efficacia del CIB dipende dalla funzione latente $\phi$ consapevole della metrica, e l'attuale obiettivo metric-aware potrebbe ostacolare l'acquisizione di skill di manipolazione fine, suggerendo la necessità di meccanismi condizionati alla magnitudo nelle iterazioni future.