Value Explicit Pretraining for Learning Transferable Representations

1. Enunciato del Problema

Gli agenti di Apprendimento per Rinforzo (RL) visivo faticano a generalizzare tra compiti quando si trovano di fronte a variazioni nella dinamica dell'ambiente e nell'aspetto visivo. Mentre gli esseri umani possono estrarre informazioni rilevanti per il compito indipendentemente da tali cambiamenti, i robot richiedono rappresentazioni apprese che siano invarianti a queste variazioni.

Gli approcci attuali all'apprendimento di rappresentazioni affrontano due limitazioni principali:

1. Obiettivi non allineati: Molti metodi utilizzano obiettivi di pre-addestramento (ad esempio, ricostruzione dell'immagine, coerenza temporale) che sono distinti dal compito di controllo a valle (previsione dell'azione).
2. Requisiti di dati: I metodi esistenti di transfer learning spesso richiedono dimostrazioni di esperti di alta qualità, etichettate, o traiettorie di successo. Manca un metodo in grado di apprendere efficacemente rappresentazioni trasferibili da dati subottimali e non etichettati (sequenze di osservazioni e ricompense sparse in cui l'agente spesso fallisce nel completare il compito).

La sfida centrale è: Come possiamo apprendere un encoder che produca rappresentazioni utili per il controllo senza addestrarsi sul compito di controllo stesso, utilizzando solo dati imperfetti e non etichettati?

2. Metodologia: Pre-addestramento Esplicito di Valore (VEP)

Gli autori propongono il Pre-addestramento Esplicito di Valore (VEP), un metodo di apprendimento contrastivo auto-supervisionato che apprende rappresentazioni agnostiche al compito codificando esplicitamente la "propensione al successo" (valore) anziché la semplice vicinanza visiva o temporale.

Insight Fondamentale

La funzione di valore $V(s)$ di uno stato rappresenta il ritorno atteso (propensione al successo) sotto una politica ottimale. Gli autori ipotizzano che stati con stime di valore simili tra compiti diversi (anche con aspetti visivi differenti) condividano una strategia ottimale simile. Pertanto, le rappresentazioni dovrebbero essere raggruppate in base alla somiglianza del valore piuttosto che alla somiglianza visiva.

Panoramica dell'Algoritmo

1. Fonte dei Dati: Il metodo utilizza dataset offline, subottimali e non etichettati ($D_{train}$) provenienti da un insieme di compiti di addestramento. Questi dataset contengono sequenze di osservazioni e segnali di ricompensa sparsi ma nessuna etichetta di azione.
2. Stima del Valore Monte Carlo:
   • Poiché la vera funzione di valore ottimale è sconosciuta, il VEP calcola una stima Monte Carlo (MC) $G$ per ogni fotogramma nel dataset utilizzando le ricompense sparse:
     $$G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$$
   • I fotogrammi con una stima di valore pari a 0 (che indicano che non è mai stata ottenuta alcuna ricompensa in quel segmento di traiettoria) vengono scartati.
3. Obiettivo di Apprendimento Contrastivo:
   • L'encoder $f_\phi$ viene addestrato utilizzando una funzione di perdita contrastiva (InfoNCE o perdita Triplet).
   • Strategia di Campionamento:
     • Ancora ($z_{an}$): Un'osservazione dal Compito $T_i$ con una stima di valore $g$.
     • Positivo ($z_{ps}$): Un'osservazione da un diverso compito $T_j$ con una stima di valore entro una soglia $v_{thresh}$ di $g$.
     • Negativo ($z_{ng}$): Un'osservazione da un compito $T_k$ con una stima di valore significativamente diversa da $g$ (oltre $v_{thresh}$).
   • Obiettivo: La funzione di perdita minimizza la distanza tra l'ancora e il positivo (simile valore/propensione al successo) e massimizza la distanza dal negativo, costringendo l'encoder ad apprendere rappresentazioni invarianti all'aspetto specifico del compito e alla dinamica.

Dettagli di Implementazione

• Preprocessing: Un dizionario mappa le stime di valore ordinate agli indici dei fotogrammi per abilitare un campionamento efficiente tramite ricerca binaria.
• Addestramento della Politica: Dopo il pre-addestramento, l'encoder viene congelato. Un algoritmo di RL online (PPO) viene addestrato sui compiti di test utilizzando le rappresentazioni latenti $z_t$ come input. Non avviene alcun fine-tuning dell'encoder.

3. Contributi Chiave

1. Rappresentazione Esplicita del Valore: Un nuovo framework di pre-addestramento che utilizza esplicitamente le stime di valore per organizzare lo spazio latente, garantendo che le rappresentazioni riflettano il progresso del compito piuttosto che la semplice coerenza visiva o temporale.
2. Utilizzo di Dati Subottimali: Il metodo apprende con successo rappresentazioni trasferibili utilizzando dati non etichettati e subottimali (episodi che non risolvono sempre il compito), una significativa deviazione dai metodi che richiedono dimostrazioni di esperti.
3. Generalizzazione Agnostica al Compito: Concentrandosi sulla somiglianza del valore, il metodo apprende rappresentazioni che generalizzano a compiti fuori distribuzione (OOD) con dinamiche visive diverse ma obiettivi simili.
4. Ablazioni e Confronti con Baseline: Il documento confronta rigorosamente il VEP con:
   • VIP (Pre-addestramento Implicito di Valore): Che si basa sulla coerenza temporale.
   • TCN (Apprendimento Contrastivo Temporale): Che campiona i positivi basandosi sulla distanza temporale.
   • SOM (Misura di Occupazione degli Stati): Che utilizza misure di occupazione per il campionamento.
   • Regressione del Valore (VR): Una baseline che semplicemente regredisce la stima del valore (dimostrando che il campionamento contrastivo di tripletti è superiore alla semplice regressione).

4. Risultati Sperimentali

Gli autori hanno valutato il VEP su tre benchmark: Atari, Navigazione Visiva (StreetLearn) e Locomozione Ant (Maze).

• Benchmark Atari:
  • Configurazione: Pre-addestrato su Demon-Attack e Space Invaders; testato su altri 4 giochi sparatutto.
  • Risultato: Il VEP ha superato le baseline (VIP, TCN, SOM) fino a 2× in termini di ricompense su compiti fuori distribuzione. Ha mostrato un miglioramento di circa il 25% su compiti in distribuzione.
• Navigazione Visiva:
  • Configurazione: Pre-addestrato su 2 città; testato su 4 città non viste.
  • Risultato: Il VEP ha raggiunto le stesse prestazioni dell'addestramento end-to-end 2,1× più velocemente (efficienza del campione). Ha superato significativamente i modelli visione-linguaggio all'avanguardia (CLIP, R3M, MVP).
• Locomozione Ant (Labirinto):
  • Configurazione: Pre-addestrato su labirinti semplici; testato su labirinti complessi con ostacoli diversi e variazioni visive.
  • Risultato: Il VEP ha raggiunto prestazioni all'avanguardia sia nei labirinti in dominio che in quelli OOD.
  • Visualizzazione: I grafici t-SNE hanno mostrato che mentre gli embedding TCN si raggruppavano per aspetto del labirinto (sovradattamento), gli embedding VEP si raggruppavano per progresso del compito (valore), dimostrando un vero apprendimento agnostico al compito.
• Studi di Ablazione:
  • Subottimalità: Le prestazioni del VEP sono rimaste robuste anche utilizzando dati da episodi che completavano solo il 10% del compito.
  • Soglia: È stata identificata una soglia di valore ottimale ($v_{thresh} \approx 0.03$); una soglia troppo alta ha degradato le prestazioni.
  • Contrasto vs Regressione: La semplice regressione del valore (baseline Regressione del Valore) non è riuscita a produrre rappresentazioni trasferibili, confermando che il campionamento contrastivo di tripletti è il meccanismo critico.

5. Significato e Impatto

• Efficienza: Il VEP migliora drasticamente l'efficienza del campione (fino a 3×) per il RL a valle, riducendo la necessità di interazioni online costose.
• Accessibilità dei Dati: Rimuovendo il requisito di dimostrazioni di esperti, etichettate o di successo, il VEP abbassa la barriera all'ingresso per il transfer learning, permettendo l'uso di enormi quantità di dati "disordinati" del mondo reale o simulati.
• Generalizzazione: Il metodo affronta il divario "sim-to-real" e "task-to-task" apprendendo rappresentazioni che catturano l'obiettivo del compito (progresso verso un obiettivo) piuttosto che caratteristiche visive superficiali.
• Direzioni Future: Gli autori suggeriscono di estendere questo approccio ad algoritmi di controllo continuo (come SAC) e all'apprendimento per imitazione few-shot, nonché di scalare verso scenari di pre-addestramento più complessi e su larga scala.

In sintesi, il VEP rappresenta un cambiamento di paradigma nell'apprendimento di rappresentazioni per la robotica, passando da "come appare il mondo" a "quanto l'agente è vicino al successo", abilitando un trasferimento robusto anche con dati imperfetti.