Riepilogo Tecnico: Apprendimento di Modelli del Mondo Basati su Caratteristiche Visive tramite Azione Latente Residua

Enunciato del Problema

I modelli del mondo mirano a prevedere le transizioni di stato future dalle osservazioni e dalle azioni, fungendo da fondamento per l'apprendimento delle politiche e il ragionamento. Il paradigma dominante attuale si basa sulla generazione video in spazi latenti allineati ai pixel (ad esempio, VAE). Sebbene visivamente accattivanti, questi approcci soffrono di un elevato sovraccarico computazionale e di una propensione all'allucinazione (generazione di stati fisicamente implausibili).

Al contrario, i modelli del mondo basati su caratteristiche visive (ad esempio, DINO-WM) prevedono caratteristiche visive future (come i token DINO) piuttosto che pixel grezzi. Questo approccio è più efficiente e meno soggetto ad allucinazioni. Tuttavia, i metodi basati su caratteristiche esistenti si affidano alla regressione diretta per prevedere i token futuri. Nelle interazioni 3D complesse, ciò porta a una "regressione verso la media", risultando in previsioni sfocate o collassate. Un'alternativa apparentemente percorribile—l'uso di modelli generativi (come la diffusione) direttamente nello spazio delle caratteristiche—è ostacolata dalla maledizione della dimensionalità; i token DINO hanno una dimensionalità significativamente più elevata (ad esempio, 1 milione di dimensioni per un'immagine 512×512) rispetto ai latenti VAE standard (16k), rendendo la modellazione generativa computazionalmente proibitiva e vanificando gli obiettivi di efficienza dei modelli basati su caratteristiche.

Il documento affronta due domande chiave:

1. Come sviluppare un modello del mondo efficiente e accurato in uno spazio di caratteristiche visive che sia scalabile per manipolazioni 3D complesse?
2. Come sfruttare tali modelli del mondo per migliorare le politiche robotiche a valle?

Metodologia

1. Azione Latente Residua (RLA)

Gli autori propongono una nuova rappresentazione dell'azione latente chiamata Azione Latente Residua (RLA). Invece di prevedere lo stato futuro assoluto $s_{t+h}$ o generarlo tramite diffusione pesante, la RLA codifica il residuo tra i token DINO attuali ($s_t$) e i token DINO futuri ($s_{t+h}$) in un vettore latente compatto $z$.

• Architettura: Viene addestrato un autoencoder in cui un encoder $f_{enc}$ elabora il residuo $(s_{t+h} - s_t)$ insieme a query apprendibili per produrre un latente compatto $z$. Un decoder $f_{dec}$ ricostruisce $s_{t+h}$ utilizzando $s_t$ e $z$.
• Proprietà Chiave:
  • Sufficienza Predittiva: A differenza delle azioni latenti precedenti utilizzate come condizionamento debole per la generazione iterativa, la RLA consente la ricostruzione accurata dei token futuri in un singolo passaggio feedforward.
  • Generalizzabilità: L'encoder RLA si generalizza a scene e pattern di movimento nuovi, anche quando addestrato su dati limitati e agnostici rispetto al compito.
  • Topologia Temporale: Lo spazio latente codifica naturalmente la progressione temporale. L'interpolazione lineare tra rumore gaussiano e un vettore RLA produce rappresentazioni corrispondenti a stati temporali intermedi.

2. Modello del Mondo RLA (RLA-WM)

Sulla base della RLA, gli autori propongono RLA-WM, un modello del mondo che prevede il vettore RLA compatto $z$ piuttosto che l'alta dimensionalità $s_{t+h}$ direttamente.

• Flow Matching: Il modello utilizza il flow matching per prevedere la velocità necessaria per trasformare il rumore gaussiano nel target RLA $z$.
  • Input: Stato corrente $s_t$ e un blocco di azioni $a_{t:t+h}$.
  • Processo: Una rete di condizionamento elabora $s_t$ e le azioni per generare token di condizione. Questi vengono concatenati con un latente rumoroso $z_\tau$. Una rete di flusso prevede la velocità $\hat{v}$ per trasformare iterativamente il rumore nel RLA finale $z_1$.
  • Output: Il RLA previsto $z_1$ viene decodificato con $s_t$ per ricostruire lo stato futuro $s_{t+h}$.
• Efficienza: Eseguendo il flow matching nello spazio RLA compatto (ad esempio, 2048 dimensioni) invece che nello spazio completo dei token DINO, il modello raggiunge un'alta fedeltà con costi computazionali (FLOPs) significativamente inferiori rispetto ai modelli di diffusione video.

3. Applicazioni nell'Apprendimento Robotico

Il documento dimostra due applicazioni di RLA e RLA-WM:

• Modello di Azione del Mondo Minimalista (WAM) per Video Senza Azioni:

  • Estende una politica standard di Clonazione del Comportamento (BC) (ResNet-18) aggiungendo un singolo strato lineare per prevedere il RLA $z$ dalle osservazioni.
  • Addestrato su un mix di video con e senza etichette di azione. Per i video senza azioni, la perdita di azione viene mascherata e la rete impara a prevedere il target RLA (derivato dalla coppia di video) per guidare la politica.
  • Ciò consente l'apprendimento da video su larga scala non etichettati senza accoppiare la politica a backbones di generazione video pesanti.

• Apprendimento per Rinforzo Visivo (WMRL) all'interno di RLA-WM:

  • La prima dimostrazione di RL visivo addestrato interamente all'interno di un modello del mondo appreso solo da video offline.
  • Nessuna interazione online, ricompense manuali o perdita BC ausiliaria vengono utilizzate durante la fase di RL.
  • Ricompresa Allineata al Video (VAR): La ricompensa è definita come la distanza L1 negativa tra i token DINO del rollout del modello e i token DINO ground-truth di un video offline di riferimento (sincronizzati nel tempo).
  • La politica (inizializzata da BC) viene ottimizzata tramite PPO utilizzando rollout generati interamente all'interno di RLA-WM.

Contributi Chiave

1. Azione Latente Residua (RLA): Una semplice e compatta rappresentazione dell'azione latente appresa dai residui DINO, che è predittiva, generalizzabile e codifica la topologia temporale.
2. RLA-WM: Un modello del mondo basato su caratteristiche visive all'avanguardia che prevede la RLA tramite flow matching. Supera i modelli esistenti basati su caratteristiche e i modelli di diffusione video in accuratezza, essendo al contempo ordini di grandezza più veloce.
3. Nuove Applicazioni:
   • Un WAM minimalista che migliora l'apprendimento per imitazione da video senza azioni.
   • Un framework di RL visivo (WMRL) che ottimizza le politiche tramite rollout in un modello del mondo appreso senza interazione online o ingegneria manuale delle ricompense.

Risultati Sperimentali

Qualità della Previsione

Valutato sui dataset ManiSkill (simulazione) e IWS (manipolazione bimanuale nel mondo reale):

• Metriche: RLA-WM ha ottenuto prestazioni superiori in LPIPS, SSIM e distanza L1 DINO rispetto ai baseline, inclusi DINO-WM (regressione), RAE (diffusione nello spazio delle caratteristiche), FM-WM (flow matching nello spazio delle caratteristiche) e Vid2World (diffusione video).
• Efficienza: RLA-WM ha richiesto 3,5T FLOPs per inferenza, significativamente inferiore a Vid2World (1,1P FLOPs) e RAE/FM-WM (14,3T FLOPs).
• Qualitativo: RLA-WM ha prodotto previsioni radicate nella realtà fisica con minime allucinazioni, mentre i modelli di diffusione video (Vid2World) hanno spesso generato traiettorie nitide ma fisicamente incoerenti.

Prestazioni nell'Apprendimento Robotico

• Apprendimento da Video Senza Azioni: In compiti di apprendimento per imitazione utilizzando solo il 5% di dati etichettati con azioni, il WAM basato su RLA ha raggiunto un tasso di successo medio del 35,6%, superando il baseline BC (27,2%) e altri metodi di azione latente (ad esempio, AdaWorld al 33,7%). Il miglioramento è stato più pronunciato nel compito difficile Push-T (+15,2% rispetto al baseline).
• RL Visivo (WMRL): Su 1500 semi di valutazione, WMRL ha migliorato significativamente le prestazioni della politica sui robot XArm e UR10e rispetto alla politica BC iniziale. In media, ha ottenuto un guadagno del +1,1% rispetto a BC su cinque compiti senza utilizzare dati di interazione reale aggiuntivi.

Significato e Affermazioni

Il documento afferma che RLA-WM rappresenta un forte passo avanti per i modelli del mondo basati su caratteristiche visive. Spostandosi dalla regressione diretta o dalla modellazione generativa pesante alla modellazione dell'azione latente residua, gli autori raggiungono un equilibrio di efficienza, accuratezza e scalabilità precedentemente irraggiungibile negli spazi di caratteristiche ad alta dimensionalità.

Il significato risiede in:

1. Superamento della Maledizione della Dimensionalità: Dimostrando che la modellazione generativa nello spazio delle caratteristiche è fattibile se l'obiettivo è una rappresentazione residua compatta invece che il vettore di caratteristiche completo.
2. Abilitazione del RL Solo Offline: Dimostrando che un RL visivo di alta qualità è possibile utilizzando solo dati video offline e un modello del mondo appreso, eliminando la necessità di costose esplorazioni online o funzioni di ricompensa manuali.
3. Scalabilità ai Dati Non Etichettati: Fornendo un percorso per sfruttare la vasta quantità di dati video robotici non etichettati per il miglioramento delle politiche attraverso l'approccio WAM minimalista.

Gli autori riconoscono le limitazioni, come la difficoltà di gestire movimenti di sfondo irrilevanti per il compito (ad esempio, vibrazioni della fotocamera) e l'osservabilità parziale (occlusioni), suggerendo lavori futuri su RLA indipendente dalla vista 3D e condizionamento multi-frame. Tuttavia, sottolineano che i loro risultati su dataset su piccola scala isolano i guadagni guidati dal metodo dalla semplice scalabilità dei dati, stabilendo una solida base per future applicazioni nel mondo aperto.