Riepilogo Tecnico: RepWAM – Modellazione di Azioni nel Mondo con Rappresentazione

1. Definizione del Problema

I Modelli di Azione del Mondo (World Action Models - WAM) mirano a colmare il divario tra la previsione passiva del futuro e il controllo robotico incarnato, apprendendo un singolo spazio latente che prevede la dinamica visiva e inferisce le azioni robotiche necessarie per realizzarle. Tuttavia, gli attuali WAM presentano due criticità fondamentali nella progettazione della loro rappresentazione:

1. Deficienze della Rappresentazione Visiva: Gli attuali WAM ereditano tipicamente i tokenizer video da modelli di generazione video pre-addestrati (es. WAN, VQ-VAE). Questi tokenizer sono ottimizzati per la ricostruzione dei pixel, dedicando capacità latenti alla bassa estetica (texture dello sfondo) piuttosto che alla semantica rilevante per il compito (identità degli oggetti, relazioni spaziali, indizi di interazione). Di conseguenza, la modellazione del mondo condizionata da istruzioni è scarsamente fondata, poiché gli obiettivi linguistici devono essere inferiti da uno spazio latente dominato dalla variazione dell'aspetto.
2. Decoupling (Disaccoppiamento) tra Azione e Visione: I latenti visivi e i comandi motori risiedono in spazi disgiunti. Ciò costringe un Modello di Dinamica Inversa (IDM) a colmare un significativo divario modale ad ogni passo, impedendo all'esperto d'azione di ancorare efficacemente i comandi motori al contenuto della scena.

Gli autori sostengono che la fedeltà dei WAM sia limitata da questi spazi latenti e pongono la domanda: Di quale tipo di rappresentazione ha realmente bisogno un modello di azione del mondo?

2. Metodologia: RepWAM

Il documento propone RepWAM, un WAM centrato sulla rappresentazione costruito su un Tokenizer Visivo-Azione di Rappresentazione (RepViTok). Il framework si compone di tre componenti principali:

A. Tokenizer Visivo-Azione di Rappresentazione (RepViTok)

RepViTok allinea i latenti visivi con un modello visivo di base (foundation model) congelato e induce i token di azione latenti come transizioni all'interno di questo spazio semantico condiviso.

• Tokenizzazione Visiva: Un autoencoder Vision Transformer (ViT) elabora le osservazioni visive. A differenza dei tokenizer standard, è supervisionato da un obiettivo duale:
  1. Perdita di Ricostruzione: Combina perdite $L_1$, percettive e avversarie per garantire la fedeltà dei pixel.
  2. Perdita di Allineamento delle Caratteristiche: Attira i latenti video verso un modello visivo di base congelato (es. Perception Encoder) tramite una proiezione lineare. Ciò assicura che lo spazio latente catturi la semantica di alto livello (identità dell'oggetto, interazioni) piuttosto che solo l'aspetto di basso livello.
• Tokenizzazione dell'Azione Latente: Basandosi sui token visivi allineati, un Tokenizer di Azione Latente (LAT) apprende i token di azione che rappresentano le transizioni tra gli stati visivi. Esso accoppia un Modello di Dinamica Inversa (IDM) e un Modello di Dinamica Forward (FDM):
  • L'IDM comprime la transizione tra frame latenti consecutivi ($z_t, z_{t+1}$) in un'azione latente compatta $\ell_t$.
  • Il FDM realizza $\ell_t$ come una mappa di trasporto (instradamento del contenuto visivo) e un residuo, ricostruendo il successivo latente visivo.
  • Questo design assicura che le azioni latenti siano definite come trasformazioni tra stati visivi semantici, rendendole trasferibili tra diverse incarnazioni (embodiments).

B. Modello di Azione del Mondo Causale

RepWAM pre-addestra un transformer di diffusione causale per modellare congiuntamente i futuri stati visivi e le azioni latenti sotto condizionamento linguistico.

• Architettura: Il modello utilizza una maschera a blocchi causali in cui i token visivi e di azione condividono i pesi dell'attenzione ma utilizzano reti feed-forward (FFN) specifiche per modalità.
• Obiettivo di Addestramento: Il modello è addestrato utilizzando un obiettivo di conditional flow-matching. Campiona un blocco di latenti visivi e azioni latenti accoppiate, interpolandoli con rumore Gaussiano. La rete regredisce la velocità target per predire simultaneamente il prossimo stato visivo e la corrispondente azione latente.
• Adattamento: Dopo il pre-addestramento su dati video-azione su larga scala, il modello viene adattato a traiettorie robotiche reali per la manipolazione a ciclo chiuso (closed-loop).

3. Contributi Chiave

1. Tokenizzazione Visiva-Azione Semantica: L'introduzione di RepViTok, che allinea i latenti visivi con un modello di base e apprende le azioni latenti come transizioni all'interno di questo spazio semantico, affrontando la natura "superficiale" e "disaccoppiata" delle rappresentazioni WAM esistenti.
2. Framework di Modellazione Congiunta: Un'architettura unificata che pre-addestra un transformer di diffusione causale per prevedere congiuntamente futuri stati visivi e azioni latenti, seguito dall'adattamento al controllo robotico reale.
3. Validazione Empirica: Valutazione completa su compiti di manipolazione dual-arm nel mondo reale e sul benchmark di simulazione RoboTwin 2.0, dimostrando che l'allineamento semantico migliora sia la previsione della dinamica visiva che l'esecuzione a ciclo chiuso.

4. Risultati Sperimentali

Gli autori hanno valutato RepWAM (scale da 1.3B e 5B di parametri) contro i baseline inclusi $\pi_0.5$, Motus e Lingbot-VA.

• Manipolazione nel Mondo Reale (Franka Dual-Arm):
  • Su compiti come "Pick the fruit" (Prendi il frutto), "Push the drawer" (Spingi il cassetto) e "Insert the tube" (Inserisci il tubo), RepWAM-5B ha raggiunto tassi di successo del 60%, 80% e 60% rispettivamente.
  • Questi risultati hanno superato $\pi_0.5$ (di 10–50 punti percentuali) e Lingbot-VA (di 10–20 punti percentuali), particolarmente nei compiti a lungo termine e a grana fine dove una dinamica visiva coerente è cruciale.
• Benchmark di Simulazione (RoboTwin 2.0):
  • RepWAM-5B ha ottenuto l'89.3% nei compiti "Easy" e l'88.4% nei compiti "Hard", superando la media di 50 compiti di $\pi_0.5$ e Motus.
  • Notevolmente, RepWAM è stato addestrato da zero senza ereditare pesi di generazione video pre-addestrati, pur rimanendo competitivo con modelli come Lingbot-VA che utilizzano tale pre-addestramento.
• Studi di Ablazione:
  • Design del Tokenizer: Sostituire il VAE standard di WAN2.2 con RepViTok ha migliorato l'Open-Loop Score (OLS) e i tassi di successo del robot reale, confermando che l'allineamento semantico è critico per il seguire le istruzioni.
  • Addestramento dell'Azione Latente: Un approccio a "Due Stadi" (pre-addestramento sulle azioni latenti, poi adattamento al controllo robotico) ha superato significativamente la "Predizione Congiunta" o l'addestramento senza azioni latenti, validando l'utilità delle azioni latenti come rappresentazione intermedia.
  • Classifier-Free Guidance (CFG): A differenza dei modelli di generazione video, RepWAM ha ottenuto prestazioni ottimali con una scala di CFG di 1.0 (nessuna estrapolazione), suggerendo che lo spazio semantico è abbastanza robusto da ridurre la dipendenza dal CFG.

5. Significato e Rivendicazioni

Il documento sostiene che la tokenizzazione visiva-azione della rappresentazione sia una base promettente per i modelli di azione del mondo. Ancorando i latenti visivi e d'azione in una rappresentazione semantica condivisa, RepWAM dimostra che:

• La generazione esplicita del futuro non è strettamente necessaria per l'apprendimento della policy se la rappresentazione cattura la semantica rilevante per il compito.
• L'allineamento semantico permette ai WAM di raggiungere una forte generalizzazione e prestazioni a ciclo chiuso anche senza ereditare backbone di generazione video pre-addestrati.
• Questo approccio si muove verso policy robotiche generaliste creando uno spazio di rappresentazione in cui l'azione è intesa come una trasformazione di stati semantici piuttosto che un comando motorio disgiunto.

Gli autori concludono che il design dello spazio latente è fondamentale per la capacità degli agenti incarnati, e RepWAM offre un passo verso una manipolazione robotica più interpretabile, trasferibile ed efficace. Il lavoro futuro suggerisce di scalare il pre-addestramento oltre i video specifici della robotica per includere video internet e video egocentrici umani su larga scala.