💻 computer science

JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling

JEPA-WAM introduce un modello di azione del mondo latente basato su uno spazio V-JEPA preaddestrato che unifica la predizione futura spazialmente strutturata e la generazione di azioni continue attraverso un predittore condiviso, raggiungendo prestazioni allo stato dell'arte nei benchmark di manipolazione robotica senza richiedere il preaddestramento di policy su larga scala.

Autori originali: Yihan Lin, Jiawei He, Shifeng Bao, Chen Zhao, Yang Li, Xiaobo Wang, Yan Wang, Cheng Chi, Jing Zhang

Pubblicato 2026-08-11

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yihan Lin, Jiawei He, Shifeng Bao, Chen Zhao, Yang Li, Xiaobo Wang, Yan Wang, Cheng Chi, Jing Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come cucinare. Potresti semplicemente mostrare un video di uno chef che trita cipolle e dire: "Fai quello". Ma se il robot si limita a memorizzare l'aspetto esatto di quel video specifico, potrebbe andare nel panico se lo chef indossa un cappello diverso o se le luci della cucina cambiano. Questa è la sfida dei modelli di Vision-Language-Action (VLA): sono bravissimi a seguire istruzioni in contesti familiari, ma spesso inciampano quando il mondo appare un po' diverso da quello per cui sono stati addestrati.

Per risolvere questo problema, gli scienziati hanno cercato di insegnare ai robot a essere dei "predittori". Invece di limitarsi a reagire, il robot cerca di immaginare cosa accadrà dopo. Se può prevedere che "se spingo questa tazza, scivolerà via dal tavolo", può pianificare meglio. Tuttavia, far generare a un robot dei video completi ad alta definizione del futuro è come chiedere a uno studente di scrivere un intero romanzo solo per decidere cosa fare dopo: richiede troppo tempo e potenza di calcolo. Così, i ricercatori hanno cercato una scorciatoia: un modello "latente" che predica l'idea del futuro senza dover disegnare l'intera immagine. Ma ecco il problema: molte di queste scorciatoie o perdono troppi dettagli o trattano la predizione e l'azione come due compiti separati e scollegati.

Questo ci porta a JEPA-WAM, un nuovo approccio che cerca di insegnare ai robot a "sentire" il flusso del tempo senza restare intrappolati nel dover disegnare ogni singolo fotogramma. Si pone una domanda semplice: possiamo insegnare a un robot a capire come cambia il mondo e usare questa comprensione per muoversi meglio, il tutto in un unico movimento fluido?

La scorciatoia del "senso del tempo" del robot

Incontra JEPA-WAM. Pensalo come un robot che non si limita a guardare una foto del presente e indovinare la foto successiva; invece, impara la relazione tra le due.

Immagina di guardare un trucco di magia. Un mago mette una pallina rossa in una scatola e poi ne tira fuori una blu. Un robot standard potrebbe solo memorizzare "Pallina Rossa → Pallina Blu". Ma JEPA-WAM è come un detective che nota la transizione: "La pallina rossa è scomparsa, la scatola ha tremato e una pallina blu è apparsa". Impara la storia del cambiamento, non solo il prima e il dopo.

I ricercatori hanno costruito questo sistema sopra un "cervello visivo" pre-addestrato chiamato V-JEPA. Puoi pensare a V-JEPA come a un robot che ha già guardato milioni di video e ha imparato come gli oggetti si muovono e interagiscono. JEPA-WAM prende questo cervello e aggiunge un modulo speciale di "viaggio nel tempo".

Ecco il trucco magico: invece di chiedere al robot di generare un video sfocato del futuro (che è lento e costoso), JEPA-WAM chiede al robot di predire una mappa congiunta. Immagina di prendere una foto della cucina ora e una foto della cucina cinque secondi dopo, e di sovrapporle l'una all'altra. JEPA-WAM non cerca di disegnare la foto futura da zero. Invece, osserva la differenza tra le due foto sovrapposte e impara a predire esattamente come si sono spostati i pixel. Impara che "la tazza si è spostata di due pollici a sinistra" e che "il cassetto si è aperto", preservando i dettagli precisi di dove le cose sono accadute.

Il Cervello Condiviso: Un Predittore, Due Lavori

La parte più geniale di JEPA-WAM è come utilizza il suo cervello. In molti sistemi vecchi, la parte che predice il futuro e la parte che muove le braccia del robot erano come due persone diverse che parlano attraverso un muro. Una indovinava il futuro, l'altra cercava di ascoltare.

JEPA-WAM utilizza un Predittore Condiviso. Immagina un singolo studente super intelligente che sta sostenendo un esame.

Task A: Lo studente osserva la scena attuale e predice come cambierà il mondo (il "Senso del Tempo").
Task B: Lo studente usa quella stessa comprensione per decidere come muovere le braccia del robot (l' "Azione").

Poiché lo studente svolge entrambi i compiti contemporaneamente, imparare a predire il futuro plasma direttamente il modo in cui lo studente decide di muoversi. Il paper suggerisce che questo forte accoppiamento rende il robot molto più intelligente. È come un ballerino che non si limita a memorizzare i passi, ma comprende il ritmo della musica; il movimento fluisce naturalmente perché la predizione e l'azione nascono dalla stessa comprensione.

Funziona davvero?

I ricercatori hanno testato questa idea in tre mondi diversi: una simulazione di un videogioco standard, una simulazione più caotica con oggetti casuali e un vero braccio robotico in un laboratorio.

Nelle Simulazioni:
In un benchmark chiamato LIBERO-Plus, che testa quanto bene i robot gestiscono i cambiamenti nell'ambiente (come diverse illuminazioni o posizioni degli oggetti), JEPA-WAM ha ottenuto un punteggio del 79,2%. Questo è stato il miglior risultato tra i robot che non erano stati pre-addestrati su enormi quantità di dati robotici. Ancora più impressionante, quando hanno applicato questo trucco del "senso del tempo" a un cervello robotico già potente chiamato π0.5, il punteggio è passato dall' 84,5% all' 86,3%. Ciò suggerisce che anche i robot intelligenti possono diventare più intelligenti se imparano a predire il flusso del tempo.

Nel Mondo Reale:
Il team ha portato il proprio robot in un vero laboratorio con una configurazione a doppio braccio (due braccia robotiche che lavorano insieme). Hanno chiesto al robot di eseguire compiti come impilare blocchi, mettere la frutta su un piatto o aprire un cassetto.

Quando la configurazione era esattamente come previsto (In-Distribution), JEPA-WAM ha ottenuto circa il 59,8%.
Quando hanno alterato lo sfondo o spostato gli oggetti (Out-of-Distribution), JEPA-WAM è riuscito comunque a ottenere il 54,2%.
Confrontandolo con un robot standard (π0), il punteggio è sceso dal 51,8% a un debole 22,5% quando l'ambiente è cambiato.

Questo dimostra che JEPA-WAM è molto più robusto. Non memorizza solo una scena specifica; impara la logica di come si muovono gli oggetti, così da poter gestire le sorprese.

Cosa non è (e cosa esclude)

Il paper sottolinea con cura ciò che JEPA-WAM non è.

Non è un generatore di video. Non cerca di creare un nuovo video ad alta definizione del futuro. Gli autori sostengono che cercare di generare ogni singolo pixel sia troppo costoso e spesso non necessario per controllare un robot.
Non è solo la predizione dello stato finale. I ricercatori hanno testato una versione che guardava solo l'immagine "futura" senza quella "attuale", e ha ottenuto prestazioni peggiori (77,3% contro 79,2%). Questo prova che comprendere la relazione tra "ora" e "dopo" è più importante che indovinare semplicemente il risultato finale.
Non è una soluzione magica per tutto. Gli autori notano che se la stessa scena visiva porta a due risultati molto diversi in base a un'istruzione specifica (ad esempio, "spingi la tazza" vs "tira la tazza"), il modello potrebbe avere difficoltà perché si concentra sui cambiamenti visivi piuttosto che sugli obiettivi specifici del linguaggio.

In sintesi

JEPA-WAM suggerisce che il segreto per rendere i robot più adattabili non è solo dare loro più dati o cervelli più grandi, ma insegnare loro a comprendere il flusso del tempo in un modo che informi direttamente le loro azioni. Usando un cervello condiviso per predire come cambia il mondo e decidere come muoversi, il robot diventa più simile a un essere umano esperto capace di adattarsi a una cucina disordinata senza andare nel panico.

I risultati, misurati in simulazioni e prove nel mondo reale, suggeriscono che questo approccio di "predizione congiunta" è un modo potente per costruire robot capaci di gestire la natura imprevedibile del mondo reale. Sebbene non sia una soluzione risolutiva per ogni possibile compito, offre una nuova e promettente strada per costruire robot che non siano solo obbedienti, ma veramente adattabili.

Riepilogo Tecnico: JEPA-WAM

Problematica

Le policy Vision-Language-Action (VLA) hanno dimostrato prestazioni elevate in diversi compiti di manipolazione, ma spesso modellano le transizioni di stato solo implicitamente, limitandone la robustezza sotto shift di distribuzione. Sebbene i World Action Models (WAM) affrontino questo problema modellando esplicitamente gli stati futuri, i WAM basati sulla generazione di video comportano costi di deployment sostanziali a causa della predizione iterativa del futuro. Gli esistenti WAM latenti, che evitano la generazione esplicita di frame, affrontano due limitazioni primarie:

Rappresentazione del Target: Spesso riutilizzano feature intermedie da modelli generativi (ottimizzati per la generazione di frame piuttosto che per il cambiamento di stato) o comprimono le osservazioni future in un piccolo set di token latenti/subgoal, rischiando di perdere la struttura spaziale fine.
Integrazione della Policy: Utilizzano o le rappresentazioni future predette come contesto aggiuntivo (introducendo ridondanza) o impiegano moduli di predizione/dinamica separati che influenzano debolmente le rappresentazioni utilizzate per la generazione dell'azione.

La sfida centrale è sviluppare un WAM latente che apprenda una rappresentazione spazialmente strutturata delle transizioni e utilizzi la supervisione predittiva per plasmare direttamente il backbone della policy senza la generazione esplicita di frame futuri.

Metodologia: JEPA-WAM

Gli autori propongono JEPA-WAM, un WAM latente costruito all'interno dello spazio di rappresentazione di un V-JEPA (Joint-Embedding Predictive Architecture for Video) pre-addestrato. L'architettura accoppia la predizione della transizione latente con la generazione di azioni continue attraverso un predittore condiviso.

1. Spazio di Rappresentazione e Costruzione del Target

Rappresentazione Base: JEPA-WAM utilizza un encoder V-JEPA 2.1 congelato per generare rappresentazioni dense a livello di patch ( $Z_t$ ) per le osservazioni correnti. Queste rappresentazioni mantengono la struttura spaziale (organizzazione in patch) invece di un pooling globale.
Target Congiunto Corrente-Futuro: Invece di predire uno stato futuro assoluto o una semplice differenza, il modello costruisce un target congiunto corrente-futuro ( $Y_{t,t+\delta}$ $Y_{t, t + δ}$ ). Questo viene creato impilando le osservazioni correnti ( $O_t$ $O_{t}$ ) e future ( $O_{t+\delta}$ $O_{t + δ}$ ) lungo la dimensione temporale e codificandole congiuntamente.
- Questo target cattura la relazione temporale visiva tra gli endpoint, identificando regioni stabili vs. mutevoli ed evoluzioni nelle relazioni oggetto/spaziali.
- Preserva la corrispondenza densa a livello di patch, evitando la compressione delle informazioni di transizione in token globali.

2. Architettura del Predittore Condiviso

L'innovazione principale è un predittore condiviso ( $F_\theta$ ), istanziato con un LLM Qwen2.5-0.5B, che svolge due funzioni simultanee:

Predizione della Transizione: Il predittore elabora la rappresentazione visiva corrente e l'istruzione del task per predire il target congiunto corrente-futuro ( $\hat{Y}_{t,t+\delta}$ ). Questo ramo è supervisionato tramite una perdita di distanza del coseno a livello di patch ( $L_{wm}$ ).
Generazione dell'Azione: Lo stesso predittore produce rappresentazioni dedicate ( $C_t$ ) da specifici "token placeholder dell'azione". Queste rappresentazioni condizionano un esperto d'azione Diffusion Transformer (DiT) per generare chunk di azioni continue tramite flow matching.

Scelta di Design Chiave: Condividendo il predittore, la supervisione della transizione ottimizza direttamente il backbone dal quale vengono estratte le rappresentazioni condizionate dall'azione. Al momento del deployment, il ramo del target e la testa di predizione vengono rimossi, mantenendo solo il percorso di generazione dell'azione.

3. Trasferimento a Policy Pre-addestrate

Gli autori dimostrano che questa supervisione della transizione può essere istanziata in policy VLA pre-addestrate esistenti (es. $\pi0.5$ ) senza modificare i loro percorsi originali di percezione o azione. Ciò si ottiene introducendo "token futuri" apprendibili i cui stati nascosti sono allineati con il target congiunto corrente-futuro, fornendo una supervisione di transizione ausiliaria al backbone condiviso.

Contributi Chiave

Architettura JEPA-WAM: Un WAM latente costruito in uno spazio V-JEPA pre-addestrato che accoppia la modellazione della transizione latente con la generazione di azioni continue tramite un predittore condiviso, eliminando la necessità di una generazione esplicita di frame futuri.
Target Congiunto Spazialmente Strutturato: La costruzione di un target congiunto corrente-futuro che preserva l'informazione densa a livello di patch, catturando la struttura temporale visiva condivisa dal task e i cambiamenti localizzati senza comprimere la transizione in token globali.
Validazione Empirica: Dimostrazione di una forte generalizzazione Out-of-Distribution (OOD) attraverso simulazione (LIBERO-Plus, RoboTwin 2.0) e manipolazione bimanuale nel mondo reale, mostrando che la supervisione della transizione beneficia sia l'addestramento da zero che l'affinamento di policy pre-addestrate.

Risultati Sperimentali

Il paper valuta JEPA-WAM su diversi benchmark, confrontandolo con metodi con e senza pre-addestramento su scala robotica.

LIBERO-Plus (OOD): JEPA-WAM raggiunge un tasso di successo medio del 79,2%, il miglior risultato tra i metodi senza pre-addestramento su policy robotica su larga scala. Quando la supervisione della transizione è applicata alla $\pi0.5$ pre-addestrata, le prestazioni migliorano dall'84,5% all'86,3%, ottenendo il miglior risultato complessivo.
RoboTwin 2.0: JEPA-WAM raggiunge il 79,9% nelle impostazioni Clean e il 36,9% nelle impostazioni Random (OOD), superando altri metodi non pre-addestrati e pareggiando le prestazioni Random di $\pi0.5$ pre-addestrata. L'istanza di $\pi0.5$ con supervisione JEPA raggiunge l'84,6% (Clean) e il 37,5% (Random).
Manipolazione nel Mondo Reale: Su una piattaforma bimanuale AgileX, JEPA-WAM mantiene prestazioni solide sotto shift visivi e spaziali (54,2% OOD rispetto al 22,5% della baseline $\pi0$ ). L'istanza di $\pi0.5$ con supervisione JEPA raggiunge l'84,7% di performance OOD.
Studi di Ablazione: Esperimenti controllati confermano che:
- Lo spazio di rappresentazione V-JEPA stesso fornisce una base solida per l'apprendimento OOD.
- Il target congiunto corrente-futuro supera i target basati solo sul futuro o sulla differenza tra endpoint.
- Preservare la struttura spaziale a livello di patch è critico (superando l'allineamento convoluzionale).
- La supervisione diretta del backbone condiviso è più efficace rispetto ai segnali intermedi o al condizionamento sugli stati nascosti completi.

Significato e Claim

Il paper sostiene che JEPA-WAM colma con successo il divario tra la modellazione esplicita della transizione di stato e l'efficienza del deployment. Sfruttando lo spazio di rappresentazione V-JEPA e un predittore condiviso, il metodo cattura strutture temporali visive robuste (cambiamenti localizzati, relazioni tra oggetti) che si generalizzano attraverso shift visivi e spaziali.

Gli autori sottolineano che questo approccio evita l'overhead computazionale della generazione di video fornendo al contempo bias induttivi più forti per le transizioni di stato rispetto all'addestramento VLA implicito. La capacità di integrare questa supervisione in policy pre-addestrate (come $\pi0.5$ ) suggerisce una via scalabile per migliorare la generalizzazione nei sistemi VLA esistenti senza dover riaddestrare da zero. I risultati indicano che la modellazione esplicita della relazione tra gli stati correnti e futuri, piuttosto che del solo stato futuro, è un fattore chiave per migliorare la robustezza sotto shift di distribuzione.