🤖 AI

UniJEPA: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning

UniJEPA è un framework unificato per politiche robotiche che sfrutta il preaddestramento su larga scala su video istruttivi per apprendere rappresentazioni combinate continue e discrete, consentendo prestazioni superiori rispetto agli approcci esistenti basati su visione-linguaggio e generativi, sia in simulazione che in compiti reali fuori distribuzione.

Autori originali: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

Pubblicato 2026-05-14

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot a svolgere faccende domestiche. Il documento introduce un nuovo metodo chiamato UniJEPA (Unified Joint Embedding Prediction and Action) per rendere questi robot più intelligenti, flessibili e capaci di gestire situazioni mai incontrate prima.

Ecco la spiegazione del funzionamento, utilizzando semplici analogie:

Il Problema: Il Robot "Bicefalo"

Attualmente, i "cervelli" dei robot ricadono solitamente in due categorie, entrambe con una debolezza:

Il "Parlatore" (Modelli Vision-Language): Questi robot sono eccellenti nel comprendere linguaggio e immagini. Se dici "Prendi la tazza rossa", sanno cos'è una tazza e cosa significa "rossa". Ma sono pessimi nel prevedere la fisica. Non intuiscono come la tazza vacillerà se la afferrano troppo forte o come rotolerà sul tavolo.
Il "Previsionista" (Modelli Generativi): Questi robot sono bravi a indovinare cosa succederà dopo. Se vedono una palla rotolare, possono prevedere dove sarà tra un secondo. Ma spesso mancano di "senso comune" o comprensione linguistica. Potrebbero sapere come muoversi, ma non perché si muovono o cosa l'umano ha effettivamente chiesto loro di fare.

La maggior parte dei robot cerca di usare l'uno o l'altro, oppure tenta di unirli in modo da perdere i punti di forza di entrambi.

La Soluzione: Il "Sognatore Bilingue" (UniJEPA)

UniJEPA è come un robot che impara a parlare due lingue e a sognare in due modi simultaneamente. Combina il "Parlatore" e il "Previsionista" in un unico cervello.

Pensala come uno studente che impara a guidare un'auto:

Apprendimento Discreto (Il "Parlatore"): È come imparare le regole della strada e il vocabolario. "Il segnale di stop significa fermarsi", "Il verde significa andare". Il robot impara a comprendere istruzioni complesse e a descrivere ciò che vede usando le parole.
Apprendimento Continuo (Il "Sognatore"): È come imparare la sensazione dell'auto. Non si tratta solo delle regole; si tratta di prevedere il flusso fluido del movimento. Se giri leggermente il volante, come sbanda l'auto? UniJEPA impara a prevedere la scena visiva futura non come un video sfocato, ma come una "sensazione" o mappa ad alto livello di ciò che accadrà dopo.

Come l'hanno Addestrato (Il Processo a Due Fasi)

Fase 1: La Fase "Biblioteca e Cinema" (Pre-addestramento)
Prima che il robot tocchi mai un oggetto reale, gli permettono di "leggere" e "guardare" enormi quantità di dati.

Gli hanno somministrato oltre 1 milione di video di umani e robot che eseguono compiti (come aprire cassetti o raccogliere giocattoli).
Il Trucco: Gli hanno chiesto di fare due cose contemporaneamente:
1. Rispondere a Domande: "Cosa sta facendo il robot?" (Questo affina il suo linguaggio e la sua comprensione).
2. Prevedere il Futuro: "Se il robot muove il braccio in questo modo, come apparirà l'immagine tra 1 secondo?" (Questo affina la sua comprensione della fisica e del movimento).
Facendo entrambe le cose, il robot costruisce un modello mentale in cui parole e movimento fisico sono perfettamente collegati.

Fase 2: La Fase "Scuola Guida" (Fine-tuning)
Una volta che il robot possiede questa conoscenza generale, gli insegnano specificamente come muovere il proprio corpo.

Gli mostrano dati provenienti dal braccio o dalla mano reale del robot.
Il robot impara a tradurre i suoi "sogni" (previsioni del futuro) e la sua "comprensione" (istruzioni linguistiche) direttamente in token di azione (i comandi specifici per muovere i motori).
Utilizza un sistema speciale "esperto" (come un team di specialisti) per gestire la matematica complessa del movimento di un braccio reale senza incidenti.

I Risultati: Perché è Migliore

Il documento ha testato questo robot in due modi:

In un Videogioco (Simulazione): Gli hanno assegnato compiti mai visti prima, come muovere un oggetto specifico in un modo specifico. UniJEPA ha battuto tutti gli altri robot top di gamma con un margine significativo (circa il 9-12% in più).
Nel Mondo Reale: L'hanno installato su un braccio robotico reale e su una sofisticata mano robotica a 12 dita.
- La Magia: Quando hanno dato al robot un compito con un oggetto completamente nuovo (ad esempio, un giocattolo mai visto prima o un colore strano), UniJEPA non si è confuso. Poiché ha appreso il concetto di "afferrare" e "muovere" piuttosto che memorizzare semplicemente immagini specifiche, è stato in grado di gestire queste situazioni "fuori distribuzione" (strane) molto meglio della concorrenza.

La Conclusione

UniJEPA è un cervello robotico che non si limita a memorizzare istruzioni o a indovinare la fisica. Impara a comprendere il mondo attraverso il linguaggio mentre simultaneamente simula il futuro attraverso il movimento. Questo approccio duale gli permette di essere un "generalista" — un robot che può adattarsi a nuovi compiti e nuovi oggetti senza dover essere riaddestrato da zero ogni volta.

Riepilogo Tecnico: UniJEPA

Enunciato del Problema

Lo sviluppo di politiche robotiche generaliste capaci di gestire compiti diversificati in ambienti aperti rimane una sfida centrale nell'IA incarnata. Gli approcci esistenti si basano tipicamente su Modelli Visione-Linguaggio (VLM) per la comprensione semantica o su modelli generativi per la dinamica visiva. Tuttavia, questi metodi presentano limitazioni significative:

Gli approcci basati su VLM soffrono spesso di un degrado delle capacità fondamentali quando vengono adattati su dataset robotici scarsi ed eterogenei. Spesso trascurano le discrepanze fondamentali tra compiti statici visione-linguaggio e compiti di azione robotica dinamica.
Gli approcci basati sulla generazione (ad esempio, previsione video) facilitano l'apprendimento di rappresentazioni dinamiche ma spesso non riescono a preservare l'allineamento cruciale visione-linguaggio intrinseco nei VLM pre-addestrati.
I Modelli Unificati Attuali spesso tentano di unificare comprensione e generazione all'interno di un framework di previsione di token discreti, il quale può compromettere la robustezza dell'allineamento visione-linguaggio e la capacità di modellare efficacemente le dinamiche fisiche continue.

Il documento sostiene che l'apprendimento delle politiche robotiche richiede un paradigma che integri la comprensione di compiti discreti (comprensione) con l'apprendimento di rappresentazioni di stati futuri continui (pianificazione e dinamica).

Metodologia: UniJEPA

Gli autori propongono UniJEPA, un framework Visione-Linguaggio-Azione (VLA) che unifica l'apprendimento di rappresentazioni discrete e continue attraverso una strategia di addestramento in due fasi. L'architettura utilizza un design Mixture-of-Transformers (MoT) con esperti specializzati per modalità.

1. Modellazione Unificata delle Embedding Visione-Linguaggio (Fase 1: Pre-addestramento)

La prima fase stabilisce un paradigma di pre-addestramento cross-embodiment per apprendere rappresentazioni congiunte testo-immagine.

Architettura: Il modello si inizializza con un VLM pre-addestrato (nello specifico Paligemma) e introduce un Esperto Generatore e un Esperto Azione (nelle fasi successive) all'interno del framework MoT.
Apprendimento di Rappresentazioni Discrete: Il modello viene addestrato su dataset visione-linguaggio su larga scala e descrizioni di compiti incarnati (annotati in formati stile VQA) per apprendere rappresentazioni linguistiche fini per la comprensione di scene e istruzioni.
Modellazione del Mondo Continuo: A differenza di lavori precedenti che prevedono pixel grezzi dell'immagine, UniJEPA prevede feature visive continue ad alta dimensionalità. Un encoder visivo congelato (ad esempio SigLIP) codifica le osservazioni future, e il modello impara a prevedere queste feature continue ( $\hat{o}_{t+h}$ ) insieme ai token di testo discreti ( $\hat{l}$ ).
Obiettivo di Addestramento: Il modello impiega una funzione di perdita congiunta che combina la perdita Cross-Entropy per il ramo linguistico e la perdita Errore Quadratico Medio (MSE) per il ramo di previsione visiva continua.

2. Modellazione Unificata dell'Azione (Fase 2: Fine-tuning)

Nella seconda fase, il modello viene affinato su dati specifici dell'embodiment per mappare le rappresentazioni predittive sui token di azione.

Esperto Azione: Un esperto distinto viene addestrato da zero per gestire lo spazio delle azioni. Sfrutta il flow matching per catturare la distribuzione continua e intrinsecamente multi-modale delle azioni.
Ottimizzazione Congiunta: Il modello viene addestrato per prevedere simultaneamente stati visivi futuri continui ed eseguire sequenze di azioni. La funzione obiettivo combina la perdita di previsione visiva continua con una perdita di flow matching per la generazione di azioni.
Strategia dei Dati: Il pre-addestramento utilizza un mix di video robotici (con descrizioni di sottocompiti), video di dimostrazioni umane e dati generici di QA visione-linguaggio. Il fine-tuning viene eseguito esclusivamente su dati VLA provenienti da simulazioni e robot del mondo reale.

Contributi Chiave

Nuova Architettura VLA: L'introduzione di un framework VLA che integra la previsione di token discreti (per la comprensione) con la previsione visiva continua (per la dinamica) all'interno di un'architettura MoT unificata.
Framework di Addestramento in Due Fasi: Una strategia che allinea le rappresentazioni delle azioni preservando le rappresentazioni intermedie apprese durante il pre-addestramento su larga scala, trasferendo efficacemente la conoscenza dai dati su scala internet ai compiti robotici.
Previsione di Feature Continue: La dimostrazione che la previsione di feature visive continue (piuttosto che pixel grezzi o token discreti) funge da segnale più efficace per apprendere informazioni dinamiche cruciali per la generazione di azioni.

Risultati Sperimentali

UniJEPA è stato valutato su due benchmark di simulazione e due piattaforme robotiche del mondo reale (un braccio Franka Emika Panda a 7 gradi di libertà e una mano destrezza a 12 gradi di libertà).

Benchmark di Simulazione:
- Benchmark Calvin: UniJEPA ha raggiunto una lunghezza media della sequenza di sottocompiti di 4.11, superando il precedente miglior risultato (UP-VLA a 4.08) e superando significativamente le linee di base come GR-1 (3.06).
- SimplerEnv: Sulle piattaforme WindowX e Google Robot, UniJEPA ha raggiunto tassi di successo all'avanguardia del 71.0% e 78.4%, rispettivamente. Ha dimostrato prestazioni elevate e costanti su tutti i sottocompiti, evitando i profili di prestazioni "a picchi" di altri metodi.
Esperimenti nel Mondo Reale:
- Braccio Franka Panda: UniJEPA ha raggiunto i tassi di successo più elevati in tutte e quattro le categorie di compiti (Prendi e Posiziona, Premi Pulsante, Instrada Cavo, Cassetto), inclusi compiti non visti che coinvolgono oggetti nuovi.
- Mano Destrezza a 12 DoF: Il modello ha raggiunto il tasso di successo medio più elevato in nove categorie di abilità, mostrando un miglioramento del 12% sui compiti non visti rispetto alle linee di base.
Studi di Ablazione:
- La rimozione del pre-addestramento ha comportato un calo di circa il 16% nel tasso di successo sui compiti di presa e posizionamento nel mondo reale.
- L'uso di feature visive continue per la previsione ha prodotto un aumento delle prestazioni di circa il 20% rispetto ai modelli privi di questo componente.
- Tra i metodi di codifica continua, le feature SigLIP hanno fornito il miglior allineamento con il backbone VLM, superando gli approcci basati su DINO e distillazione.

Significato e Affermazioni

Il documento afferma che UniJEPA affronta con successo il compromesso tra comprensione semantica e previsione dinamica nell'apprendimento delle politiche robotiche. Sfruttando il pre-addestramento su larga scala su dati sia robotici che di dimostrazione umana, il modello acquisisce capacità di generalizzazione robuste.

Gli autori sottolineano che il loro approccio permette ai robot di gestire oggetti completamente nuovi e scenari fuori distribuzione (OOD) in modo più efficace rispetto ai metodi esistenti. L'integrazione dell'apprendimento di rappresentazioni future continue permette alla politica di anticipare meglio le dinamiche fisiche, mentre l'allineamento visione-linguaggio preservato garantisce un'interpretazione accurata di istruzioni complesse. I risultati suggeriscono che un approccio unificato che combina comprensione, pianificazione e apprendimento di rappresentazioni continue è un percorso percorribile verso politiche robotiche generaliste.