⚡ electrical engineering

Ground-JEPA: Learning Physically Grounded Latent World Models for Zero-Shot Dynamics Generalization of Legged Robots

Ground-JEPA introduce un modello di mondo latente minimo e basato sulla fisica che raggiunge una generalizzazione della dinamica zero-shot e prestazioni di controllo superiori per robot con zampe in ambienti ad alto numero di gradi di libertà senza fare affidamento su ricompense specifiche per il compito, sfidando così l'assunto che l'apprendimento privo di ricompense sia intrinsecamente inferiore per sistemi robotici complessi.

Autori originali: Yu-Xiang Wu, Yuyan Wu

Pubblicato 2026-07-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yu-Xiang Wu, Yuyan Wu

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Bussola Interiore del Robot

Immaginate di cercare di insegnare a un robot come camminare attraverso un campo roccioso. Potreste dargli un insieme rigido di regole, come "solleva il piede esattamente di 10 centimetri", ma il mondo reale è disordinato; le rocce si spostano, il terreno è scivoloso e le gambe del robot potrebbero essere leggermente più pesanti del previsto. Questa è la sfida del controllo dei robot a gambe: far sì che le macchine si muovano in modo fluido e sicuro in ambienti imprevedibili. Per molto tempo, gli scienziati hanno cercato di risolvere questo problema costruendo "modelli dinamici" — essenzialmente, una mappa mentale all'interno del robot che predice cosa accadrà dopo se si muove in un certo modo.

Tradizionalmente, queste mappe mentali venivano costruite premiando il robot per le cose buone che faceva (come stare in piedi) e punendolo per quelle cattive (come cadere). Questo è chiamato apprendimento basato sulla ricompensa (reward-based learning). Tuttavia, c'è un problema: se il robot commette un piccolo errore nella sua previsione, quell'errore può accumularsi nel tempo, come una palla di neve che rotola giù da una collina, finché la mappa mentale del robot non è completamente sbagliata e il robot si schianta. Un altro approccio, chiamato Architetture Predittive a Embedding Congiunto (JEPAs), cerca di saltare i dettagli disordinosi del mondo reale. Invece di prevedere esattamente dove si troverà ogni pixel della telecamera del robot, esso predice una versione "riassuntiva" o "latente" del futuro, compressa. Pensate a un musicista che predice la nota successiva di una canzone sentendo il ritmo, piuttosto che calcolando l'esatta vibrazione dell'aria. La grande domanda che gli scienziati si sono posti è: un robot può imparare a camminare perfettamente comprendendo solo questo ritmo interno, senza bisogno di un insegnante che gli dica costantemente "bravo" o "riprova"?

Ground-JEPA: Il Robot che ha Imparato a Camminare Sentendo il Battito

Un team di ricercatori ha introdotto un nuovo sistema chiamato Ground-JEPA, il quale suggerisce che i robot potrebbero non aver bisogno di continui elogi o punizioni per imparare movimenti complessi. Invece, possono imparare semplicemente cercando di mantenere la propria "sensazione" interna del futuro coerente con la realtà.

Immaginate un robot che impara a camminare non perché gli venga detto "non cadere", ma cercando di fare in modo che il suo senso interno di "dove sto andando" corrisponda al suo movimento effettivo. In questo nuovo sistema, il robot non cerca di ricostruire un video perfetto del futuro. Invece, comprime la sua esperienza in uno spazio latente minuscolo ed efficiente — una sorta di scorciatoia mentale astratta. Il trucco fondamentale qui è una sonda ispirata alla fisica (physics-inspired probe). Mentre la mappa interna del robot è astratta, questa sonda agisce come un traduttore, convertendo quei pensieri astratti di nuovo nella fisica del mondo reale, come posizione, velocità e orientamento. È come avere un robot che pensa in termini di concetti puri, ma che possiede un traduttore integrato che assicura che tali concetti rispettino comunque le leggi della gravità e della quantità di moto.

I ricercatori hanno scoperto che il segreto per far funzionare tutto questo non era solo la traduzione, ma l'orizzonte di pianificazione (planning horizon). I tentativi precedenti sono falliti perché il robot guardava solo pochi passi avanti — come cercare di camminare guardando solo le proprie punte. Il sistema Ground-JEPA costringe il robot a guardare molto più avanti, specificamente 12 passi nel futuro. Questo è cruciale perché un intero ciclo di camminata (un passo o gait) dura circa quel tempo. Guardando l'intero ciclo, il robot può vedere il "quadro generale" del suo movimento, invece di ottimizzare solo il prossimo minuscolo passo. Ciò consente al sistema di apprendere schemi di camminata stabili puramente attraverso l'auto-supervisione, il che significa che impara controllando se le sue previsioni interne sono coerenti, senza bisogno di alcuna ricompensa esterna.

I risultati dalle loro simulazioni sono piuttosto sorprendenti. Su un robot quadrupede simulato, questo sistema privo di ricompense ha raggiunto un punteggio di prestazione di 510 ± 68, che è stato in realtà migliore del sistema tradizionale basato sulla ricompensa, che ha ottenuto 450 ± 234. Ancora più impressionante, hanno applicato con successo questo metodo a un robot umanoide simulato (un robot con un corpo simile a quello umano) per la prima volta, ottenendo un punteggio di 350 ± 50 senza alcun segnale di ricompensa. Il metodo tradizionale è fallito completamente sull'umanoide in questa configurazione.

Una delle scoperte più eccitanti riguarda quanto bene questo sistema gestisce i cambiamenti "estremi". I ricercatori hanno testato il robot in scenari in cui la fisica era drasticamente alterata: la massa del robot è stata cambiata del ±30%, l'attrito del terreno è stato moltiplicato per 2,5 o ridotto a 0,4, e c'è stato un ritardo di 50 ms nei motori. In uno scenario composto in cui tutti questi cambiamenti sono avvenuti contemporaneamente, il modello Ground-JEPA ha mantenuto il 78% della sua prestazione originale. Al contrario, un modello tradizionale basato sulla ricompensa, anche quando addestrato con variazioni casuali, ha mantenuto solo il 21% della sua prestazione. Ciò suggerisce che, imparando la "varietà" (manifold) o la forma fondamentale del movimento, il robot diventa molto più robusto ai cambiamenti del mondo.

Il team ha anche scoperto che la dimensione del modello non doveva essere massiccia. L'intero sistema gira su una GPU di un laptop e utilizza solo circa 1,3 milioni di parametri, una cifra minuscola rispetto agli altri enormi modelli di IA che richiedono miliardi di parametri. Hanno dimostrato che il "collasso" (dove il robot smette di imparare) osservato negli studi precedenti non era dovuto al fatto che il metodo fosse difettoso, ma perché il robot stava usando il tipo sbagliato di mappa interna (specificamente, una mappa normalizzata chiamata SimNorm) e guardava troppo lontano in avanti senza la giusta struttura. Usando rappresentazioni latenti grezze e l'orizzonte di pianificazione corretto, il sistema funziona magnificamente.

Tuttamente, gli autori sono cauti nel notare che questi risultati si basano attualmente su simulazioni. Sebbene il robot abbia imparato a camminare in un mondo virtuale con cambiamenti estremi, il sistema non è ancora stato testato su un robot fisico nel mondo reale. Inoltre, sebbene abbiano risolto il problema di far stare in piedi un umanoide, far camminare dinamicamente un umanoide su due gambe rimane una sfida a causa della complessa fisica dell'equilibrio su una gamba sola.

In definitiva, Ground-JEPA suggerisce una nuova strada per la robotica: invece di passare mesi a progettare funzioni di ricompensa perfette per insegnare a un robot come camminare, potremmo semplicemente dover insegnargli a mantenere il proprio ritmo interno coerente con le leggi della fisica. Questo potrebbe democratizzare il controllo avanzato dei robot, permettendo a laboratori più piccoli con laptop standard di costruire robot capaci di adattarsi al mondo reale senza bisogno di supercomputer massicci o infiniti tentativi ed errori basati sulle ricompense.

Sintesi Tecnica: Ground-JEPA

Definizione del Problema

Modelli di dinamica accurati sono essenziali per il controllo basato su modello di robot leggati, in particolare per compiti che richiedono una pianificazione a lungo termine per garantire la stabilità e prevenire cadute. Tuttavia, gli approcci esistenti basati su reti neurali spesso si affidano alla predizione autoregressiva nello spazio degli stati, portando a una significativa accumulazione di errore nel tempo. Inoltre, i precedenti tentativi di applicare le Joint-Embedding Predictive Architectures (JEPA) alla robotica hanno affrontato due ostacoli principali:

Scalabilità: Le implementazioni JEPA di successo (es. V-JEPA) hanno richiesto un pre-addestramento massiccio su scala da modelli di fondazione (miliardi di parametri), rendendole inaccessibili a laboratori con risorse limitate.
Limitazioni del Reward-Free: Ricerche precedenti hanno suggerito che l'apprendimento reward-free tramite consistenza latente degrada severamente in ambienti ad alto grado di libertà (DoF) (es. quadrupedi e umanoidi), portando all'ipotesi che la consistenza latente sia fondamentalmente sotto-determinata per dinamiche complesse.

Metodologia

Gli autori introducono Ground-JEPA, un modello di mondo latente minimale (~1,3 milioni di parametri) progettato per controllare robot leggati interamente attraverso la consistenza latente, senza fare affidamento su funzioni di ricompensa (reward) specifiche per il compito. Il sistema comprende tre componenti principali:

Encoder ( $E_\phi$ ): Un MLP a 3 strati che mappa le osservazioni propriocettive ( $o_t$ ) in una rappresentazione latente ( $z_t$ ).
Predictor ( $P_\psi$ ): Un predittore condizionato all'azione che prevede gli stati latenti futuri ( $\hat{z}_{t+1}$ $\overset{z}{^}_{t + 1}$ ).
- Per compiti ad alto DoF (quadrupedi, umanoidi), gli autori impiegano un Transformer Decoder leggero con cross-attention tra le embedding di stato latente e di azione per catturare dipendenze temporali a lungo raggio, essenziali per la coordinazione del passo.
- Per compiti a basso DoF (cheetah), viene utilizzato una GRU a 2 strati.
Prober ispirato alla fisica: Una componente innovativa che mappa le rappresentazioni latenti congelate in stati fisici interpretabili (posizione, velocità, orientamento, velocità angolare). A differenza di un decoder standard, questo prober incorpora bias induttivi cinematici (es. $p_{t+1} = p_t + v_t \Delta t + \frac{1}{2}a_{comp}\Delta t^2$ ) per colmare il divario tra la dinamica latente astratta e i vincoli fisici.
Planner: Un pianificatore Model Predictive Path Integral (MPPI) ottimizza le sequenze di azioni nello spazio latente. Crucialmente, l'orizzonte di pianificazione ( $H$ ) è esteso a 12 step per catturare cicli di passo completi, affrontando i limiti degli orizzonti più brevi riscontrati nei lavori precedenti.

Obiettivo di Addestramento:
Il modello è addestrato utilizzando un obiettivo JEPA che minimizza l'errore quadratico tra lo stato latente predetto e lo stato latente target (derivato da un encoder target EMA), senza una testina di valore o un segnale di reward:
$L = \mathbb{E}[\| \text{sg}(E_\phi(o_{t+1})) - P_\psi(E_\phi(o_t), a_t) \|^2]$

Contributi Chiave

Controllo JEPA su scala Laptop: Dimostra che il controllo basato su JEPA per robot leggati può eguagliare o superare i baseline basati su reward utilizzando un modello con soli ~1,3M di parametri, addestrato in meno di 20 minuti su una GPU per laptop, eliminando la necessità di modelli di fondazione da miliardi di parametri.
Probing ispirato alla Fisica: Introduce un meccanismo di probing che impone interpretabilità fisica e struttura sulle rappresentazioni latenti, riducendo significativamente gli errori di predizione di posizione e orientamento rispetto ai probe lineari o MLP standard.
Rivalutazione dell'Apprendimento Reward-Free: Mette in discussione l'ipotesi prevalente secondo cui l'apprendimento reward-free fallisce nei sistemi ad alto DoF. Gli autori identificano che i fallimenti precedenti erano artefatti di orizzonti di pianificazione insufficienti (es. $H=3$ ) e una parametrizzazione latente inappropriata (es. SimNorm), piuttosto che un difetto fondamentale della consistenza latente.
Generalizzazione Zero-Shot: Stabilisce che la consistenza latente auto-supervisionata fornisce un segnale robusto per il trasferimento sim-to-real, ottenendo un'elevata ritenzione delle prestazioni sotto estremi spostamenti di dinamica composta senza fine-tuning.

Risultati

Prestazioni sui Compiti di Controllo

Ground-JEPA è stato valutato sulla suite dm_control. Il modello reward-free (addestrato senza reward specifici per il compito) ha superato o eguagliato i baseline basati su reward:

Cheetah-Run (6-DoF): 530 ± 45 (Reward-Free) vs. 522 ± 139 (Reward-Grounded).
Quadruped-Walk (12-DoF): 510 ± 68 (Reward-Free) vs. 450 ± 234 (Reward-Grounded). Il modello reward-free ha mostrato una varianza significativamente inferiore.
Humanoid-Stand (21-DoF): 350 ± 50 (Reward-Free). Questa è la prima dimostrazione di successo del controllo JEPA reward-free su una piattaforma umana, dove i baseline basati su reward sono falliti.

Impatto dell'Orizzonte di Pianificazione

Gli studi di ablazione sul compito Quadruped-Walk hanno rivelato che l'orizzonte di pianificazione è critico:

H=3 (Lavori Precedenti): 184 ± 141 (Andatura caotica, nessuna coordinazione di fase).
H=12 (Nostro Modello): 510 ± 68 (Andatura a trotto stabile, fase bloccata).
H=20: 420 ± 85 (Le prestazioni degradano a causa dell'accumulo di rumore).
I risultati indicano che un orizzonte che copre un intero ciclo di passo è necessario per fornire un segnale strutturale sufficiente per l'obiettivo di consistenza.

Parametrizzazione Latente

Gli autori hanno scoperto che il "collasso" nell'apprendimento reward-free è un artefatto della parametrizzazione latente, non dell'assenza di reward.

Latenti Raw: L'addestramento reward-free ha raggiunto 496 ± 31, eguagliando le prestazioni reward-grounded.
Latenti SimNorm: L'addestramento reward-free è collassato completamente (ritorno $\to$ 4), confermando che gli spazi latenti raw preservano una struttura rappresentativa più ricca per l'apprendimento auto-supervisionato.

Generalizzazione Zero-Shot

Sotto estremi spostamenti di dinamica composta (Massa ±30%, Attrito 2.5×, Latenza Attuatore +50ms), Ground-JEPA ha mantenuto il 78% delle sue prestazioni nominali. Al contrario, un baseline reward-grounded addestrato con domain randomization ha mantenuto solo il 21%, poiché la sua funzione di reward è diventata disallineata con le dinamiche modificate.

Significato e Rivendicazioni

Il paper sostiene di ridefinire fondamentalmente il ruolo dei reward nel controllo basato su modello per robot leggati. Gli autori argomentano che nei sistemi dinamici strutturati, la fisica intrinseca (cinematica e contatti) funge da bias induttivo più forte rispetto ai reward di compito sparsi, a patto che l'orizzonte di pianificazione sia sufficientemente lungo.

Le principali implicazioni evidenziate dagli autori includono:

Democratizzazione: Il controllo allo stato dell'arte basato su modello è accessibile a laboratori con risorse limitate senza richiedere massicci pre-addestramenti o modelli di fondazione.
Algoritmo vs Scala: Il successo è guidato da scoperte algoritmiche (probing ispirato alla fisica, consistenza a lungo orizzonte) piuttosto che dalla scala del modello.
Robustezza: L'apprendimento auto-supervisionato cattura naturalmente il manifold fondamentale del movimento leggato, portando a una superiorità nella generalizzazione a dinamiche non viste rispetto agli approcci basati su reward engineering.

Limitazioni: Gli autori notano che tutti gli esperimenti sono stati condotti in simulazione. La validazione su robot fisico è rimandata a lavori futuri. Inoltre, sebbene sia stato raggiunto il "humanoid-stand", la camminata bipede dinamica rimane una sfida aperta a causa del malcondizionamento delle caviglie sotto-attuate, che gli autori suggeriscono possa richiedere estensioni gerarchiche.