⚡ electrical engineering

Ground-JEPA: Learning Physically Grounded Latent World Models for Zero-Shot Dynamics Generalization of Legged Robots

Ground-JEPA introduceert een minimaal, op natuurkunde gebaseerd latent wereldmodel dat zero-shot dynamische generalisatie en superieure controleprestaties bereikt voor looprobots in omgevingen met een hoge mate van vrijheidsgraden zonder afhankelijk te zijn van taakspecifieke beloningen, waarmee het de aanname uitdaagt dat beloningsvrij leren inherent inferieur is voor complexe robotische systemen.

Oorspronkelijke auteurs: Yu-Xiang Wu, Yuyan Wu

Gepubliceerd 2026-07-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yu-Xiang Wu, Yuyan Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De innerlijke kompas van de robot

Stel je voor dat je een robot probeert te leren lopen over een rotsachtig veld. Je zou het een strikte set regels kunnen geven, zoals "til je voet precies 10 centimeter op", maar de echte wereld is rommelig; rotsen verschuiven, de grond is glad en de benen van de robot zijn misschien iets zwaarder dan verwacht. Dit is de uitdaging van beheersing van geledingen bij robots (legged robot control): machines laten bewegen op een soepele en veilige manier in onvoorspelbare omgevingen. Lange tijd hebben wetenschappers geprobeerd dit op te lossen door "dynamische modellen" te bouwen—eigenlijk een mentale kaart binnen de robot die voorspelt wat er zal gebeuren als hij op een bepaalde manier beweegt.

Traditioneel werden deze mentale kaarten gebouwd door de robot te belonen voor goede dingen (zoals rechtop blijven staan) en te straffen voor slechte dingen (zoals vallen). Dit wordt beloningsgestuurd leren (reward-based learning) genoemd. Er is echter een addertje onder het gras: als de robot een kleine fout maakt in zijn voorspelling, kan die fout zich in de loop van de tijd opstapelen, als een sneeuwbal die een heuvel afrolt, totdat de mentale kaart van de robot volledig onjuist is en hij crasht. Een andere aanpak, genaamd Joint-Embedding Predictive Architectures (JEPAs), probeert de rommelige details van de echte wereld over te slaan. In plaats van precies te voorspellen waar elke pixel van de camera van de robot zal zijn, voorspelt het een gecomprimeerde "samenvatting" of "latente" versie van de toekomst. Denk eraan als een muzikant die de volgende noot in een lied voorspelt door het ritme te voelen, in plaats van de exacte trilling van de lucht te berekenen. De grote vraag die wetenschappers zich hebben gesteld is: Kan een robot leren om perfect te lopen door alleen dit interne ritme te begrijpen, zonder dat er een leraar nodig is die constant zegt "goed gedaan" of "probeer het opnieuw"?

Ground-JEPA: De robot die leerde lopen door de beat te voelen

Een team van onderzoekers heeft een nieuw systeem geïntroduceerd genaamd Ground-JEPA, dat suggereert dat robots misschien geen constante lof of straf nodig hebben om complexe bewegingen te leren. In plaats daarvan kunnen ze leren door simpelweg te proberen hun interne "gevoel" van de toekomst consistent te houden met de werkelijkheid.

Stel je een robot voor die leert lopen, niet door te horen "niet vallen", maar door te proberen ervoor te zorgen dat zijn interne gevoel van "waar ik naartoe ga" overeenkomt met zijn werkelijke beweging. In dit nieuwe systeem probeert de robot niet een perfecte video van de toekomst te reconstrueren. In plaats daarvan comprimeert hij zijn ervaring tot een kleine, efficiënte "latente ruimte"—een soort abstracte mentale afkorting. De kern van de truc hier is een fysica-geïnspireerde sonde (physics-inspired probe). Hoewel de interne kaart van de robot abstract is, fungeert deze sonde als een vertaler die die abstracte gedachten terugvertaalt naar de echte wereldfysica zoals positie, snelheid en oriëntatie. Het is alsof je een robot hebt die in pure concepten denkt, maar een ingebouwde vertaler heeft die ervoor zorgt dat die concepten nog steeds de wetten van de zwaartekracht en momentum volgen.

De onderzoekers ontdekten dat het geheim om dit werkend te krijgen niet alleen de vertaling was, maar de planning horizon (planningshorizon). Eerdere pogingen faalden omdat de robot slechts een paar stappen vooruit keek—zoals proberen te lopen door alleen naar je tenen te kijken. Het Ground-JEPA-systeem dwingt de robot om veel verder vooruit te kijken, specifiek 12 stappen in de toekomst. Dit is cruciaal omdat een volledige loopcyclus (een gang of gait) ongeveer zo lang duurt. Door naar de hele cyclus te kijken, kan de robot het "grote plaatje" van zijn beweging zien, in plaats van alleen de volgende kleine stap te optimaliseren. Dit stelt het systeem in staat om stabiele looppatronen te leren via zelfsupervisie (self-supervision), wat betekent dat het leert door te controleren of zijn interne voorspellingen consistent zijn, zonder dat er externe beloningen nodig zijn.

De resultaten uit hun simulaties zijn behoorlijk verrassend. Op een gesimuleerde vierpotige robot (quadruped) behaalde dit beloningsvrije systeem een prestatiescore van 510 ± 68, wat feitelijk beter was dan het traditionele beloningsgestuurde systeem dat een score van 450 ± 234 behaalde. Nog indrukwekkender is dat ze dit succesvol toegepast hebben op een gesimuleerde humanoïde robot (een robot met een mensachtig lichaam) voor de eerste keer, waarbij ze een score van 350 ± 50 behaalden zonder enige beloningssignalen. De traditionele methode faalde volledig op de humanoïde in deze opstelling.

Een van de meest opwindende bevindingen is hoe goed dit systeem omgaat met "extreme" veranderingen. De onderzoekers testten de robot in scenario's waarin de fysica drastisch werd gewijzigd: de massa van de robot werd met ±30% veranderd, de wrijving van de grond werd met een factor 2,5 vermenigvuldigd of verminderd tot 0,4, en er was een vertraging van 50 ms in de motoren. In een samengesteld scenario waarin al deze veranderingen tegelijkertijd plaatsvonden, behield het Ground-JEPA-model 78% van zijn oorspronkelijke prestaties. In contrast hiermee behield een traditioneel beloningsgestuurd model, zelfs wanneer getraind met willekeurige variaties, slechts 21% van zijn prestaties. Dit suggereert dat door de fundamentele "manifold" of vorm van beweging te leren, de robot veel robuuster wordt tegen veranderingen in de wereld.

Het team ontdekte ook dat de omvang van het model niet massief hoefde te zijn. Dit hele systeem draait op een laptop-GPU en gebruikt slechts ongeveer 1,3 miljoen parameters, wat piepklein is vergeleken met andere enorme AI-modellen die miljarden parameters vereisen. Ze toonden aan dat de "instorting" (waarbij de robot stopt met leren) die in eerdere studies werd gezien, niet kwam doordat de methode gebrekkig was, maar omdat de robot een verkeerd type interne kaart gebruikte (specifiek een genormaliseerde kaart genaamd SimNorm) en te ver vooruit keek zonder de juiste structuur. Door het gebruik van ruwe latente representaties en de juiste planningshorizon, werkt het systeem prachtig.

De auteurs merken echter voorzichtig op dat deze resultaten momenteel gebaseerd zijn op simulaties. Hoewel de robot leerde lopen in een virtuele wereld met extreme veranderingen, is het systeem nog niet getest op een fysieke robot in de echte wereld. Daarnaast, hoewel ze een probleem hebben opgelost waarbij een humanoïde stilstaat, blijft het dynamisch lopen op twee benen voor een humanoïde een uitdaging vanwege de complexe fysica van het balanceren op één voet.

Uiteindelijk suggereert Ground-JEPA een nieuwe weg voor de robotica: in plaats van maandenlang perfecte beloningsfuncties te ontwerpen om een robot te leren lopen, moeten we hem misschien gewoon leren om zijn interne ritme consistent te houden met de natuurwetten. Dit zou geavanceerde robotbesturing kunnen democratiseren, waardoor kleinere laboratoria met standaard laptops robots kunnen bouwen die kunnen aanpassen aan de echte wereld zonder dat er enorme supercomputers of eindeloos trial-and-error beloningen nodig zijn.

Technische Samenvatting: Ground-JEPA

Probleemstelling

Nauwkeurige dynamische modellen zijn essentieel voor de modelgebaseerde aansturing van looprobots, met name voor taken die langetermijnplanning vereisen om stabiliteit te waarborgen en vallen te voorkomen. Bestaande neurale netwerkbenaderingen vertrouwen echter vaak op autoregressieve voorspelling in de toestandsruimte, wat leidt tot aanzienlijke foutaccumulatie over tijd. Bovendien werden eerdere pogingen om Joint-Embedding Predictive Architectures (JEPA's) toe te passen op robotica geconfronteerd met twee grote hindernissen:

Schaalbaarheid: Succesvolle JEPA-implementaties (bijv. V-JEPA) vereisten massale pre-training op de schaal van foundation models (miljarden parameters), waardoor ze ontoegankelijk waren voor laboratoria met beperkte middelen.
Beperkingen van Reward-Free Learning: Eerder onderzoek suggereerde dat reward-vrij leren via latente consistentie ernstig degradeert in omgevingen met een hoog aantal vrijheidsgraden (DoF) (bijv. quadrupeden en humanoids), wat leidde tot de hypothese dat latente consistentie fundamenteel ondergespecificeerd is voor complexe dynamica.

Methodologie

De auteurs introduceren Ground-JEPA, een minimaal (~1,3 miljoen parameters) latent wereldmodel dat is ontworpen om looprobots volledig aan te sturen via latente consistentie, zonder afhankelijk te zijn van taakspecifieke beloningsfuncties (reward functions). Het systeem bestaat uit drie kerncomponenten:

Encoder ( $E_\phi$ ): Een 3-laagse MLP die proprioceptieve observaties ( $o_t$ ) in een latente representatie ( $z_t$ ) vertaalt.
Predictor ( $P_\psi$ ): Een actie-geconditioneerde voorspeller die toekomstige latente toestanden ( $\hat{z}_{t+1}$ $\overset{z}{^}_{t + 1}$ ) voorspelt.
- Voor taken met een hoog aantal DoF (quadrupeden, humanoids) gebruiken de auteurs een lichtgewicht Transformer Decoder met cross-attention tussen latente en actie-embeddings om de lange-afstands temporele afhankelijkheden te vangen die essentieel zijn voor gangcoördinatie.
- Voor taken met een lager aantal DoF (cheetah) wordt een 2-laagse GRU gebruikt.
Physics-Inspired Prober: Een nieuw component dat bevroren latente representaties naar interpreteerbare fysieke toestanden mapt (positie, snelheid, oriëntatie, hoeksnelheid). In tegenstelling tot een standaard decoder bevat deze prober kinematische inductieve biases (bijv. $p_{t+1} = p_t + v_t \Delta t + \frac{1}{2}a_{comp}\Delta t^2$ ) om abstracte latente dynamica te overbruggen met fysieke beperkingen.
Planner: Een Model Predictive Path Integral (MPPI) planner optimaliseert actiesequenties in de latente ruimte. Cruciaal is dat de planningshorizon ( $H$ ) wordt uitgebreid naar 12 stappen om volledige gangcycli te vangen, waarmee de beperkingen van kortere horizons uit eerder werk worden aangepakt.

Trainingsdoel:
Het model wordt getraind met een JEPA-doelstelling die de kwadratische fout minimaliseert tussen de voorspelde latente toestand en de doel-latente toestand (afgeleid van een EMA target encoder), zonder een value head of beloningssignaal:
$L = \mathbb{E}[\| \text{sg}(E_\phi(o_{t+1})) - P_\psi(E_\phi(o_t), a_t) \|^2]$

Belangrijkste Bijdragen

Laptop-Scale JEPA Control: Demonstreert dat JEPA-gebaseerde aansturing voor looprobots de reward-gegronde baselines kan evenaren of overtreffen met een model van slechts ~1,3M parameters, getraind in minder dan 20 minuten op een laptop GPU, waardoor de noodzaak voor miljarden-parameter foundation models vervalt.
Physics-Inspired Probing: Introduceert een probing-mechanisme dat fysieke interpreteerbaarheid en structuur afdwingt op latente representaties, wat de fouten in positie- en oriëntatievoorspelling aanzienlijk vermindert vergeleken met lineaire of standaard MLP probes.
Herwaardering van Reward-Free Learning: Daagt de heersende hypothese uit dat reward-vrij leren faalt in high-DoF systemen. De auteurs identificeren dat eerdere mislukkingen het gevolg waren van onvoldoende planningshorizons (bijv. $H=3$ ) en ongepaste latente parametrisatie (bijv. SimNorm), in plaats van een fundamenteel defect in latente consistentie.
Zero-Shot Generalisatie: Stelt vast dat zelfgesuperviseerde latente consistentie een robuust signaal biedt voor sim-to-real transfer, waarbij een hoge prestatiebehoud wordt bereikt onder extreme samengestelde dynamica-verschuivingen zonder fine-tuning.

Resultaten

Prestaties op Control Tasks

Ground-JEPA werd geëvalueerd op de dm_control suite. Het reward-vrije model (getraind zonder taakbeloningen) presteerde beter dan of gelijk aan de reward-gegronde baselines:

Cheetah-Run (6-DoF): 530 ± 45 (Reward-Free) vs. 522 ± 139 (Reward-Grounded).
Quadruped-Walk (12-DoF): 510 ± 68 (Reward-Free) vs. 450 ± 234 (Reward-Grounded). Het reward-vrije model vertoonde aanzienlijk lagere variantie.
Humanoid-Stand (21-DoF): 350 ± 50 (Reward-Free). Dit markeert de eerste succesvolle demonstratie van reward-vrije JEPA-aansturing op een humanoid platform, waar reward-gegronde baselines faalden.

Impact van de Planningshorizon

Ablatiestudies op de Quadruped-Walk taak toonden aan dat de planningshorizon cruciaal is:

H=3 (Eerder werk): 184 ± 141 (Chaotische gang, geen fasecoördinatie).
H=12 (Onze methode): 510 ± 68 (Stabiele trot-gang, fase-gelockt).
H=20: 420 ± 85 (Prestaties verslechterden door ruimecumulatie).
De resultaten geven aan dat een horizon die een volledige gangcyclus beslaat, noodzakelijk is om voldoende structureel signaal te bieden voor de consistentie-doelstelling.

Latente Parametrisatie

De auteurs ontdekten dat "instorting" (collapse) in reward-vrij leren een artefact is van latente parametrisatie, niet van de afwezigheid van beloningen.

Raw Latents: Reward-vrije training behaalde 496 ± 31, wat overeenkomt met de reward-gegronde prestaties.
SimNorm Latents: Reward-vrije training stortte volledig in (return $\to$ 4), wat bevestigt dat ruwe latente ruimtes een rijkere representationele structuur behouden voor zelfgesuperviseerd leren.

Zero-Shot Generalisatie

Onder extreme samengestelde dynamica-verschuivingen (Massa ±30%, Wrijving 2,5×, Actuator Latency +50ms), behield Ground-JEPA 78% van zijn nominale prestaties. In contrast behield een reward-gegronde baseline die getraind is met domain randomization slechts 21%, omdat de beloningsfunctie niet langer uitgelijnd was met de verschoven dynamica.

Betekenis en Claims

Het artikel claimt de rol van beloningen in modelgebaseerde aansturing voor looprobots fundamenteel te herdefiniëren. De auteurs stellen dat in gestructureerde dynamische systemen, inherente fysica (kinematica en contacten) dient als een sterkere inductieve bias dan ijle taakbeloningen, mits de planningshorizon voldoende lang is.

Belangrijke implicaties die door de auteurs worden benadrukt:

Democratisering: State-of-the-art modelgebaseerde aansturing is toegankelijk voor laboratoria met beperkte middelen zonder dat zij enorme pre-training of foundation models nodig hebben.
Algoritme vs. Schaal: Succes wordt gedreven door algoritmische doorbraken (physics-inspired probing, long-horizon consistency) in plaats van modelgrootte.
Robuustheid: Zelfgesuperviseerd leren vangt op natuurlijke wijze de fundamentele manifold van loopbeweging, wat leidt tot superieure generalisatie naar onbekende dynamica vergeleken met reward-engineered benaderingen.

Beperkingen: De auteurs merken op dat alle experimenten in simulatie zijn uitgevoerd. Validatie op fysieke robots wordt uitgesteld naar toekomstig werk. Daarnaast, hoewel "humanoid-stand" is bereikt, blijft dynamisch bipedaal lopen een open uitdaging vanwege de slecht geconditioneerde onderactieve enkels, wat volgens de auteurs mogelijk hiërarchische uitbreidingen vereist.