💻 computer science

Demo-JEPA: Joint-Embedding Predictive Architecture for One-shot Cross-Embodiment Imitation

Demo-JEPA is een nieuw imitatieleerframework voor kruisende belichamingen dat de noodzaak voor gedeelde actieruimtes omzeilt door demonstraties te interpreteren als impliciete toekomstige doelen binnen een gezamenlijke-inbedding-predictieve architectuur, waardoor doelagenten in staat worden gesteld om gewenste toestanden af te leiden en te plannen uitsluitend met behulp van visuele waarnemingen en hun eigen interactie-ervaring.

Oorspronkelijke auteurs: Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

Gepubliceerd 2026-05-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Lichaamstaal"-Barrière

Stel je voor dat je een robot probeert te leren hoe je een boterham maakt. Je laat het een video zien van een mens die dit doet.

De Mens gebruikt vingers, een pols die buigt en een greep die knijpt.
De Robot heeft een stijf metalen arm, een ander aantal gewrichten en een klauw die opent en sluit.

Als je de robot probeert te leren door te zeggen: "Kopieer precies hoe de mens zijn hand beweegt," zal de robot falen. Het is alsof je een pinguïn vraagt om de dans van een aap na te doen; de bewegingen van de aap zijn niet logisch voor het lichaam van een pinguïn.

De meeste huidige robots proberen dit op te lossen door de bewegingen van de mens te forceren in een "vertaalwoordenboek" (wiskundige regels om menselijke gewrichten op robotgewrichten af te beelden). Dit is fragiel, duur en breekt vaak als de robot of de taak iets verandert.

De Oplossing: Demo-JEPA (De "Dromer")

De auteurs stellen een nieuwe manier voor genaamd Demo-JEPA. In plaats van de robot te leren hoe hij moet bewegen, leren ze hem wat hij moet bereiken.

Denk hierbij aan het volgende:

Oude Manier: "Beweeg je hand 12 centimeter naar links, draai dan 30 graden." (Te specifiek voor het menselijk lichaam).
Demo-JEPA Manier: "Het doel is dat de boterham op het bord ligt." (Het doel is hetzelfde, ongeacht wie het doet).

Het systeem behandelt de videodemonstratie niet als een reeks instructies, maar als een hint over de toekomst. Het vraagt zich af: "Als ik deze mens bekijk, hoe ziet de wereld er over een paar seconden uit?"

Hoe Het Werkt: Het Drie-Stappen "Droom"-Proces

Het artikel beschrijft een raamwerk dat werkt in drie fasen, die we ons kunnen voorstellen als een Dromer, een Vertaler en een Planner.

1. De Vertaler (De "Dromer Predictor")

Dit is het brein van de operatie. Het kijkt naar de video van de mens (de bron) en het huidige beeld van de robot (het doel).

De Analogie: Stel je een vertaler voor die niet dezelfde taal spreekt als de mens of de robot. In plaats van woorden te vertalen, vertalen ze intentie.
Wat het doet: Het negeert de rommelige details (zoals de kleur van het shirt van de mens, de belichting of de specifieke vorm van de vingers van de mens). Het stript die weg en vindt de "ziel" van de actie. Vervolgens projecteert het een toekomstig doel dat logisch is voor het lichaam van de robot.
De Magie: Het creëert een "latente doelstelling". Denk hierbij aan een mentale afbeelding van de toekomstige staat (bijvoorbeeld: "Het kopje is in de lucht") die de robot kan begrijpen, zelfs al heeft de robot de mens dit nooit zien doen.

2. De Planner (Het "Actie-Gecorrigeerde Wereldmodel")

Zodra de robot dit mentale plaatje van het doel heeft, moet hij uitzoeken hoe hij daar komt.

De Analogie: Stel je een schaker voor die naar het bord kijkt. Hij raadt niet zomaar zetten; hij simuleert de toekomst in zijn hoofd. "Als ik hierheen beweeg, wat gebeurt er dan? Als ik daarheen beweeg, wat gebeurt er dan?"
Wat het doet: De robot gebruikt zijn eigen interne model van de fysica (hoe zijn eigen arm beweegt) om verschillende acties te simuleren. Hij voert duizenden mentale simulaties uit om de reeks bewegingen te vinden die zijn huidige realiteit omzetten in dat "mentale plaatje" (het doel) dat hij van de vertaler kreeg.

3. De Adaptieve Lus (De "Tempo")

Soms blijft de robot steken of beweegt hij langzamer dan de mens in de video.

De Analogie: Stel je voor dat je een rondleiding volgt. Als je achterblijft, spring je niet zomaar naar de volgende locatie van de gids; je blijft waar je bent totdat je bijhaalt, en beweeg je dan pas naar de volgende plek.
Wat het doet: Het systeem controleert: "Heb ik het doel bereikt dat de Dromer voor mij heeft gesteld?" Zo ja, dan pakt hij het volgende doel uit de video. Zo nee, dan blijft hij proberen het huidige doel te bereiken. Dit voorkomt dat de robot in de war raakt als hij achterblijft bij de demonstratie.

Waarom Dit Een Groot Ding Is (De Resultaten)

Het artikel heeft dit op twee manieren getest:

Simulatie: Een computergesimuleerde wereld met verschillende robotarmen.
Wereld: Een fysiek laboratorium met een UR5-robotarm (bron) en een Franka-robotarm (doel).

De Bevindingen:

Beter in "Eén-Kans" Leren: De robot hoefde de taak maar één keer te zien om hem te leren.
Handelt "Raar" Robots Af: Het werkte zelfs als de bron- en doelrobots er totaal anders uitzagen (verschillende vormen, verschillende maten).
Zero-Shot Generalisatie: Dit is het coolste deel. De robot kon taken uitvoeren die hij nooit eerder had gezien (zoals het oppakken van een nieuw object of bewegen naar een nieuwe plek) door gewoon te kijken hoe een mens een vergelijkbare taak uitvoerde.
Vergelijking: Eerdere methoden (zoals proberen de exacte bewegingen na te bootsen) faalden hopeloos als de robots verschillend waren of de taak veranderde. Demo-JEPA bleef werken.

De Beperkingen (Wat Het Artikel Toestaat)

De auteurs zijn eerlijk over de nadelen:

Complexiteit: Het vereist veel rekenkracht om deze mentale simulaties uit te voeren.
Precisie: Hoewel het geweldig is voor algemene taken, kan het moeite hebben met uiterst hoge precisie, delicate taken (zoals een naald inslaan), omdat het "mentale model" nog niet perfect is.
Training: Het heeft nog steeds wat trainingsdata nodig om te leren hoe zijn eigen lichaam beweegt, hoewel het geen data nodig heeft die de bewegingen van de mens koppelt aan de bewegingen van de robot.

Samenvatting

Demo-JEPA is een robotsysteem dat stopt met het proberen na te bootsen van bewegingen en begint met het proberen te begrijpen van intentie. Het fungeert als een dromer die een mens bekijkt, de toekomstige uitkomst inbeeldt en vervolgens uitzoekt hoe zijn eigen unieke lichaam datzelfde resultaat kan bereiken. Dit stelt robots in staat veel sneller en flexibeler te leren van mensen (of andere robots) dan voorheen.

Technische Samenvatting: Demo-JEPA

Probleemstelling

Robotische imitatielearning staat voor een fundamentele knelpunt, bekend als de embodiment-kloof: het fysieke en kinematische verschil tussen een demonstrator (bijvoorbeeld een mens of een andere robot) en de leerling. Traditionele benaderingen proberen deze kloof te overbruggen via actie-niveau uitlijning, waarbij ze vertrouwen op gedeelde actieruimtes, expliciete actie-correspondenties, heuristische herdoelgerichte aanpassing of grootschalige co-training met meerdere embodiment. Deze methoden zijn echter fundamenteel beperkt voor heterogene agenten, omdat identieke semantische intenties (bijvoorbeeld "een object grijpen") vaak radicaal verschillende motorcommando's, koppelprofielen en gewrichtsconfiguraties vereisen, afhankelijk van de specifieke morfologie. Bijgevolg heeft het leren van vaardigheden over embodiment heen via lage-actie-uitlijning moeite om te generaliseren over mismatchende morfologieën zonder enorme hoeveelheden uitgelijnde data.

Methodologie: Demo-JEPA

De auteurs stellen Demo-JEPA (Joint-Embedding Predictive Architecture) voor, een raamwerk dat cross-embodiment imitatie herformuleert niet als actie-reproductie, maar als latente, goal-geconditioneerde planning. De kernhypothese is dat demonstraties moeten worden gezien als impliciete specificaties van toekomstige doelen (welke toestand de demonstrator probeert te realiseren) in plaats van sequenties van motorische primitieven (hoe ze dit uitvoeren).

Het raamwerk werkt in drie hoofdfases binnen een gedeelde voorspellende representatieruimte:

1. Actie-geconditioneerd Wereldmodel

De doelagent maakt gebruik van een JEPA-gebaseerd wereldmodel (specifiek V-JEPA 2.1) om de dynamica van zijn eigen embodiment te leren.

Encoder ( $E$ ): Maakt visuele observaties ( $o_t$ ) af op latente toestanden ( $z_t$ ).
Dynamica Predictor ( $F_{wm}$ ): Modelleert overgangen geconditioneerd op de huidige latente toestand, robottoestand ( $s_t$ ) en actie ( $a_t$ ): $\hat{z}_{t+1} = F_{wm}(z_t, s_t, a_t)$ .
Planning: Gegeven een doel latente goal, optimaliseert de agent een actieserie die de afstand tussen de voorspelde toekomstige latente toestand en de goal minimaliseert, met behulp van de Cross-Entropy Methode (CEM).

2. Dreamer Predictor (Embodiment-bewuste Goal Inference)

Dit is het nieuwe component dat verantwoordelijk is voor het vertalen van bron-demonstraties naar doel-compatibele doelen.

Input: De huidige doel-observatie ( $o^t_k$ ) en een paar bronframes ( $o^s_k, o^s_{k+n}$ ) die een tijdsverschil in de demonstratie vertegenwoordigen.
Mechanisme:
- Een gedeelde JEPA-encoder maakt observaties af op latente representaties ( $z^t_k, z^s_k, z^s_{k+n}$ ).
- Cross-Attention Modules: Twee modules vangen (1) cross-embodiment correspondentie ( $f_{emb}$ ) en (2) temporele evolutie van het gedrag ( $f_{mot}$ ) op.
- 3D Convolutionele Fusie: De kenmerken worden geaggregeerd via een 3D convolutie ( $\phi$ ) om spatiotemporale structuur te behouden, gevolgd door een Transformer-predictor ( $T$ ) om de gefuseerde kenmerken te decoderen naar een doel-compatibele latente goal ( $\hat{z}^t_{goal}$ ).
Training: De predictor wordt getraind in Fase 1 met actie-vrije cross-embodiment demonstraties om latente reconstructieverlies te minimaliseren ( $L_{pred} = \|\hat{z}^t_{goal} - z^t_{k+n}\|^2_2$ ). Temporele verstoring wordt toegepast op de bronframes om robuustheid te vergroten.

3. Actie Co-training (Fase 2)

Zodra de Dreamer Predictor is bevroren, wordt de dynamica-predictor ( $F_{wm}$ ) van het wereldmodel fijngefineerd. Het doel is om de latente rollouts van het wereldmodel uit te lijnen met de goal-verdeling die door de Dreamer Predictor wordt geleverd, waarbij een planningsverlies ( $L_{plan}$ ) wordt geoptimaliseerd.

Inferentie met Adaptieve Goal-updating

Tijdens uitvoering schuift het systeem het bronreferentiekader niet met een vaste frequentie door. In plaats daarvan berekent het de latente discrepantie ( $D_k$ ) tussen de nieuw waargenomen doeltoestand en de huidige goal. Het systeem schuift alleen door naar het volgende bronreferentiekoppel als $D_k < \epsilon$ (de goal is bereikt). Dit adaptieve mechanisme voorkomt cumulatieve fouten veroorzaakt door kinematische mismatch.

Belangrijkste Bijdragen

Nieuwe Formulering: Het artikel stelt voor om cross-embodiment imitatie te herformuleren als latente, goal-geconditioneerde planning, waarmee effectief het knelpunt van expliciete actie-uitlijning wordt omzeild.
Demo-JEPA Raamwerk: Introductie van een puur visueel gedreven raamwerk met een embodiment-bewuste Dreamer Predictor. Dit component overbrugt de morfologische kloof door doel-compatibele toekomstige latente toestanden af te leiden uit bron-demonstraties, zonder actie-niveau correspondenties of gedeelde actieruimtes te vereisen.
Empirische Validatie: Uitgebreide evaluatie in zowel gesimuleerde (RLBench) als real-world robotische manipulatie-taken toont aan dat Demo-JEPA superieure generalisatie bereikt naar ongezette taken en radicaal verschillende embodiment-configuraties in vergelijking met eerdere baselines.

Experimentele Resultaten

Het raamwerk werd geëvalueerd over drie suites met toenemende distributieveranderingen: Gedragsverankering (gezette taken), Cross-Embodiment Overbrugging (ongezette acties) en Zero-Shot Generalisatie (ongezette configuraties).

Simulatie (RLBench): Demo-JEPA kwam overeen met gespecialiseerde in-domein planners in gedragsverankering, maar presteerde aanzienlijk beter dan baselines (VPP, XSkill) naarmate de distributieverandering toenam. Bij Zero-Shot Generalisatie bereikte Demo-JEPA een 0,36 gemiddeld succespercentage, terwijl VPP en XSkill slechts 0,04 respectievelijk 0,03 behaalden.
Real-World: In fysieke experimenten (UR5e bron $\to$ Franka doel) bereikte Demo-JEPA een 0,55 gemiddeld succespercentage bij Cross-Embodiment Overbrugging en 0,25 bij Zero-Shot Generalisatie, en presteerde beter dan VPP en XSkill, die significant faalden in zero-shot scenario's.
Ablatiestudies:
- Het verwijderen van de 3D convolutionele fusiemodule degradeerde de prestaties op complexe, gearticuleerde taken (bijvoorbeeld "Kanaal Veranderen"), wat het belang van expliciete spatiotemporale modellering benadrukt.
- Vergelijkingen met "Naive" (directe latente overdracht) en "Oracle" (ground-truth doeltoekomst) baselines bevestigden dat de Dreamer Predictor heterogene demonstraties succesvol omzet in doel-compatibele doelen, en de oracle-prestaties benadert zonder bevoorrechte informatie.
Schaling: De studie vond dat taakdiversiteit (blootstelling aan diverse taaksemantiek) een kritieker drijver is voor overdraagbare latente mapping dan het volume van trajecten per taak.

Betekenis en Claims

Het artikel claimt dat Demo-JEPA abstracte taakprogressie succesvol vertaalt naar een embodiment-compatibele goal-ruimte door de onderliggende voorspellende dynamica van een demonstratie te vangen in plaats van oppervlakkige statistieken te memoriseren.

Robuustheid: De methode toont aan dat het afleiden van latente doelen effectiever is dan het gebruik van demonstraties als vaste actieseries of vaardigheidsprototypen, vooral wanneer distributieveranderingen ernstig zijn.
Flexibiliteit: Door actie-niveau correspondentie te vermijden, ondersteunt het raamwerk flexibele imitatie over heterogene embodiment met uitsluitend visuele demonstraties en de eigen interactie-ervaring van de doelagent.
Beperkingen: De auteurs erkennen nederig dat de prestaties momenteel worden beperkt door de modellering-knelpunten van bestaande actie-geconditioneerde wereldmodellen, wat de effectiviteit beperkt bij zeer complexe, hoog-precisie taken. Bovendien vereist de huidige pijplijn nog steeds temporele of progress-bewuste uitlijning tijdens training, en toekomstig werk heeft als doel volledig niet-uitgelijnde leerverbintenissen te ontwikkelen.