🤖 AI

UniJEPA: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning

UniJEPA is een geïntegreerd robotbeleidskader dat gebruikmaakt van grootschalige vooropleiding op instructievideo's om gecombineerde continue en discrete representaties te leren, waardoor het superieure prestaties behaalt in zowel simulatie als real-world out-of-distribution taken in vergelijking met bestaande visie-taal- en generatieve benaderingen.

Oorspronkelijke auteurs: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren huishoudelijke klusjes te doen. Het artikel introduceert een nieuwe methode genaamd UniJEPA (Unified Joint Embedding Prediction and Action) om deze robots slimmer, flexibeler en beter te maken in het omgaan met dingen die ze nog nooit hebben gezien.

Hier is de uitleg van hoe het werkt, met eenvoudige analogieën:

Het Probleem: De "Twee-Koppige" Robot

Momenteel vallen robothersenen meestal in twee kampen, en beide hebben een zwak punt:

De "Spreker" (Vision-Language Models): Deze robots zijn geweldig in het begrijpen van taal en beelden. Als je zegt: "Pak de rode beker op", weten ze wat een beker is en wat "rood" betekent. Maar ze zijn slecht in het voorspellen van fysica. Ze weten niet intuïtief hoe de beker zal wiebelen als ze hem te hard vastpakken, of hoe hij over de tafel zal rollen.
De "Voorspeller" (Generative Models): Deze robots zijn geweldig in het raden wat er als volgt gebeurt. Als ze een bal zien rollen, kunnen ze voorspellen waar hij over een seconde zal zijn. Maar ze missen vaak "gezond verstand" of taalbegrip. Ze weten misschien hoe ze moeten bewegen, maar niet waarom ze bewegen of wat de mens eigenlijk van hen heeft gevraagd.

De meeste robots proberen het een of het ander te gebruiken, of ze proberen ze op een manier samen te voegen waarbij de beste delen van beide verloren gaan.

De Oplossing: De "Tweetalige Dromer" (UniJEPA)

UniJEPA is als een robot die leert twee talen te spreken en op twee manieren te dromen tegelijkertijd. Het combineert de "Spreker" en de "Voorspeller" tot één brein.

Denk er als volgt over: een student die autorijden leert:

Discrete Leer (De "Spreker"): Dit is als het leren van de verkeersregels en de woordenschat. "Stopbord betekent stoppen", "Groen betekent gaan". De robot leert complexe instructies te begrijpen en te beschrijven wat het ziet met woorden.
Continue Leer (De "Dromer"): Dit is als het leren van het gevoel van de auto. Het gaat niet alleen om de regels; het gaat om het voorspellen van de vloeiende stroom van beweging. Als je het stuur een beetje draait, hoe zakt de auto dan weg? UniJEPA leert de toekomstige visuele scène te voorspellen, niet als een wazige video, maar als een hoogwaardig "gevoel" of kaart van wat er als volgt gaat gebeuren.

Hoe Ze Het Trainden (Het Twee-Staps Proces)

Fase 1: De "Bibliotheek & Bioscoop" Fase (Pre-training)
Voordat de robot ooit een echt object aanraakt, laten ze het "lezen" en "kijken" naar enorme hoeveelheden data.

Ze voerden meer dan 1 miljoen video's aan van mensen en robots die taken uitvoeren (zoals laden openen of speelgoed oppakken).
De Truc: Ze vroegen de robot om twee dingen tegelijk te doen:
1. Vragen Beantwoorden: "Wat doet de robot?" (Dit scherpt zijn taal en begrip aan).
2. De Toekomst Voorspellen: "Als de robot zijn arm zo beweegt, hoe zal het beeld er dan over 1 seconde uitzien?" (Dit scherpt zijn begrip van fysica en beweging aan).
Door beide te doen, bouwt de robot een mentaal model waarin woorden en fysieke beweging perfect gekoppeld zijn.

Fase 2: De "Rijschool" Fase (Fine-tuning)
Zodra de robot deze algemene kennis heeft, leren ze hem specifiek hoe hij zijn eigen lichaam moet bewegen.

Ze tonen hem data van de echte robotarm of -hand.
De robot leert zijn "dromen" (voorspellingen van de toekomst) en zijn "begrip" (taalinstructies) direct om te zetten in actie-tokens (de specifieke commando's om motoren te bewegen).
Het gebruikt een speciaal "expert"-systeem (zoals een team van specialisten) om de complexe wiskunde van het bewegen van een echte arm zonder crashen te hanteren.

De Resultaten: Waarom Het Beter Is

Het artikel testte deze robot op twee manieren:

In een Videospel (Simulatie): Ze gaven hem taken die hij nog nooit had gezien, zoals een specifiek object op een specifieke manier verplaatsen. UniJEPA won met een aanzienlijke marge van alle andere toprobots (ongeveer 9-12% beter).
In de Reële Wereld: Ze zetten het op een echte robotarm en een luxe 12-vingerige robot-hand.
- De Magie: Toen ze de robot een taak gaven met een volledig nieuw object (bijvoorbeeld een speelgoed dat het nog nooit had gezien, of een vreemde kleur), raakte UniJEPA niet in de war. Omdat het het concept van "grijpen" en "bewegen" had geleerd in plaats van alleen specifieke beelden te memoriseren, kon het deze "out-of-distribution" (vreemde) situaties veel beter aan dan de concurrentie.

De Conclusie

UniJEPA is een robotbrein dat niet alleen instructies onthoudt of alleen fysica gispt. Het leert de wereld te begrijpen via taal terwijl het gelijktijdig de toekomst simuleert via beweging. Deze dubbele aanpak stelt het in staat een "generalist" te zijn: een robot die zich kan aanpassen aan nieuwe taken en nieuwe objecten zonder elke keer opnieuw vanaf nul getraind te hoeven worden.

Technische Samenvatting: UniJEPA

Probleemstelling

De ontwikkeling van generalistische robotbeleid dat diverse taken in open-ended omgevingen kan hanteren, blijft een centrale uitdaging binnen embodied AI. Bestaande benaderingen vertrouwen doorgaans óf op Vision-Language Models (VLM's) voor semantisch begrip óf op generatieve modellen voor visuele dynamiek. Deze methoden ondervinden echter aanzienlijke beperkingen:

Op VLM's gebaseerde benaderingen lijden vaak onder een achteruitgang van fundamentele capaciteiten wanneer ze worden fijngefineerd op schaarse, heterogene robotdatasets. Ze negeren vaak de fundamentele discrepanties tussen statische vision-language taken en dynamische robotactietaken.
Op generatie gebaseerde benaderingen (bijvoorbeeld videopredictie) vergemakkelijken het leren van dynamische representaties, maar falen vaak om de cruciale vision-language-alignatie die inherent is aan vooraf getrainde VLM's te behouden.
Huidige Unified Models proberen vaak begrip en generatie te verenigen binnen een raamwerk voor discrete tokenpredictie, wat de robuustheid van de vision-language-alignatie en het vermogen om continue fysieke dynamiek effectief te modelleren, kan ondermijnen.

Het artikel stelt dat het leren van robotbeleid een paradigma vereist dat discrete taakbegrip (begrip) integreert met continu toekomstige staat representatieleren (planning en dynamiek).

Methodologie: UniJEPA

De auteurs stellen UniJEPA voor, een Vision-Language-Action (VLA) raamwerk dat discrete en continue representatieleren verenigt via een twee-staps trainingsstrategie. De architectuur maakt gebruik van een Mixture-of-Transformers (MoT)-ontwerp met modality-specialized experts.

1. Unified Vision-Language Embedding Modeling (Stap 1: Pre-training)

De eerste stap vestigt een cross-embodiment pre-training paradigma om gezamenlijke tekst-beeldrepresentaties te leren.

Architectuur: Het model initialiseert met een vooraf getraind VLM (specifiek Paligemma) en introduceert een Generator Expert en een Action Expert (in latere stadia) binnen het MoT-raamwerk.
Discrete Representatieleren: Het model wordt getraind op grote schaal vision-language datasets en geëmbodimenteerde taakbeschrijvingen (geannoteerd in VQA-stijl formaten) om fijne taalrepresentaties te leren voor het begrijpen van scènes en instructies.
Continue Wereldmodelleren: In tegenstelling tot eerdere werken die ruwe beeldpixels voorspellen, voorspelt UniJEPA continue hoog-dimensionale visuele kenmerken. Een bevroren visuele encoder (bijvoorbeeld SigLIP) encodeert toekomstige observaties, en het model leert deze continue kenmerken ( $\hat{o}_{t+h}$ ) te voorspellen naast discrete teksttokens ( $\hat{l}$ ).
Trainingsdoel: Het model maakt gebruik van een gezamenlijke verliesfunctie die Cross-Entropy-verlies voor de taalvertakking combineert met Mean Squared Error (MSE)-verlies voor de continue visuele predictie-vertakking.

2. Unified Action Modeling (Stap 2: Fine-tuning)

In de tweede stap wordt het model fijngefineerd op embodiment-specifieke data om predictieve representaties af te beelden op actietokens.

Action Expert: Een distincte expert wordt vanaf nul getraind om de actieruimte te hanteren. Deze maakt gebruik van flow matching om de continue en inherent multi-modale verdeling van acties te vangen.
Gezamenlijke Optimalisatie: Het model wordt getraind om gelijktijdig toekomstige continue visuele staten te voorspellen en actiesequenties uit te voeren. De doelwitfunctie combineert het continue visuele predictieverlies met een flow matching-verlies voor actiegeneratie.
Datastrategie: Pre-training maakt gebruik van een mix van robotvideo's (met subtaakbeschrijvingen), video's van menselijke demonstraties en generieke vision-language QA-data. Fine-tuning wordt uitsluitend uitgevoerd op VLA-data uit simulatie en real-world robots.

Belangrijkste Bijdragen

Nieuwe VLA-architectuur: De introductie van een VLA-raamwerk dat discrete tokenpredictie (voor begrip) integreert met continue visuele predictie (voor dynamiek) binnen een verenigde MoT-architectuur.
Twee-staps trainingsraamwerk: Een strategie die actie-representaties aligneert terwijl de intermediaire representaties die tijdens grote schaal pre-training zijn geleerd, worden behouden, waardoor kennis effectief wordt overgedragen van internet-schaal data naar robottaken.
Continue kenmerkpredictie: Het aantonen dat het voorspellen van continue visuele kenmerken (in plaats van ruwe pixels of discrete tokens) een effectiever signaal biedt voor het leren van dynamische informatie die cruciaal is voor actiegeneratie.

Experimentele Resultaten

UniJEPA werd geëvalueerd over twee simulatiebenchmarks en twee real-world robotplatforms (een 7-DoF Franka Emika Panda-arm en een 12-DoF dexterous hand).

Simulatiebenchmarks:
- Calvin Benchmark: UniJEPA bereikte een gemiddelde subtaak-sequentielengte van 4,11, presterend beter dan de vorige beste (UP-VLA op 4,08) en significant surpasserend baselines zoals GR-1 (3,06).
- SimplerEnv: Op de WindowX- en Google Robot-platforms bereikte UniJEPA state-of-the-art succespercentages van respectievelijk 71,0% en 78,4%. Het toonde consistente hoge prestaties over alle subtaken, waardoor de "spike-achtige" prestatieprofielen van andere methoden werden vermeden.
Real-world Experimenten:
- Franka Panda-arm: UniJEPA bereikte de hoogste succespercentages over alle vier taakcategorieën (Pick & Place, Press Button, Route Cable, Drawer), inclusief op ongezette taken met nieuwe objecten.
- 12-DoF Dexterous Hand: Het model bereikte het hoogste gemiddelde succespercentage over negen vaardigheidscategorieën, met een 12% verbetering op ongezette taken vergeleken met baselines.
Ablatiestudies:
- Het verwijderen van pre-training resulteerde in een daling van ongeveer 16% in het succespercentage op real-world pick-and-place taken.
- Het gebruik van continue visuele kenmerken voor predictie leverde een prestatieboost van ongeveer 20% op vergeleken met modellen zonder dit onderdeel.
- Onder continue encoderingsmethoden leverden SigLIP-kenmerken de beste alignatie met de VLM-ruggengraat, presterend beter dan DINO en distillatie-gebaseerde benaderingen.

Betekenis en Claims

Het artikel stelt dat UniJEPA succesvol de afweging tussen semantisch begrip en dynamische predictie in robotbeleidleren aanpakt. Door gebruik te maken van grote schaal pre-training op zowel robot- als menselijke demonstratiedata, verwerft het model robuuste generalisatiecapaciteiten.

De auteurs benadrukken dat hun aanpak robots in staat stelt om volledig nieuwe objecten en out-of-distribution (OOD) scenario's effectiever te hanteren dan bestaande methoden. De integratie van continue toekomstige representatieleren stelt het beleid in staat fysieke dynamiek beter te anticiperen, terwijl de behouden vision-language-alignatie zorgt voor een accurate interpretatie van complexe instructies. De resultaten suggereren dat een verenigde aanpak die begrip, planning en continue representatieleren combineert, een levensvatbaar pad is naar generalistische robotbeleid.