VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model

Het artikel introduceert VLA-JEPA, een nieuw voortrainingskader dat Vision-Language-Action-modellen verbetert door lek-vrije voorspelling in de latente ruimte te gebruiken, waardoor ze robuuster worden tegen visuele afleidingen en betere generalisatie bereiken dan bestaande methoden.

De kern

VLA-JEPA: De Robot die Leren Kijkt in plaats van Leren Doen

Stel je voor dat je een robot wilt leren om een kopje koffie te zetten. De traditionele manier is om de robot duizenden keren te laten oefenen met een echte kopje, tot hij het perfect kan. Dat is duur, tijdrovend en soms gevaarlijk als de robot de koffie op de grond morst.

Een slimmere manier is om de robot te laten kijken naar video's van mensen die koffie zetten. Maar hier zit een addertje onder het gras, en dat is precies wat het nieuwe onderzoek VLA-JEPA oplost.

Het Probleem: De "Valse Vriend"

Stel je voor dat je een robot laat kijken naar een video van iemand die koffie zet. De robot kijkt heel goed naar het beeld. Maar wat ziet hij?

• Hij ziet de koffie die stroomt.
• Hij ziet de zon die door het raam schijnt.
• Hij ziet de achtergrond die beweegt omdat de camera trilt.

De meeste huidige robots leren hieruit dat "beweging" belangrijk is. Ze denken: "Oh, als de zon beweegt, moet ik mijn arm ook bewegen!" Of: "Als de achtergrond verandert, moet ik iets doen."

Dit is als een student die voor een examen leert, maar in plaats van de wiskundige formules te begrijpen, alleen de kleur van de letters in het boekje onthoudt. Als je het boekje van kleur verandert, weet hij plotseling niets meer. De robot leert dan hoe het eruit ziet, niet wat er gebeurt. Dit noemen de auteurs "pixel-geobsedeerd" zijn.

De Oplossing: VLA-JEPA (De "Geheime Notitie" Methode)

VLA-JEPA is een nieuwe manier om robots te trainen. In plaats van de robot te laten raden wat het volgende plaatje eruit zal zien (wat vaak leidt tot het onthouden van achtergrondruis), laten we de robot een geestelijke samenvatting maken.

Hier is hoe het werkt, met een simpele analogie:

1. De Regisseur en de Acteur
Stel je een filmset voor.

• De Regisseur (de Target Encoder): Deze kijkt naar de hele scène, inclusief de toekomstige beelden (wat er straks gebeurt). Hij schrijft een geheime notitie op: "De kopje wordt nu vastgepakt." Hij kijkt niet naar de zon of de trillende camera, maar alleen naar de essentie van de actie.
• De Acteur (de Student): Deze ziet alleen het huidige plaatje. Hij krijgt niet de geheime notitie van de regisseur te zien.
• De Taak: De acteur moet raden wat de regisseur straks zal noteren, puur op basis van wat hij nu ziet.

2. Waarom is dit slim?
Omdat de acteur de toekomst niet mag zien, kan hij niet "cheaten" door de toekomstige beelden te kopiëren. Hij is gedwongen om echt te begrijpen: "Als ik nu dit kopje vastpak, wat gebeurt er dan?"

Hij leert de wetten van de natuur (zwaartekracht, vastpakken, laten vallen) in plaats van de decoratie (de kleur van de muur, de zonneschijn). Dit is wat de auteurs "lekkage-vrij" noemen: er lekt geen informatie uit de toekomst naar de leerling, dus hij moet echt nadenken.

De Resultaten: Een Robot die Sterker is

De onderzoekers hebben deze methode getest in verschillende situaties:

• In de simulatie: De robot kon taken uitvoeren die hij nooit eerder had gezien, zelfs als de belichting veranderde of de achtergrond verschilde.
• In de echte wereld: Ze testten het op een echte robotarm.
  • Het "Herhaald Grijpen": Als een robot een object probeert vast te pakken en het glijdt eruit, wat doet hij dan? De oude robots (zoals π0) bleven vaak steken of probeerden het niet opnieuw. VLA-JEPA, omdat hij veel menselijke video's heeft gezien, weet: "Oh, als het niet lukt, doe ik de hand open en probeer ik het opnieuw." Dit is een vaardigheid die mensen van nature hebben, maar waar robots vaak moeite mee hebben.
  • Veiligheid: De robot van VLA-JEPA was voorzichtig. Hij raakte de randen van de tafel niet aan, terwijl andere robots soms wilder deden en de veiligheidsgrenzen overschreden.

Samenvatting in Eén Zin

VLA-JEPA is als het verschil tussen een robot die een film kijkt (en alleen de decoratie onthoudt) en een robot die de film begrijpt (en de logica van de actie doorziet), zodat hij die vaardigheden kan toepassen in een heel nieuwe wereld, zelfs als de zon anders schijnt of de kamer anders is ingericht.

Het is een stap in de richting van robots die niet alleen "nabootsen", maar echt "leren" hoe de wereld werkt.

Technische samenvatting

1. Het Probleem: Tekortkomingen van Bestaande Latente Actie-Methoden

Het paper identificeert een fundamenteel probleem bij het pretrainen van Vision-Language-Action (VLA) modellen op internet-grootte video-data. Bestaande methoden die "latente acties" leren uit video, vertonen vaak vier kritieke foutpatronen:

1. Bias naar uiterlijk (Pixel-level objectives): Bestaande methoden voorspellen vaak toekomstige pixels of compresseren frame-verschillen. Hierdoor leren ze te focussen op visuele veranderingen (textuur, belichting, achtergrond) in plaats van op de onderliggende, actie-relevante statovergangen.
2. Ruis door beweging: In echte video's (bijv. van mensen) is camera-beweging vaak sterker dan de interactie tussen robot en object. Modellen leren hierdoor "nutteloze" beweging te coderen in plaats van betekenisvolle dynamiek.
3. Informatielek (Information Leakage): Veel architecturen voeden zowel de huidige observatie als de toekomstige observatie in hetzelfde netwerk. Dit creëert een "shortcut": het model leert de toekomst direct te kopiëren in plaats van te leren hoe de staat verandert door een actie. Dit resulteert in een "latente actie" die semantisch leeg is voor controle.
4. Complexiteit: Bestaande pipelines vereisen vaak complexe, multi-stadia training (pretraining, uitlijning, finetuning), wat de training fragiel en moeilijk reproduceerbaar maakt.

Het resultaat is dat deze modellen kwetsbaar zijn voor generalisatie en niet robuust genoeg zijn voor fysieke robotcontrole.

2. Methodologie: VLA-JEPA

De auteurs introduceren VLA-JEPA, een pretrainingsframework gebaseerd op JEPA (Joint-Embedding Predictive Architectures). Het kernidee is het voorspellen van toekomstige staten in een latente ruimte in plaats van pixelruimte, met een strikt ontwerp om informatielekken te voorkomen.

Kernarchitectuur en Ontwerp

• Leakage-free State Prediction: Tijdens het pretrainen gebruikt het model een doel-encoder (Target Encoder) om latent representaties van toekomstige frames te genereren. De student-pijplijn (het hoofdmodel) ziet echter alleen de huidige observatie. Toekomstige frames worden uitsluitend gebruikt als supervisie-doelen, nooit als input. Dit elimineert de mogelijkheid voor het model om de toekomst te "spieken".
• Latente Wereldmodel: In plaats van pixels te reconstrueren, leert het model om latent staten ($\hat{s}_{t+1}$) te voorspellen op basis van de huidige staat en een latent actietoken. Dit dwingt het model om dynamische abstrakties te leren die robuust zijn tegen camera-beweging en irrelevante achtergrondveranderingen.
• Unified Training Pipeline: Het model combineert twee databronnen in één proces:
  1. Human Videos (zonder labels): Hier wordt een wereldmodel-objectief gebruikt om statovergangen te leren via een alignment loss (JEPA-style).
  2. Robot Data (met labels): Hier wordt een gezamenlijk objectief gebruikt: de JEPA alignment loss plus een directe actie-predictie loss (gebaseerd op Conditional Flow Matching) voor de eind-effector.

Model Componenten

• Backbone: Gebaseerd op Qwen3-VL (met SigLIP-2 als visuele encoder).
• Learnable Tokens: Het model introduceert speciale tokens:
  • ⟨latent_i⟩: Codeert de statovergang tussen tijdstippen.
  • ⟨action⟩: Een conditioneel token voor het genereren van fysieke acties.
• Flow-Matching Head: Voor robotdata wordt een conditional flow-matching head gebruikt om continue actie-trajecten te genereren, geconditioneerd op de latent actierepresentaties.

3. Belangrijkste Bijdragen

1. Analyse van Foutpatronen: Een grondige analyse van waarom bestaande latent-action methoden falen (pixel-bias, ruis, en informatielekken).
2. VLA-JEPA Architectuur: Een nieuw, "leakage-free" pretrainingsframework dat JEPA-principes toepast op VLA-modellen. Het leert actie-relevante overgangssemantiek zonder pixelreconstructie of informatielekken.
3. Vereenvoudigde Workflow: Het introduceert een efficiënter, twee-staps proces (JEPA pretraining + actie-head finetuning) dat complexere multi-stadia pipelines vervangt, terwijl het tegelijkertijd betere prestaties levert.

4. Resultaten en Evaluatie

VLA-JEPA werd getest op drie simulatie-benchmarks (LIBERO, LIBERO-Plus, SimplerEnv) en in een echte fysieke omgeving (Franka Robot).

• LIBERO Benchmark: VLA-JEPA behaalde state-of-the-art resultaten op 2 van de 4 taak suites en de hoogste gemiddelde success rate (97.2%), zelfs met minder trainingsdata dan concurrenten zoals OpenVLA-OFT en $\pi0$.
• SimplerEnv (Real-to-Sim Gap): Het model presteerde het beste op de Google Robot en tweede beste op de WidowX Robot. Belangrijk: het behaalde deze resultaten met minder dan 1% van de trainingsdata die door concurrenten zoals villa-X werd gebruikt.
• LIBERO-Plus (Robuustheid): Onder 7 soorten perturbaties (licht, taal, achtergrond, etc.) behaalde VLA-JEPA de beste prestaties op 5 van de 7 categorieën. Het toonde aan dat de latent acties robuust zijn tegen taak-agnostische verstoringen.
• Real-World Experiments:
  • VLA-JEPA was robuuster en veiliger dan $\pi0$ en $\pi0.5$. Hoewel $\pi0.5$ soms instructies nauwkeuriger volgde, schond VLA-JEPA zelden de veiligheidsgrenzen van de robotarm.
  • Herhaald grijpen: Een opvallend resultaat was dat VLA-JEPA, dankzij pretraining op menselijke video's, het vermogen leerde om na een mislukte greep de grijper opnieuw te openen en het te proberen. Bestaande modellen (getraind op robotdata) faalden hierin omdat ze geen voorbeelden van "herhaald grijpen" zagen in hun trainingsdata.

5. Betekenis en Conclusie

Het paper toont aan dat het pretrainen van VLA-modellen op menselijke video's, wanneer gedaan via een JEPA-gebaseerde, lek-vrije architectuur, leidt tot superieure generalisatie en robuustheid.

• Schaalbaarheid: De methode maakt het mogelijk om de enorme hoeveelheid ongelabelde menselijke video-data effectief te benutten zonder de valkuil van informatielekken.
• Efficiëntie: Het vervangt complexe multi-stadia pipelines door een gestroomlijnde, end-to-end trainingsaanpak.
• Praktische Impact: De resultaten tonen aan dat modellen getraind met deze methode niet alleen beter presteren in simulatie, maar ook veiliger en adaptiever zijn in de echte wereld, met name door het leren van vaardigheden zoals "herhaald proberen" die zelden in robot-datasets voorkomen maar wel in menselijk gedrag.

Kortom, VLA-JEPA biedt een nieuwe standaard voor het leren van wereldmodellen voor robots, waarbij de focus ligt op het begrijpen van dynamiek in plaats van het reconstrueren van pixels.