ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model

1. Het Probleem

De paper adresseert de beperkingen van bestaande Latente Wereldmodellen (zoals V-JEPA) en Vision-Language Models (VLMs) wanneer deze worden gebruikt voor het voorspellen van toekomstige toestanden in video's, specifiek voor taken zoals het voorspellen van handtrajecten.

• Beperkingen van Latente Wereldmodellen (bijv. V-JEPA): Deze modellen voorspellen toekomstige toestanden in een latentere ruimte (in plaats van pixels), wat efficiënter is. Echter, ze vertrouwen vaak op korte observatievensters met dicht opeengepakte frames. Dit beperkt het temporale perspectief, waardoor het model zich richt op lokale, laag-niveau dynamiek en moeite heeft om langetermijn-semantiek of gebeurtenissen te begrijpen die cruciaal zijn voor robuuste voorspellingen.
• Beperkingen van Vision-Language Models (VLMs): VLMs hebben sterke semantische gronding en wereldkennis door redeneren over uniform gesamplede frames. Ze zijn echter ongeschikt als standalone dichte voorspellers vanwege:
  1. Compute-gedreven sparsiteit: Door rekenkosten worden maar weinig frames verwerkt, waardoor fijne, hoogfrequente bewegingen verloren gaan.
  2. Taal-output bottleneck: VLMs comprimeren visuele informatie naar tekst, wat leidt tot verlies van fijne ruimtelijke details en continue interactiestaten.
  3. Data-regime mismatch: Ze zijn niet optimaal getraind op kleine, domeinspecifieke datasets voor fysieke voorspelling.

Het doel is dus een systeem te bouwen dat de fijne dynamiek van dichte frames combineert met de langetermijn-semantische kennis van VLMs.

2. Methodologie: ThinkJEPA

ThinkJEPA introduceert een raamwerk dat een VLM fungeert als een "denker" (thinker) om een JEPA-stijl latent wereldmodel te sturen. De architectuur bestaat uit drie kerncomponenten:

A. Dual-Temporal Perception Field (Dubbel-Temporale Perceptieveld)

In plaats van één tijdsample-strategie te gebruiken, maakt ThinkJEPA gebruik van twee parallelle takken:

1. Dense JEPA-branch: Verwerkt een dicht gesampled videovenster (veel frames op korte termijn). Dit behoudt de fijne bewegingsinformatie en interactie-cues die nodig zijn voor fysieke voorspelling.
2. Uniform VLM-Thinker Branch: Verwerkt een uniform gesampled video (weinig frames over een lange periode). Deze tak gebruikt een krachtige VLM (Qwen3-VL Thinking) om langetermijn-context, entiteiten en semantische relaties te begrijpen.

B. Hiërarchische Pyramide Representatie Extractie

Een kritieke uitdaging is hoe men de kennis van de VLM het beste kan overbrengen. Het gebruik van alleen de laatste laag van een VLM is suboptimaal omdat die lagen sterk gericht zijn op taalgeneratie.

• ThinkJEPA extraheren multi-layer representaties (een pyramide) uit de VLM, inclusief visuele tokens van de ViT-encoder en tussenliggende verborgen staten van de taalmodel-laag.
• Deze features worden geaggregeerd tot een gids-feature die zowel laag-niveau visuele cues als hoog-niveau redenering behoudt.

C. Layer-wise Guidance Injectie (FiLM)

De gids-features van de VLM worden niet gebruikt om de output direct te genereren, maar om het JEPA-predictor te moduleren.

• Er wordt gebruik gemaakt van FiLM (Feature-wise Linear Modulation). De VLM-features worden omgezet in moduleringsparameters ($\gamma$ en $\beta$) die op elke laag van de JEPA-predictor worden toegepast.
• Hierdoor wordt de latent voorspelling "semantisch verrijkt" zonder de dichte dynamische modellering van de JEPA-branch te vervangen.

3. Belangrijkste Bijdragen

1. VLM-gestuurd Latent Wereldmodel: Een nieuw raamwerk dat een VLM integreert als een semantische gids voor latent voorspelling, in plaats van als de primaire voorspeller.
2. Dual-Temporal Architectuur: Een unieke ontwerp die dichte frames (voor dynamiek) en uniforme sampling (voor semantiek) combineert in één systeem.
3. Pyramide Extractie Module: Een methode om multi-depth VLM-features te distilleren voor effectieve sturing, wat beter werkt dan het gebruik van alleen de eindlaag.
4. Superieure Prestaties: Experimenten tonen aan dat ThinkJEPA zowel een sterke VLM-only baseline als een sterke JEPA-only baseline overtreft, met name op het gebied van langetermijn-rol-out (recursive rollout).

4. Resultaten

De methode is geëvalueerd op twee benchmarks voor egocentrische video's: EgoDex en EgoExo4D, met als hoofdtaken het voorspellen van 3D handtrajecten.

• Kwantitatieve Prestaties: ThinkJEPA behaalde aanzienlijk lagere fouten (ADE en FDE) en hogere nauwkeurigheid (Accuracy) dan zowel de V-JEPA Predictor als de Qwen3-VL (Thinking) baseline.
  • Op EgoDex verbeterde ThinkJEPA de ADE van 0.071 (V-JEPA) naar 0.061 en de Accuracy van 0.471 naar 0.596.
• Langetermijn Robuustheid: Bij recursieve roll-out (voorspellen over steeds langere horizons) degradeerde de VLM-only baseline snel door cumulatieve fouten. ThinkJEPA bleef stabiel en presteerde het beste over alle horizons (4, 8, 16, 32 stappen), wat aantoont dat de semantische gids helpt bij het stabiliseren van iteratieve voorspellingen.
• Latent Kwaliteit: De latent voorspellingen zelf waren van hogere kwaliteit (lagere feature-afstand), wat betekent dat de verbetering niet alleen in de downstream head zit, maar in de representatie zelf.
• Ablatie Studies:
  • Het gebruik van zowel encoder-tokens als autoregressive (AR) tokens van de VLM gaf de beste resultaten.
  • Het gebruik van een pyramide van lagen (in plaats van alleen de laatste laag) was cruciaal voor het behoud van visuele redenering.
  • Directe prompt-only VLM voorspelling (zonder getrainde head) faalde volledig, wat aantoont dat finetuning en latent voorspelling essentieel zijn.

5. Betekenis en Impact

ThinkJEPA biedt een nieuwe richting voor Embodied AI en World Modeling:

• Het lost het fundamentele compromis op tussen fijne fysieke dynamiek (nodig voor controle) en hoog-niveau semantisch begrip (nodig voor planning).
• Het toont aan dat VLMs het beste kunnen worden gebruikt als "denkers" die context bieden, in plaats van als directe "actoren" voor fysieke voorspelling.
• De methode is schaalbaar en kan worden toegepast op diverse taken waar langetermijn-planning en fysieke precisie beide vereist zijn, zoals robotica en autonome systemen.

Kortom, ThinkJEPA combineert het beste van twee werelden: de rekenkracht en fysieke precisie van latent wereldmodellen met het wereldkennis en redeneervermogen van moderne Vision-Language Models.