🤖 AI

FoMoVLA: Bridging Visual Foresight and Motion Guidance for Vision-Language-Action Models

FoMoVLA is een nieuw framework dat Vision-Language-Action-modellen verbetert door gezamenlijk toekomstige feature-vooruitziendheid en ijle 2D-punttracking te leren om de kloof tussen doelvoorspelling en continue bewegingssturing te overbruggen, waarmee het de staat van de kunst bereikt en sterke zero-shot generalisatie behaalt op meerdere robotica-benchmarks.

Oorspronkelijke auteurs: Wei Li, Peijin Jia, Yuan Ma, Xuefeng Jiang, Titong Jiang, Sheng Sun, Yujian Li, Xin Wen, Han Hong, Zhikang Liu, Bailin Li, Kun Zhan

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wei Li, Peijin Jia, Yuan Ma, Xuefeng Jiang, Titong Jiang, Sheng Sun, Yujian Li, Xin Wen, Han Hong, Zhikang Liu, Bailin Li, Kun Zhan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een sandwich te maken. Je laat de robot een foto zien van de ingrediënten en zegt: "Maak me een turkey club." Een standaard robotbrein zou naar de foto kijken, de volgende stap raden, een stuk brood pakken en hopen op het beste. Het is als het spelen van een spelletje "warm of koud" waarbij je alleen reageert op wat er op dit exacte moment gebeurt. Maar het echte leven is een film, geen diavoorstelling. Om complexe taken uit te voeren, moet je de toekomst voorstellen: "Als ik nu de kalkoen pak, zal het brood wegglijden en moet ik het opvangen." Dit is de uitdaging van Vision-Language-Action (VLA) modellen. Dit zijn de slimme breinen die proberen te vertalen wat een robot ziet en hoort naar fysieke bewegingen. De grote vraag die wetenschappers stellen is: Hoe leren we een robot niet alleen te reageren, maar ook te anticiperen? Hoe laten we het niet alleen begrijpen waar een object naartoe moet, maar ook hoe het daar komt?

Maak kennis met FoMoVLA, een nieuw framework dat fungeert als een "glazen bol" voor robotbreinen. De onderzoekers stellen dat bestaande methoden een cruciaal puzzelstukje missen. Sommige methoden proberen de hele toekomstige afbeelding pixel voor pixel te voorspellen, wat is alsof je elke individuele regendruppel in een storm probeert te voorspellen—het is te veel data en te traag. Anderen raden slechts de eindbestemming, zoals zeggen: "de sandwich zal op het bord liggen," maar vergeten de rommelige reis erheen. FoMoVLA lost dit op door de robot twee complementaire vaardigheden tegelijkertijd aan te leren: Visual Foresight (het visualiseren van de uiteindelijke staat van de scène) en Motion Guidance (het volgen van het specifieke pad dat objecten afleggen om daar te komen). Denk eraan een robot te leren om naar een bestemming op een kaart te kijken (de foresight) terwijl het tegelijkertijd een GPS-punt ziet over een kronkelende weg bewegen (de motion). Door deze te combineren, krijgt de robot een veel helderder, fysieker begrip van hoe te bewegen, wat leidt tot betere prestaties bij lastige taken zoals het stapelen van blokken of het oppakken van objecten, zonder de robot te vertragen tijdens het eigenlijke werk.

Het Probleem: Robots die de toekomst niet kunnen zien

De meeste robotbreinen van vandaag zijn ongelooflijk reactief. Ze zien een beker, ze pakken hem. Ze zien een deur, ze duwen hem open. Maar ze worstelen met de "wat als"-vragen. Als een robot een zware doos probeert te verplaatsen, moet hij weten dat de doos kan omvallen voordat hij omvalt. Huidige methoden proberen dit op te lossen door ofwel de volledige toekomstige videoframe voor frame te voorspellen (wat rekenintensief is en vol zit met nutteloze statische details zoals de achtergrondmuur), of door simpelweg de eindtoestand te voorspellen (wat de robot vertelt waar hij heen moet, maar niet hoe hij er komt).

De auteurs van dit paper suggereren dat deze twee benaderingen eigenlijk beste vrienden zijn die aan elkaar voorgesteld moeten worden. Je hebt de "doelstelling" nodig (het uiteindelijke plaatje) en het "pad" (de beweging). Als je alleen het doel hebt, begrijpt de robot de fysica van de reis niet. Als je alleen het pad hebt, kan de robot de weg kwijtraken zonder bestemming.

De Oplossing: De tweesporenbenadering van FoMoVLA

FoMoVLA (Foresight and Motion VLA) is een trainingsframework dat een robot leert om beide tegelijkertijd te doen. Het verandert het brein van de robot niet permanent; in plaats daarvan voegt het een speciale "trainingsmodus" toe waarin de robot twee extra dingen leert naast zijn hoofdtaken van bewegen.

De Glazen Bol (Future Feature Prediction): De robot wordt geleerd te visualiseren hoe de scène eruit zal zien nadat hij zijn taak heeft voltooid. In plaats van te proberen de hele toekomstige afbeelding opnieuw te tekenen (wat moeilijk is), leert hij de "vibe" of de belangrijkste kenmerken van de toekomstige staat te voorspellen. Het is alsof je naar een puzzel kijkt en voorspelt wat de uiteindelijke afbeelding zal zijn zonder elk afzonderlijk stukje te tekenen.
De GPS-Tracker (Sparse Point Tracking): Tegelijkertijd leert de robot om specifieke punten op objecten te volgen terwijl ze bewegen. Stel je voor dat je een klein stickertje op een beker plakt en kijkt hoe deze over de tafel glijdt. De robot leert precies te voorspellen waar dat stickertje zich in de volgende paar seconden zal bevinden. Dit leert de robot het "hoe" van de beweging—de continue flow van actie.

De Geheime Saus: De punten verbinden

De echte magie gebeurt in de manier waarop deze twee vaardigheden met elkaar communiceren. In veel eerdere pogingen leerden robots deze vaardigheden apart, alsof twee studenten in verschillende kamers studeren. FoMoVLA dwingt hen om samen te werken via een speciaal module genaamd FCCA (Future-Conditioned Cross-Attention).

Zo werkt het: De "Glazen Bol" (de toekomstige voorspelling) vertelt de "GPS-Tracker" (de bewegingsvoorspelling) hoe de bestemming eruitziet. De tracker gebruikt die informatie vervolgens om het beste pad te vinden om daar te komen. Het is als een chauffeur (de tracker) die weet wat de bestemming is (de foresight) en daard seeel veel beter kan navigeren dan een chauffeur die alleen maar gokt waar hij moet afslaan. Het paper laat zien dat wanneer deze twee gekoppeld zijn, de voorspellingen van de robot veel nauwkeuriger en consistenter worden.

De Resultaten: Slimere Robots, Geen Extra Kosten

De onderzoekers hebben FoMoVLA getest op verschillende uitdagende robottaken, waaronder de LIBERO suite (een verzameling taken zoals het stapelen van blokken en het verplaatsen van objecten) en de RoboCasa dataset (een simulatie van een huiselijke omgeving met een humanoïde robot).

Prestaties: FoMoVLA behaalde state-of-the-art resultaten en versloeg andere topmodellen. Op de "Long" horizon taken in LIBERO (die vereisen dat er meerdere stappen vooruit wordt gepland), bereikte FoMoVLA bijvoorbeeld een succespercentage van 97,6%, wat aanzienlijk beter is dan eerdere methoden.
Zero-Shot Generalisatie: Zelfs toen de robot werd getest in volledig nieuwe situaties die hij nog nooit eerder had gezien (zoals andere belichting of camerastandpunten), presteerde hij nog steeds uitstekend, met een succespercentage van 80,5% op de LIBERO-Plus benchmark.
Efficiëntie: Het beste deel? Al dit extra "denken" gebeurt alleen tijdens de training. Wanneer de robot daadwerkelijk werkt in de echte wereld, hoeft hij de glazen bol of de GPS-tracker niet meer te gebruiken. Hij gebruikt simpelweg de kennis die hij heeft opgenomen. Dit betekent dat de robot net zo snel draait als voorheen, met bijna geen extra geheugen- of tijdskosten (het voegt slechts ongeveer 9,4 ms aan latentie toe).

Wat het Paper Uitsluit

De auteurs zijn zorgvuldig in het aanwijzen van wat niet goed werkt. Ze ontdekten dat het simpelweg voorspellen van de toekomstige pixels (de hele afbeelding) te rommelig en redundant is. Ze vonden ook dat als je de robot leert de toekomst te voorspellen en de beweging te volgen zonder ze met elkaar te laten communiceren, de resultaten slechts een klein beetje beter zijn dan niets doen. De synergie—het gesprek tussen het "wat" en het "hoe"—is wat het verschil maakt.

De Kernboodschap

FoMoVLA suggereert dat om echt capabele robots te bouwen, we ze moeten leren om zowel de toekomst te visualiseren als het bewegingspad te begrijpen, en dat tegelijkertijd. Door een "doelgerichte" visie te combineren met een "bewegingsgerichte" visie, kunnen robots de wereld natuurlijker en betrouwbaarder manipuleren. Hoewel het huidige systeem nog steeds vertrouwt op 2D-tracking en de 3D-geometrie nog niet volledig begrijpt, vertegenwoordigt het een belangrijke stap voorwaarts in het maken van robots die niet alleen reageren, maar ook echt anticiperen.

Technische Samenvatting: FoMoVLA

Probleemstelling

Vision-Language-Action (VLA) modellen hebben een sterke prestatie geleverd bij het leren van visuomotorische beleid (policy learning), maar blijven fundamenteel reactief. Ze mappen huidige observaties en taalinstructies direct naar acties zonder expliciete voorwaartse voorspelling van de wereld-dynamiek. Hoewel recente onderzoeken hebben geprobeerd de VLA-vooruitziendheid (foresight) te verbeteren door middel van toekomstige voorspellende supervisie, lijden bestaande benaderingen onder twee primaire beperkingen:

Redundantie en Overhead: Dichte pixelgebaseerde voorspelling van toekomstige frames behoudt rijke scène-informatie, maar bevat grote hoeveelheden statische inhoud die irrelevant zijn voor de besturing, wat leidt tot hoge modelleringskosten.
Gebrek aan Bewegingssturing: Compacte keyframe-gebaseerde representaties verbeteren de efficiëntie, maar karakteriseren doorgaans alleen de doeltoestand (waarheen te gaan) zonder de continue bewegingsbaan (hoe er te komen) te vatten die nodig is om dat doel te bereiken.

De auteurs stellen dat acteerbare vooruitziendheid niet alleen de toekomstige toestand moet coderen, maar ook de continue temporele bewegingsdynamiek die naar die toestand leidt.

Methodologie: FoMoVLA

FoMoVLA is een training-only framework dat een fundamenteel VLA-model uitbreidt met expliciete spatio-temporele supervisie door gezamenlijk toekomstige feature-voorspelling en sparse 2D punt-tracking te leren. De architectuur bestaat uit drie complementaire takken:

1. Punt-tracking Tak (Bewegingssturing)

Deze tak grondt de beeld-token representaties in expliciete ruimtelijke beweging.

Mechanisme: Het model voorspelt 2D punt-trajecten die de gehele actie-chunk beslaan. Om te waarborgen dat het model de taak-relevante beweging begrijpt, wordt de inputsequentie geherordend zodat teksttokens voorafgaan aan beeldtokens, waardoor beeldtokens kunnen attentionen op de volledige taalinstructie.
Supervisie: Een bevroren, kant-en-klare punt-tracker (CoTracker-v3) fungeert als docent, die sparse grondwaarheid verplaatsingsdoelen (displacement targets) en zichtbaarheidslabels genereert voor een raster van punten.
Output: Lichtgewicht projectiekoppen voorspellen punt-verplaatsingen en zichtbaarheid, geoptimaliseerd via verplaatsingsregressie, zichtbaarheidsclassificatie en traject-smoothness losses.

2. Toekomstige Feature-voorspellings Tak (Doeltoestand)

Deze tak biedt een compacte representatie van de uiteindelijke doeltoestand.

Mechanisme: Het model voegt $K$ leerbare <Foresight> tokens toe aan de inputsequentie. Deze tokens worden getraind om de visuele features van het laatste frame ( $t+T$ ) van de actie-chunk te coderen.
Supervisie: Een Exponential Moving Average (EMA) docent zorgt voor stabiele doel visuele features. Een lichtgewicht MAE-decoder reconstrueert de doel features vanuit de compacte $K$ -token bottleneck.
Doelstelling: Een cosine-similarity loss zorgt ervoor dat de tokens globale scène-niveau veranderingen vastleggen in plaats van fijnmazige temporele details.

3. Future-Conditioned Cross-Attention (FCCA)

Om consistentie te garanderen tussen de veronderstelde toestand en de bewegingsbaan, worden de twee doelstellingen gekoppeld.

Mechanisme: Een lichtgewicht cross-attention module conditioneert de bewegingsvoorspelling (punt-tracking) op de foresight-representatie.
Ontwerp: Het module gebruikt multi-head attention waarbij de visuele features de queries zijn, en de foresight tokens de keys en values vormen. De output-projectie is zero-geïnitialiseerd, waardoor de module kan fungeren als een identity mapping aan het begin van de training en geleidelijk leert om toekomstige informatie in de ruimtelijke tokens te injecteren.
Effect: Dit verankert de lokale traject-schatting aan een globale foresight prior, wat ervoor zorgt dat de voorspelde beweging consistent is met de voorspelde toekomstige toestand.

Training en Inferentie

Training: De totale loss combineert de actie-voorspellingsloss (Flow Matching) met de foresight en tracking hulp-losses. De docenten (punt-tracker en EMA) zijn bevroren en ontvangen geen gradiënten.
Inferentie: Alle hulp-takken (tracking heads, MAE decoder, FCCA) worden weggegooid. Alleen de $K$ <Foresight> tokens blijven in de inputsequentie aanwezig. Dit resulteert in nul parameter-overhead en een verwaarloosbare toename in latentie (9,4 ms) tijdens implementatie.

Belangrijkste Bijdragen

Nieuw Framework: Introductie van FoMoVLA, dat de latente VLA-representaties uitbreidt met expliciete spatio-temporele supervisie door gezamenlijk compacte toekomstige feature-voorspelling en sparse 2D punt-tracking te leren.
FCCA Module: Een future-conditioned cross-attention mechanisme dat foresight tokens koppelt aan temporele punt-tracking, wat consistentie waarborgt tussen de veronderstelde visuele toestanden en geometrische bewegingsdynamiek.
State-of-the-Art Prestaties: De methode behaalt state-of-the-art resultaten op de LIBERO en RoboCasa GR-1 Tabletop benchmarks, met sterke zero-shot generalisatie op LIBERO-Plus.

Experimentele Resultaten

Het artikel evalueert FoMoVLA over drie benchmarks:

LIBERO: Het volledige model (met FCCA) bereikt een gemiddeld succespercentage van 98,8% over vier taaksuites (Spatial, Object, Goal, Long), waarmee het concurrerende baselines zoals GR00T-N1.5, $\pi_0$ en X-VLA verslaat. De ablatie-studie bevestigt dat de FCCA-module significante winst oplevert, met name bij langdurige taken (LIBERO-Long), waar onafhankelijke multi-task training niet in staat is tot synergie te komen.
RoboCasa GR-1 Tabletop: FoMoVLA bereikt een succespercentage van 56,9%, een verbetering van 9,1% ten opzichte van de StarVLA-GR00T backbone, wat de effectiviteit demonstreert op een humanoïde platform met egocentrische observaties.
LIBERO-Plus (Zero-Shot): Het model bereikt 80,5% totaal succes op geperturbeerde data (gezichtspunt, robotstatus, taal, verlichting, etc.) zonder fine-tuning, waarmee het de basis StarVLA (+6,4%) aanzienlijk verslaat en de prestaties van Abot-M0 evenaart.

Betekenis en Claims

De auteurs beweren dat FoMoVLA erin slaagt de kloof tussen visuele vooruitziendheid (visual foresight) en bewegingssturing te overbruggen. Door toekomstige feature-voorspelling en sparse punt-tracking als complementaire doelstellingen te behandelen, leert het model zowel de doeltoestand als de continue bewegingsbaan naar die toestand toe te coderen.

Belangrijke claims met betrekking tot de betekenis zijn:

Spatio-Temporele Gronding: Het framework stelt de policy in staat om acties te leren die zowel toekomstgericht als fysiek begrensd zijn, waarmee het verder gaat dan reactieve mapping.
Efficiëntie: De aanpak introduceert expliciete spatio-temporele supervisie zonder de inferentie-kosten te verhogen, aangezien alle hulpcomponenten enkel voor training zijn.
Generalisatie: De methode demonstreert sterke zero-shot generalisatie, wat suggereert dat expliciete spatio-temporele supervisie het vermogen van de VLM om visuele structuur en dynamiek te representeren versterkt, wat geïdentificeerd is als een primaire bottleneck in embodied control.

Het artikel erkent beperkingen en merkt op dat de huidige tracking-supervisiemodellen beweging in 2D-beeldruimte afhankelijk van het gezichtspunt bekijken en geen 3D-geometrie vastleggen. Toekomstig werk wordt gesuggereerd om 2D-tracking aan te vullen met 3D-bewegingsvoorspelling.