💻 computer science

CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

Het artikel stelt CAST voor, een methode die vision-language modellen gebruikt om contrafactuele labels te genereren voor het uitbreiden van robotdatasets, waardoor de instructievolgende capaciteiten van vision-language-action modellen aanzienlijk worden verbeterd zonder dat er aanvullende gegevensverzameling nodig is.

Oorspronkelijke auteurs: Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

Gepubliceerd 2026-06-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij door een huis moet navigeren of objecten moet oppakken. Je laat de robot een video zien van een robot die door een gang loopt en naar rechts afslaat. Je zegt tegen de robot: "Dit is hoe 'rechtdoor gaan' eruitziet."

Het probleem is dat de robot een beetje een luie student is. Hij merkt dat elke keer dat hij een gang ziet, de robot in de video naar rechts afslaat. Dus leert de robot een kortere weg: "Als ik een gang zie, sla ik rechts af." Hij stopt met luisteren naar je specifieke instructies (zoals "ga links bij de blauwe tafel") omdat hij denkt dat het beeld van de gang hem al alles vertelt wat hij moet weten. In de technische termen van het artikel wordt dit "posterior collapse" genoemd — de robot negeert je stem en gokt gewoon op basis van wat hij ziet.

De CAST-oplossing: Het "Wat als?"-spelletje

De auteurs van dit artikel, van UC Berkeley en Princeton, hebben een slim trucje bedacht om dit op te lossen. Ze noemen het CAST (Counterfactual Labels Improve Instruction Following).

Zie CAST als een creatieve schrijfcoach voor robots. In plaats van de robot alleen het ene pad te laten zien dat hij daadwerkelijk heeft afgelegd, vraat de coach de robot om een spelletje "Wat als?" te spelen.

Zo werkt het, stap voor stap:

De originele scène: De robot heeft een video van zichzelf terwijl hij door een gang loopt.
De "Wat als?"-vraag: De onderzoekers gebruiken een superintelligent AI-model (een Vision-Language Model) om naar diezelfde gang te kijken en te vragen: "Hé, wat had de robot hier nog meer kunnen doen?"
- Origineel: "Ga rechtdoor."
- Counterfactual (Wat als): "Sla rechts af bij de oranje tafel," of "Beweeg langs de muur aan de linkerkant."
Het uitvinden van het pad: De AI verzint niet alleen een zin; de AI verzint ook een nep-videopad dat bij die nieuwe zin past. De AI stelt zich voor: "Oké, als de robot rechts zou afslaan bij de oranje tafel, hoe zouden de volgende paar seconden er dan uitzien?"
De nieuwe les: Nu heeft de robot twee lessen voor precies dezelfde gang:
- Les A: "Ga rechtdoor" (de echte video).
  B: "Sla rechts af bij de oranje tafel" (de verzonnen video).

Waarom dit alles verandert

Vóór deze truc zag de robot een gang en dacht: "Dit ken ik! Ik sla rechts af!" Hij had je woorden niet nodig.

Na de CAST-truc ziet de robot dezelfde gang, maar realiseert hij zich: "Wacht even, soms ga ik rechtdoor, en soms sla ik rechts af bij de oranje tafel. Het beeld alleen vertelt me niet wat ik moet doen. Ik moet echt luisteren naar de specifieke woorden die je geeft om te weten welk pad ik moet nemen."

De resultaten

De onderzoekers hebben dit getest op twee soorten robots:

Navigatierobots: Robots die binnen en buiten rondlopen.
Manipulatierobots: Robotarmen die dingen oppakken, zoals broccoli of lepels.

Ze ontdekten dat de robots door het gebruik van deze "Wat als?"-data (zonder dat er nieuwe echte video's verzameld hoefden te worden) veel beter werden in het opvolgen van instructies.

Bij navigatie verdubbelde het succespercentage vergeleken met robots die getraind waren zonder deze truc.
Bij manipulatietaken (zoals het oppakken van items wanneer er afleidende objecten in de buurt zijn), verbeterden de robots met 27%.

De kern van het verhaal

CAST is alsover een bibliotheek van "alternatieve realiteiten" geven aan een robot. Door de robot te laten zien dat dezelfde scène tot veel verschillende uitkomsten kan leiden afhankelijk van de instructie, dwing je de robot om te stoen met gokken en te beginnen met luisteren. Het verandert een robot die gewoon "kijkt en gokt" in een robot die echt "luistert en handelt."

Technische Samenvatting: CAST – Counterfactual Labels Verbeteren Instructie-opvolging in Vision-Language-Action Modellen

Probleemstelling
Generalistische robots vereisen het vermogen om diverse, open-vocabulaire taalinstructies op te volgen. Hoewel Vision-Language-Action (VLA) modellen een veelbelovende architectuur bieden voor het mappen van taal naar robotacties, worstelen ze momenteel met het opvolgen van fijnmazige instructies. Een primaire beperking is het gebrek aan semantische diversiteit en taalverankering in bestaande robotdatasets. In veel datasets zijn observaties sterk gecorreleerd met specifieke acties (bijv. een ladekast impliceert "open de lade"), wat leidt tot posterior collapse. Bij dit fenomeen leert het beleid (policy) de taalinput te negeren en taken uitsluitend af te leiden uit visuele observaties, omdat de taal geen aanvullende voorspellende informatie biedt. Bovendien missen bestaande datasets vaak fijnmazige taakdiversiteit voor vergelijkbare observaties, en sommige navigatiedatasets missen zelfs taallabels volledig. Het opschalen van datacuratie om deze problemen aan te pakken is duur en tijdrovend.

Methodologie: Counterfactual Augmentation met Synthetische Trajecten (CAST)
De auteurs stellen CAST voor, een framework voor data-augmentatie dat gebruikmaakt van Vision-Language Models (VLM's) om counterfactuele taallabels en synthetische acties te genereren voor bestaande, ongecureerde robot-trajectdatasets. De kerninzicht is dat door beleid te trainen op meerdere verschillende acties die geassocieerd zijn met dezelfde observatie (maar gedreven worden door verschillende instructies), het model wordt gedwongen om de taalinput te benutten om de juiste actie te voorspellen, waardoor posterior collapse wordt gemitigeerd.

De CAST-pipeline werkt in vier hoofdfasen:

Identificatie van Beslispunten: Bestaande trajecten worden gesegmenteerd in atomaire brokken op basis van gedragsveranderingen (bijv. draaien, stoppen). Deze grenzen dienen als beslispunten.
Generatie van Counterfactuele Instructies: Op elk beslispunt wordt een VLM (specifiek Gemini 2.5 Pro) bevraagd met de huidige observatie en de oorspronkelijke trajectcontext. De VLM genereert plausibele counterfactuele instructies (bijv. "Draai links" in plaats van de uitgevoerde "Draai rechts") en bijbehorende atomaire commando's (bijv. "draai links").
Generatie van Synthetische Acties: Een vooraf getraind atomaire policy ( $\pi_a$ ), getraind op echte robotdata om eenvoudige atomaire commando's te volgen (bijv. "ga vooruit", "draai links"), wordt gebruikt om de werkelijke actiebrokken voor deze counterfactuele instructies te genereren. Deze policy vertakt zich vanaf het oorspronkelijke traject om een nieuwe, plausibele "counterfactuele afsluiting" te creëren.
Dataset Augmentatie: De originele trajecten worden uitgebreid met deze nieuwe $(observatie, counterfactuele\_instructie, counterfactuele\_actie)$ tupels. Deze uitgebreide dataset wordt gebruikt om het uiteindelijke VLA-beleid te trainen, genaamd CounterfactualVLA.

De auteurs bieden een theoretische motivatie gebaseerd op wederzijdse informatie (mutual information). Ze argumenteren dat het opvolgen van taal wordt verbeterd door de wederzijdse informatie $I(a; \ell|o)$ tussen actie ( $a$ ) en taal ( $\ell$ ) te maximaliseren, geconditioneerd op observatie ( $o$ ). Door de entropie van atomaire commando's ( $H(\ell_a|o)$ ) voor een gegeven observatie te vergroten terwijl wordt gewaarborgd dat het atomaire commando voorspelbaar is vanuit de volledige instructie ( $H(\ell_a|\ell, o)$ ), verhoogt CAST effectief een ondergrens op deze wederzijdse informatie.

Implementatiedetails
De auteurs implementeren CAST in twee domeinen:

Navigatie: Gebruikmakend van de GNM-dataset (binnen/buiten), passen ze een hindsight relabeling-pipeline toe om initiële labels te genereren voor ongelabelde data. Ze segmenteren trajecten in atomaire gedragingen (links draaien/rechts draaien, vooruit gaan, stoppen) om een atomaire policy te trainen. De VLM genereert counterfactuele navigatieprompts, en de atomaire policy synthetiseert de corresponderende actiebrokken.
Manipulatie: Gebruikmakend van de Bridge-dataset, maken ze gebruik van bestaande taak-niveau labels en subtaak-decompositie (bijv. "pak op", "beweeg naar") als atomaire commando's. De VLM genereert counterfactuele taken (bijv. een object op een ander oppervlak plaatsen), en een vooraf getrainde Steerable Policy genereert de acties.

In beide gevallen is de uiteindelijke CounterfactualVLA een gefinetunede versie van de 3B PaliGemma VLM, getraind op de uitgebreide dataset met behulp van action chunking om temporele consistentie te waarborgen.

Experimentele Resultaten
De auteurs evalueren de methode via verschillende aspecten:

Labelkwaliteit: Menselijke beoordelaars evalueerden de gegenereerde labels op nauwkeurigheid met betrekking tot objecten, beweging en scène-verankering. De counterfactuele labels bleken accuraat en plausibel.
Navigatieprestaties: CounterfactualVLA werd getest op 27 instructie-opvolgtaken in drie omgevingen (kantoor, keuken, buitenpark). De taken omvatten objectnavigatie, referentiële navigatie (ruimtelijke relaties) en continue navigatie.
- CounterfactualVLA presteerde 27% beter dan VLAs getraind op ongeaugmenteerde data.
- Het bereikte een succespercentage dat dubbel zo hoog is als dat van de baseline.
- Het presteerde beter dan state-of-the-art methoden in het domein.
Manipulatieprestaties: Geëvalueerd op pick-and-place taken met distractoren, liet de methode een prestatieverbetering van 27% zien ten opzichte van een VLA getraind met standaard data.

Significantie en Claims
Het artikel claimt dat CAST een schaalbare, dataefficiënte methode biedt om de stuurbaarheid en de instructie-opvolgingscapaciteiten van VLA-policies te verbeteren zonder dat er extra real-world dataverzameling nodig is. Door gebruik te maken van off-the-shelf VLM's om counterfactuele data te genereren, pakt de methode het "posterior collapse"-probleem aan dat inherent is aan huidige datasets. De auteurs positioneren dit werk als een "eerste stap naar echt open-set robot taal-opvolging", waarbij ze aantonen dat het augmenteren van bestaande datasets met synthetische counterfactuals de capaciteit van een robot aanzienlijk kan verbeteren om complexe, fijnmazige commando's op te volgen in diverse omgevingen. De code, data en checkpoints worden open-sourced om verder onderzoek te faciliteren.

Technische Samenvatting: CAST – Counterfactual Labels Verbeteren Instructie-opvolging in Vision-Language-Action Modellen

Meer zoals dit