🤖 AI

VITA: Zero-Shot Value Functions via Test-Time Adaptation of Vision-Language Models

Dit paper introduceert VITA, een methode voor zero-shot waardefunctioneleer die Vision-Language Models via testtijd-adaptatie en een dissimilariteitsgebaseerde steekproefstrategie verbetert om generalisatie en temporele redenering te vergroten, wat leidt tot superieure prestaties in robotmanipulatie en offline versterkingsleer.

Oorspronkelijke auteurs: Christos Ziakas, Alessandra Russo

Gepubliceerd 2026-03-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christos Ziakas, Alessandra Russo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wat is het probleem?

Stel je voor dat je een robot wilt leren om een taak te doen, zoals een shirt vouwen of een kopje op een tafel zetten. Je wilt dat de robot zonder menselijke hulp (zogenoemd "zero-shot") kan begrijpen hoe ver hij al is in de taak.

Er zijn al slimme systemen, Vision-Language Models (VLMs), die als een enorme kennisbank fungeren. Ze hebben het hele internet gelezen en bekeken. Maar deze systemen hebben twee grote gebreken:

Ze zijn te star: Ze kijken naar een foto en zeggen "dit lijkt op een shirt", maar ze begrijpen niet of je het shirt nu aan het vouwen bent of juist aan het uitvouwen. Ze vergeten de tijd.
Ze maken fouten bij nieuwe situaties: Als je ze een taak laat doen in een nieuwe kamer of met een andere robotarm, raken ze in de war. Ze zijn getraind op specifieke data en kunnen niet goed improviseren.

De oplossing: VITA (De Slimme Reiziger)

De auteurs van dit paper hebben VITA bedacht. Je kunt VITA zien als een slimme reiziger die onderweg leert, in plaats van iemand die alleen uit een boek leert.

Hier is hoe het werkt, stap voor stap:

1. De "Test-Tijd Adaptatie" (Leren terwijl je rijdt)

Stel je voor dat je een autohuur hebt gedaan. De auto is al ingesteld voor de standaardweg (de vooraf getrainde AI). Maar je moet een onverharde weg nemen (een nieuwe, onbekende taak).

Oude methode: Je probeert de auto te besturen zoals op de asfaltweg. De banden slippen, en je komt er niet.
VITA-methode: Zodra je de onverharde weg oprijdt, past de auto ter plekke zijn vering en wielen aan. VITA doet dit door een klein, lichtgewicht onderdeel van het brein van de AI elke seconde een klein beetje bij te stellen terwijl de robot beweegt.

Dit heet Test-Time Adaptation. De AI kijkt naar wat er nu gebeurt, past zich direct aan, en gebruikt die nieuwe instelling om de volgende seconde beter te begrijpen. Het is alsof de robot tijdens het uitvoeren van de taak "in de war raakt" en zichzelf corrigeert, waardoor hij de geschiedenis van de beweging onthoudt.

2. Het Onthouden van de Tijd (De Temporele Redenering)

Een groot probleem met oude systemen is dat ze niet weten wanneer iets gebeurt. Ze zien een foto van een halfgevouwen shirt en weten niet of je net begint of bijna klaar bent.

VITA's truc: Omdat VITA zijn eigen "hersenen" (de parameters) elke seconde een beetje aanpast, onthoudt het de geschiedenis van de beweging.
Vergelijking: Stel je voor dat je een bakje met water hebt. Als je elke seconde een druppel verf toevoegt, verandert de kleur van het water langzaam. Als je naar het water kijkt, kun je zien hoeveel verf erin zit en dus hoe lang je al aan het mengen bent. VITA doet dit met zijn interne instellingen: de "kleur" van zijn hersenen verandert naarmate de taak vordert, waardoor het precies weet hoe ver hij is.

3. Het Voorkomen van "Korte Wegen" (Dissimilarity-Based Sampling)

Soms leren robots "korte wegen" (shortcuts). Bijvoorbeeld: als ze zien dat de robotarm hoog is, denken ze "taak is bijna klaar", terwijl dat niet zo is. Ze leren op basis van toeval in de trainingsdata.

De oplossing: De auteurs gebruiken een slimme truc om de robot te dwingen echt te kijken. Ze kiezen tijdens het trainen alleen beelden die heel verschillend van elkaar zijn.
Vergelijking: Stel je voor dat je iemand leert een hond te herkennen. Als je alleen foto's laat zien van een hond die op een grasveld staat, denkt de leerling dat "hond = gras". Als je echter foto's laat zien van honden in de sneeuw, in de auto, en in de regen (allemaal heel verschillend), dan leert de leerling echt wat een hond is, ongeacht de achtergrond. VITA doet dit door alleen de meest diverse momenten uit een video te plukken om te leren.

Wat levert dit op?

De resultaten in het paper zijn indrukwekkend:

Alles-in-één: VITA werkt goed in nieuwe omgevingen, met nieuwe robots en voor nieuwe taken, zonder dat ze opnieuw getraind hoeven te worden.
Beter dan de concurrentie: Het doet het beter dan de huidige beste methoden die gebruikmaken van grote, dure taalmodellen (zoals die van Google of OpenAI).
Beloning geven: VITA kan ook fungeren als een "virtuele trainer". Als een robot iets goed doet, geeft VITA een positieve feedback (beloning). Hiermee kunnen robots in simulaties (zoals Meta-World) leren om complexe taken te doen, zelfs zonder dat mensen handmatig regels hebben opgeschreven.

Samenvatting in één zin

VITA is een slimme robot-assistent die niet alleen uit boeken leert, maar tijdens het werk zelf leert aanpassen, waardoor hij de tijd en de context van een taak perfect begrijpt, zelfs als hij zich in een compleet nieuwe situatie bevindt.

Titel

VITA: Zero-Shot Value Functions via Test-Time Adaptation of Vision–Language Models
(VITA: Zero-shot Waardefuncties via Testtijd-Adaptatie van Vision-Language Modellen)

1. Het Probleem

Vision-Language Models (VLMs) tonen veelbelovende resultaten als zero-shot doel-geconditioneerde waardefuncties voor robotica. Ze kunnen namelijk inschatten hoe ver een agent is in het voltooien van een taak op basis van visuele observaties en een natuurlijke taalbeschrijving. Echter, bestaande methoden lijden onder twee fundamentele beperkingen:

Beperkte Generalisatie: De "bevroren" (frozen) pre-getrainde representaties van VLMs generaliseren vaak niet goed naar nieuwe omgevingen, taken of robot-embodiments (lichamen).
Gebrek aan Temporeel Redeneren:
- Contrastieve VLMs (zoals CLIP) missen context over de tijd; ze kunnen visueel vergelijkbare staten op verschillende momenten in een taak (bijv. een overhemd vouwen vs. uitvouwen) niet onderscheiden.
- Autoregressieve VLMs (zoals Flamingo of Gemini) houden wel rekening met de tijd, maar vertonen vaak een bias naar monotoon toenemende voorspellingen door de volgorde van de data tijdens het pre-training. Ze zijn ook vaak te traag of te duur voor real-time toepassingen.

Bestaande oplossingen vereisen vaak grote schaal pre-training, domeinspecifieke fine-tuning of menselijke demonstraties, wat de zero-shot capaciteit beperkt.

2. Methodologie: VITA

VITA (Vision-Language Test-time Adaptation) is een methode om een zero-shot waardefunctie te leren die zowel generalisatie als temporeel redeneren verbetert door testtijd-adaptatie (test-time adaptation).

Architectuur:
Het model bestaat uit drie modules:

Multimodale Encoder: Een bevroren contrastieve Vision-Language encoder (CLIP/OpenCLIP) die visuele observaties en taakbeschrijvingen omzet in gezamenlijke representaties.
Adaptatiemodule ( $f_{adapt}$ ): Een lichtgewicht module die tijdens de inferentie (testtijd) wordt bijgewerkt.
Regressie-head: Een voorspellende laag die de uiteindelijke waarde (progressie van 0 tot 1) output.

Kernmechanismen:

Testtijd-Adaptatie (TTT): Tijdens de inferentie wordt de adaptatiemodule $f_{adapt}$ $f_{a d a pt}$ bij elke tijdstap $t$ $t$ bijgewerkt via een gradiëntstap op een meta-geleerde zelftoezichtsverliesfunctie ( $\ell_{self}$ $ℓ_{se l f}$ ).
- Het zelftoezichtsverlies is een reconstructiedoelwit dat leert om de input te reconstrueren via learnable lineaire projecties.
- Door de parameters sequentieel te updaten over een traject, wordt de geschiedenis van het traject impliciet opgeslagen in de parameters van de module. Dit lost het probleem van temporeel redeneren op zonder zware recurrente netwerken.
Meta-Learning: Tijdens het trainen wordt de initiële parameterinstelling ( $\theta_0$ ) en de zelftoezichtsverliesfunctie zo geoptimaliseerd dat een enkele update tijdens de testtijd de supervised voorspellingsprestaties ( $\ell_{pred}$ ) maximaliseert.
Dissimilariteit-gebaseerde Sampling: Om "shortcut learning" te voorkomen (waarbij het model leert op basis van frequente visuele patronen in plaats van semantische betekenis), worden tijdens het trainen sub-trajecten geselecteerd die maximaal verschillend (dissimilar) zijn van elkaar. Dit zorgt voor een diverse trainingsset die semantische cues forceert.

3. Belangrijkste Bijdragen

VITA Framework: Een nieuwe methode voor zero-shot waardefuncties die testtijd-adaptatie gebruikt om de beperkingen van statische VLMs te overwinnen, zonder extra taak-specifieke demonstraties of grote schaal pre-training.
Superieure Generalisatie: VITA generaliseert succesvol van één trainingsomgeving naar diverse out-of-distribution (OOD) taken, omgevingen en robot-embodiments.
Effectieve Reward Shaping: De zero-shot waarde-schattingen van VITA kunnen worden gebruikt als reward shaping voor offline Reinforcement Learning (RL), wat leidt tot betere beleidsstrategieën dan die getraind met gesimuleerde, handgemaakte rewards.
Empirische Validatie: Uitgebreide experimenten tonen aan dat VITA de state-of-the-art zero-shot methoden (zoals GVL) en recurrente baselines (CLIP-GRU) verslaat.

4. Resultaten

De evaluatie vond plaats op de BridgeData V2 dataset (robotica) en de Meta-World MT10 benchmark.

Generalisatie onder Distributieveranderingen:
- VITA behaalde de hoogste Value Order Correlation (VOC) scores op bijna alle datasets, inclusief veranderingen in omgeving (bijv. wasmachine vs. keuken), taak (vouwen, stapelen, vegen) en robot-embodiment (WidowX vs. DeepThought).
- VITA presteerde beter dan autoregressieve VLMs (GVL), die vaak faalden bij taken die niet leken op de trainingsdata (bijv. stapelen in plaats van vouwen).
- VITA overtrof ook recurrente modellen (CLIP-GRU), wat suggereert dat impliciet geheugen via sequentiële updates effectiever is dan expliciete recurrente hidden states voor dit doel.
Discriminatie Expert vs. Niet-Expert:
- VITA kon perfect onderscheid maken tussen expert-demonstraties en scriptie (niet-optimale) trajecten, waarbij het suboptimale trajecten consequent lagere scores gaf.
Offline Reinforcement Learning:
- Bij het trainen van multi-task beleidsstrategieën op Meta-World MT10 met VITA als reward-shaper, werd een Interquartile Mean (IQM) score van 0.815 behaald.
- Dit is hoger dan de score van 0.779 behaald met de fuzzy-logic dense rewards die standaard in de Meta-World simulator worden gebruikt. Dit bewijst dat een op echte data getrainde waardefunctie beter kan generaliseren dan handgemaakte simuleringsrewards.

5. Betekenis en Impact

Dit paper introduceert een paradigmaverschuiving in het gebruik van Vision-Language Models voor robotica:

Efficiëntie: In plaats van zware autoregressieve modellen of uitgebreide fine-tuning, gebruikt VITA een lichtgewicht adaptatiemodule die in real-time kan worden bijgewerkt.
Robuustheid: Door temporeel context te coderen in de parameters via testtijd-adaptatie, overkomt VITA de beperkingen van statische VLMs en de bias van autoregressieve modellen.
Toepassingsbereik: De methode maakt het mogelijk om robuuste, zero-shot waardefuncties te gebruiken voor complexe taken in onbekende omgevingen, wat een cruciale stap is naar algemeen inzetbare robotica. Het bewijst dat "leren tijdens het testen" (test-time learning) een krachtige strategie is om de kloof tussen simulatie en realiteit, en tussen verschillende robot-lichamen, te overbruggen.

Kortom, VITA toont aan dat het dynamisch aanpassen van een VLM tijdens de inferentie, in plaats van het statisch toepassen ervan, leidt tot superieure prestaties in het schatten van taakprogressie en het sturen van robots in onbekende situaties.