💻 computer science

VLAs are Confined yet Capable of Generalizing to Novel Instructions

Dit artikel toont aan dat Vision-Language-Action-modellen (VLAs) hun problemen met taakextrapolatie en ruimtelijk overfitting kunnen overwinnen door interne tekstlatenten te manipuleren via interpolatie, een techniek die een succespercentage van 83% bereikt op benchmarks met nieuwe instructies en het potentieel blootlegt voor verborgen, voor mensen onleesbare prompt-injectie.

Oorspronkelijke auteurs: Quanyi Li

Gepubliceerd 2026-05-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Quanyi Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotkok leert koken. Je toont hem twee specifieke recepten:

Recept A: "Doe de roomkaas in de kom."
Recept B: "Zet de kom bovenop de kast."

De robot leert deze twee bewegingen perfect. Hij kan Recept A uitvoeren en hij kan Recept B uitvoeren. Maar dan stel je hem een nieuwe vraag: "Zet de roomkaas bovenop de kast."

Logisch gezien zou de robot dit moeten kunnen. Hij weet hoe hij de kaas moet grijpen en hij weet hoe hij bij de kast moet komen. Hij hoeft alleen maar de twee vaardigheden die hij al bezit te combineren. Echter, volgens dit artikel falen de meeste geavanceerde robothersenen (zogenaamde Vision-Language-Action Models of VLAs) hier volledig op. Ze raken vast, alsof ze de kast of de kaas nog nooit eerder hebben gezien, zelfs al gebruikten ze ze net in de vorige stappen.

Het Probleem: De Robot is een "Papegaai", geen "Kok"

De auteurs ontdekten dat deze robots de wereld niet echt begrijpen. In plaats daarvan onthouden ze specifieke scènes.

Denk hierbij aan een student die de antwoorden van een oefentoets uit het hoofd leert, maar de wiskunde niet begrijpt. Als je vraagt: "Wat is 2 + 2?", zeggen ze "4". Maar als je vraagt: "Wat is 2 + 2 als de getallen in rode inkt zijn geschreven?", raken ze misschien in paniek.

In het geval van de robot heeft hij geleerd dat "Roomkaas" altijd geassocieerd wordt met de specifieke plek op de tafel waar hij de roomkaas tijdens de training zag. Hij begrijpt niet dat "Roomkaas" een object is dat kan bewegen; hij denkt dat "Roomkaas" die specifieke locatie is. Het artikel noemt dit "Spatial Overfitting". De robot is zo gefocust op waar dingen waren in de trainingsvideo's dat hij negeert waar ze eigenlijk zijn in het echte moment.

De Oplossing: Het "Magische Receptkaartje" (Text Latent)

De onderzoekers wilden weten: Is de robot diep van binnen echt slim, of is hij gewoon kapot?

Ze vonden een verborgen "ingrediënt" in de hersenen van de robot genaamd Text Latent.

De Analogie: Stel je voor dat de hersenen van de robot een gigantische bibliotheek zijn. Wanneer je hem een opdracht geeft zoals "Doe de kaas in de kom", pakt de robot een specifiek, onzichtbaar "receptkaartje" uit zijn interne geheugen. Dit kaartje staat niet in woorden die je kunt lezen; het is een complex patroon van elektrische signalen (een vector) dat de robot precies vertelt hoe hij moet bewegen.
De Ontdekking: De onderzoekers ontdekten dat als ze dit onzichtbare "receptkaartje" voor "dingen in een kom doen" teruginjecteerden in de hersenen van de robot, de robot die actie perfect zou uitvoeren, zelfs als je hem helemaal geen woorden gaf. Het kaartje was de instructie.

De Doorbraak: De Kaartjes Maken (Text Latent Interpolation)

De echte magie gebeurde toen ze probeerden het probleem "Roomkaas op de Kast" op te lossen.

Ze namen het onzichtbare "receptkaartje" voor Taak A (Kaas naar Kom) en het kaartje voor Taak B (Kom naar Kast). Vervolgens creëerden ze een vlotte mix van de twee kaartjes.

De Analogie: Stel je voor dat je twee muziektracks hebt die spelen. Het ene is een jazznummer, het andere een rocknummer. In plaats van abrupt van het ene naar het andere te schakelen, gebruik je een mixer om het jazznummer langzaam weg te laten klinken terwijl je het rocknummer laat opkomen.
Het Resultaat: Door deze twee onzichtbare receptkaartjes in de hersenen van de robot te "mixen", combineerde de robot de vaardigheden succesvol. Hij greep de kaas, verplaatste hem naar de kast en liet hem vallen.

De Statistieken:

Zonder deze truc slaagde de robot (genaamd π0) slechts 9% van de tijd in deze nieuwe, gecombineerde taken.
Met de "mix"-truc steeg het succes naar 83%.

Dit bewees dat de robot de vaardigheden de hele tijd al in zich had; hij kon er gewoon niet zelf achter komen hoe hij ze moest mixen. De "receptkaartjes" waren er, maar de robot had een mens nodig om ze met elkaar te laten samensmelten.

De Grote Test: De "Libero-OOD" Benchmark

Om te bewijzen dat dit niet zomaar een toevalstreffer was, creëerden de auteurs een nieuwe test genaamd Libero-OOD. Deze test bevat 20 lastige taken waarbij de robot vaardigheden die hij al kent op nieuwe manieren moet combineren.

Het Resultaat: Ze testten de beste robothersenen ter wereld (zoals UniVLA, OpenVLA en π0-fast). Geen enkele kon het alleen doen. Ze scoorden allemaal onder de 21%.
De Conclusie: Zelfs de slimste robots zitten momenteel "vast" in hun trainingsdata. Ze kunnen niet generaliseren of "buiten de kaders denken" zonder hulp.

De Waarschuwing: "Privé Instructies"

De onderzoekers ontdekten ook iets ietwat griezeligs. Omdat deze "receptkaartjes" gewoon patronen van getallen zijn, kun je ze terugvertalen naar tekst.

Toen ze probeerden het "receptkaartje" voor een taak te lezen, was de resulterende tekst onzin (zoals QSize, black, plate).
Echter, als je deze onzin terugvoerde in de robot, werkte het nog steeds!
De Metafoor: Het is alsof je een geheime code hebt die alleen de robot begrijpt. Je zou een geheime instructie kunnen verstoppen in een normaal ogende zin, en de robot zou die volgen zonder dat iemand anders het weet. Dit wordt een "backdoor" genoemd, en het toont aan dat deze modellen mysterieuzer zijn dan we dachten.

Samenvatting

Het artikel vertelt ons dat de slimste robots van vandaag zijn als muzikanten die twee nummers perfect kunnen spelen maar geen nieuwe melodie kunnen improviseren. Ze onthouden de exacte noten en posities uit hun oefensessies, maar falen wanneer de muziek iets verandert.

De auteurs lieten zien dat als we handmatig de "muziekpartituren" (de text latents) van twee verschillende nummers mixen, de robot het nieuwe nummer kan spelen. Dit bewijst dat de robot het talent heeft, maar dat hij de capaciteit mist om zijn eigen vaardigheden te combineren. Het artikel introduceert een nieuwe test (Libero-OOD) om onderzoekers te helpen robots te bouwen die echt leren hun eigen vaardigheden te mixen, in plaats van alleen maar scènes te onthouden.

1. Probleemstelling

Vision-Language-Action-modellen (VLAs) hebben sterke prestaties aangetoond op taken binnen de verdelingsgrenzen (in-distribution) wanneer ze worden fijngefineerd met specifieke demonstraties. Ze hebben echter aanzienlijke moeite met Out-of-Distribution (OOD) taken, met name die welke extrapolatie vereisen (het opnieuw combineren van geleerde vaardigheden op nieuwe manieren).

De Kernkwestie: Een VLA kan succesvol leren "roomkaas in een kom doen" en "een kom in een kast doen" afzonderlijk, maar faalt bij het uitvoeren van de geëxtrapoleerde taak "roomkaas in de kast doen", zelfs al zijn de samenstellende bewegingsprimitieven (grijpen, reiken) al geleerd.
De Vraag: Overfitten VLAs zich enkel op gedemonstreerde trajecten, of leren ze composable interne representaties die bredere generalisatie ondersteunen?
Het Gat: Er ontbreekt een geschikt benchmark om dit te testen, aangezien bestaande OOD-taken vaak te moeilijk zijn (bijvoorbeeld omdat ze volledig nieuwe fysica vereisen) of te makkelijk. De auteurs stellen voor dat een geldige benchmark moet bestaan uit taken die het model zou moeten kunnen oplossen door bestaande vaardigheden te combineren, maar die het momenteel niet autonoom kan uitvoeren.

2. Methodologie

Het artikel introduceert een raamwerk gebaseerd op Mechanistische Interpretability om de interne toestanden van VLAs te onderzoeken en te manipuleren, met name gericht op het model $\pi_0$ .

A. Extractie van Tekst Latenten

De auteurs hypothetiseren dat taakspecifieke vaardigheidsrepresentaties zijn gecodeerd in de verborgen staten van teksttokens (taakbeschrijvingen).

Definitie: Een Text Latent ( $T$ ) is een taakspecifiek vector afgeleid door de verborgen staten van teksttokens te middelen over alle transformerlagen en meerdere demonstratie-episoden voor een specifieke taak.
Extractie: $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$ , waarbij $h_T(i)$ de verborgen staten van teksttokens op tijdstip $i$ voorstelt.
Functie: Het injecteren van $T$ terug in de residual stream van het model (specifiek de verborgen staten van teksttokens) kan het bijbehorende taakgedrag reconstrueren, zelfs zonder de originele tekstprompt.

B. Interpolatie van Tekst Latenten (TLI)

Om extrapolatie te bereiken, stellen de auteurs voor om de tekstlatenten van twee basistaken te mengen om een nieuw, samengesteld gedrag te creëren.

Mechanisme: In plaats van discrete teksttokens te interpoleren (wat onmogelijk is), interpoleren ze de tekstlatenten ( $T_1$ en $T_2$ ) binnen de residual stream.
Formule: Op tijdstip $i$ wordt de verborgen staat als volgt gewijzigd:
$h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
waarbij $\alpha = i/\lambda$ de overgangssnelheid van Taak 1 naar Taak 2 regelt.
Effect: Dit stuurt het model om te beginnen met het gedrag van Taak 1 en soepel over te gaan naar Taak 2, waardoor subtrajecten effectief aan elkaar worden "genaaid" om een nieuwe geëxtrapoleerde taak op te lossen.

C. De Libero-OOD Benchmark

De auteurs introduceren libero-ood, een nieuwe benchmarksuite met 20 geëxtrapoleerde taken afgeleid van de standaard LIBERO suites (libero-goal, libero-spatial, libero-object).

Ontwerp: Elke taak vereist het combineren van een grijppositie geleerd uit de ene taak en een plaatsingspositie geleerd uit een andere taak. Het specifieke traject dat deze twee punten verbindt, is nooit gezien tijdens de training.
Doel: Testen of VLAs autonoom geleerde vaardigheidsrepresentaties kunnen hercombineren.

3. Belangrijkste Bijdragen

Ontdekking van Composable Vaardigheidsrepresentaties: Het artikel toont aan dat VLAs (specifiek $\pi_0$ ) interne representaties van vaardigheden bezitten die individueel maar composable zijn. Hoewel het model ze niet autonoom kan combineren, kan het worden gedwongen dit te doen via manipulatie van tekstlatenten.
Interpolatie van Tekst Latenten (TLI): Een nieuwe interventietechniek op het moment van inferentie die taakrepresentaties mengt om extrapolatie mogelijk te maken, waardoor de succespercentages op nieuwe taken worden verhoogd zonder hertraining.
De Libero-OOD Benchmark: Een rigoureuze benchmark ontworpen om het vermogen om vaardigheden te hercombineren te isoleren. Het filtert taken weg die onmogelijk zijn voor de robot, en richt zich in plaats daarvan op taken die theoretisch oplosbaar zijn door de bestaande kennisbasis van het model.
Identificatie van Ruimtelijk Overfitten: Het artikel onthult een kritieke faalmodus waarbij VLAs objectnamen associëren met vaste ruimtelijke locaties uit de trainingsdata in plaats van objectidentiteit of huidige staat te begrijpen.

4. Experimentele Resultaten

Prestaties op Libero-OOD

Basislijnfalen: State-of-the-art VLAs ( $\pi_0$ , $\pi_0$ -fast, UniVLA, openvla-oft) behaalden een succespercentage van < 21% op de 20 geëxtrapoleerde taken van libero-ood, ondanks het behalen van ~95% op standaard LIBERO-taken.
TLI Succes: Het toepassen van TLI op $\pi_0$ verhoogde het succespercentage van 9% naar 83% op libero-ood.
Vergelijking: Geen enkele andere VLA behaalde een succespercentage hoger dan 21% op de benchmark, wat wijst op een systemische beperking in huidige architecturen wat betreft extrapolatie.

Taakreconstructie en Veiligheidsimplicaties

Reconstructie: Het injecteren van tekstlatenten in een lege prompt stelde $\pi_0$ in staat taken met >80% succes te voltooien, wat bewijst dat de latent essentiële taakkennis vastlegt.
Unembedding: Het unembedden van tekstlatenten naar token-ID's produceerde "obscuur prompts" (vaak onleesbaar) die het model nog steeds konden instrueren. Dit suggereert potentiële kwetsbaarheden voor private instructies of backdoor-aanvallen.

Analyse van Faalmodi: Ruimtelijk Overfitten

Observatie: Wanneer werd gevraagd om een object op te pakken (bijvoorbeeld "roomkaas") dat naar een nieuwe locatie was verplaatst, negeerde het model vaak de huidige positie van het object en bewoog het naar de locatie waar dat object verscheen in de trainingsdemonstraties.
Bewijs: In experimenten waarbij objectlocaties werden omgeruild, bewoog $\pi_0$ (en andere VLAs) consequent naar de "trainingslocatie" van de objectnaam in plaats van naar het daadwerkelijke object.
Conclusie: VLAs vertonen ruimtelijk overfitten, waarbij objectnamen worden gemapt naar vaste coördinaten in plaats van een echt object-doelbegrip te leren.

5. Betekenis

Hedefinieren van OOD Generalisatie: Het artikel betoogt dat huidige VLAs niet "gebroken" zijn maar "vergrendeld". Ze bezitten de nodige vaardigheden maar missen het mechanisme om ze autonoom te hercombineren. De voorgestelde benchmark (libero-ood) biedt een standaard om deze latente capaciteit te meten.
Interpretability als Hulpmiddel: Door mechanistische interpretability (tekstlatenten) te gebruiken, bewijzen de auteurs dat het falen niet het ontbreken van kennis is, maar een falen van compositie. Dit verschuift de onderzoeksfocus van het verzamelen van meer data naar het verbeteren van de interne compositiemechanismen van het model.
Veiligheid en Security: De ontdekking dat tekstlatenten kunnen worden unembedded naar obscuur prompts, benadrukt nieuwe vectoren voor adversariale aanvallen en backdoors in robotsystemen.
Toekomstige Richting: De resultaten suggereren dat toekomstige VLA-architecturen expliciet moeten worden ontworpen om de hercombinatie van geleerde representaties te ondersteunen, in plaats van te vertrouwen op post-training trucs zoals TLI om hun potentieel te ontsluiten.

Kortom, dit artikel levert sterk bewijs dat VLAs het potentieel hebben voor generalisatie, maar momenteel worden gehinderd door ruimtelijk overfitten en het onvermogen om geleerde vaardigheden autonoom te compositen. De introductie van libero-ood en TLI biedt zowel een nieuwe benchmark voor de gemeenschap als een methode om de interne "black box" van robotbeleid te onderzoeken.