💻 computer science

Steering Autoregressive Vision-Language-Action Policies via Action Token Intervention

Dit artikel introduceert Token Steering, een methode voor inferentie zonder training waarmee gebruikers autoregressieve visuele taal-actiebeleid dynamisch kunnen sturen door laagdimensionale inputs in de actie-tokenruimte te injecteren, wat de succespercentages bij huishoudelijke manipulatietaken aanzienlijk verbetert terwijl de geleerde behendigheid en priors van het model behouden blijven.

Oorspronkelijke auteurs: Jason Chan, Jonathan C. Kao

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jason Chan, Jonathan C. Kao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, hoogopgeleide robotchef hebt. Deze robot heeft miljoenen kookvideo's bekeken en geleerd hoe hij perfect moet snijden, roeren en opmaken. Hij kent het recept uit zijn hoofd. Toch maakt zelfs de beste chefs soms een kleine fout—misschien grijpt hij naar het zout in plaats van de suiker, of beweegt hij zijn hand net iets te snel en stoot hij een kom om.

In het verleden had je, als de robot een fout maakte, twee slechte opties:

De robot volledig stoppen en zelf de controle overnemen (zoals het stuur van een zelfrijdende auto vastpakken), wat traag en frustrerend is.
De robot in woorden vertellen om "naar links te gaan", maar robots zijn slecht in het begrijpen van snelle, kleine correcties via taal. Ze kunnen een misverstand krijgen of er te lang over doen om dit te verwerken.

Dit artikel introduceert een nieuwe manier om de robot te helpen die Token Steering wordt genoemd. Denk aan dit als een "duw"-systeem (een nudge).

De magie van "Action Tokens"

Om dit te begrijpen, moet je weten dat de robot niet alleen denkt in "naar links bewegen" of "naar rechts bewegen". In plaats daarvan denkt hij in een geheime code gemaakt van tokens (zoals letters in een woord). Wanneer de robot een beweging plant, schrijft hij een lange zin van deze tokens, één voor één, om het hele pad te beschrijven dat zijn arm zal afleggen.

De onderzoekers ontdekten dat ze deze zin kunnen onderbreken terwijl de robot hem aan het schrijven is. Ze kunnen een paar van de geheime codewoorden van de robot vervangen door hun eigen "nudge"-woorden.

Hoe het werkt: De GPS-analogie

Denk aan het plan van de robot als een GPS-route.

De Robot: De GPS kent de beste route naar de winkel op basis van het verkeer en de verkeersregels. Hij genereert de hele lijst met instructies per bocht.
De Gebruiker: Je realiseert je dat de GPS een verkeerde afslag gaat nemen omdat je een wegversperring ziet door een wegwerkzaamheid.
Token Steering: In plaats van tegen de GPS te schreeuwen "Sla linksaf!" (wat de GPS misschien negeert) of het stuur over te nemen, druk je simpelweg op een knop die zegt "Sla de volgende bocht over". De GPS berekent dan onmiddellijk de rest van de reis vanaf dat nieuwe punt, waarbij alle vloeiende rijbewegingen en veiligheidsregels die hij al kent, behouden blijven.

In het experiment uit het artikel gebruikt een mens een eenvoudig toetsenbord (zoals het drukken op de pijltoetsen) om "nudge"-tokens te sturen. De robot accepteert de nudge, verandert zijn onmiddellijke pad lichtjes, en gebruikt vervolgens zijn eigen superintelligente brein om de rest van de beweging vloeiend af te ronden.

Wat ze ontdekten

De onderzoekers testten dit op een robotarm die huishoudelijke taken uitvoert, zoals een lade sluiten of objecten verplaatsen. Dit is wat er gebeurde:

Kleine nudges werken het best: Je hoeft niet de hele beweging over te nemen. Alleen het geven van een nudge aan de eerste paar stappen van het plan is genoeg om de robot van gedachten te doen veranderen. Als je te veel duwt, raakt de robot in de war en beweegt hij onhandig.
Het "Grote Plaatje" is belangrijk: De code van de robot bevat "laagfrequente" tokens (de grote, algemene vorm van de beweging) en "hoogfrequente" tokens (de kleine, fijne details). De onderzoekers ontdekten dat als je wilt veranderen waar de robot naartoe gaat, je de "grote plaatje"-tokens moet nudgen. Als je de tokens voor de kleine details nudget, verandert het pad niet veel.
Fouten herstellen: Wanneer de robot in de war was door een taalcommando (bijvoorbeeld: hij kreeg de opdracht om een "groene kubus" op te pakken, maar pakte een "blauwe kubus" in plaats daarvan), kon een mens hem richting het juiste object nudgen. De robot voltooide de taak daarna succesvol. Zonder de nudge zou de robot bij deze specifieke verwarrende taken 100% van de tijd falen.
Succes in de echte wereld: In een test waarbij de robot een lade moest sluiten, faalde hij op eigen kracht 90% van de tijd omdat hij de lade onder een verkeerde hoek indrukte. Met menselijke nudges slaagde hij 72,5% van de tijd en voltooide hij de taak veel sneller.

Waarom dit bijzonder is

Het beste eraan is dat de onderzoekers de robot niet opnieuw hoefden te trainen of nieuwe vaardigheden hoefden aan te leren. Ze vonden simpelweg een manier om met de robot te praten in zijn eigen native taal (de tokens) terwijl hij aan het nadenken was.

Dit is als een gesprek voeren met een genie dat een vreemde taal spreekt. Je hoeft niet hun hele taal te leren om een kleine hint te geven; je hoeft alleen maar de paar woorden te kennen die hun richting veranderen, en zij zullen de rest afhandelen.

Wie kan dit gebruiken?

Het artikel suggereert dat dit geweldig is voor mensen die mogelijk niet de volledige fysieke controle over hun handen hebben. Iemand die bijvoorbeeld een hersen-computerinterface gebruikt (die alleen eenvoudige "omhoog, omlaag, links, rechts"-signalen kan verzenden), zou dit systeem kunnen gebruiken om een complexe robotarm te sturen. De mens geeft de eenvoudige richting, en de intelligentie van de robot handelt de complexe, behendige bewegingen af die nodig zijn om daadwerkelijk dingen te grijpen en te verplaatsen.

Kortom, Token Steering laat mensen een superintelligente robot voorzichtig sturen zonder het stuur over te nemen, waardoor fouten direct worden hersteld en de robot veel nuttiger wordt in onze huizen.

Technische Samenvatting: Sturen van Autoregressieve Visie-Taal-Actie Beleid via Actie-Token Interventie

1. Probleemstelling

Visie-Taal-Actie (VLA) beleid, zoals RT-2, OpenVLA en $\pi^0$ , heeft een sterke generalisatie aangetoond door grootschalige visie-taal pretraining te combineren met robot-trajectgegevens. Deze systemen kampen echter met hardnekkige uitdagingen op het gebied van het grondvesten (grounding) van taal in de fysieke wereld, het uitvoeren van langetermijnredeneringen en het aanpassen in realtime. Falen komt vaak voort uit kleine, op trajectniveau liggende fouten die mensen direct zouden kunnen herkennen en corrigeren.

Bestaande interfaces voor autonome begeleiding presenteren een dichotomie:

Taal-prompting: Hoewel flexibel, is taal slecht geschikt voor fijnmazige, realtime trajectcorrectie.
Volledige teleoperatie: Directe controle verwijdert de autonome behendigheid en de geleerde taakprioriteiten van het beleid.

De kernuitdaging is om gebruikers in staat te stellen het gedrag van de robot tijdens rollouts te beïnvloeden om fouten te corrigeren of intentie te sturen, zonder de geleerde capaciteiten van het beleid te overschrijven of hertraining te vereisen.

2. Methodologie: Token Steering (TS)

De auteurs stellen Token Steering (TS) voor, een methode voor inferentie-tijd om autoregressieve VLA-beleid te sturen door directe interventie in de actie-tokenruimte. TS werkt zonder de onderliggende VLM-architectuur te wijzigen en vereist geen aanvullende training of finetuning.

Kernmechanisme

TS maakt gebruik van de discrete, autoregressieve structuur van getokeniseerde actiegeneratie (specifiek gebruikmakend van het $\pi^0$ -FAST model). In plaats van lage-niveau besturingssignalen te vervangen, injecteert TS door de gebruiker gegenereerde sturende tokens direct in de autoregressieve actiesequentie. Het beleid voltooit vervolgens autoregressief de resterende traject op basis van dit gewijzigde prefix.

Het proces bestaat uit drie hoofdfasen:

Input Codering: Een laag-dimensionale gebruikersinput $u \in \mathbb{R}^6$ (bijv. toetsenbordrichtingen) wordt omgezet in een Cartesiaanse snelheidvector ( $v_{cart}$ ).
Kinematische Transformatie: De Cartesiaanse snelheid wordt via inverse kinematica getransformeerd naar robotgewrichtssnelheid ( $\dot{q} = J(q)^\dagger v_{cart}$ ).
Token Injectie: De gewrichtssnelheid wordt aangevuld tot de actiehorizon, getransformeerd naar het frequentiedomein met behulp van een Discrete Cosinus Transformatie (DCT), en getokeniseerd via Byte-Pair Encoding (BPE) om FAST-tokens te creëren. Een subset van deze tokens (gedefinieerd door een startindex $b$ en venstergrootte $w$ ) vervangt de overeenkomstige tokens in de autoregressieve buffer van het beleid. Het beleid genereert vervolgens de rest van de sequentie op basis van het gewijzigde prefix, visuele observaties, taalinstructies en de robotstatus.

Tokenisatie Strategie

De methode steunt op FAST-tokenisatie, die robot-trajecten in het frequentiedomein representeert.

Trajecten worden gedecomposeerd in frequentie-geordende coëfficiënten.
Lage-frequentie tokens coderen de grove globale trajectstructuur.
Hoge-frequentie tokens coderen fijne bewegingsverfijningen.
Deze hiërarchische structuur stelt TS in staat om de globale semantiek te beïnvloeden door vroege tokens te bewerken, terwijl de lokale vloeiendheid behouden blijft.

3. Belangrijkste Bijdragen en Bevindingen

Het artikel presenteert drie primaire bevindingen afgeleid van experimenten op het DROID-robotplatform:

Stuurbaar met Behoud van Autonomie: Partiële tokeninjectie maakt stuurbaarheid mogelijk terwijl het vermogen van de VLA behouden blijft om gladde, temporeel coherente en dynamisch haalbare trajecten te genereren. Het beleid behoudt zijn geleerde behendigheid, waarbij het de gebruikersinput gebruikt als gids in plaats van een harde override.
Frequentie-afhankelijke Invloed: Het bewerken van lage-frequentie FAST-tokens heeft een onevenredig grote invloed op de globale trajectsemantiek (bijv. de richting van beweging), terwijl het bewerken van hoge-frequentie tokens primair de lokale verfijningen beïnvloedt. Het injecteren van lage-frequentie tokens levert aanzienlijk hogere sturingssuccespercentages op.
Correctie van Grounding-fouten: TS stelt gebruikers in staat om "grounding-fouten" te corrigeren (waarbij de robot het verkeerde object selecteert op basis van taal) en langdurige, statusafhankelijke taken te voltooien die een baseline autoregressieve VLA niet zou kunnen uitvoeren.

Experimentele Resultaten

De auteurs evalueerden TS op twee huishoudelijke manipulatietaken:

Taak 1: Lade Sluiten (Na Plaatsing)
- Baseline: $\pi^0$ -FAST bereikte een succespercentage van 10,0%.
- Met TS: Het succespercentage verbeterde naar 72,5%.
- Efficiëntie: De mediane voltooiingstijd nam af van 74,0s naar 42,0s.
- Observatie: Gebruikers konden de grijper naar een optimale positie leiden om de lade voorzichtig te sluiten, terwijl het beleid de fijnmazige bewegingsdetails afhandelde om harde impact te voorkomen.
Taak 2: Statusbewust Object Wisselen
- Baseline: Het autonome beleid bereikte 0% succes (het faalde bij het wisselen van sponsjes door een gebrek aan geheugen en status-tracking).
- Met TS: Het succespercentage verbeterde naar 93,8%.
- Observatie: Gebruikers beheerden de hoog-niveau taaklogica (het volgen van de status en posities van de sponsjes) via sturing, terwijl het beleid de behendige manipulatie uitvoerde.

Robuustheid en Entropie

De studie onderzocht of het injecteren van out-of-distribution (OOD) tokens een "entropie-instorting" (verlies van beleidsdiversiteit) veroorzaakt. De resultaten toonden aan dat hoewel de entropie direct na de tokeninjectie tijdelijk daalt, deze snel herstelt. Het beleid behoudt het vermogen om diverse downstream-acties te genereren (bijv. het aanpassen van de grip-oriëntatie voor willekeurig georiënteerde blokken), wat aangeeft dat TS de trajectgeneratie beïnvloedt zonder de autonome aanpasbaarheid te vernietigen.

4. Betekenis

Het artikel stelt dat autoregressieve actie-tokenruimtes niet louter gecomprimeerde trajectrepresentaties zijn, maar dienen als stuurbare semantische interfaces voor mensgestuurd robotgedrag tijdens de inferentie.

Toegankelijkheid: Door lichtgewicht, intuïtieve sturing mogelijk te maken (bijv. via een toetsenbord of potentieel Brain-Computer Interfaces), vergroot TS de toegankelijkheid voor individuen met beperkte fysieke controle die geen volledige teleoperatie kunnen uitvoeren.
Zero-Shot Toepasbaarheid: Omdat TS volledig tijdens de inferentie werkt zonder hertraining, kan het onmiddellijk worden toegepast op verschillende taken en omgevingen.
Mens-Robotinteractie: De interface maakt een model van "gedeelde autonomie" mogelijk waarbij gebruikers hoog-niveau intentie (richting/correctie) bieden en de VLA de laag-niveau behendigheid afhandelt, wat potentieel de veiligheid en het taaksucces in consumentenomgevingen verbetert.

De auteurs merken beperkingen op wat betreft de inferentie-latentie inherent aan autoregressieve modellen vergeleken met diffusie-gebaseerde benaderingen, maar benadrukken dat TS een nieuw mechanisme biedt voor realtime interventie in fundatiemodellen zonder architecturale wijzigingen.