💬 NLP

Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models

Het artikel introduceert SALT, een semantisch uitgelijnde actie-tokenizer die standaard reconstructiedoelen aanvult met een hulp taak voor taalherstel om de verb-grounding informatie in actie-latents te behouden, waardoor de prestaties van taalgeconditioneerde robotbesturing aanzienlijk worden verbeterd ten opzichte van reconstructie-alleen baselines.

Oorspronkelijke auteurs: Li Wenjie, Yash Jangir, Ignacy Stepka, Yash Agarwal, Marion Kipsang, Yonatan Bisk

Gepubliceerd 2026-08-12

📖 9 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Li Wenjie, Yash Jangir, Ignacy Stepka, Yash Agarwal, Marion Kipsang, Yonatan Bisk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert koken. Je zou kunnen denken dat het belangrijkste is om de robot te vertellen wat het uiteindelijke gerecht moet zijn: "De soep moet heet zijn en in de kom zitten." Maar wat als de robot alleen geeft om het uiteindelijke plaatje? Dan zou hij de soep in de kom kunnen krijgen door de soep door de lucht te gooien, overal bij te laten spatten, of zelfs de pan te laten vallen. Om goed te kunnen koken, moet de robot niet alleen de bestemming begrijpen, maar ook de dans van de beweging zelf — het zachte roeren, het voorzichtige schenken, de specifieke manier waarop een hand een handvat vastpakt. Dit is de wereld van Vision-Language-Action (VLA) modellen. Dit zijn superintelligente AI-hersenen die combineren wat een robot ziet (visie), wat hem wordt verteld te doen (taal) en hoe hij zijn lichaam beweegt (actie). Lange tijd waren wetenschappers erg goed in het leren aan robots hoe ze het "wat" en het "waar" moeten begrijpen, maar ze worstelden met het aanleren van het "hoe". Ze hebben geprobeerd de complexe, continue bewegingen van de robot te vertalen naar een eenvoudige lijst met instructies, maar daarmee hebben ze misschien per ongeluk het belangrijkste deel van het recept gewist: de stijl en de nuance van de beweging.

Dit artikel, getiteld "Lost in Reconstruction", pakt een specifiek probleem aan in de manier waarop we deze robothersenen leren bewegen. De onderzoekers ontdekten dat wanneer we de vloeiende, continue bewegingen van een robot omzetten in een lijst met digitale "tokens" (zoals het omzetten van een liedje in een lijst met muzikale noten), de standaardmethode de aanwijzingen weggooit die de robot vertellen welk werkwoord wordt uitgevoerd. Ze ontdekten dat woorden als "flippen", "duwen" of "vouwen" verborgen informatie bevatten in de manier waarop de robot beweegt, en niet alleen in waar hij eindigt. Door de manier waarop deze bewegingen in digitale code worden vertaald te verbeteren, creëerden ze een nieuw systeem genaamd SALT (Semantically ALigned action Tokenizer). In hun tests waren robots die SALT gebruikten veel beter in staat om instructies op te volgen, waarbij ze in ongeveer 72% van de gevallen slaagden, vergeleken met minder dan 43% voor de oude methoden. Het artikel suggereert dat om robots echt menselijke taal te laten begrijpen, we ervoor moeten zorgen dat hun "bewegingsvocabulaire" de betekenis van de werkwoorden levend houdt, in plaats van alleen te focussen op hoe nauwkeurig ze het pad kunnen hertekenen.

Het Probleem: Wanneer het "Hoe" verloren gaat in het "Wat"

Beschouw de beweging van een robot als een continue, stromende rivier. Om een robot te onderwijzen met een Vision-Language-Action model, moeten wetenschappers deze stromende rivier vaak omzetten in een reeks stapstenen. Ze hakken de beweging in kleine stukjes en wijzen aan elk stukje een digitale label toe, of een "token". Het is alsof je een vloeiende jazzmelodie omzet in een lijst met getallen zodat een computer het kan lezen.

Het probleem is dat de standaardmanier van doen geobsedeerd is door reconstructie. Het vraagt: "Kunnen we deze getallen terugveranderen in exact dezelfde rivier?" Als de getallen dicht genoeg bij de oorspronkelijke beweging liggen, zegt het systeem: "Goed gedaan!" Maar de onderzoekers realiseerden zich dat "dicht genoeg" niet hetzelfde is als "betekenisvol".

Stel je voor dat je een dans beschrijft. Je zou kunnen zeggen: "De danser bewoog van punt A naar punt B." Dat is het doel. Maar het werkwoord — of ze nu "gleden", "stampten" of "draaiden" — zit verborgen in de details van de beweging. Het artikel stelt dat huidige robotsystemen lijken op een vertaler die alleen om de bestemming geeft. Ze kunnen een "flip" en een "duw" in dezelfde set stapstenen veranderen als ze beide op dezelfde plek eindigen, ook al zijn de bewegingen totaal verschillend. Het systeem verliest de "werkwoord-gronding"-informatie — de aanwijzingen die de robot vertellen hoe hij de actie moet uitvoeren.

De Ontdekking: Werkwoorden Leven in de Beweging

Om dit te bewijzen, keken de onderzoekers naar een enorme dataset van echte robots die door mensen werden bestuurd, waarbij elke beweging werd gekoppeld aan een gesproken instructie zoals "zet de lepel op de handdoek" of "flip de pannenkoek". Ze braken de instructies af in werkwoorden en analyseerden de bewegingen van de robot.

Ze vonden twee verschillende bronnen van informatie:

Het Doel: De visuele verandering tussen het begin en het einde (bijv. de lepel ligt nu op de handdoek).
De Bewegingsdynamiek: Het werkelijke pad dat de robot nam om daar te komen (bijv. de snelheid, de curve, de timing van de grijper).

Het artikel laat zien dat deze twee bronnen complementair zijn. Voor sommige werkwoorden, zoals "vouwen", is de uiteindelijke vorm de belangrijkste aanwijzing. Maar voor anderen, zoals "flippen" of "draaien", is de manier waarop de robot beweegt de enige manier om te weten welk werkwoord het is. Je kunt een "flip" niet onderscheiden van een "duw" door alleen naar de begin- en eindpunten te kijken; je moet de beweging bekijken. De onderzoekers maten dit en ontdekten dat de bewegingsdynamiek unieke informatie bood die het visuele doel alleen niet kon vangen. Sterker nog, voor bepaalde werkwoorden droeg de beweging ongeveer 0,059 bits aan unieke informatie — genoeg om een enorm verschil te maken in het begrip van de instructie.

De Fout: Compressie Wist Betekenis Uit

De onderzoekers testten vervolgens hoe goed verschillende methoden om bewegingen in digitale tokens om te zetten, deze "werkwoord"-informatie behielden. Ze keken naar drie veelvoorkomende manieren om dit te doen:

Bin: Het simpelweg opdelen van de beweging in vaste bakjes.
FAST: Het comprimeren van de beweging in frequentiepatronen.
VQ-VAE: Het leren van een set "stapstenen" door te proberen de beweging zo nauwkeurig mogelijk te reconstrueren.

Ze ontdekten dat naarmate deze systemen de data compresseerden om het kleiner te maken (minder tokens), ze systematisch de werkwoordinformatie uitwisten. Het was als het uitwringen van een spons: terwijl je het water (data) eruit knijpt, knijp je ook de vorm (betekenis) eruit. De "reconstructie-alleen"-methoden, die alleen geïntrigeerd waren door het nauwkeurig reconstrueren van het pad, slaagden er niet in om de taalkundige aanwijzingen te bewaren. De kloof tussen de oorspronkelijke beweging en de getokeniseerde versie werd groter naarmate de compressie sterker werd. Het artikel stelt dat dit een bottleneck is: als de interne taal van de robot voor beweging niet overeenkomt met de menselijke taal voor beweging, zal de robot moeite hebben met het opvolgen van instructies.

De Oplossing: SALT

Om dit op te lossen, introduceerden de auteurs SALT (Semantically ALigned action Tokenizer). In plaats van de robot alleen te leren de beweging te reconstrueren, voegden ze een nieuwe regel toe: "Je moet ook in staat zijn om de instructie te raden op basis van de beweging."

Zo werkt het in een eenvoudige analogie: Stel je voor dat je een student leert een tekening te maken.

Oude Methode: Je zegt tegen de student: "Teken deze afbeelding zodat deze precies lijkt op het origineel." De student focust op het goed krijgen van de lijnen.
SALT Methode: Je zegt tegen de student: "Teken deze afbeelding zodat deze lijkt op het origineel, en als ik jouw tekening aan een vriend laat zien, moet diegene kunnen raden wat de bedoeling van de tekening is."

In technische termen neemt SALT de digitale "stapstenen" van de beweging en voert deze in een bevroren, vooraf getraind taalmodel. Het model moet de oorspronkelijke instructie (zoals "flip de beker") raden op basis van alleen die stapstenen. Als de stapstenen niet genoeg informatie bevatten om de instructie te raden, krijgt het systeem een straf. Dit dwingt de robot om zijn bewegingstokens te organiseren op een manier die de "werkwoord"-informatie veilig stelt, terwijl hij nog steeds leert om de beweging nauwkeurig te reconstrueren.

De Resultaten: Betere Robots, Duidelijkere Betekenis

De onderzoekers testten dit nieuwe systeem in een simulatie genaamd SimplerEnv, waarbij een robot vier verschillende taken moest uitvoeren, zoals een lepel op een handdoek leggen of blokken stapelen. Ze vergeleken drie versies van de robot:

Eén met de standaard FAST tokenizer.
Eén met de standaard VQ-VAE tokenizer (reconstructie alleen).
Eén met de nieuwe SALT tokenizer.

De resultaten waren duidelijk. De robot met SALT slaagde in 71,9% van de pogingen. De standaard VQ-VAE robot slaagde slechts in 42,7% van de gevallen, en de FAST robot haalde slechts 31,2%.

Maar het ging niet alleen om het winnen van meer spelletjes. De onderzoekers keken in de "hersenen" van de robot om te zien hoe deze zijn bewegingsvocabulaire organiseerde. Ze vonden dat SALT werkwoord-gespecialiseerde codes ontwikkelde. Bijvoorbeeld, specifieke digitale tokens werden sterk toegewijd aan de actie van "flippen" of "draaien". In tegen 달리 verspreidden de oude methoden deze bewegingen over generieke, gemengde tokens. SALT leerde zelfs om verschillende manieren om hetzelfde te zeggen (zoals "draai de hendel" en "beweeg de hendel verticaal naar voren") onder dezelfde bewegingscode te groeperen, wat aantoonde dat het de betekenis begreep in plaats van alleen de oppervlakkige woorden.

Wat Dit Betekent

Het artikel suggereert dat voor robots om menselijke taal echt te begrijpen en op te volgen, we ons niet alleen kunnen richten op het maken van de juiste bewegingen. We moeten ervoor zorgen dat hun interne representatie van beweging de linguïstische onderscheiden die mensen maken, behoudt. Door de actietokens van de robot af te stemmen op de taal die ze beschrijft, kunnen we robots bouwen die niet alleen nauwkeuriger, maar ook intuïtiever zijn. De auteurs merken op dat hoewel deze resultaten veelbelovend zijn, ze in een simulatie met een specifieke dataset zijn getest, en toekomstig werk zal moeten zien of deze winst standhoudt in de rommelige, onvoorspelbare echte wereld. Echter, de kern van het idee — dat het behouden van het "hoe" van een actie net zo belangrijk is als het "wat" — biedt een nieuwe weg voorwaarts om robots te maken die ons echt begrijpen.

Probleemstelling

Vision-Language-Action (VLA) modellen passen doorgaans fundamentele vision-language modellen (VLM's) aan voor robotbesturing door actievoorspelling te conditioneren op visuele observaties en natuurlijke taalinstructies. Hoewel deze modellen een sterke vision-language alignment erven, zijn hun actierepresentaties vaak uitsluitend geoptimaliseerd voor reconstructiefidelity in de ruwe fysieke controle-ruimte (bijv. het minimaliseren van L1/L2-verliezen).

De auteurs stellen dat deze aanpak een bottleneck creëert. Werkwoorden beschrijven niet alleen de fysieke uitkomst (het doel), maar ook de wijze van uitvoering (bewegingsdynamiek, contactpatronen, timing van de grijper). Bestaande discrete tokenisatiemethoden (zoals Bin, VQ-VAE en FAST) comprimeren continue trajecten tot discrete tokens om te passen binnen autoregressieve VLM-interfaces. Echter, omdat deze tokenizers uitsluitend getraind zijn om het traject te reconstrueren, eroderen ze systematisch de werkwoord-gegronde informatie die in de bewegingsdynamiek besloten ligt. De impliciete aanname dat een lage actieruimte-loss de taal-gegronde signalen behoudt, blijkt onjuist te zijn; enkel op reconstructie gerichte tokenizers falen in het behouden van de onderscheidende kenmerken waar taal afhankelijk van is om te beschrijven hoe een actie wordt uitgevoerd.

Methodologie: SALT

Om dit aan te pakken, introduceren de auteurs SALT (Semantically ALigned action Tokenizer). SALT is een modificatie van het standaard VQ-VAE actie-tokenizer trainingsproces.

Architectuur: SALT gebruikt een residuele VQ-VAE encoder om continue actie-chunks in kaart te brengen naar gekwantiseerde latente vectoren.
Trainingsdoel: Naast de standaard reconstructieverlies ( $L_{recon}$ ) en codebook commitment loss ( $L_{VQ}$ ), introduceert SALT een aanvullende alignment loss ( $L_{align}$ ).
Alignment Mechanisme: Tijdens de tokenizer training worden de gekwantiseerde actie-latents van een volledige episode gevoed aan een bevroren, vooraf getraind Vision-Language Model (VLM) samen met een prompt. De VLM krijgt de taak om de oorspronkelijke natuurlijke taalinstructie voor die episode te genereren.
Gradiëntstroom: Gradiënten van de instructiegeneratie-taak propageren door de input-embeddings van de bevroren VLM en de straight-through quantizer terug naar de encoder en het codebook van de tokenizer.
Kernbeperking: Dit proces dwingt de tokenizer om zijn discrete vocabulaire te organiseren zodanig dat vergelijkbare actietrajecten (die beschreven worden door vergelijkbare taal) mappen naar vergelijkbare latente representaties, zonder de downstream VLA-architectuur of het inferentieproces van de policy te wijzigen.

Belangrijkste Bijdragen & Bevindingen

1. Werkwoorden coderen zowel doelen als dynamiek
Met behulp van de BridgeV2 dataset demonstreren de auteurs dat werkwoordinformatie gegrond is in twee complementaire bronnen:

Actiedoelen: De visuele staatverandering tussen het begin en het einde van een episode.
Bewegingsdynamiek: Het 7-DoF traject zelf.
Mutual information analyse onthult dat hoewel doelen een significant deel van de werkwoordbetekenis verklaren, bewegingsdynamiek unieke, niet-redundante informatie biedt (bijv. het onderscheiden van "bewegen" van "plaatsen" of "flippen" van "draaien" op basis van de vorm en timing van het traject, zelfs als de eindpunten vergelijkbaar zijn).

2. Alleen op reconstructie gerichte tokenisatie erodeert semantische signalen
De auteurs tonen aan dat standaard tokenisatiemethoden (Bin, VQ-VAE, FAST) de mutual information tussen werkwoorden en getokeniseerde acties systematisch verminderen naarmate de compressie toeneemt. Het "alleen op reconstructie gerichte" doelbestrijding faalt in het behouden van de specifieke bewegingspatronen die werkwoorden onderscheiden, wat een bottleneck creëert tussen taal en controle.

3. SALT verbetert taakprestaties en semantische alignment

Prestaties: Policies getraind met SALT bereiken een gemiddeld succespercentage van 71,9% op de SimplerEnv WidowX suite, wat aanzienlijk beter presteert dan policies die een enkel op reconstructie gerichte VQ-VAE tokenizer gebruiken (42,7%) en FAST (31,2%).
Semantische Structuur: SALT ontwikkelt werkwoord-gespecialiseerde codes. In tegen tegenstelling tot reconstructie-georiënteerde tokenizers die actieklassen over semantisch gemengde codes verdelen, leert SALT codes die zeer selectief zijn voor specifieke werkwoorden (bijv. specifieke codes voor "flippen" of "draaien").
Fidelity: Deze semantische reorganisatie gaat niet ten koste van de reconstructiekwaliteit; SALT behoudt een reconstructie-fidelity die vergelijkbaar is met standaard VQ-VAE.

Significantie

Dit artikel stelt een ontwerpprincipe vast voor taal-geconditioneerde controle: actierepresentaties moeten niet alleen uitvoerbare trajecten behouden, maar ook de linguïstische abstracties waaraan acties worden beschreven.

Door de latente ruimte van de actie-tokenizer af te stemmen op taalinstructies, laten de auteurs zien dat de discrete actie-vocabulaire zelf taal-relevante geometrie kan dragen. Dit suggereert dat de "actie-interface" in VLA's niet louter een compressiestap is, maar een cruciale locatie voor semantische grounding. De resultaten wijzen erop dat het behoud van de structuur van bewegingsdynamiek in actierepresentaties het vermogen van robots om natuurlijke taalinstructies op te volgen substantieel verbetert, waardoor de kloof tussen visuele perceptie, linguïstisch begrip en fysieke uitvoering wordt overbrugd.

Beperkingen

De auteurs merken enkele beperkingen op:

De studie leunt op BridgeV2, die een beperkte linguïstische diversiteit heeft (17 werkwoordklassen na filtering).
SALT is momenteel alleen van toepassing op tokenizers met leerbare latente representaties (zoals VQ-VAE) en niet op vaste discretisatiemethoden (zoals Bin) of signaalverwerkingsbenaderingen (zoals FAST).
Experimenten werden uitgevoerd op een relatief kleine VLA (0,5B parameters) in simulatie; schaalbaarheid naar grootschalige multi-embodiment pretraining en real-robot deployment moet nog worden geverifieerd.
Hoewel semantische alignment de prestaties verbetert, is het causale mechanisme dat de specifieke code-organisatie koppelt aan policy learning nog niet volledig vastgesteld.