🤖 AI

X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining

X-Tokenizer is een lichtgewicht, multimodale actie-tokenizer die actie-tokenisatie herformuleert als een taak van het leren van een semantische interface door een asymmetrische Semantic Residual Quantization-architectuur en contrastieve pretraining te gebruiken om visuele-linguïstische redenering te overbruggen met precieze continue robotbesturing, waarmee het bestaande methoden aanzienlijk overtreft in zowel simulatie als real-world long-horizon taken.

Oorspronkelijke auteurs: Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een kopje koffie moet zetten. Je hebt een briljante "hersenen" (een Vision-Language model) die de wereld begrijpt, weet wat een koffiekopje is en instructies kan lezen zoals "schenk de koffie voorzichtig in". Echter, de hersenen van deze robot spreken in woorden en concepten (discrete tokens), terwijl de armen en motoren van de robot moeten spreken in vloeiende, continue bewegingen (zoals "beweeg 0,04 mm naar links, en daarna 0,02 mm omhoog").

Het probleem is dat deze twee talen niet overeenkomen. De woorden van de hersenen zijn geweldig voor redeneren, maar ze zijn te "geblokt" om een motor direct aan te sturen.

De Oude Manier: De "Ritssluiting"

Eerdere methoden probeerden dit op te lossen door middel van een "tokenizer" (een vertaler) die de bewegingen van de robot simpelweg comprimeerde, zoals het dichtritst van een koffer.

Hoe het werkte: Het keek naar de beweging en zei: "Oké, deze beweging lijkt op code #42, en deze op code #99."
De Fout: Het was een puur mechanische compressie. Het behield de vorm van de beweging (zodat de robot deze kon recreëren), maar het leerde de hersenen van de robot niet wat de beweging betekende. De hersenen gokten slechts willekeurige codes om fouten te minimaliseren, zonder de intentie achter de beweging echt te begrijpen. Het was als een vertaler die weet hoe hij een koffer moet dichtritst, maar niet weet wat er in de koffer zit.

De Nieuwe Manier: X-Tokenizer (De "Slimme Vertaler")

De auteurs van dit paper introduceren X-Tokenizer, die ze niet alleen beschrijven als een compressor, maar als een Semantische Interface. Denk aan een vertaler die vloeiend is in zowel "Robotmotor" als "Menselijk Concept".

Zo werkt het, met behulp van een creatieve analogie:

1. Het Twee-Lagen Woordenboek (Semantic Residual Quantization)

Stel je voor dat de vertaler een speciaal woordenboek heeft met twee verschillende secties:

De "Grote Ideeën" Sectie (Bovenste niveau): Dit deel leert de intentie. Als de robot naar een kopje reikt, leert deze sectie de code voor "Pak de kop". Het is getraind om de verhaallijn van de actie te begrijpen.
De "Fijne Details" Sectie (Diepere niveaus): Dit deel gaat over de nuance. Het leert de kleine, precieze aanpassingen die nodig zijn om de kop daadwerkelijk vast te pakken zonder deze om te stoten.

De innovatie van het paper is het anders behandelen van deze twee secties. De "Grote Ideeën" sectie is getraind om de betekenis van de actie te begrijpen, terwijl de "Fijne Details" sectie zich alleen richt op het perfect maken van de beweging. Dit creëert een gedeelde taal waarbij de hersenen van de robot het doel begrijpen voordat ze zich zorgen hoeven te maken over de fysica.

2. Het Trainingskamp (Pretraining)

Voordat de robot ooit een echt object aanraakt, gaat X-Tokenizer door een enorme trainingstraining met 2,4 miljoen opgenomen robotbewegingen. Het leert drie specifieği vaardigheden:

Masked Action Modeling (MAM): Stel je een spel van "Mad Libs" voor met robotbewegingen. De vertaler krijgt een reeks acties te zien waarvan een stukje ontbreekt en moet raden wat het ontbrekende "woord" (de intentie van de actie) was op basis van de context. Dit dwingt het om de logica van beweging te leren, niet alleen de vorm.
Vision-Language Alignment: De vertaler krijgt een video te zien van een bewegende robot en de tekstuele instructie "Pak de kop". Het leert de codes van de robotbeweging direct te koppelen aan de woorden in de instructie. Het leert dat de code voor "reiken" semantisch verbonden is met het woord "reiken".
Toekomstvoorspelling: Het kijkt naar de huidige beweging en probeert te voorspellen hoe de "visuele waarneming" van de robot er in de volgende seconde uit zal zien. Dit leert de vertaler de gevolgen van een actie te begrijpen, en niet alleen de actie zelf.

3. Het Resultaat: Een Gedeelde Taal

Zodra de training voltooid is, worden de "extra" trainingsinstrumenten verwijderd, waardoor een lichtgewicht vertaler overblijft. Wanneer de robot wordt ingezet:

Voorspelt de hersenen van de robot (de VLM) de "Grote Ideeën" codes (bijv. "Beweeg naar kopje").
Omdat deze codes getraind zijn om overeen te komen met de taal van de hersenen, zijn de interne "gedachten" van de robot veel beter afgestemd op de fysieke taak.
De continue motorcontroller neemt vervolgens deze gedachten en vult de "Fijne Details" in om de beweging vloeiend uit te voeren.

Waarom het ertoe doet (De Resultaten)

Het paper testte dit op echte robots en simulaties (zoals een dual-arm robot die speelt met blokken of bloemen schikt).

Beter Begrip: De hersenen van de robot begrepen de instructies veel beter. In tests waarbij de robot objecten moest aanwijzen op basis van taal, steeg de nauwkeurigheid met 13,5%.
Langere Taken: De robot werd aanzienlijk beter in lange, meerstaps-taken (zoals "schik de bloemen, en zet dan het licht aan"), met een verbetering in prestaties van 8,25%.
Robuustheid: Zelfs wanneer de bewegingen van de robot enigszins ruizig of schokkerig waren, hield X-Tokenizer de "Grote Ideeën" codes stabiel, terwijl oudere methoden in de war zouden raken en het hele plan zouden veranderen.

De Kernboodschap

X-Tokenizer verandert de rol van de vertaler. In plaats van alleen een compressietool te zijn die gegevens verkleint, fungeert het als een semantische brug. Het zorgt ervoor dat wanneer de "hersenen" van de robot over een actie nadenken, ze nadenken in termen die het "lichaam" van de robot daadwerkelijk kan begrijpen en uitvoeren, wat leidt tot slimmere, meer capabele robots die complexe instructies in de echte wereld kunnen opvolgen.

Technische Samenvatting: X-Tokenizer

1. Probleemstelling

Moderne Vision-Language-Action (VLA) modellen streven ernaar om vooraf getrainde visuele-talige redenering te overbruggen met nauwkeurige, continue robotbesturing. Een fundamentele uitdaging in dit domein is de representatie-mismatch: vooraf getrainde visuele-talige backbones opereren over semantisch gestructureerde discrete representaties, terwijl robotbeleid (policies) nauwkeurige, continue motorische commando's moet produceren.

Bestaande oplossingen maken vaak gebruik van actie-tokenizers om continue actie-chunks in discrete symbolen te mappen voor autoregressieve voorspelling. Echter, huidige tokenizers (bijv. FAST, VQ-BeT) zijn primair ontworpen als compressiemodules. Zij minimaliseren de reconstructiefout om bewegingsgeometrie te behouden, maar falen in het afstemmen van hun tokenstructuren op taaksemantiek, visuele context of taal-geconditioneerde intentie. Gevolgelijk fungeert de discrete actie-token voorspellingsverlies in hybride discrete-continue VLA-systemen slechts als een hulpdoelstelling die de backbone zwak superviseert, waarbij de verborgen toestanden (hidden states) naar geometrische codepatronen trekt in plaats van naar actie-relevante multimodale semantiek. Dit beperkt het vermogen van het model om hoogwaardig redeneren te grond in uitvoerbare besturing.

2. Methodologie: X-Tokenizer

De auteurs stellen X-Tokenizer voor, een lichtgewicht actie-tokenizer die niet louter is ontworpen voor compressie, maar als een semantische interface tussen multimodale redenering en uitvoerbare besturing. De architectuur bestaat uit een Encoder, een Semantic Residual Quantization (SRQ) bottleneck, en een Decoder.

Kernarchitectuur

Encoder: Map een $T$ -frame actie-chunk (specifiek delta-acties ten opzichte van een proprioceptieve anker) naar $M$ continue latente slots met behulp van een Perceiver-stijl netwerk. Het incorporeert embodiment-tokens om robuustheid te garanderen over diverse robotarmen.
Semantic Residual Quantization (SRQ): Dit is de centrale innovatie. In tegen tegenstelling tot standaard Residual Vector Quantization (RVQ, waarbij alle niveaus uniform worden geoptimaliseerd voor reconstructie), legt SRQ een asymmetrische supervisiestructuur op:
- Niveau 1 (Semantische Intentie): De bovenste RVQ-laag wordt getraind met Masked Action Modeling (MAM). Dit dwingt de bovenste discrete codes om een coherente "actie-taal" te vormen die grove bewegingsintentie vastlegt (bijv. "beweeg naar de beker").
- Diepere Niveaus (Executie-residuen): Niveaus $q > 1$ worden uitsluitend getraind voor reconstructie. Zij bewaren fijngedetailleerde geometrische details en executie-residuen zonder semantische supervisie, en fungeren als correcties op de grove intentie.
Decoder: Reconstrueert de volledige actie-chunk vanuit de gekwantiseerde latente variabelen.

Pretraining Supervisie-signalen

Om ervoor te zorgen dat de discrete tokens afgestemd zijn met multimodale semantiek, wordt X-Tokenizer getraind met drie hulp-heads (die alleen tijdens de pretraining worden gebruikt en bij deployment worden verwijderd):

Masked Action Modeling (MAM): Past een BERT-achtige doelstelling toe op de bovenste discrete codes, waarbij het model wordt vereist om gemaskeerde tokens uit de context te voorspellen. Dit vestigt syntactische regelmaat in de actie-taal.
Visueel-Talige Contrastieve Afstemming: Stemt de continue latente variabelen van de encoder af met gefuseerde visuele-talige kenmerken afgeleid van een bevroren Qwen2.5-VL-7B foundation model. Dit wordt bereikt via een InfoNCE-loss op zowel globaal (trajectniveau) als lokaal (slot-niveau) granulariteitsniveau, waardoor de actieruimte een manifold deelt met de representatieruimte van de VLM.
Next-Frame VL Feature Predictie: Een kleine predictor regresseert de visuele-talige kenmerken van het frame direct volgend op de actie-chunk. Dit injecteert een vooruitkijkend signaal, waardoor de codebook wordt gedwongen de directe fysieke consequenties van acties te coderen.

Downstream Integratie

In downstream VLA co-training levert de bevroren X-Tokenizer multi-level actie-tokens als autoregressieve supervisie voor de gedeelde VLM hidden states. Een continue Flow Matching expert wordt geconditioneerd op deze verborgen toestanden om uitvoerbare trajecten te regresseren. Tijdens inferentie wordt de tokenizer uitgeschakeld; het beleid draait als een enkele forward continuous flow regressor.

3. Belangrijkste Bijdragen

Formulering van Semantische Interface: Het artikel herformuleert actie-tokenisatie van een compressietaken naar "semantische interface learning", waarbij tokens dienen als representatie-vormende targets die hoogwaardige redenering verbinden met lage-niveau besturing.
Semantic Residual Quantization (SRQ): Introduceert een asymmetrische RVQ-structuur die semantische intentie (Niveau 1) expliciet scheidt van executie-residuen (diepere niveaus), waardoor het bovenste niveau de taaksemantiek kan vangen terwijl de reconstructiefailliteit behouden blijft.
Multimodale Afstemming: Demonstreert dat het afstemmen van actie-tokens met een bevroren VLM-representatieruimte (via contrastief leren en next-frame voorspelling) de multimodale gronding aanzienlijk verbetert zonder extra kosten tijdens de inferentie.
Cross-Embodiment Schaalbaarheid: Pretrained op 2,4 miljoen trajecten (2,0 miljard actie-frames) verspreid over 17 arm-families, is de tokenizer ontworpen als een herbruikbare interface voor diverse robotische embodimenten.

4. Experimentele Resultaten

Het artikel evalueert X-Tokenizer tegenover baselines zoals FAST, RDT2 VQ en uniforme kwantisatie in zowel simulatie- als real-world settings.

Multimodale Afstemming:
- Statistisch/Geometrisch: Actie-latenten en VLM-kenmerken bezetten een gedeelde manifold, met een hoge cosinus-gelijkenis tussen actie-slots en de corresponderende visuele-talige contexten.
- Functioneel: Bevroren VLM-kenmerken kunnen succesvol de actie-decoder aansturen, waarbij een hoge cosinus-gelijkenis (0,85–0,95) in de actierichting wordt bereikt, wat bewijst dat de afstemming functioneel is, en niet enkel geometrisch.
Codebook Structuur: SRQ vertoont een duidelijke taakverdeling. Het bovenste niveau (MAM-geregulariseerd) vertoont een long-tail distributie (76,4% gebruik) die wijst op semantische "woorden", terwijl diepere niveaus uniform worden gebruikt (>93%) voor residu-correctie.
Robuustheid: X-Tokenizer is robuuster tegen actie-ruis dan FAST. Terwijl FAST lijdt onder veranderingen in sequentielengte door BPE re-segmentatie onder ruis, behoudt X-Tokenizer de bovenste intentie-stroom en beperkt de door ruis veroorzaakte wijzigingen tot de lagere-niveau residu-codes.
Simulatie (RoboTwin 2.0):
- Behaalde de beste geaggregeerde prestaties onder de geëvalueerde interfaces.
- Presteerde +8,25% beter dan de $\pi0.5$ baseline in de Hard-instellingen.
- Toonde significante winst in cross-embodiment transfer wanneer gezamenlijk getraind op vijf arm-typen.
Real-World Evaluatie (7 Tabletop Taken):
- Multimodale Gronding: Verbeterde VQA-nauwkeurigheid met +13,5% (75,7% $\to$ 85,9%) vergeleken met FAST.
- Long-Horizon Taken: Verbeterde prestaties met +8,25% (61,0% $\to$ 69,25%).
- Algemeen: Bereikte een gemiddelde Progress Rate (PR) van 77,4% over alle taken, waarmee zowel de enkel op reconstructie gebaseerde tokenizers als de originele continue flow head werd overtroffen.

5. Betekenis en Claims

Het artikel claimt dat actie-tokenizers kunnen functioneren als herbruikbare semantische interfaces voor VLA pretraining, in plaats van louter te fungeren als interne actie-compressiemodules.

Verder dan Compressie: De resultaten suggereren dat de primaire waarde van een tokenizer in een VLA niet alleen het reduceren van dimensionaliteit is, maar het vormen van de verborgen toestanden van de VLM-backbone zodat deze semantisch afgestemd zijn met uitvoerbare acties.
Scheiding van Zaken: Het SRQ-ontwerp slaagt erin om semantische intentie en geometrische detail te ontkoppelen, waardoor de VLM zich kan richten op "wat" te doen, terwijl de continue expert de "hoe" nauwkeurig afhandelt.
Efficiëntie: De semantische supervisie wordt alleen toegepast tijdens de pretraining. Het ingezette systeem blijft lichtgewicht en brengt tijdens de inferentie geen extra kosten met zich mee voor visuele feature extractie of dynamics-rollout.
Generalisatie: Het vermogen om een tokenizer die afgestemd is met een 7B-parameter VLM te transfereren naar een 3B-parameter policy backbone suggereert dat de geleerde interface robuust is en niet gebonden is aan een specifieke model-schaal.

De auteurs concluderen dat context-gestuurde compressie, waarbij de tokenisatie-strategie expliciet wordt afgestemd op het consumerende multimodale model, een cruciale richting is voor het verbeteren van embodied foundation modellen.