🤖 AI

ActionCodec: What Makes for Good Action Tokenizers

Dit paper introduceert ActionCodec, een hoogwaardige actie-tokenizer die is ontworpen volgens nieuwe optimalisatieprincipes voor Vision-Language-Action-modellen en die zonder robotica-vooropleiding een nieuwe state-of-the-art prestatie van 97,4% bereikt op de LIBERO-benchmark.

Oorspronkelijke auteurs: Zibin Dong, Yicheng Liu, Shiduo Zhang, Baijun Ye, Yifu Yuan, Fei Ni, Jingjing Gong, Xipeng Qiu, Hang Zhao, Yinchuan Li, Jianye Hao

Gepubliceerd 2026-02-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zibin Dong, Yicheng Liu, Shiduo Zhang, Baijun Ye, Yifu Yuan, Fei Ni, Jingjing Gong, Xipeng Qiu, Hang Zhao, Yinchuan Li, Jianye Hao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om taken uit te voeren, zoals een kopje koffie halen of een bloem in een vaas zetten. Om dit te doen, moet je de robot een taal leren die hij begrijpt. De onderzoekers van dit papier hebben een nieuw, superkrachtig "woordenboek" bedacht om de bewegingen van robots te vertalen naar die taal. Ze noemen dit ActionCodec.

Hier is een uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De Robot praat "ruis"

Vroeger probeerden onderzoekers robotbewegingen om te zetten in taal door ze simpelweg in bakjes te stoppen (zoals een liniaal met streepjes) of door ze als lange, rommelige zinnen te schrijven.

De analogie: Stel je voor dat je een robot probeert te leren om te dansen, maar je beschrijft elke beweging als "linkerbeen 1,5 cm naar voren, dan 1,6 cm, dan 1,4 cm". Dat is veel te gedetailleerd en rommelig. De robot raakt in de war, leert traag en maakt veel fouten. Het is alsof je probeert een boek te schrijven met alleen maar letters die willekeurig op een rij staan.

2. De Oplossing: ActionCodec (De "Slimme Vertaler")

De onderzoekers hebben ontdekt dat je bewegingen niet zomaar mag vertalen. Je moet ze vertalen op een manier die stabiel en efficiënt is. Ze hebben een systeem gebouwd dat werkt als een super-slimme vertaler.

In plaats van elke kleine trilling van de robot te noteren, groepeert ActionCodec bewegingen in logische, stabiele blokken.

De analogie: In plaats van "linkerbeen 1,5 cm, dan 1,6 cm", zegt ActionCodec gewoon: "Doe een stap". Het robotbrein (het model) hoeft dan niet te rekenen aan elke millimeter, maar begrijpt direct het doel van de beweging.

3. De Vier Gouden Regels (Waarom werkt het zo goed?)

De onderzoekers hebben vier regels bedacht om een goede "bewegings-vertaler" te maken:

Geen schokkerige overgangen (Maximale overlap):
- Vergelijking: Als je een filmpje bekijkt, mag het beeld niet springen van frame 1 naar frame 100. Het moet vloeiend zijn.
- In de robot: Als de robot een beweging doet, moeten de woorden die hij gebruikt voor "nu" en "een fractie van een seconde later" op elkaar lijken. Als de vertaler elke seconde een heel ander woord kiest voor bijna dezelfde beweging, raakt de robot in paniek. ActionCodec zorgt voor een vloeiende overgang.
Geen overbodige woorden (Minimale redundantie):
- Vergelijking: Stel je voor dat je een woordenboek hebt met 10.000 woorden voor "lopen", maar ze betekenen allemaal precies hetzelfde. Dat is zonde van je geheugen.
- In de robot: De robot moet een compacte lijst met unieke bewegingswoorden hebben. Geen dubbelingen. Hoe kleiner en scherpere lijst, hoe sneller de robot leert.
Kijk naar de omgeving (Meerwaarde van context):
- Vergelijking: Als je zegt "pak dat", moet de robot weten wat je bedoelt door naar de foto en de zin te kijken.
- In de robot: Het woord voor een beweging moet sterk gekoppeld zijn aan wat de camera ziet en wat de mens zegt. Als het woord losstaat van de werkelijkheid, is het nutteloos.
Elk woord staat op zichzelf (Onafhankelijkheid):
- Vergelijking: Stel je voor dat je een zin moet zeggen, maar als je het eerste woord fout zegt, mag je de rest niet meer zeggen. Dat is gevaarlijk.
- In de robot: Als de robot een foutje maakt in het eerste woordje van een beweging, mag dat niet betekenen dat de hele volgende beweging mislukt. ActionCodec zorgt ervoor dat elk woordje een stevige, onafhankelijke betekenis heeft, zodat de robot niet in een "hallucinatie" vervalt.

4. Het Resultaat: De "SmolVLM" met een Superkracht

De onderzoekers hebben dit systeem getest op een klein, slim robotbrein (een model genaamd SmolVLM).

Zonder ActionCodec: De robot leerde traag en haalde maar een paar keer per 100 pogingen zijn doel.
Met ActionCodec: De robot leerde razendsnel. In een test (LIBERO) haalde hij een 95,5% succesrate zonder ooit eerder een robot te hebben gezien of getraind! Hij deed het zelfs beter dan veel andere modellen die wel jarenlang getraind waren.

5. De "Bijbel" van de Robotbewegingen

Het meest indrukwekkende is dat ActionCodec werkt als een universeel woordenboek.

Vergelijking: Stel je voor dat je een boek leert in het Nederlands, en dat boek werkt ook perfect als je de robot in Japan of Duitsland zet.
In de robot: Omdat ActionCodec de bewegingen zo goed vertaalt, kan een robot die getraind is op de ene arm (bijvoorbeeld een grijper) die kennis direct gebruiken voor een heel andere arm (bijvoorbeeld een mensachtige hand). Het systeem "weet" wat "grijpen" is, ongeacht welk apparaat het doet.

Conclusie

Kortom: ActionCodec is de sleutel om robots sneller en slimmer te maken. Het zorgt ervoor dat robots niet hoeven te rekenen aan elke millimeter, maar begrijpen wat ze moeten doen door een heldere, stabiele taal te gebruiken. Het is alsof je van een rommelig, onleesbaar dagboek overstapt op een strak geschreven instructieboek. Hierdoor kunnen robots veel sneller leren en betere taken uitvoeren, zelfs zonder jarenlange training.

Probleemstelling

Vision-Language-Action (VLA) modellen, die Vision-Language Models (VLMs) finetunen op robotica-datasets, hebben zich bewezen als een krachtige aanpak voor algemene fysieke intelligentie. Een centrale uitdaging in deze architectuur is action tokenization: het omzetten van continue robotacties in discrete tokens die door het autoregressieve VLM-verwerkingsparadigma kunnen worden verwerkt.

Bestaande methoden voor action tokenization (zoals heuristische binning, string-representaties of Vector Quantization/VQ) worden voornamelijk geoptimaliseerd op basis van reconstructie-accuraatheid (hoe goed kan de actie worden gereconstrueerd uit de tokens). Het paper stelt echter dat dit een fundamentele onderzoekslacune is: deze methoden negeren de directe impact van het tokenisatieontwerp op de optimalisatiedynamiek van het VLA-model zelf. Hierdoor blijft de vraag beantwoord wat een "goede" action tokenizer voor VLA's eigenlijk maakt, wat leidt tot suboptimale trainings-efficiëntie en prestaties.

Methodologie en Theoretisch Kader

De auteurs analyseren action tokenisatie vanuit het perspectief van VLA-optimalisatie en informatie-theorie. Ze formaliseren de verwachte negatieve log-likelihood (NLL) verliesfunctie en ontleden de conditionele entropie $H(C|V, L)$ in drie componenten:

Artifact Entropy ( $H(C|A)$ ): De topologische instabiliteit waarbij kleine ruis in de actie leidt tot sprongen in de tokenruimte.
Capaciteit ( $I(C; A)$ ): De hoeveelheid informatie die de tokens kunnen dragen, begrensd door de token-begroting en vocabulairegrootte.
Perceptuele Uitlijning vs. Residuale Grammatica: De balans tussen directe visueel-taal uitlijning en afhankelijkheid van eerdere tokens in de sequentie.

Op basis hiervan identificeren ze vier ontwerpprincipes voor een optimale tokenizer:

Maximalisatie van temporale overlap: Hoge consistentie tussen tokens van tijdscherven die overlappen om ruis te minimaliseren.
Minimalisatie van vocabulaire redundantie: Een compact vocabulaire om overfitting op ruis te voorkomen.
Versterkte multimodale wederzijdse informatie: Tokens moeten sterk correleren met visuele en taalinput.
Token-onafhankelijkheid: Tokens moeten onafhankelijk zijn om te voorkomen dat het model te veel vertrouwt op historische tokens (residuale grammatica) ten koste van realtime visuele feedback.

De Oplossing: ActionCodec

Gestuurd door deze principes introduceren de auteurs ActionCodec, een hoogwaardige action tokenizer die de volgende architecturale verbeteringen implementeert:

Perceiver-achtige Architectuur: Gebruik van een transformer-architectuur die flexibel is in het modelleren van diverse tokenrelaties en variabele lengtes ondersteunt.
Embodiment-specifieke Soft Prompts: Leerbaar embeddings die specifiek zijn voor verschillende robotplatforms (bijv. Franka, WidowX, xArm). Dit stelt het model in staat om universele robotica-priors te delen terwijl het unieke mechanische beperkingen van elk platform respecteert, wat zero-shot herdoelstelling (re-targeting) mogelijk maakt.
RVQ Post-training (Residual Vector Quantization): Een innovatieve twee-staps aanpak. Eerst wordt een enkel-laags VQ-model getraind om maximale overlap en stabiliteit te garanderen. Vervolgens worden de encoder en het primaire codebook bevroren, en worden extra residuale codebooks toegevoegd om de reconstructiefout verder te verkleinen zonder de topologische stabiliteit (Overlap Rate) te schaden.
Contrastieve Doelen: Integratie van Time Contrastive Learning (TCL) en CLIP-achtige doelen tijdens het trainen van de tokenizer om de visueel-taal uitlijning en stabiliteit te verbeteren.

Resultaten

ActionCodec werd uitgebreid geëvalueerd op diverse simulatie- en real-world benchmarks:

LIBERO Benchmark: Een SmolVLM2-2.2B model, gefinetuned met ActionCodec, bereikte een 95,5% succesrate zonder enige voorafgaande robotica-training. Met de Block-wise Autoregressive (BAR) architectuur stijgt dit naar 97,4%, wat een nieuwe State-of-the-Art (SOTA) is voor modellen zonder robotica-pretraining.
Trainings-efficiëntie: ActionCodec convergeert aanzienlijk sneller dan bestaande methoden (zoals FAST, VQ-VLA, of binning). Het bereikt binnen slechts 5.000 trainingsstappen een succesrate van 89,5%, terwijl concurrenten op dat punt vaak onder de 40% zitten.
Real-world Evaluatie:
- Op de SO100-ShapeSorter taak (een lage-kosten platform) slaagde ActionCodec erin complexe herstelgedragingen (recovery behaviors) te leren door middel van co-training, terwijl modellen zonder co-training faalden bij het inbrengen van blokken.
- Op de xArm-PickVeg taak toonde het model aan dat pre-training op heterogene datasets leidt tot betere transfer learning en een succesrate van 82,5%.
Efficiëntie: In tegenstelling tot heuristische methoden die hoge latentie en lage doorvoer hebben, bereikt ActionCodec de hoogste actie-doorvoer (22.0 acties/sec) bij lage latentie, wat het geschikt maakt voor gesloten-lus besturing.

Bijdragen en Significantie

De belangrijkste bijdragen van dit paper zijn:

Analytisch Kader: Het stellen van een rigoureus analytisch kader dat de optimale ontwerpeisen voor action tokenisatie definieert vanuit het perspectief van VLA-trainingsdynamiek, in plaats van alleen reconstructie-accuraatheid.
ActionCodec: De introductie van een robuuste, high-performance tokenizer die deze principes in de praktijk brengt en aanzienlijke verbeteringen biedt in trainings-efficiëntie en generalisatie.
SOTA Prestaties: Het bereiken van nieuwe recordprestaties op meerdere benchmarks, zelfs met kleinere VLM-backbones (256M/500M parameters) die uitgerust zijn met ActionCodec, wat aantoont dat de kwaliteit van de tokenisatie even cruciaal is als de schaal van het taalmodel.
Roadmap voor de Gemeenschap: Het biedt een duidelijke blauwdruk voor de ontwikkeling van toekomstige fysieke intelligentie-systemen, waarbij de nadruk ligt op het balanceren van stabiliteit, onafhankelijkheid en multimodale uitlijning in de tokenisatielaag.

Kortom, dit paper bewijst dat een zorgvuldig ontworpen action tokenizer, gebaseerd op informatie-theoretische principes, de prestaties van VLA-modellen drastisch kan verbeteren en de weg vrijmaakt voor efficiëntere en robuustere robotica-systemen.