Technische Samenvatting: Geordende Actie-tokens voor Visuomotorische Beleidsleer

Probleemstelling

Actie-tokenisatie dient als de cruciale interface tussen continue robotbesturing en sequentiemodellering in moderne visuomotorische beleidssystemen (policies). Echter, bestaande benaderingen slagen er niet in om gelijktijdig aan drie essentiële eigenschappen te voldoen die vereist zijn voor effectieve beleidsleer:

1. Hoge Compressie: Tokensequenties moeten compact zijn om de trainingscomplexiteit en inferentie-latentie te minimaliseren.
2. Totale Decodeerbaarheid: Willekeurige tokensequenties gegenereerd door een beleid moeten betrouwbaar decoderen naar geldige, uitvoerbare continue acties.
3. Geordende Tokenstructuur: De tokensequentie moet controle-relevante informatie zodanig organiseren dat vroege tokens grove, hoog-impact bewegingen vastleggen, terwijl latere tokens residuele details verfijnen. Deze "coarse-to-fine" structuur sluit aan bij de inductieve bias van next-token voorspelling in autoregressieve modellen en biedt betekenisvolle supervisie voor vision-language modellen (VLM's).

Huidige methoden voldoen aan deelverzamelingen van deze desiderata, maar niet aan alle drie gelijktijdig. Per-dimensie binning is volledig decodeerbaar, maar produceert evenwel evenredig lange sequenties. Frequentiedomein-tokenizers (bijv. FAST) bieden ordening, maar missen totale decodeerbaarheid door problemen met variabele lengte-expansie. Geleerde latente tokenizers (bijv. QueST, ACodec) bieden compressie, maar missen vaak een expliciete geordende structuur die globale controle-informatie vroeg plaatst, wat hun effectiviteit als beleidsdoelen beperkt.

Methodologie: Geordende Actie-tokenisatie (OAT)

De auteurs stellen Ordered Action Tokenization (OAT) voor, een geleerde tokenizer die ontworpen is om aan alle drie de desiderata te voldoen. OAT discretiseert continue actie-chunks in compacte, totaal decodeerbare en geordende tokensequenties.

Architectuur

OAT maakt gebruik van een encoder-decoder architectuur met een discrete bottleneck:

• Register Bottleneck: De encoder gebruikt leerbare "register"-tokens (geïnspireerd door ViT-registers) om cross-attention toe te passen op alle posities in de continue actie-chunk. Deze registers aggregeren temporele informatie naar een reeks latente toestanden van vaste lengte.
• Finite Scalar Quantization (FSQ): De latente registertoestanden worden gediscretiseerd in een vaste vocabulaire met behulp van FSQ, wat garandeert dat elke vocabulaire-index naar een geldige continue actie-chunk mapt (Totale Decodeerbaarheid).
• Decoder: Een cross-attention Transformer-decoder reconstrueert de continue actie-chunk vanuit de gekwantiseerde registertoestanden.

Training: Geordende Prefix Reconstructie

Om de gewenste coarse-to-fine ordening te induceren, maakt OAT gebruik van Nested Prefix Reconstruction tijdens de training:

• Nested Dropout: De trainingsdoelstelling sampleert een reconstructiebudget $K$ uit een set budgetten (bijv. $\{1, 2, 4, \dots, H_l\}$). De decoder wordt getraind om de volledige actie-chunk te reconstrueren met alleen de eerste $K$ tokens, waarbij de resterende suffix gemaskeerd is.
• Informatietoewijzing: Dit dwingt vroege tokens om grove, globaal relevante controle-informatie te dragen die noodzakelijk is voor een plausibele actie, terwijl latere tokens residuele details verfijnen. Dit creëert een "progressieve" representatie waarbij elke prefix decodeert naar een uitvoerbare actie.
• Register Flow Constraints: De auteurs introduceren specifieke self-attention masks voor de registers om verschillende generatieschema's te ondersteunen. Ze definiëren twee varianten:
  • $OAT_{sing}$ (Token-wise): Gebruikt standaard causale aandacht, wat een strikte afhankelijkheidsorde op elke token oplegt.
  • $OAT_{pow2}$ (Power-of-Two): Gebruikt block-causale aandacht waarbij registers binnen een power-of-two groep niet op elkaar kunnen attentionen, maar alleen op voorgaande groepen. Dit maakt schaalbare block-autoregressieve decodering mogelijk.

Beleidsinterfaces

OAT wordt gevalideerd in twee gangbare beleidsparadigmen:

1. Autoregressieve (AR) Beleid: Het beleid genereert OAT-tokens sequentieel (of in blokken), die vervolgens gedetokeniseerd worden naar acties. De geordende structuur ondersteunt variabele inferentie-budgetten, waardoor het systeem kan kiezen tussen inferentiekosten en actie-getrouwheid.
2. Token Co-Training (TC) Beleid: Het VLM wordt getraind om OAT-tokens te voorspellen (supervisie), terwijl een aparte flow-matching expert continue acties genereert vanuit de gedetacheerde VLM-context. Hier fungeert de eerste OAT-token als een "plan-achtige" samenvatting van de gehele actie-chunk, wat een sterke globale doelstelling biedt voor de VLM-prefill representatie.

Schaalbare Generatie

Het paper introduceert een Block-wise Autoregressive (BAR) framework dat token-wise generatie, one-shot parallelle decodering en intermediaire block-schema's verenigt. Specifiek combineert de $OAT_{pow2}$ variant met een power-of-two generatieschema de sequentiële beleidsaanroep-diepte van $O(H_l)$ naar $O(\log H_l$, wat de inferentie-efficiëntie aanzienlijk verbetert zonder prestatieverlies.

Belangrijkste Bijdragen

1. Formalisering van Desiderata: Het paper identificeert en formaliseert hoge compressie, totale decodeerbaarheid en geordende tokenstructuur als de drie kernvereisten voor actie-tokenisatie als een beleidsinterface.
2. OAT Algoritme: De voorstel van een geleerde tokenizer die aan deze vereisten voldoet via register-gebaseerde compressie, FSQ en nested prefix training.
3. Schaalbaar Decoderingsframework: De introductie van een BAR-framework dat diverse generatieschema's verenigt, en aantoont hoe power-of-two groepering de inferentie-latentie drastisch kan verminderen.
4. Uitgebreide Validatie: Uitgebreide experimenten over drie beleids-backbones (lichtgewicht Transformer, PaliGemma2, Qwen3VL) en meer dan 60 taken (gesimuleerd en real-world) die zowel AR als TC paradigma's dekken.

Experimentele Resultaten

• Rate-Distortion: OAT volgt een vloeiende curve van reconstructiefout versus tokenbudget, wat aantoont dat prefixes van variërende lengtes progressief nauwkeurigere acties decoderen.
• Lichtgewicht Beleid: In closed-loop controle met een vaste Transformer-backbone presteert OAT consistent beter dan baselines (Bin, FAST, QueST, ACodec). Prestaties schalen met het tokenbudget, waarbij $OAT_{sing}^{8}$ de hoogste succesratio's behaalt over LIBERO, RoboMimic, MetaWorld en real-world taken.
• Autoregressieve VLM's: OAT verbetert de succesratio's voor grote VLM's (PaliGemma2, Qwen3VL). De power-of-two variant ($OAT_{pow2}$) evenaart de prestaties van token-wise generatie terwijl het aanzienlijk minder beleidsaanroepen vereist (bijv. 5 calls versus 16 voor volledige generatie).
• Token Co-Training: Zelfs wanneer tokens tijdens inferentie niet worden gedecodeerd, leidt OAT-supervisie tot superieure VLM-representaties. OAT behaalt het hoogste gemiddelde succes in TC-settings en presteert beter dan QueST en ACodec op verschillende benchmarks, wat de "plan-achtige" supervisiehypothese valideert.
• Ablaties: Het verwijderen van de geordende prefix training (nested dropout) verslechtert de prestaties aanzienlijk, wat bevestigt dat de coarse-to-fine structuur cruciaal is. Bovendien leidt het mismatchen van de register-attention structuur met het generatieschema (bijv. het gebruiken van $OAT_{sing}$ met power-of-two blokken) tot lagere prestaties, wat de noodzaak van afstemming tussen tokenizer-ontwerp en inferentie-schema benadrukt.

Betekenis en Claims

Het paper claimt dat OAT een robuuste en flexibele interface biedt voor visuomotorische beleidsleer. Door te voldoen aan de triade van compressie, decodeerbaarheid en ordening, maakt OAT het volgende mogelijk:

• Flexibele Inferentie: Beleid kan adaptief kiezen voor tokenbudgetten om een balans te vinden tussen latentie en getrouwheid.
• Verbeterd Leren: De geordende structuur sluit aan bij de inductieve biases van autoregressieve modellen en biedt betekenisvolle globale supervisie voor VLM's in co-training settings.
• Schaalbaarheid: De integratie met BAR maakt efficiënte inferentie op grote modellen mogelijk zonder de lineaire dieptestraf van standaard token-wise generatie.

De auteurs concluderen dat hoewel de studie is afgebakend tot specifieke benchmarks en backbones, de ontwerpprincipes van OAT een generaliseerbare oplossing bieden voor het probleem van actie-tokenisatie, wat de weg vrijmaakt voor efficiëntere en meer capabele embodied AI-systemen. Zij merken op dat toekomstig werk adaptieve computatie zou kunnen verkennen, waarbij beleid dynamisch het benodigde tokenbudget bepaalt op basis van taakcomplexiteit of onzekerheid.