🤖 AI

Real-Time Execution with Autoregressive Policies

Dit artikel toont aan dat autoregressieve beleidsregels realtijdige uitvoering met strikte latentiebounds kunnen bereiken door tokenisatiehorizonten aan te passen en beperkte decodering toe te passen, waardoor ze zowel in taakvoltooiingssnelheid als in generalisatie presteren dan de flow-matching tegenhangers.

Oorspronkelijke auteurs: Sangkyu Lee, Seohyeon Park, Tackgeun You, Avi Caciularu, Idan Szpektor, Hwasup Lim, Youngjae Yu

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sangkyu Lee, Seohyeon Park, Tackgeun You, Avi Caciularu, Idan Szpektor, Hwasup Lim, Youngjae Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een taak uit te voeren, zoals het stapelen van bekers of het oppakken van een speeltje. Om dit te doen, gebruikt de robot een "brein" (een groot AI-model) dat naar de wereld kijkt, nadenkt over wat te doen, en vervolgens commando's naar zijn armen stuurt.

Het probleem met deze grote AI-breinen is dat ze langzame denkers zijn. Ze hebben tijd nodig om informatie te verwerken voordat ze kunnen spreken. In de oude manier van werken (Synchrone Inferentie) moest de robot volledig stoppen met bewegen, wachten tot het brein klaar was met denken, en dan pas weer bewegen. Het is als een bestuurder die bij elk rood licht moet stoppen, moet wachten tot het licht op groen springt, en dan pas weer gaat rijden. Dit maakt de robot onhandig, traag en ongevoelig voor plotselinge veranderingen.

Om dit op te lossen, probeerden onderzoekers meestal een ander type "brein" te gebruiken (genaamd Diffusion Policies) dat sneller kon denken. Maar de auteurs van dit artikel vroegen zich af: Wat als we het oorspronkelijke, langzamere "Autoregressieve" brein net zo goed in real-time kunnen laten werken?

Dit is hoe ze het deden, met behulp van een eenvoudige analogie:

De "Chef en de Ober" Analogie

Stel je voor dat het brein van de robot een Chef is (het AI-model) en de arm van de robot een Ober is.

Het Oude Probleem (Synchroon):
De Ober vraagt aan de Chef: "Wat moet ik nu doen?" De Chef stopt met koken, denkt een lange tijd na, schrijft een volledig recept van 10 stappen op een stuk papier en overhandigt dit aan de Ober. De Ober leest het hele ding en begint dan de stappen uit te voeren. Terwijl de Ober bezig is met de eerste 5 stappen, zit de Chef daar maar wat te niksen, wachtend tot de Ober klaar is met de volgende recept. Dit zorgt ervoor dat de robot "pauzeert" en achterloopt.

De Nieuwe Oplossing (Real-Time Uitvoering met Autoregressieve Policies):
De auteurs realiseerden zich dat ze de manier waarop de Chef en de Ober met elkaar communiceren konden veranderen, zonder het brein van de Chef te veranderen.

Kleinere Batches (De Tokenisatie Horizon):
In plaats van de Chef te vragen om in één keer een heel recept van 10 stappen te schrijven, vragen ze om slechts 2 stappen tegelijk. Dit is veel sneller te schrijven.
- Analogie: De Chef schrijft een klein briefje: "Stap 1: Pak de beker op. Stap 2: Beweeg naar de bord." De Ober grijpt dit briefje onmiddellijk en begint te bewegen.
De Actie-Queue (De Lopende Band):
De Ober houdt een kleine tray (een queue) met deze kleine briefjes bij zich. Zodra de Ober de eerste instructie heeft uitgevoerd, pakt hij het volgende briefje van de tray.
- Analogie: De Ober stopt nooit met bewegen omdat er altijd een briefje klaarstaat op de tray. De Chef is druk bezig met het schrijven van het volgende briefje terwijl de Ober al bezig is met de huidige instructie. Dit is Asynchrone Inferentie (denken terwijl men beweegt).
De Veiligheidsbewaker (Constrained Decoding):
Omdat de Chef sneller schrijft, is er een risico dat hij een briefje schrijft dat te lang is of nergens op slaat (zoals een recept dat zegt: "spring naar de maan"). De auteurs hebben een "Veiligheidsbewaker" toegevoegd die het werk van de Chef controleert.
- Analogie: De Veiligheidsbewaker zorgt ervoor dat de Chef alleen briefjes schrijft die kort genoeg zijn om gelezen te worden voordat de Ober door de tijd heen is. Als de Chef probeert een te lange zin te schrijven, kapt de Bewaker het af of dwingt een eenvoudigere versie af. Dit garandeert dat de Ober nooit hoeft te stoppen en te wachten.
De "Beste Gok" Strategie (Multi-Trajectory Decoding):
Terwijl de Ober bezig is, heeft de Chef nog een beetje extra tijd. In plaats van slechts één briefje te schrijven, maakt de Chef snel vier verschillende versies van de volgende stap en kiest de beste uit.
- Analogie: De Chef denkt: "Optie A: Beweeg naar links. Optie B: Beweeg naar rechts. Optie C: Til hoog op. Optie D: Til laag op." De Veiligheidsbewaker controleert alle vier snel, en de Ober kiest de beste om uit te voeren. Dit maakt de robot slimmer en nauwkeuriger zonder hem te vertragen.

Wat Hebben Ze Gevonden?

De onderzoekers hebben deze nieuwe methode getest op robots in zowel computer simulaties als in de echte wereld.

Sneller dan het "Langzame" Brein: Hoewel het oorspronkelijke "Autoregressieve" brein bekend stond als traag, zorgde deze nieuwe methode ervoor dat het zo vloeiend draaide dat het in veel taken zelfs de nieuwere, "snellere" Diffusion-breinen overtrof.
Beter in het Opvolgen van Instructies: Omdat het Autoregressieve brein van nature goed is in het begrijpen van complexe taal (zoals een mens die een recept leest), volgde het instructies beter dan de andere typen robots, zelfs wanneer het snel bewoog.
Geen Pauzes Meer: De robot stopte nooit met bewegen. Hij reageerde direct op veranderingen omdat de "Chef" altijd één stap vooruit was en het volgende briefje schreef terwijl de "Ober" nog aan het bewegen was.

De Belangrijkste Conclusie

Het paper bewijst dat je niet van een compleet ander type AI-brein hoeft te wisselen om een robot in real-time te laten bewegen. Je hoeft alleen de manier te veranderen waarop je het brein om instructies vraagt. Door instructies op te delen in kleine stukjes, ze te controleren op snelheid, en het brein te laten denken terwijl de robot beweegt, kun je zelfs de "langzame" denkers snel, vloeiend en zeer reactief maken.

Kortom: Verander niet de motor; verander alleen de transmissie.

Technische Samenvatting: Real-Time Executie met Autoregressieve Policies

1. Probleemstelling

De implementatie van grootschalige Vision-Language-Action (VLA) modellen in de robotica staat voor een kritieke flessenhals: inferentie-latentie. De grote parameters die inherent zijn aan foundation models veroorzaken het "denken-dan-bewegen" (synchrone inferentie) paradigma, wat leidt tot aanzienlijke stilstand van de robot. Tijdens deze pauze kan de robot niet reageren op veranderingen in de omgeving, wat ten koste gaat van zowel de reactiviteit als de snelheid van taakvoltooiing.

Hoewel recent werk zich heeft gericht op real-time executie (asynchrone inferentie of "denken-terwijl-men-beweegt"), is dit primair gericht op diffusie-gebaseerde policies (parallel decoderen). Autoregressieve policies (sequentieel decoderen), die voordelen bieden in convergentiesnelheid en de generaliseerbaarheid van instructie-opvolging, zijn grotendeels uitgesloten van onderzoek naar real-time executie. Dit komt omdat hun sequentiële aard doorgaans resulteert in een hogere latentie ( $\delta_{t,H}$ ), waardoor ze ongeschikt zijn voor de strikte tijdsvereisten van asynchrone controle, waarbij de robot continu acties moet ontvangen zonder te pauzeren.

De kernuitdaging is om autoregressieve policies in staat te stellen in real-time te opereren zonder hun inherente voordelen op te offeren, waarbij wordt gewaarborgd dat de robot een continue stroom van acties ontvangt ondanks de variabele en vaak hoge latentie van token-voor-token generatie.

2. Methodologie

De auteurs stellen $\pi_0$ -REALFAST voor, een framework dat real-time executie voor autoregressieve policies mogelijk maakt door middel van vier cruciale technische aanpassingen:

A. Ontkoppeling van Actiehorizonten en Tokenisatie

De auteurs herdefiniëren de strategie voor action chunking. In plaats van de volledige actiehorizon $H$ in één keer te tokeniseren, stellen zij $H = 2m$ in en tokeniseren zij in twee stadia:

Conditioning Prefix: De eerste $m$ acties (reeds uitgevoerd of in de wachtrij) worden getokeniseerd als een prefix ( $T_m(A_{0:m})$ ).
Voorspelling: Het model voorspelt de volgende $m$ acties ( $T_m(A_{m:2m})$ ), geconditioneerd op de prefix en de huidige observatie.
Dit vermindert het aantal tokens dat in een enkele inferentiestap gedecodeerd moet worden, wat de latentie $\delta_{t,m}$ die nodig is om de volgende actiebare chunk te genereren, direct verlaagt.

B. Constrained Decoding voor Latentiegrenzen

Om te garanderen dat de robot nooit pauzeert, moet het systeem ervoor zorgen dat de tijd om de volgende chunk te decoderen ( $\delta_{t,m}$ ) niet de tijd overschrijdt die de controller verbruikt voor de huidige chunk ( $d_m \cdot \Delta t$ ).

Probleem: De lengte van tokens in autoregressieve modellen varieert, waardoor latentie onvoorspelbaar is.
Oplossing: De auteurs implementeren constrained decoding. Zij modelleren het decodeerproces als een begrensde "wisselgeldprobleem" (coin change problem) met behulp van dynamisch programmeren (DP).
- Een DP-tabel wordt vooraf berekend om te bepalen of een specifieke sequentielengte van tokens $L$ binnen een maximaal aantal stappen $B$ geldig gedetokeniseerd kan worden.
- Tijdens de inferentie worden de logits voor tokens die de latentiegrens zouden schenden (d.w.z. leiden tot een sequentie die niet binnen $B$ stappen gedetokeniseerd kan worden) gemaskeerd.
- Dit garandeert dat het decodeerproces binnen een strikte latentiegrens $\delta'$ wordt voltooid, zodat $d_m \le m$ .

C. Multi-Trajectory Decoding

Om de prestaties tijdens de "idle" tijd te maximaliseren die ontstaat door het latentiekloof tussen inferentie en actieconsumptie, gebruiken de auteurs multi-trajectory decoding.

Het model genereert $N$ kandidaat-trajecten (bijv. $N=4$ ) parallel.
Omdat de prefix (KV cache) gedeeld wordt, is de computationele overhead marginaal.
Het beste traject wordt geselecteerd op basis van waarschijnlijkheid, wat de succesratio van taken verbetert zonder de worst-case latentiegrens te verhogen.

D. Asynchrone Inferentielus

Het systeem werkt asynchroon:

De client (robotcontroller) houdt een Action Queue (AQ) bij.
De server (policy) decodeert de volgende $m$ tokens, geconditioneerd op de AQ-prefix.
Zodra de decoding voltooid is (binnen de grens), wordt de nieuwe chunk toegevoegd aan de AQ.
De robot voert acties uit de AQ continu uit, waardoor er geen pauzes optreden, zelfs niet als de policy nog bezig is met het berekenen van de volgende chunk.

3. Belangrijkste Bijdragen

Haalbaarheid van Autoregressieve Real-Time Executie: Het artikel demonstreert dat autoregressieve policies real-time executie kunnen bereiken, wat de aanname uitdaagt dat ze te traag zijn voor asynchrone controle.
Latentie-gegarandeerde Decoding: De introductie van constrained decoding via dynamisch programmeren zorgt voor strikte latentiegrenzen, een vereiste om het pauzeren van de robot in asynchrone settings te voorkomen.
Prestatieoptimalisatie: De combinatie van gereduceerde tokenhorizonten ( $m$ ) en multi-trajectory decoding stelt autoregressieve policies in staat om gelijkwaardige flow-matching (diffusie) policies in real-time scenario's te overtreffen.
Robuustheid tegen Externe Latentie: De methode behoudt hoge succesratio's, zelfs wanneer externe latenties (netwerk/sensoren) variëren, mits de inferentiefrequentie ( $d_m$ ) correct wordt beheerd.

4. Experimentele Resultaten

De auteurs evalueerden $\pi_0$ -REALFAST (gefine-tuned van $\pi_0$ -FAST) tegenover baselines inclusief $\pi_0$ (flow-matching) en $\pi_0.5$ (flow-matching met FAST tokenizer) in zowel gesimuleerde als real-world omgevingen.

Gesimuleerde Omgeving (LIBERO):
- $\pi_0$ -REALFAST presteerde consequent beter dan $\pi_0$ met Real-Time Action Chunking (RTC) over alle taakcategorieën (Spatial, Object, Goal, Long).
- Het behaalde prestaties die vergelijkbaar zijn met de meer geavanceerde $\pi_0.5$ , ondanks het feit dat $\pi_0.5$ op grotere datasets is getraind.
- De studie benadrukte dat het afdwingen van $d_m \le m$ (waarbij de inferentiefrequentie lager mag zijn dan de actieconsumptierate) robuuster is dan strikte $d_m = m$ synchronisatie, wat bij $\pi_0$ tot prestatievermindering leidde.
Real-World Omgeving (DROID):
- In zero-shot tabletop manipulatietaken presteerde $\pi_0$ -REALFAST aanzienlijk beter dan de synchrone $\pi_0$ -FAST baseline.
- Het presteerde beter dan $\pi_0$ en liet prestaties zien die vergelijkbaar zijn met $\pi_0.5$ .
- Kwalitatieve Analyse: In tegen tegenover de synchrone inferentie, die vaak leidde tot botsingen door overshooting (het onvermogen om halverwege een traject bij te sturen), slaagde $\pi_0$ -REALFAST erin om trajecten in real-time aan te passen om botsingen te vermijden, wat de cruciale waarde van frequente actie-updates aantoont.
Ablatie-studies:
- Constrained Decoding: Het verwijderen van constrained decoding leidde tot prestatievermindering, wat de noodzaak ervan bevestigt voor betrouwbaarheid.
- Trainingsstappen: Het model bereikte snel de piekprestaties (binnen 6k stappen), wat consistent is met de snelle convergentie-eigenschappen van autoregressieve policies.
- Multi-Trajectory: Het verhogen van $N$ (aantal trajecten) verbeterde de succesratio's, wat het nut van het benutten van de "idle" rekentijd valideert.

5. Betekenis en Claims

Het artikel claimt dat autoregressieve policies een concurrerende en levensvatbare keuze zijn voor real-time robotcontrole, mits de inferentie-latentie wordt beheerd via specifieke architecturale en decoding-strategieën.

Herwaardering van de Trade-off: De auteurs stellen dat het vakgebied te veel de nadruk heeft gelegd op het verminderen van de inferentie-latentie (om reactiviteit te waarborgen) ten koste van de robuustheid en generaliseerbaarheid van de policy. Hun resultaten suggereren dat een iets hogere, maar begrensde latentie, gecombineerd met de generalisatiecapaciteiten van autoregressieve modellen, betere resultaten oplevert dan lagere-latentie policies die deze capaciteiten missen.
Native Support: De bevindingen motiveren het pretrainen van autoregressieve policies om native real-time executie te ondersteunen, in plaats van hen als secundair aan diffusie-gebaseerde benaderingen te behandelen.
Beperkingen: De auteurs merken bescheiden op dat hun experimenten momenteel beperkt zijn tot single-arm, relatief statische tabletop omgevingen. Het uitbreiden naar bimanuele of zeer dynamische taken zou het decoderen van meer tokens vereisen, wat striktere latentiebeperkingen oplegt die verdere architecturale innovaties (bijv. speculative decoding) noodzakelijk kunnen maken.

Concluderend stelt het werk vast dat met asynchrone inferentie, aanpassing van de tokenisatiehorizon en constrained decoding, autoregressieve policies de prestaties van hun diffusie-gebaseerde tegenhangers in real-time robotische deployment kunnen evenaren of zelfs overtreffen, waarbij ze profiteren van hun superieure instructie-opvolging en convergentie-eigenschappen.