🤖 AI

Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving

Dit artikel introduceert een asynchrone fast-slow architectuur voor closed-loop rijden die een bevroren vision-language backbone (draaiend op 5 Hz) ontkoppelt van een lichtgewicht action expert (draaiend op 20 Hz) via een gecachte representatie, waardoor compromissen in controlelatentie worden geëlimineerd en de routevoltooiings- en veiligheidsmetrieken aanzienlijk worden verbeterd ten opzichte van frame-skipping baselines.

Oorspronkelijke auteurs: Yun Li, Jiachen Gong, Simon Thompson, Ehsan Javanmardi, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada

Gepubliceerd 2026-07-20

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yun Li, Jiachen Gong, Simon Thompson, Ehsan Javanmardi, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotauto probeert te leren zelf rijden met een superintelligent brein dat kaarten kan lezen, verkeersborden begrijpt en zelfs met je kan kletsen over waar je naartoe gaat. Dit is de wereld van Vision-Language-Action (VLA) modellen. Zie deze modellen als een enorme bibliotheek aan kennis gecombineerd met een camera en een set stuurinstructies. Ze zijn erg goed in het begrijpen van complexe situaties—zoals "sla linksaf na het rode huis, maar alleen als het licht op groen staat"—maar ze zijn ook ongelooflijk zwaar en traag in hun denken.

Stel je nu voor dat je een echte auto bestuurt. De auto wacht niet op jou om na te denken; de auto moet elke seconde wel 20 keer (20 Hz) kleine aanpassingen maken aan het stuur en het gaspedaal om in de rijstrook te blijven en botsingen te vermijden. Als het brein van de auto te lang nodig heeft om na te denken, zal de auto uit de koers raken of crashen voordat de volgende gedachte arriveert. Het grote probleem waar wetenschappers mee te maken hebben gehad, is een mismatch: het "slimme" brein is te traag om het tempo bij te houden van de "snelle" reflexen die nodig zijn voor het rijden. Om dit te omzeilen, moesten eerdere systemen een vreemd spelletje spelen van "wachten, en dan gokken", waarbij de auto een beslissing nam en vervolgens diezelfde beslissing enkele seconden lang bleef herhalen terwijl het brein de tijd inhaalde. Dit betekende dat de auto vaak reed op oude informatie, waarbij de situatie die zich recht voor de auto afspeelde werd genegeerd.

Dit artikel introduceert een slimme nieuwe manier om deze mismatch op te lossen, genaamd een Fast-Slow Architecture. In plaats van de trage, zware hersenen alles te laten doen, hebben de onderzoekers de taak verdeeld in twee rollen. Ze hebben een "Slow System" (het grote brein met 7 miljard parameters) dat fungeert als een wijze bibliothecaris. Deze leest de lange geschiedenis van de rit en de navigatie-instructies, maar werkt zijn aantekeningen slechts elke paar seconden bij. Cruciaal is dat het een "standing representation" van de wereld bijhoudt—een gecachte samenvatting van alles wat het tot nu toe heeft gezien—die klaarstaat om gebruikt te worden. Vervolgens hebben ze een "Fast System" (een piepkleine, lichte expert met 337 miljoen parameters) dat fungeert als een reflexmatige bestuurder. Deze snelle expert pakt de gecachte aantekeningen van de bibliothecaris en het allernieuwste camerabeeld elke 50 milliseconden (20 keer per seconde) om directe stuurdecisies te nemen.

De onderzoekers testten dit systeem in een computersimulatie genaamd CARLA. Ze ontdekten dat de auto door deze gesplitste aanpak bij elke tik van de klok verse, actuele beslissingen kon nemen, in plaats van stappen over te slaan. De resultaten waren spectaculair: terwijl de oude methode (die frames moest overslaan) slechts 37% van de testroutes voltooide, voltooide dit nieuwe fast-slow systeem er 94%. Het verminderde ook de overtredingen van rode verkeerslichten met een derde. Het team toonde aan dat de "snelle" expert slim genoeg was om om te gaan met het feit dat de aantekeningen van de "trage" bibliothecaris licht verouderd waren (een concept dat ze "staleness" noemen), omdat ze de expert hadden getraind om precies die vorm van vertraging te verwachten. Kortom, ze bewezen dat je niet het hele brein sneller hoeft te maken; je moet alleen een snelle assistent laten het zware werk doen met de gecachte wijsheid van het trage brein, waardoor de auto veilig en vloeiend in realtime kan rijden.

Technische Samenvatting: Asynchrone Snelle-Langzame Visie-Taal-Actie Inferentie voor Closed-Loop Rijden

Probleemstelling

Grote Visie-Taalmodellen (VLM's) hebben instructievolging en scène-redenering geïntroduceerd in end-to-end autonoom rijden. Echter, hun hoge inferentie-latentie creëert een fundamenteel conflict met de control rates die vereist zijn voor closed-loop rijden (typisch 20 Hz, of 50 ms tikken). Bestaande agenten, zoals LMDrive, lossen dit op door simulatie-tikken over te slaan: het model draait op alternatieve tikken, en het vorige commando wordt tussentijds herhaald. Deze "frame-skipping" aanpak betekent dat het voertuig handelt op basis van verouderde beslissingen gedurende 50–100 ms, waarbij de meest recente observaties worden genegeerd. De auteurs stellen dat dit een architecturale beperking is en geen fundamentele, aangezien instructie-begrip en temporele aggregatie traag veranderen, terwijl het mappen van de huidige frame naar een traject snel moet gaan.

Methodologie

Het paper stelt een Fast-Slow Asynchrone Architectuur voor die de zware redenering van de VLM ontkoppelt van de hoogfrequente control loop.

Systeemdecompositie:
- Traag Systeem (De Backbone): Een bevroren 7B LLaMA backbone (gebaseerd op LMDrive) fungeert als het trage systeem. Het verwerkt navigatie-instructies en visuele historie op een lage frequentie (bijv. elke $K=4$ tikken). Cruciaal is dat het zijn per-layer Key-Value (KV) cache blootstelt als een staande representatie van de scène. De backbone voegt nieuwe visuele tokens toe aan deze cache via een incrementele forward pass en herbouwt de cache alleen volledig bij specifieke invalidatie-events (instructiewijziging, einde episode, of window cap).
- Snel Systeem (De Actie-expert): Een lichtgewicht, 337M-parameter transformer fungeert als het snelle systeem. Het draait bij elke simulatie-tik (20 Hz). Het voert cross-attention uit op de gecachte KV-states van de backbone op elk layer, terwijl het de huidige cameraframe en een ego-state token (bevatten vorige voorspellingen en snelheid) verwerkt. Het regresseert vijf waypoints in een enkele forward pass. De backbone besteedt nooit aandacht aan de tokens van de expert, wat ervoor zorgt dat de cache identiek blijft, ongeacht of de expert draait of niet.
Staleness-Augmented Training (Op basis van veroudering uitgebreide training):
Omdat de cache tijdens de inzet (deployment) tot maximaal $K$ tikken achterloopt op de huidige wereldstatus, moet de expert leren opereren op verouderde context. De auteurs introduceren randomized staleness tijdens de training: voor elke sample wordt een willekeurige vertraging $\delta$ toegepast, waarbij de door de expert zichtbare backbone-prefix wordt gemaskeerd zodat deze eindigt bij een eerdere frame ( $j - \delta$ ). Dit dwingt de expert om een verouderde scène-samenvatting te fuseren met verse per-tick bewijslast, waardoor de trainingsdistributie wordt afgestemd op de asynchrone deployment-realiteit.
Asynchrone Deployment:
De agent houdt de backbone cache aan als een mutable state. Elke $K$ tikken werkt het trage systeem de cache bij. Bij elke tik gebruikt het snelle systeem de bestaande cache en de huidige frame om controle te genereren. Dit stelt het systeem in staat om frisse controle uit te voeren bij 20 Hz met een per-tick kosten die onafhankelijk is van de historielengte.

Belangrijkste Bijdragen

Asynchrone Fast-Slow Inferentie-methode: Een nieuwe architectuur die de VLM backbone transformeert in een gecachte, incrementeel bijgewerkte context-provider, waarbij alle per-tick berekeningen naar een lichtgewicht expert worden verplaatst.
Staleness-Augmented Training: Een trainingsstrategie die de cache-lag in asynchrone deployment expliciet simuleert, waardoor de expert in staat wordt gesteld de verouderde context te compenseren.
Eerste Closed-Loop Evaluatie met Gemeten Latentie: De eerste demonstratie van een fast-slow VLA paradigma dat volledige control rates bereikt op consumentenhardware (RTX 3090 Ti) met gemeten latentie, bewegend voorbij open-loop benchmarks waar latentie slechts wordt geregistreerd.

Experimentele Resultaten

Geëvalueerd op de LangAuto-Short benchmark in CARLA (Town 05) en zero-shot transfer naar onbekende steden:

Route Voltooiing: Het systeem verhoogde de route voltooiing van 37,0% naar 94,0% vergeleken met de frame-skipping baseline.
Driving Score: De driving score verbeterde van 28,8 naar 32,9.
Ablatie van Factoren:
- Expert Kwaliteit: Het draaien van dezelfde expert op de 10 Hz (frame-skipping) rate van de baseline verbeterde de driving score naar 34,0, wat aangeeft dat de expert zelf de besluitvormingskwaliteit verbetert.
- Control Freshness: Het bewegen van 10 Hz naar 20 Hz (frisse controle bij elke tik) verhoogde de route voltooiing van 82,1% naar 94,0%, verminderde route-afwijkingen met meer dan de helft en verlaagde rode licht overtredingen met een derde.
Latentie: De legacy aanpak (volledige herberekening) kost 89–169 ms per stap, wat het budget van 50 ms overschrijdt. De voorgestelde methode behoudt een vlakke per-tick kosten van 32 ms (32,4 ms model compute), ongeacht de historielengte, wat comfortabel binnen het budget van 50 ms past.
Open-Loop Nauwkeurigheid: De expert reduceerde de waypoint L1-error van 0,123 (frozen backbone head) naar 0,031, een verbetering van bijna een factor vier.
Zero-Shot Transfer: Getraind op enkel Town 05, behaalde de expert 84,3% voltooiing op Town 01 en 94,4% op Town 02, wat de baseline (respectievelijk 40,5% en 30,7%) aanzienlijk overtreft.
Beperkingen: Op lange routes in Town 03 (niet gezien tijdens training), voltooide het systeem 85,4% van de route maar leed het onder veiligheidsproblemen (botsingen, rode licht overtredingen) door een gebrek aan trainingsdata voor druk verkeer en gevaar op de lange termijn.

Betekenis en Claims

Het paper claimt dat het latentieprobleem in VLM-gebaseerd rijden architecturaal is, niet fundamenteel. Door de trage, redeneringsintensieve componenten te scheiden van de snelle, reactieve componenten, bereikt het systeem:

Frisse Controle: Het vermogen om te reageren op elke simulatie-tik zonder de redeneerkracht van een groot model op te offeren.
Schaalbaarheid: De per-tick kosten zijn onafhankelijk van de historielengte, wat langdurige redenering mogelijk maakt zonder de inferentietijd te verhogen.
Prestatiewinsten: De combinatie van een betere actie-expert en per-tick versheid verbetert de route voltooiing en veiligheidsmetrieken (minder afwijkingen en overtredingen) drastisch vergeleken met state-of-the-art frame-skipping baselines.

De auteurs benadrukken dat hoewel het systeem significante verbeteringen demonstreert in simulatie, het een simulatiestudie blijft getraind op korte routes. Ze waarschuwen dat het succes van de architectuur bij gevaar op de lange termijn wordt beperkt door de trainingsdata, en niet door de architectuur zelf, en dat het systeem nog niet klaar is voor echt wegverkeer.