💻 computer science

How Fast Can I Run My VLA? Demystifying VLA Inference Performance with VLA-Perf

Dit paper introduceert VLA-Perf, een analytisch prestatiemodel dat de eerste systematische studie van de VLA-inferentieprestaties mogelijk maakt om praktische richtlijnen te bieden voor het ontwerpen van toekomstige Vision-Language-Action-modellen en -systemen die voldoen aan real-time eisen.

Oorspronkelijke auteurs: Wenqi Jiang, Jason Clemons, Karu Sankaralingam, Christos Kozyrakis

Gepubliceerd 2026-02-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenqi Jiang, Jason Clemons, Karu Sankaralingam, Christos Kozyrakis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die niet alleen kan kijken en praten, maar ook daadwerkelijk dingen kan doen in de echte wereld. Denk aan een robotarm die een kopje koffie oppakt, of een humanoïde robot die door je huis loopt. Deze robots gebruiken speciale hersenen die we VLA-modellen (Vision-Language-Action) noemen. Ze zien iets, begrijpen wat er gezegd wordt, en beslissen wat ze moeten doen.

Het probleem? Deze robots moeten snel zijn. Als je een robot vraagt om een glas te vangen, mag hij niet 5 seconden nadenken voordat hij beweegt. Hij moet reageren als een mens: direct.

De onderzoekers van NVIDIA hebben zich afgevraagd: "Hoe snel kunnen deze robot-hersenen eigenlijk denken, en wat moeten we doen om ze snel genoeg te maken?" Om dit uit te zoeken, hebben ze een nieuw gereedschap bedacht: VLA-Perf.

Hier is de uitleg van hun bevindingen, vertaald naar alledaagse taal:

1. Het Probleem: De "Rekenmachine" vs. De "Bode"

Stel je een VLA-robot voor als een chef-kok (het model) die in een keuken staat.

De Chef (Het Model): Hij moet een recept lezen (taal), kijken naar de ingrediënten (beelden) en dan een gerecht bereiden (actie).
De Keuken (De Hardware): Soms staat de chef in een kleine keuken op de robot zelf (een kleine computer). Soms staat hij in een gigantisch, superkrachtig keukenlaboratorium ver weg (een datacenter in de cloud).
De Bode (Het Netwerk): Als de chef ver weg staat, moet een bode de foto's van de ingrediënten naar de chef brengen en het recept terugbrengen.

De onderzoekers ontdekten dat het niet alleen gaat om hoe slim de chef is, maar ook om waar hij staat en hoe snel de bode rijdt.

2. De Grote Ontdekkingen (De 15 Tips in het Kort)

De onderzoekers hebben met hun gereedschap (VLA-Perf) duizenden scenario's doorgerekend. Hier zijn de belangrijkste lessen, vertaald:

Over de Chef zelf (Het Model)

Groter is niet altijd beter: Als je de chef een brein geeft dat 100 keer groter is, wordt hij niet 100 keer slimmer, maar wel 100 keer trager. Voor een robot die snel moet reageren, is een kleinere, slimmerde chef vaak beter dan een gigantische, langzame.
De "Denk-tijd" (Denoising): Sommige robots gebruiken een methode waarbij ze een actie eerst "schetsen" en dan steeds verbeteren (zoals een schilder die een schilderij verfijnt). Elke keer verfijnen kost tijd. De onderzoekers ontdekten dat je dit aantal verfijningen drastisch kunt verlagen zonder dat de robot dom wordt. Minder verfijningen = veel sneller.
Voorspellen in blokken: In plaats van één beweging per keer te bedenken, kunnen robots een blok van 50 bewegingen in één keer bedenken. Dit lijkt veel werk, maar het is eigenlijk heel efficiënt. Het is alsof je niet één woord per seconde schrijft, maar een heel zinnetje in één keer. Dit maakt de robot veel sneller.

Over de Keuken (De Hardware)

De krachtige keuken wint: Een robot met een kleine computer aan boord (zoals een Jetson Thor) is vaak te traag voor de zware taken. Een krachtige computer in een server (zoals een B100) is veel sneller. Zelfs als de server ver weg staat, is hij vaak sneller dan de kleine computer op de robot, mits de verbinding goed is.
De "Bode" is cruciaal: Als de chef in de cloud zit, is de snelheid van de bode (internet) allesbepalend.
- Met glasvezel (Ethernet) is de bode supersnel. De chef in de cloud is dan sneller dan de chef op de robot.
- Met 4G/5G of slecht WiFi is de bode traag. Dan is het beter om de chef gewoon op de robot te zetten, zodat hij niet hoeft te wachten op de bode.
Samenwerken werkt vaak slecht: Je zou denken: "Laten we de zware denkwerk doen in de cloud en de snelle bewegingen op de robot zelf doen." De onderzoekers zeggen: Nee. Het heen en weer sturen van gegevens (de "bode" die heen en weer rent) kost meer tijd dan het gewoon op één plek doen. Tenzij je een supersnel glasvezelnetwerk hebt, is deze samenwerking vaak traag.

Over de Snelheid (Asynchronie)

De "Oude" foto: Soms wacht de chef niet tot hij de nieuwste foto heeft, maar gebruikt hij een foto van een seconde geleden. Dit klinkt gek, maar het werkt! Terwijl de robot beweegt, denkt de chef alvast na over de volgende stap. Dit noemen ze asynchrone inferentie.
- Voorbeeld: Stel je voor dat je een bal vangt. Je ogen kijken naar de bal, maar je brein bereidt de vangbeweging al voor terwijl de bal nog in de lucht is. Door dit te doen, kan de robot veel sneller reageren, zelfs als het internet traag is.

3. Wat betekent dit voor de toekomst?

De onderzoekers geven ons een blauwdruk voor hoe we robots in de toekomst moeten bouwen:

Voor snelle robots (100 keer per seconde): We hebben superkrachtige servers nodig in de cloud, een heel snel internet (zoals WiFi 7 of glasvezel), en we moeten de robots leren om "in blokken" te denken en niet te perfect te zijn in elke stap.
Voor gewone robots (10 keer per seconde): Een goede computer op de robot zelf is vaak genoeg, of een server in de buurt met een redelijke internetverbinding.
De balans: Er is geen "one size fits all". Als je een robot wilt die een auto bestuurt, moet hij misschien lokaal zijn (geen internet nodig). Wil je een robot die een hele fabriek beheert? Dan kun je beter gebruikmaken van de krachtige computers in de cloud.

Conclusie

Deze paper is als een reisgids voor robotbouwers. Hij vertelt je niet alleen welke auto (model) je moet kopen, maar ook of je die auto op een racebaan (datacenter) of in de stad (op de robot zelf) moet rijden, en of je een snelle weg (internet) nodig hebt om op tijd aan te komen.

Kortom: Om robots echt slim en snel te maken, moeten we niet alleen slimmere algoritmes bedenken, maar ook slimme keuzes maken over waar die algoritmes draaien en hoe ze met elkaar praten.

Probleemstelling

Vision-Language-Action (VLA) modellen hebben indrukwekkende prestaties geleverd in embodied AI-taken (zoals robotica), maar het ontbreekt aan een grondig begrip van de inference-performance landschap voor deze modellen. Het deployen van VLA-modellen op echte robots vereist strikte real-time constraints (lage latentie), maar de prestaties worden bepaald door een enorme combinatorische ruimte van:

Modelarchitecturen: Variërend in grootte, type (autoregressief vs. diffussie), contextlengte en asynchroniteit.
Inference-systemen: Variërend van on-device edge-GPU's tot cloud-servers, inclusief netwerkcondities (bedraad vs. draadloos).

Bestaande werken focussen vaak op specifieke implementaties, waardoor er geen algemene richtlijnen zijn voor het ontwerpen van VLA-modellen en systemen die real-time inferentie (10–100 Hz) kunnen garanderen.

Methodologie: VLA-Perf

Om deze complexiteit te doorgronden, introduceren de auteurs VLA-Perf, een analytisch performance-model gebaseerd op het Roofline-model.

Functie: Het model voorspelt de optimale inference-latentie en doorvoer (throughput) voor willekeurige combinaties van VLA-modellen en inference-systemen zonder dat fysieke systemen nodig zijn.
Input: Het model neemt parameters mee zoals modelgrootte, architectuurkeuzes (bijv. aantal denoising-steps, chunk-grootte), hardware-specificaties (FLOP/s, geheugenbandbreedte) en netwerkkarakteristieken (bandbreedte, latentie).
Berekening: De totale latentie ( $T_{total}$ $T_{t o t a l}$ ) wordt berekend als de som van de inference-latentie van modelcomponenten (Vision Encoder, VLM Backbone, Action Expert) en de data-overdrachts-latentie (lokaal of over het netwerk).
- Operator-latentie wordt geschat via: $T_o = \max(\frac{FLOPS}{PeakFLOPS}, \frac{Bytes}{MemBW})$ .
Validatie: Het model is gevalideerd tegen echte metingen van het $\pi_0$ -model op een RTX 4090, waarbij een nauwkeurigheid van 73% tot 82% van de theoretische bovengrens werd bereikt.

Belangrijkste Bijdragen en Resultaten

De auteurs hebben een systematische studie uitgevoerd en 15 kerninzichten (takeaways) geformuleerd, die in vier categorieën kunnen worden onderverdeeld:

1. Modelontwerp en Schaling

Lineaire schaling: De latentie van VLA-componenten schaalt lineair met de modelgrootte.
Hardware-grenzen: Datacenter-GPU's (zoals NVIDIA B100) kunnen real-time inferentie (9,6 Hz) handhaven zelfs voor zeer grote modellen (81B parameters), terwijl edge-GPU's (Jetson Thor) al vastlopen bij modellen van ~16B parameters.
Long-context: Datacenter-GPU's kunnen contexten van 1.000 tijdstappen real-time verwerken. Edge- en consumer-GPU's zijn beperkt tot ongeveer 100 stappen vanwege geheugenbandbreedte-beperkingen.
Denoising-steps vs. Chunk-grootte: Het aantal denoising-steps heeft een grote impact op de latentie (lineair), terwijl de grootte van de action chunk (aantal voorspelde acties) een verwaarloosbaar effect heeft. Dit komt omdat actie-predicatie vaak geheugengebonden (memory-bound) is, niet rekgebonden.

2. Architecturale Keuzes

Diffusie vs. Autoregressief: Diffusie-gebaseerde VLA's zijn 10 tot 100 keer sneller dan standaard autoregressieve modellen (die token voor token genereren) wanneer action chunking wordt gebruikt.
Parallelle decoding: Autoregressieve modellen worden pas concurrerend bij zeer kleine actie-dimensies of wanneer parallelle decoding wordt ingeschakeld, maar zelfs dan presteren diffusiemodellen vaak beter bij grotere chunks.

3. Deploymentsstrategie (On-Device vs. Server)

Server-side superioriteit: Server-side inference (zelfs met consumer-GPU's zoals RTX 4090) presteert in de meeste scenario's aanzienlijk beter dan on-device inference (Jetson Thor), tenzij de netwerkcondities extreem slecht zijn.
Device-Server Collaboratie: Het splitsen van het werk (VLM op server, Action Expert op device) is meestal trager dan puur on-device of puur server-side uitvoering. De overhead van het downloaden van de KV-cache naar het apparaat via het netwerk is vaak te groot, vooral bij draadloze verbindingen.
Netwerk impact: Voor server-side inference is de netwerkkwaliteit cruciaal. Bedrade verbindingen (Ethernet) of WiFi 7 zijn nodig voor hoge frequenties; 4G/5G introduceert vaak te veel latentie voor real-time reactie zonder asynchroniteit.

4. Asynchroniteit en High-Performance

Asynchrone inference: Het overlappen van inferentie en robot-executie (of netwerktransmissie) kan de doorvoer (throughput) aanzienlijk verhogen, vooral bij langzamere netwerken (tot 13x verbetering bij 4G). Dit verlaagt echter niet de eind-tot-eind latentie per se, maar verhoogt de frequentie waarmee acties worden gegenereerd.
Dual-system pipelines: Een systeem met een langzaam "System 2" (VLM voor redenering) en een snel "System 1" (actie-model) kan prestaties verbeteren, maar de winst is sterk afhankelijk van hardware en netwerk. Bij langzame netwerken verdwijnt de winst.
100 Hz doel: Om 100 Hz te bereiken:
- On-device: Vereist modeloptimalisaties (kleiner maken, minder steps).
- Edge-server: Vereist krachtige datacenter-GPU's en snelle netwerken.
- Cloud-server: Vereist bijna altijd asynchrone inferentie, omdat netwerklatentie de 100 Hz drempel blokkeert bij synchrone modus.

Significantie en Toekomstperspectief

Dit paper vult een kritieke kennislacune op door het eerste systematische overzicht te bieden van de VLA-inference-performance landschap.

Praktische Gids: De 15 inzichten bieden concrete richtlijnen voor onderzoekers en ingenieurs om VLA-modellen en systemen te ontwerpen die voldoen aan real-time eisen.
Tooling: De open-source release van VLA-Perf stelt de gemeenschap in staat om toekomstige model- en systeemontwerpen snel te evalueren zonder kostbare hardware-tests.
Toekomst: De auteurs wijzen erop dat toekomstig werk zich moet richten op andere embodied AI-domeinen (zoals autonoom rijden) en de integratie van sensor- en actuator-latentie in de performance-modellen, aangezien dit paper zich puur op de inference-kant richtte.

Kortom, het paper concludeert dat real-time VLA-inference haalbaar is, maar dat de keuze van hardware, netwerk, modelarchitectuur en asynchrone strategieën kritisch afgewogen moeten worden om de latente eisen van fysieke robots te halen.