Technische Samenvatting: Asynchrone Inferentiemethoden voor Vision-Language-Action Modellen Begrijpen

1. Probleemstelling

Vision-Language-Action (VLA) modellen zijn naar voren gekomen als een paradigma voor algemene robotbesturing, waarbij visuele waarnemingen en taalinstrucies worden gemapt naar acties. Moderne VLA-beleid gebruiken vaak actie-chunking, waarbij een reeks van $H$ toekomstige acties in één forward pass wordt voorspeld om inferentiekosten te amortiseren en cumulatieve fouten te verminderen. Echter, grote VLA-modellen lijden onder hoge inferentielatentie (tientallen tot honderden milliseconden).

Bij synchrone uitvoering stopt de robot tijdens de inferentie, waardoor de besturingsfrequentie wordt beperkt tot de inferentiesnelheid, wat onpraktisch is voor snel-reagerende taken. Naïeve asynchrone uitvoering ontkoppelt inferentie van uitvoering en schakelt over naar nieuwe chunks zodra deze arriveren. Dit introduceert echter drie faalmodi:

1. Discontinuïteit op chunk-grenzen: De nieuwe chunk is incompatibel met acties die reeds aan de robot zijn toegewezen.
2. Verouderde observaties: De nieuwe chunk is geconditioneerd op een observatie die $d$ stappen oud is (waarbij $d$ de inferentievertraging in besturingsstappen is).
3. Open-lus degradatie: Toegewezen acties kunnen zich niet aanpassen aan veranderingen in de omgeving tijdens de levensduur van de chunk.

Hoewel er vier methoden zijn voorgesteld om deze problemen te mitigeren—IT-RTC, TT-RTC, VLASH en A2C2—zijn ze ontwikkeld in incompatibele codebases met verschillende basisbeleidsregels en evaluatieprotocollen, waardoor directe vergelijking onmogelijk is.

2. Methodologie

De auteurs hebben twee geünificeerde codebases ontwikkeld (bt-kinetix in JAX/Flax en bt-libero in PyTorch/LeRobot) om alle vier methoden te integreren onder geharmoniseerde bibliotheken, datasets en basisbeleidsregels. Ze hebben deze methoden gebenchmarkt op:

• Kinetix: Een suite voor 2D continue besturing met 10 dynamische omgevingen, gebruikmakend van MLP-Mixer beleidsregels ($H \in \{16, 30\}$).
• LIBERO: Een 7-DoF manipulatiebenchmark met SmolVLA ($H=50$).

De evaluatie omvatte inferentievertragingen ($d$) tot 20 besturingsstappen (simulatie van real-world deploymentsscenario's variërend van lokale GPU's tot cloud-inferentie via 4G).

De Vier Vergelijkde Methoden

1. IT-RTC (Inference-Time Residual Correction via Training-free guidance): Een trainingsvrije aanpak die flow-matching guidance gebruikt. Het behandelt de eerste $d$ acties van een nieuwe chunk als bekende constraints en "inpaints" de resterende $H-d$ acties tijdens het denoising-proces met behulp van een pseudoinverse-guidance term. Het vereist geen hertraining, maar vereist een backward pass (VJP) per denoising-stap, wat de FLOPs per stap verdrievoudigt.
2. TT-RTC (Training-Time Residual Correction via Training-time delay simulation): Wijzigt het trainingsproces om het beleid te conditioneren op actie-voorvoegsels. Het beleid leert om alleen de niet-verouderde postfix-acties te voorspellen gegeven een toegewezen prefix. Het gebruikt een gemaskerde loss en niet-ruisachtige ground-truth prefixes tijdens training. Het introduceert zero inference overhead en is een drop-in vervanging voor IT-RTC.
3. VLASH (Vision-Language-Action State-aware Conditioning): Adresst verouderde observaties door de toekomstige staat van de robot op uitvoeringstijd te schatten met behulp van bekende vorige acties. Het beleid wordt geconditioneerd op deze "vooruitgerolde" staat in plaats van de verouderde observatie. Het hanteert temporal-offset training augmentation.
4. A2C2 (Asynchronous Action Correction via Correction head): Richt zich op open-lus degradatie. Het traint een lichtgewicht correctie-head die op elke besturingsstap draait en een residuale aanpassing ($\Delta a$) uitgeeft aan de verouderde acties van het basisbeleid. De head is geconditioneerd op de nieuwste observatie, basisbeleid-features en een tijd-in-chunk feature. Het is compositabel met andere methoden.

3. Belangrijkste Bijdragen

1. Geünificeerde Codebases: De creatie van bt-kinetix en bt-libero, die alle vier methoden integreren met geharmoniseerde dependencies, waardoor de eerste systematische vergelijking mogelijk wordt.
2. Systematische Benchmarking: Een uitgebreide evaluatie over twee verschillende benchmarks (Kinetix en LIBERO) met variërende chunk-groottes ($H$) en vertragingen ($d$ tot 20), die regime's bestrijkt die relevant zijn voor real-world deployment (bijv. edge servers, cloud-inferentie).
3. Praktische Inzichten: Analyse van de trade-offs tussen trainingskosten, inferentie-overhead en generalisatie voor out-of-distribution (OOD) vertragingen.

4. Resultaten

Kinetix Resultaten (MLP-Mixer, $H=16, 30$)

• Prestatie: A2C2 behaalde de hoogste absolute oplosrate bij bijna alle vertragingen, met een oplosrate van >90% tot $d=8$. TT-RTC was de meest robuuste op training gebaseerde methode, met stabiliteit over verschillende $d_{max}$-keuzes en goede generalisatie naar OOD-vertragingen.
• IT-RTC: Concurrerend bij lage vertragingen, maar degradeerde scherp bij lange chunks ($H=30$) en hoge vertragingen ($d > 8$), wat suggereert dat zijn lineaire VJP-benadering faalt naarmate de prefix-naar-postfix-verhouding groeit.
• VLASH: Vertoonde een trade-off die wordt bepaald door het fine-tuning vertragingbereik $[0, d_{max}]$. Een bredere $d_{max}$ verbeterde de robuustheid bij hoge vertragingen, maar schaade de nauwkeurigheid bij lage vertragingen.
• TT-RTC vs. VLASH: TT-RTC was grotendeels ongevoelig voor de keuze van $d_{max}$, terwijl VLASH zorgvuldige afstemming van $d_{max}$ vereiste op de verwachte deployment-vertraging.

LIBERO Resultaten (SmolVLA, $H=50$)

• Ranking Shift: De ranking keerde zich om ten opzichte van Kinetix bij hogere vertragingen. A2C2 werd de sterkste methode bij hoge vertragingen ($d \ge 4$), met een marge van ongeveer 10 punten boven de anderen.
• IT-RTC & TT-RTC: Beide degradeerden aanzienlijk naarmate de prefix-naar-postfix-verhouding toenam (door de langere chunk-grootte $H=50$). IT-RTC stortte in tot bijna-baseline prestaties boven $d=8$. TT-RTC, hoewel stabiel op Kinetix, zag aanzienlijke nauwkeurigheidsdalingen op LIBERO.
• VLASH: Variant met bredere $d_{max}$ ($8, 16$) bleef opmerkelijk stabiel over vertragingen. Opmerking: De auteurs benadrukken dat VLASH-resultaten op LIBERO vertrouwen op ground-truth toekomstige staten (geprivilegieerde informatie) vanwege mismatches in staat/actie-dimensies, dienend als een bovengrens voor deploybare varianten.
• Latentie: TT-RTC kwam overeen met de naïeve baseline's wall-clock latentie. IT-RTC veroorzaakte een latentietoename van ongeveer 16%. De residuale head van A2C2 voegde ongeveer 1,8% latentie toe bij seriële uitvoering.

Kostenanalyse

• Inferentie-overhead: IT-RTC verdrievoudigt de sequentiële denoising-loop FLOPs. A2C2 accumuleert overhead evenredig met het uitvoeringshorizon $s$ (bijv. 50 stappen op LIBERO), waardoor het per chunk duurder is dan IT-RTC op grote modellen, hoewel zijn residuale head op zichzelf lichtgewicht is.
• Trainingskosten: TT-RTC vereist een bescheiden fine-tune (~25% van de basiskosten op Kinetix). VLASH en A2C2 vereisen uitgebreidere training of hertraining.
• Break-even: Op LIBERO ligt het break-even punt waar de eenmalige trainingskosten van TT-RTC de terugkerende inferentie-overhead van IT-RTC overstijgt, bij ongeveer 2,9 miljoen episodes.

5. Betekenis en Claims

Het artikel beweert dat geen enkele methode alle settings domineert, en dat de optimale keuze afhangt van de specifieke deployment-beperkingen (chunk-grootte, verwachte vertraging, haalbaarheid van hertraining):

• Als hertraining onhaalbaar is en de vertraging laag is: IT-RTC is een zinvolle drop-in oplossing.
• Als fine-tuning mogelijk is en chunks kort zijn: TT-RTC biedt een bijna-vrije oplossing met zero inference overhead en robuuste OOD-generalisatie.
• In VLA-settings met lange chunks (bijv. SmolVLA): A2C2 is de meest betrouwbare keuze voor hoge vertragingen en composeert natuurlijk met andere methoden.
• VLASH: Blijft een sterke keuze mits een nauwkeurig forward state-model beschikbaar is en het deployment-vertragingbereik bekend is op het moment van fine-tuning.

De auteurs concluderen dat hun systematische vergelijking de trade-offs tussen deze methoden verduidelijkt, wat toekomstige VLA-ontwerp- en deploymentstrategieën informeert. Ze wijzen expliciet op beperkingen, waaronder de afhankelijkheid van oracle toekomstige staten voor VLASH op LIBERO en de aanname van vaste integer-vertragingen, wat suggereert dat real-world variabele latentie-omstandigheden delay-aware methoden zoals TT-RTC en A2C2 nog verder in het voordeel kunnen spelen.