Technische Samenvatting: Jetson-PI

Probleemstelling

Vision-Language-Action (VLA) modellen hebben een opmerkelijke prestatie geleverd bij belichaamde taken door gebruik te maken van vooraf getrainde Vision-Language Models (VLM's) en deze te finetunen op robotdemonstratie-datasets. Echter, het implementeren van deze modellen op krachtige onboard-apparaten met een laag vermogen (bijv. NVIDIA Jetson Orin) staat voor twee kritieke barrières:

1. Hoge Inferentie-latentie: De computationele complexiteit van VLA-modellen resulteert in een substantiële inferentie-latentie (bijv. 1,4s op Jetson Orin), wat leidt tot lage aansturingsfrequenties (0,7 Hz) en trage reactietijden.
2. Beperkingen van Bestaande Asynchrone Inferentie: Hoewel asynchrone inferentie (het paralleliseren van actie-executie met de volgende inferentie) latentie kan maskeren, introduceert dit twee specifieke problemen op edge-apparaten:
   • Perceptie-Executie Misalignement: Tegen de tijd dat een actie-chunk voorspeld en uitgevoerd wordt, is de omgeving geëvolueerd ten opzichte van de afbeelding die gebruikt werd voor de voorspelling. Deze misalignement verergert bij langere inferentietijden, waardoor de voorspellingsnauwkeurigheid daalt.
   • Lange Reactietijd: De reactiesnelheid van de robot blijft begrensd door de VLA-inferentietijd. Bovendien vereisen bestaande asynchrone methoden vaak grote actie-chunks om stabiliteit te behouden, wat de gemiddelde reactietijd op veranderingen in de omgeving verder verhoogt.

Het inzetten van VLA-modellen op high-end GPU's (bijv. RTX 4090) is geen levensvatbare oplossing voor mobiele robotica vanwege ernstige problemen met het stroomverbruik (het vermindert de batterijduur met 6,0×) en de noodzaak van netwerkconnectiviteit als ze als servers worden gedraaid.

Methodologie: Jetson-PI

De auteurs stellen Jetson-PI voor, een framework voor efficiënte VLA-implementatie op onboard-apparaten via Foresight-Aligned Asynchronous Correction. De methode pakt de geïdentificeerde uitdagingen aan via drie kerncomponenten:

1. Foresight-Aligned Asynchronous Correction

Om de perceptie-executie misalignement op te lossen, introduceren de auteurs een lichtgewicht Future Correction Module.

• Mechanisme: In plaats van alleen toekomstige afbeeldingen of robottoestanden te voorspellen, voorspelt deze module de toekomstige gecomprimeerde VLM-representatie (latente toestand) op tijdstip $t + \Delta$ (waarbij $\Delta$ de inferentie-latentie is), geconditioneerd op de acties die gecommitteerd zijn voor uitvoering.
• Training: Er wordt een tweestaps training-pipeline gebruikt. Eerst leert de actie-expert acties te voorspellen vanuit toekomstige verborgen toestanden. Ten tweede wordt de correctiemodule getraind om deze toekomstige toestanden te voorspellen vanuit de huidige toestand en gecommitteerde acties, waarbij een betrouwbaarheidsschatting (confidence estimate) wordt gegenereerd.
• Voordeel: Dit stelt de actie-expert in staat om acties te voorspellen op basis van de toekomstige omgevingstoestand in plaats van de verouderde observatie, waardoor de voorspelling wordt afgestemd op de uitvoeringstijd. De module is extreem lichtgewicht (40 miljoen parameters, ~1% van de totale VLA-omvang).

2. Confidence-Based Scheduling Optimization

Om de reactietijd te verminderen, stellen de auteurs een dynamische scheduling-strategie voor die de balans tussen VLM- en Actie-Expert-aanroepen optimaliseert.

• Logica: De Future Correction Module fungeert als een scheduler. Als de voorspelde betrouwbaarheid boven een drempelwaarde $\theta$ ligt, slaat het systeem de zware VLM-inferentie over en vertrouwt het uitsluitend op de Actie-Expert om opeenvolgende actie-chunks te genereren. Als de betrouwbaarheid daalt (wat duidt op hoge onzekerheid of significante omgevingsverandering), wordt de VLM aangeroepen om de KV-cache en verborgen toestanden bij te werken.
• Rationele: Dit voorkomt de "naïve" benadering van het parallel draaien van VLM en Actie-Expert, wat de auteurs naar aanleiding van hun onderzoek inefficiënt vinden op onboard-apparaten vanwege bandbreedte-contention (beide componenten worden bandbreedte-gebonden op edge-hardware, in tegen tegenstelling tot high-end GPU's waar de VLM compute-gebonden is).

3. Systeem-brede Acceleraties

De auteurs hebben een inferentie-framework gebouwd op basis van llama.cpp, specifiek afgestemd op VLA-kenmerken op edge-platforms:

• CUDA Graph Reuse: Omdat VLA-tokenlengtes deterministisch zijn (vaste beeldresolutie en korte instructies), wordt de CUDA-graph één keer geconstrueerd en hergebruikt, wat de overhead van grafische constructie elimineert.
• GPU-Resident Intermediate Buffering: Tussenliggende resultaten tussen componenten (ViT $\to$ LLM $\to$ Actie-Expert) worden in het GPU-geheugen gehouden om CPU-GPU communicatielatentie te vermijden.
• Flow Matching Unrolling: De iteratieve denoising-stappen van de Actie-Expert worden uitgerold naar een enkele verenigde computationele graaf, wat het aantal kernel-launch calls vermindert.

Belangrijkste Bijdragen

1. Identificatie van Edge-specifieke Uitdagingen: Het artikel benadrukt dat standaard asynchrone inferentie faalt op edge-apparaten door bandbreedte-contention en de specifieke aard van de perceptie-executie misalignement, die niet kan worden opgelost door enkel robottoestanden te voorspellen.
2. Foresight-Aligned Correction: Een nieuw module dat toekomstige VLM-latents voorspelt, geconditioneerd op gecommitteerde acties, waardoor de actie-expert kan opereren op toekomstige omgevingsrepresentaties.
3. Adaptieve Scheduling: Een op betrouwbaarheid gebaseerd mechanisme dat de frequentie van VLM-aanroepen dynamisch aanpast, wat de reactietijd aanzienlijk vermindert zonder nauwkeurigheid op te offeren.
4. Edge-Geoptimaliseerde Inferentie-engine: Een systeemontwerp dat gebruikmaakt van grafische hergebruik, geheugenresistentie en unrolling om de doorvoer op bandbreedte-beperkte apparaten te maximaliseren.

Experimentele Resultaten

De auteurs evalueerden Jetson-PI op de LIBERO benchmark (met behulp van het $\pi0.5$ model) en op echte robots (PrimeBot X2-W).

• Aansturingsfrequentie: Op NVIDIA Jetson Orin bereikt Jetson-PI een 8,66× verbetering in aansturingsfrequentie vergeleken met naïeve PyTorch-inferentie en een 5,41× verbetering vergeleken met vla.cpp.
• Succespercentage: Op de LIBERO benchmark presteert Jetson-PI met 14,8% een hogere gemiddelde succesratio dan de state-of-the-art asynchrone methode VLASH. Het behoudt een hoge nauwkeurigheid, zelfs wanneer de inferentie-latentie ($\Delta$) toeneemt, terwijl VLASH en RTC (Reinforced Trajectory Correction) significant verslechteren.
• Prestaties in de echte wereld: In experimenten in de echte wereld met complexe taken zoals het vouwen van kleding, behaalde Jetson-PI op een Jetson Orin prestaties die vergelijkbaar zijn met een RTX 4090-setup, met een verwaarloosbaar nauwkeurigheidsverlies ten opzichte van de high-end baseline.
• Latentie-analyse: Systeemoptimalisaties (grafische hergebruik, buffering, unrolling) verminderden de totale reactietijd van ~1,4s naar ~0,16s op Jetson Orin.

Betekenis en Claims

Het artikel claimt dat Jetson-PI een praktische oplossing biedt voor het implementeren van grootschalige VLA-modellen op laag-vermogen, batterij-bediende mobiele robots. Door de specifieke knelpunten van edge computing aan te pakken — namelijk bandbreedtebeperkingen en de temporele kloof tussen perceptie en uitvoering — maakt de methode hoogfrequente, responsieve robotbesturing mogelijk zonder de energiepenaliteiten van high-end GPU-clusters. De auteurs benadrukken dat hoewel onboard-platforms fundamenteel beperkt zijn vergeleken met GPU-clusters, Jetson-PI een levensvatbaar pad biedt om VLA-toepassingen uit te breiden van laboratoriumdemo's naar realistische, mobiele scenario's.