Technische Samenvatting: TempoVLA

Probleemstelling

Bestaande Vision-Language-Action (VLA) modellen voor robotmanipulatie erven een enkele, vaste executiesnelheid uit hun trainingsdemonstraties. Deze rigiditeit is een aanzienlijke beperking omdat real-world manipulatietaken afwisselen tussen risicoarme transitiefases (die snelle uitvoering vereisen) en risicovolle contactfasen (die langzame, precieze beweging vereisen). Huidige inspanningen om de executiesnelheid te wijzigen — zoals modelcompressie, KV-cache hergebruik of reinforcement learning — verschuiven de policy meestal naar een andere vaste snelheid in plaats van expliciete, on-demand controle mogelijk te maken. Bovendien richten deze methoden zich bijna uitsluitend op acceleratie, terwijl deceleratie (essentieel voor precisie-insertie en fragiele overdrachten) grotendeels onontdekt blijft. De kernuitdaging is om een enkele VLA uit te rusten met expliciete, bidirectionele snelheidscontrole zonder de basisarchitectuur vanaf nul opnieuw te trainen of nieuwe data te verzamelen.

Methodologie

De auteurs stellen TempoVLA voor, een framework dat een enkele VLA-policy in staat stelt taken uit te voeren op variabele snelheden die worden gecontroleerd door een expliciete scalaire conditie $s$. De aanpak bestaat uit twee gekoppelde componenten: een data-zijde augmentatiestrategie en een model-zijde conditioneringsmechanisme.

1. Variabele-Snelheid Traject Augmentatie (VSTA)

VSTA is een online data-augmentatiestrategie die elke bestaande demonstratie her-tijdt naar een doel snelheid $s$ terwijl de bewegingssemantiek behouden blijft. Het werkt in drie stappen:

• Bewegingsconsistente Segmentatie: Demonstraties worden gesegmenteerd op basis van bewegingsmodi (stilstaand, vertalen, roteren, of vertalen-en-roteren) en gripper-events. Grenzen worden geplaatst bij moduswijzigingen of richtingomkeringen om semantische consistentie te waarborgen.
• Chunk-Level Snelheidstransformatie: Binnen elk segment wordt de doel snelheid $s$ gerealiseerd door $q$ bronframes te mappen naar $p$ outputframes ($s = q/p$). De totale beweging $\Delta$ van een chunk wordt geaccumuleerd en vervolgens opnieuw verdeeld in $p$ gelijke stappen via lineaire interpolatie. Dit behoudt de geïntegreerde beweging van de chunk terwijl de binnen-chunk trajectvorm verandert. Deze operatie is geldig voor actieruimtes die gesloten zijn onder optelling (bijv. Cartesiaanse translaties, gewrichtssnelheden en as-hoek vectoren).
• Online Chunk-Start Sampling: Om te voorkomen dat observaties tijdens het her-tijdingproces verloren gaan, wordt de startoffset van chunks voor elke trainingssample gerandomiseerd. Dit zorgt ervoor dat gedurende de training elk bronframe uiteindelijk als een geldige chunk-start dient en bijdraagt aan het trainingssignaal.

2. Snelheid Conditioneringsmechanisme

De policy $\pi_\theta(o_t, s)$ wordt getraind op de geaugmenteerde dataset waarbij de snelheidsschaal $s$ wordt gevoerd als een expliciete conditionering input. Het artikel evalueert drie lichtgewicht injectieschema's:

• Textuele Prefix: Het toevoegen van een zin (bijv. "Voer de taak uit op 1.5x snelheid") aan de taalinstructie.
• Speed-Modulated RMSNorm: Het gebruik van een kleine MLP om $s$ te embedden en dit toe te voegen aan de timestep embedding, die vervolgens de RMSNorm van de action expert lagen moduleert.
• Soft Prompt met Speed Anchors: Het invoegen van leerbare soft-prompt tokens die overeenkomen met discrete snelheid-ankers in de encoder input.

Experimenten wijzen uit dat snelheidscontrole kan worden geïnjecteerd met minimale engineeringinspanning en grotendeels onafhankelijk is van het specifieke conditioneringsmechanisme, waarbij de tekstuele prefix wordt gekozen als de standaard vanwege de eenvoud en flexibiliteit.

3. Dynamische Snelheidscontrole met VLM Scheduler

Buiten vaste commando's ondersteunt TempoVLA automatische dynamische snelheidsplanning wanneer het wordt gekoppeld aan een hoogwaardig Vision-Language Model (VLM). De VLM observeert de scène en stuurt per-chunk snelheidscommando's uit, waardoor het systeem kan versnellen tijdens laag-risico transit en kan vertragen tijdens hoog-risico contactfasen zonder menselijke tussenkomst.

Belangrijkste Resultaten

Simulatie (LIBIO Benchmark)

• Haalbaarheid: VSTA genereert succesvol uitvoerbare demonstraties over een reeks snelheden (0.5x tot 2x) met verwaarloosbare bewegingsfout ($< 5 \times 10^{-8}$).
• Prestatiewinst: Trainen met VSTA verbetert de standaard 1x succesrate vergeleken met een single-speed baseline. De piekprestaties treden vaak op bij gemiddelde snelheden (1.25x of 1.5x), wat suggereert dat de compressie van "ritme-padding" in teleoperatie-data door VSTA leidt tot meer besluitvaardige uitvoering.
• Granulariteit: Fijnere snelheidsgranulariteit in training (bijv. een 7-snelheidsbereik) levert betere prestaties op over alle snelheden vergeleken met grovere bereiken.
• Limieten: Bij extreme snelheden (bijv. 4x) neemt de prestatie af door het onvermogen van de low-level controller om grote actiemagnitudes binnen een enkel controle-interval te volgen, niet door policy-falen.

Real-World Experimenten

• Setup: Geïmplementeerd op een 7-DoF Franka arm met een parallelle gripper over vijf taken (pick-and-place en manipulatie van vervormbare objecten).
• Succesrate: VSTA verhoogde de standaard 1x succesrate van 80.0% (baseline) naar 88.0%.
• Dynamische Planning: Wanneer gekoppeld aan een GPT-4o scheduler, bereikte het systeem een gemiddelde succesrate van 96%, wat beter is dan de beste fixed-speed configuratie. De scheduler identificeerde correct de fasen (vrije ruimte versus contact) en paste de snelheden aan, hoewel deze conservatief bleef en zelden de maximale 1.5x snelheid aanriep.
• Gerealiseerde Snelheid: De gerealiseerde executiesnelheid volgde de gecommandeerde snelheden nauwgezet (bijv. 1.29x gerealiseerd voor 1.25x commando), wat de getrouwe vertaling van policy-voorspellingen naar hardware-executie bevestigt.

Betekenis en Claims

Het artikel claimt dat TempoVLA een lichtgewicht, plug-and-play oplossing biedt voor bidirectionele snelheidscontrole in bestaande VLA's. De primaire bijdragen zijn:

1. Bidirectionele Controle: Het maakt zowel acceleratie als deceleratie mogelijk vanuit een enkele policy, waarmee een gat wordt gedicht in eerder werk dat zich vooral op acceleratie richtte.
2. Data-efficiëntie: Het bereikt dit zonder nieuwe dataverzameling, door VSTA te gebruiken om bestaande demonstraties te her-tijden.
3. Impliciete Augmentatie: Het proces van het her-tijden van data fungeert als een effectieve augmentatie die de standaard 1x prestatie verbetert, waardoor de policy wordt gedwongen fijnere object- en doelbewuste features te leren in plaats van vaste observatie-naar-magnitude mappings te memoriseren.
4. Dynamische Planning: Het demonstreert dat executiesnelheid kan dienen als een nieuw controlekanaal voor high-level reasoners (VLM's), waardoor fase-bewuste uitvoering mogelijk wordt waarbij de robot autonoom een balans vindt tussen snelheid en precisie.

De auteurs benadrukken dat hoewel de policy zelf een breed scala aan snelheden ondersteunt, de bovengrens van de gerealiseerde snelheid wordt bepaal door de tracking-bandbreedte van de low-level controller, wat suggereert dat toekomstig werk zou kunnen bestaan uit het co-tunen van de controller om de snelheid-controle envelop van de policy volledig te benutten.