Adaptive Action Chunking at Inference-time for Vision-Language-Action Models

Titel: Adaptieve Actie Chunking bij Inference voor Vision-Language-Action (VLA) Modellen

1. Het Probleem

Vision-Language-Action (VLA) modellen zijn veelbelovend voor robotica, omdat ze robotbesturing kunnen genereren op basis van visuele input, taalopdrachten en proprioceptie. Een veelgebruikte techniek om de prestaties te verbeteren is actie chunking: het uitvoeren van een reeks acties (een "chunk") zonder tussentijds opnieuw te plannen. Dit vermindert cumulatieve fouten.

Echter, het kiezen van de juiste grootte voor deze chunk ($h$) is een kritiek dilemma:

• Te grote chunk: Vermindert de reactievermogen van de robot op nieuwe informatie (bijv. onverwachte obstakels), wat leidt tot traagheid.
• Te kleine chunk: Verhoogt de kans op "mode-jumping" (onstabiel gedrag) en haperingen door discontinuïteiten tussen opeenvolgende chunks, wat de temporele consistentie vermindert.

Huidige VLA-modellen (zoals GR00T N1.5, $\pi_0$, SmolVLA) gebruiken doorgaans een vaste, empirisch bepaalde chunk-grootte tijdens de inferentie. Dit is suboptimaal omdat de ideale grootte varieert per taak en zelfs binnen verschillende fasen van dezelfde taak (bijv. transporteren vs. grijpen). Bestaande adaptieve methoden vereisen vaak extra training, beloningssignalen (die in de echte wereld ontbreken), of handmatige tuning.

2. Methodologie: Adaptive Action Chunking (AAC)

De auteurs stellen Adaptive Action Chunking (AAC) voor, een strategie die uitsluitend tijdens de inferentie (runtime) werkt zonder extra training of architecturale wijzigingen.

Kernconcept:
AAC gebruikt actie-entropie als cue om de optimale chunk-grootte dynamisch te bepalen. Entropie meet de onzekerheid van de voorspellingen van het model:

• Hoge entropie: Het model is onzeker over de actie (lage kwaliteit). De strategie kiest een kleine chunk om vaker te herplannen en de reactie te verbeteren.
• Lage entropie: Het model is zeker van de actie (hoge kwaliteit). De strategie kiest een grote chunk om de temporele consistentie en efficiëntie te verhogen.

Technische Implementatie:

1. Entropieberekening: Voor elke tijdstap $i$ binnen een potentiële chunk wordt de entropie berekend voor zowel continue acties (translatie/rotatie, via Gaussische differentiaal-entropie) als discrete acties (bijv. gripper open/sluiten, via Shannon-entropie).
2. Parallelle Sampling: Om de waarschijnlijkheidsverdeling te schatten, genereert het model $N$ kandidaat-actie-chunks parallel.
3. Gemiddelde Entropie: De gemiddelde entropie $\overline{E}_h$ wordt berekend voor verschillende mogelijke chunk-groottes $h$.
4. Optimalisatie: De optimale chunk-grootte $h^*$ wordt bepaald door het punt te vinden waar het verschil in gemiddelde entropie tussen opeenvolgende chunk-groottes maximaal is ($\arg \max_h (\overline{E}_{h+1} - \overline{E}_h$)), met een ondergrens $\xi$ om te voorkomen dat de chunk te klein wordt voor efficiëntie.
   • Formule: $h^* = \max(\arg \max_h(\overline{E}_{h+1}-\overline{E}_h), \xi)$.

Dit proces gebeurt volledig tijdens de inferentie, wat zorgt voor robuustheid en schaalbaarheid.

3. Belangrijkste Bijdragen

• Analyse: Een grondige analyse van de beperkingen van vaste chunk-groottes in bestaande VLA-modellen, met bewijs dat de optimale grootte sterk afhankelijk is van de specifieke taak en fase.
• Algoritme: De ontwikkeling van AAC, een eenvoudige maar effectieve methode die actie-entropie gebruikt om chunk-groottes dynamisch aan te passen zonder extra training.
• Validatie: Uitgebreide experimenten in zowel gesimuleerde omgevingen (RoboCasa, LIBERO) als in de echte wereld, die aantonen dat AAC superieur is aan state-of-the-art alternatieven.

4. Resultaten

De methode werd getest op diverse benchmarks met als baseline GR00T N1.5 en $\pi_0$.

• Simulatie (RoboCasa & LIBERO):
  • AAC verbeterde de gemiddelde succesratio op de RoboCasa-benchmarks met 2,3% (van 59,7% naar 62,0%).
  • Op de LIBERO-benchmarks was de verbetering 0,9% (van 94,1% naar 95,0%), met name op de uitdagende "Long-horizon" taken (+4%).
  • De methode presteerde consistent beter dan vaste chunk-groottes (bijv. $h=2, 4, 8, 12, 16$), wat aantoont dat een universele vaste waarde niet optimaal is.
• Kwalitatieve Analyse:
  • De gekozen chunk-groottes volgen menselijke intuïtie: grote chunks tijdens het transporteren (coarse beweging) en kleine chunks tijdens kritieke manipulatiefasen (zoals grijpen of knoppen indrukken).
• Real-world Toepassingen:
  • In tests met een echte robot (Realman arm) verbeterde AAC de succesratio van 67,0% naar 82,0% (+15%).
  • Verbeterde veiligheid: AAC voorkomt botsingen door onzekere acties (hoge entropie) te filteren en de robot sneller te laten herplannen bij onverwachte situaties.
• Efficiëntie:
  • De extra rekentijd voor het berekenen van entropie met 20 samples is verwaarloosbaar (ongeveer 20 ms vertraging op een A800 GPU), wat de methode geschikt maakt voor real-time toepassing.

5. Betekenis en Impact

Dit paper introduceert een paradigmaverschuiving in hoe VLA-modellen worden ingezet voor robotica. In plaats van te vertrouwen op statische, handmatig getune hyperparameters, biedt AAC een dynamische, zelfregulerende mechanisme dat de trade-off tussen reactievermogen en consistentie optimaliseert op basis van de interne zekerheid van het model.

De belangrijkste implicaties zijn:

1. Geen extra training nodig: De methode is plug-and-play voor bestaande diffusion-based VLA-modellen.
2. Robuustheid: Het verbetert de prestaties in onvoorspelbare omgevingen (Out-of-Distribution) en bij complexe, langdurige taken.
3. Veiligheid: Door onzekerheid te detecteren en de frequentie van herplanning te verhogen, vermindert AAC het risico op botsingen en fouten in de echte wereld.

Samenvattend biedt AAC een praktische en effectieve oplossing voor een fundamenteel probleem in robotbesturing, waardoor VLA-modellen betrouwbaarder en veelzijdiger inzetbaar worden.