ACG: Action Coherence Guidance for Flow-based Vision-Language-Action models

Probleemstelling

Flow-matching en diffusiemodellen hebben zich bewezen als krachtige beleidsmodellen voor robotica, omdat ze Vision-Language-Action (VLA) modellen in staat stellen om te generaliseren over diverse scènes en instructies. Echter, wanneer deze modellen worden getraind via imitatielearning, blijken ze uiterst gevoelig voor ruis in menselijke demonstraties (zoals trillingen, pauzes en onnodige bewegingen).

Deze ruis wordt door de grote generatieve capaciteit van de modellen "geleerd" en gememoriseerd, wat leidt tot een afname van actiecoherentie (action coherence). Actiecoherentie verwijst naar de gladheid en consistentie van opeenvolgende acties. Het ontbreken hiervan veroorzaakt tijdens de implementatie twee kritieke problemen:

1. Instabiliteit: De robot kan op cruciale momenten (bijv. bij het grijpen) onstabiel gedrag vertonen.
2. Trajectdrift: Kleine ruis in acties cumuleert over tijd, waardoor de robot afwijkt van het beoogde pad.

Dit is vooral catastrofale voor fijnmazige manipulatietaakken (zoals het indrukken van knoppen of het invoegen van objecten), waar precisie essentieel is. Bestaande methoden om dit op te lossen, zoals het gladstrijken van acties of het gebruik van ensemble-methoden, leiden vaak tot vervaging van details of hoge inferentiekosten.

Methodologie: Action Coherence Guidance (ACG)

De auteurs stellen Action Coherence Guidance (ACG) voor, een trainingsvrije algoritme dat tijdens de inferentie (testtijd) wordt toegepast om de coherentie van acties te verbeteren zonder het model opnieuw te hoeven trainen.

Kernprincipes:

1. Constructie van een Incoherente Vector:
   In plaats van een onvoorwaardelijk model te gebruiken (zoals bij Classifier-Free Guidance), construeren de auteurs een specifiek "incoherent" denoising-vectorveld ($v^{IC}_\theta$). Dit wordt gedaan door de self-attention-lagen in het transformer-architectuur van het flow-matching model te manipuleren.

   • Normaal gesproken zorgt de attention-map ervoor dat tokens (acties op verschillende tijdstippen) met elkaar communiceren voor temporal coherentie.
   • Bij ACG wordt de attention-map vervangen door een identiteitsmatrix ($I$). Hierdoor attendeert elke action-token alleen op zichzelf, waardoor de temporale verbinding wordt verbroken. Dit resulteert in een versie van het model dat bewust oncoherent gedrag genereert.

2. Guidance Strategie:
   ACG gebruikt dit incoherente vectorveld als een negatieve richtingsaanwijzing. Tijdens de generatie van een actie-chunk wordt het oorspronkelijke vectorveld ($v_\theta$) gecombineerd met het incoherente veld ($v^{IC}_\theta$) volgens de volgende formule:
   $$v^{ACG(\lambda)}_\theta = (1 + \lambda) v_\theta - \lambda v^{IC}_\theta$$
   Waarbij $\lambda$ de schaal van de guidance is. Door het model in de tegenovergestelde richting van de incoherente vector te duwen, wordt het sampling-proces gestuurd naar stabielere en temporale consistente acties.

3. Implementatie:
   De methode vereist geen extra training. Tijdens inferentie wordt er een tweede forward pass uitgevoerd (om de incoherente vector te berekenen), maar door alleen de middelste en latere attention-lagen te perturbieren en eerdere lagen te cachen, wordt de rekentijd beperkt tot ongeveer 1,5x de normale inferentietijd.

Belangrijkste Bijdragen

• Introductie van Perturbatie Guidance voor Robotica: ACG is de eerste methode die perturbatie-guidance (het bewust verstoren van attention-mechanismen) toepast op robotbesturing om actiecoherentie te verbeteren.
• Focus op Intrachunk-Coherentie: Waar eerdere werken zich richtten op coherentie tussen actie-chunks (inter-chunk), richt ACG zich op de coherentie binnen een enkele chunk. Dit is cruciaal voor fijne manipulatie.
• Trainingsvrije Oplossing: De methode werkt "plug-and-play" op bestaande flow-based VLA-modellen (zoals GR00T-N1, $\pi_0$, SmolVLA) zonder dat het model opnieuw hoeft te worden gefinetuned.
• Verbetering van Fijnmazige Taken: De aanpak lost specifiek het probleem op van jitter en drift bij precisietaken, wat vaak faalt bij standaard generatieve modellen.

Resultaten

De auteurs hebben ACG geëvalueerd op drie benchmarks:

1. RoboCasa (24 simulatietaken, 7 vaardigheden).
2. DexMimicGen (bimanuele manipulatie).
3. SO-101 (real-world pick-and-place taken: "Three Strawberries" en "Tic-Tac-Toe").

Kernresultaten:

• Success Rate: ACG leidt tot significante verbeteringen in de success rate vergeleken met de "Vanilla" GR00T-N1 baseline en andere methoden zoals ensemble-averaging of smoothing.
  • RoboCasa: +6.7% verbetering.
  • Real-world "Three Strawberries": +30.8% verbetering (van 43.6% naar 74.4%).
  • Real-world "Tic-Tac-Toe": +18.4% verbetering.
• Actiecoherentie: Kwantitatieve metingen (Action Total Variation en JerkRMS) tonen aan dat ACG de gladheid van bewegingen aanzienlijk verbetert, vergelijkbaar met of beter dan ensemble-methoden, maar zonder de nauwkeurigheid te verliezen.
• Fijnmazige Taken: De grootste winst wordt geboekt bij taken die precisie vereisen, zoals knoppen indrukken (+23.1%) en invoegen (+11.8%).
• Generalisatie: De methode werkt effectief op verschillende VLA-architecturen ($\pi_0$, SmolVLA), wat aantoont dat het een robuuste techniek is voor flow-based modellen.

Betekenis en Impact

Dit paper is significant omdat het een fundamenteel probleem in de toepassing van generatieve AI voor robotica aanpakt: de neiging van modellen om ruis uit demonstraties te kopiëren, wat leidt tot onbetrouwbare bewegingen.

Door in te zetten op temporale coherentie via een intelligente guidance-strategie, maakt ACG flow-based VLA-modellen veel praktischer voor complexe, real-world taken. Het bewijst dat het manipuleren van de inferentie-proces (test-time guidance) een krachtigere en efficiëntere route kan zijn dan het opnieuw trainen van modellen of het gebruik van ruwe post-processing (zoals smoothing). De resultaten suggereren dat voor robotica de consistentie van de beweging net zo belangrijk is als het begrijpen van de taakinstructie, en dat ACG een nieuwe standaard kan worden voor het garanderen van veilige en precieze robotbewegingen.