CF-VLA: Efficient Coarse-to-Fine Action Generation for Vision-Language-Action Policies

1. Probleemstelling

Vision-Language-Action (VLA)-beleidslijnen, met name die gebaseerd op Flow Matching (bijv. $\pi_0.5$), hebben sterke expressiviteit aangetoond bij het genereren van continue robotacties. Ze lijden echter aan een fundamenteel efficiëntieflesenhals:

• Inefficiënte Initialisatie: Standaard flow matching genereert acties door te beginnen met oninformatieve Gaussische ruis en vereist meerdere iteratieve stappen (hoog aantal functiewaarderingen, of NFE) om de ruis naar het geldige actie-manifold te "transporteren".
• Real-time Beperkingen: Dit meerstaps iteratieve proces creëert een slechte afweging tussen inferentiesnelheid en actie-kwaliteit. Het verminderen van het aantal stappen (laag-NFE) om te voldoen aan real-time latentie-eisen leidt vaak tot een catastrofale daling in prestaties omdat het model een gestructureerd startpunt mist.
• De Kernkwestie: De inefficiëntie vloeit niet alleen voort uit de lengte van de traject, maar uit de structuur van het startpunt. Vroege stappen in standaard flow matching verspillen rekenkracht aan globale uitlijning (bewegen van ruis naar het algemene actiegebied) in plaats van zich te richten op lokale verfijning.

2. Methodologie: CF-VLA

De auteurs stellen CF-VLA (Coarse-to-Fine Vision-Language-Action) voor, een raamwerk dat actiegeneratie herstructureert naar een tweestaps, tweestaps proces in plaats van een lang iteratief traject.

A. Kernconcept: Coarse-to-Fine Decompositie

In plaats van het bemonsteringstraject te verkorten, herstructureert CF-VLA het startpunt:

1. Coarse Fase (Globale Uitlijning): Transformeert ongestructureerde Gaussische ruis naar een Action-Prior-Guided (AP-geleid) startpunt. Deze fase leert een conditionele posterior over de eindsnelheid om de ruisverdeling dichter bij het geldige actie-manifold te verschuiven.
2. Fine Fase (Lokale Verfijning): Voert een één-staps lokale correctie uit vanuit de AP-geleide initialisatie om de uiteindelijke hoogwaardige actie te herstellen.

B. Technische Componenten

• AP-Geleide Ruisinitialisatie:
  • In plaats van pure ruis $\epsilon$ te bemonsteren, voorspelt de coarse fase een conditionele posterior $q_\theta(u | o, \epsilon)$ over de doelsnelheid $u$.
  • De initialisatie wordt berekend als $\tilde{\epsilon} = \epsilon - \hat{u}$, waarbij $\hat{u}$ wordt bemonsterd uit de geleerde posterior. Dit verschuift het gemiddelde van de ruis naar het actie-manifold.
  • Variantiemodellering: De coarse fase voorspelt expliciet variantie ($\sigma^2$) om stochasticiteit te behouden, waardoor voorkomt dat de initialisatie instort tot een deterministisch punt en diversiteit wordt gewaarborgd.
• Trainingsstrategie (Stapsgewijze Optimalisatie):
  • Directe gezamenlijke training van de coarse en fine fasen is instabiel omdat vroege coarse outputs ongeordend zijn.
  • Fase I (Opwarmen): Het model wordt getraind op een "gecontroleerde proxy" input (geïnterpoleerd tussen ruis en grondwahrheid) om de eindsnelheids- en variantievoorspellingen te stabiliseren.
  • Fase II (Gezamenlijke Optimalisatie): De volledige doelstelling wordt geactiveerd. De coarse fase gebruikt KL-divergentie-verlies om de voorspelde posterior te laten overeenkomen met een doelaan Gaussische verdeling, terwijl de fine fase MSE-verlies gebruikt om de actie te verfijnen vanuit de bemonsterde coarse initialisatie.
• Doelfunctie:
  $$\mathcal{L} = \mathcal{L}_{fine} + \lambda \mathcal{L}_{coarse}$$
  Waar $\mathcal{L}_{fine}$ lokale herstelbewegingen afhandelt en $\mathcal{L}_{coarse}$ de geometrie van de initialisatieverdeling vormgeeft.

3. Belangrijkste Bijdragen

1. Coarse-to-Fine Raamwerk: Een plug-and-play tweestaps VLA-raamwerk dat globale uitlijning (coarse) expliciet scheidt van lokale verfijning (fine), toepasbaar op willekeurige flow-based beleidslijnen.
2. Variantie-bewuste Initialisatie: Een nieuwe formulering die Gaussische ruis transformeert in AP-geleide initialisaties met behulp van een geleerde conditionele posterior, waardoor de globale transportlast tijdens inferentie aanzienlijk wordt verminderd.
3. Gestabiliseerde Trainingsstrategie: Een stapsgewijze optimalisatiebenadering (Opwarmen $\to$ Gezamenlijk) die ervoor zorgt dat de verfijningsfase opereert in een goed geconditioneerd lokaal regime, wat stabiele lage-NFE-generatie mogelijk maakt.
4. Efficiëntie-Prestatie Grens: Toont aan dat het herstructureren van het startpunt hoogwaardige generatie mogelijk maakt met drastisch minder inferentiestappen (NFE=2) in vergelijking met standaardmethoden (NFE=10).

4. Experimentele Resultaten

Simulatiebenchmarks (LIBERO & CALVIN)

• LIBERO: CF-VLA (NFE=2) bereikt een gemiddelde succesratio van 96,5%, wat beter is dan de gereproduceerde NFE=10 $\pi_0.5$-baseline (95,7%) en de NFE=2 MIP-baseline (93,6%).
• CALVIN: CF-VLA bereikt de hoogste gemiddelde sequentielengte (3,67) en succesratio's voor taken met een lange horizon (1-5 instructies), wat significant beter is dan NFE=2 baselines en gelijkstaat aan of beter is dan hoog-NFE-methoden.
• Ablatiestudies: Het verwijderen van de coarse fase (Fase II) of de variantiemodellering leidt tot aanzienlijke prestatiedalingen, wat bevestigt dat zowel de gestructureerde initialisatie als het stochastische karakter van de coarse fase cruciaal zijn.

Real-Robot Experimenten

• Taken: Getest op vijf taken, waaronder grijpen, pick-and-place, contactrijke afveegbewegingen, vloeistof inschenken en bimanuele handdoekvouwen.
• Prestaties: CF-VLA bereikte een gemiddelde succesratio van 83,0%, wat 19,5 punten beter is dan MIP (63,5%) en 4,0 punten beter dan $\pi_0.5$ (79,0%).
• Betekenis: De methode excelleert in contactrijke en bimanuele taken waar kleine fouten zich ophopen, wat de robuustheid van de coarse-to-fine-aanpak in de echte wereld bewijst.

Efficiëntiemetrieken

• Latentievermindering: CF-VLA vermindert de actie-bemonsteringslatentie met 75,4% (van 29,17 ms naar 7,81 ms) in vergelijking met de NFE=10 $\pi_0.5$-baseline, terwijl het hogere succesratio's bereikt.
• Afweging: Het vestigt een superieure efficiëntie-prestatiegrens, wat bewijst dat minder stappen geen lagere kwaliteit vereisen als het startpunt is geoptimaliseerd.

5. Betekenis en Impact

• Paradigmaverschuiving: Het artikel daagt de heersende opvatting uit dat hoogwaardige generatieve controle lange iteratieve trajecten vereist. Het stelt dat rekenkracht moet worden toegewezen op basis van functionele rollen (globale uitlijning versus lokale correctie) in plaats van uniform langs een traject.
• Implementatie in de Echte Wereld: Door de inferentielatentie drastisch te verminderen (naar ~7,8 ms) zonder prestaties op te offeren, maakt CF-VLA flow-based VLA-beleidslijnen levensvatbaar voor real-time, gesloten-lus robotbesturing op standaard hardware.
• Generaliseerbaarheid: De "plug-and-play" aard van het raamwerk suggereert dat het kan worden geïntegreerd in bestaande VLA-ruggengraten (gevalideerd op zowel PaliGemma als SigLIP+Gemma-architecturen) om de efficiëntie te verbeteren zonder het volledige fundamentele model opnieuw te hoeven trainen.

Kortom, CF-VLA lost het efficiëntieflesenhals van flow-based beleidslijnen op door het generatieproces intelligent te initialiseren, waardoor robots sneller en betrouwbaarder kunnen handelen in complexe, real-world omgevingen.