CF-VLA: Efficient Coarse-to-Fine Action Generation for Vision-Language-Action Policies

1. Énoncé du problème

Les politiques Vision-Language-Action (VLA), en particulier celles basées sur l'Appariement de Flux (Flow Matching) (par exemple, $\pi_0.5$), ont démontré une forte expressivité dans la génération d'actions robotiques continues. Cependant, elles souffrent d'un goulot d'étranglement fondamental en matière d'efficacité :

• Initialisation inefficace : L'appariement de flux standard génère des actions en partant d'un bruit gaussien non informatif et nécessite plusieurs étapes itératives (nombre élevé d'évaluations de fonctions, ou NFE) pour « transporter » ce bruit vers la variété d'actions valide.
• Contraintes temps réel : Ce processus itératif multi-étapes crée un compromis médiocre entre la vitesse d'inférence et la qualité de l'action. Réduire le nombre d'étapes (faible NFE) pour répondre aux exigences de latence temps réel entraîne souvent une chute catastrophique des performances, car le modèle manque d'un point de départ structuré.
• Le problème central : L'inefficacité ne provient pas seulement de la longueur de la trajectoire, mais de la structure du point de départ. Les premières étapes de l'appariement de flux standard gaspillent des calculs sur l'alignement global (déplacement du bruit vers la région d'action générale) plutôt que de se concentrer sur le raffinement local.

2. Méthodologie : CF-VLA

Les auteurs proposent CF-VLA (Vision-Language-Action du grossier au fin), un cadre qui restructure la génération d'actions en un processus à deux étapes et deux phases plutôt qu'une longue trajectoire itérative.

A. Concept de base : Décomposition du grossier au fin

Au lieu de raccourcir la trajectoire d'échantillonnage, CF-VLA restructure le point de départ :

1. Phase grossière (Alignement global) : Transforme le bruit gaussien non structuré en une initialisation guidée par une priorité d'action (AP-guided). Cette phase apprend un posterior conditionnel sur la vitesse de l'extrémité pour décaler la distribution du bruit plus près de la variété d'actions valide.
2. Phase fine (Raffinement local) : Effectue une correction locale en une seule étape à partir de l'initialisation guidée par AP pour récupérer l'action finale de haute qualité.

B. Composants techniques

• Initialisation du bruit guidée par AP :
  • Au lieu d'échantillonner un bruit pur $\epsilon$, la phase grossière prédit un posterior conditionnel $q_\theta(u | o, \epsilon)$ sur la vitesse cible $u$.
  • L'initialisation est calculée comme $\tilde{\epsilon} = \epsilon - \hat{u}$, où $\hat{u}$ est échantillonné à partir du posterior appris. Cela décale la moyenne du bruit vers la variété d'actions.
  • Modélisation de la variance : La phase grossière prédit explicitement la variance ($\sigma^2$) pour maintenir la stochasticité, empêchant l'initialisation de s'effondrer en un point déterministe et assurant la diversité.
• Stratégie d'entraînement (Optimisation par étapes) :
  • L'entraînement conjoint direct des phases grossière et fine est instable car les sorties grossières précoces sont désordonnées.
  • Phase I (Échauffement) : Le modèle est entraîné sur une entrée « proxy contrôlée » (interpolée entre le bruit et la vérité terrain) pour stabiliser les prédictions de vitesse de l'extrémité et de variance.
  • Phase II (Optimisation conjointe) : L'objectif complet est activé. La phase grossière utilise une fonction de perte de divergence KL pour faire correspondre le posterior prédit à un Gaussien cible, tandis que la phase fine utilise une perte MSE pour affiner l'action à partir de l'initialisation grossière échantillonnée.
• Fonction objectif :
  $$\mathcal{L} = \mathcal{L}_{fine} + \lambda \mathcal{L}_{coarse}$$
  Où $\mathcal{L}_{fine}$ gère la récupération locale et $\mathcal{L}_{coarse}$ façonne la géométrie de la distribution d'initialisation.

3. Contributions clés

1. Cadre du grossier au fin : Un cadre VLA à deux étapes plug-and-play qui sépare explicitement l'alignement global (grossier) du raffinement local (fin), applicable à des politiques basées sur le flux arbitraires.
2. Initialisation consciente de la variance : Une formulation novatrice qui transforme le bruit gaussien en initialisations guidées par AP en utilisant un posterior conditionnel appris, réduisant considérablement la charge de transport global lors de l'inférence.
3. Stratégie d'entraînement stabilisée : Une approche d'optimisation par étapes (Échauffement $\to$ Conjoint) qui garantit que l'étape de raffinement opère dans un régime local bien conditionné, permettant une génération stable à faible NFE.
4. Frontière Efficacité-Performance : Démontre que la restructuration du point de départ permet une génération de haute qualité avec beaucoup moins d'étapes d'inférence (NFE=2) par rapport aux méthodes standard (NFE=10).

4. Résultats expérimentaux

Benchmarks de simulation (LIBERO & CALVIN)

• LIBERO : CF-VLA (NFE=2) atteint un taux de réussite moyen de 96,5 %, surpassant la baseline reproduite $\pi_0.5$ à NFE=10 (95,7 %) et la baseline MIP à NFE=2 (93,6 %).
• CALVIN : CF-VLA atteint la longueur de séquence moyenne la plus élevée (3,67) et les taux de réussite les plus élevés sur des tâches à long horizon (1-5 instructions), surpassant nettement les baselines à NFE=2 et égalant ou dépassant les méthodes à NFE élevé.
• Études d'ablation : Le retrait de la phase grossière (Phase II) ou de la modélisation de la variance entraîne des baisses de performance significatives, confirmant que l'initialisation structurée et la nature stochastique de la phase grossière sont critiques.

Expériences sur robot réel

• Tâches : Testé sur cinq tâches incluant la préhension, le pick-and-place, l'essuyage riche en contacts, le versement de liquide et le pliage de serviette bimanuel.
• Performance : CF-VLA a atteint un taux de réussite moyen de 83,0 %, surpassant MIP (63,5 %) de 19,5 points et $\pi_0.5$ (79,0 %) de 4,0 points.
• Signification : La méthode excelle dans les tâches riches en contacts et bimanuelles où de petites erreurs s'accumulent, prouvant la robustesse de l'approche du grossier au fin dans le monde réel.

Métriques d'efficacité

• Réduction de la latence : CF-VLA réduit la latence d'échantillonnage d'action de 75,4 % (de 29,17 ms à 7,81 ms) par rapport à la baseline $\pi_0.5$ à NFE=10, tout en obtenant des taux de réussite plus élevés.
• Compromis : Il établit une frontière efficacité-performance supérieure, prouvant que moins d'étapes n'impliquent pas une qualité inférieure si le point de départ est optimisé.

5. Signification et impact

• Changement de paradigme : Le papier remet en question la notion prévalente selon laquelle un contrôle génératif de haute qualité nécessite de longues trajectoires itératives. Il soutient que le calcul doit être alloué en fonction des rôles fonctionnels (alignement global vs correction locale) plutôt que de manière uniforme le long d'une trajectoire.
• Déploiement dans le monde réel : En réduisant drastiquement la latence d'inférence (à ~7,8 ms) sans sacrifier les performances, CF-VLA rend les politiques VLA basées sur le flux viables pour le contrôle robotique en boucle fermée en temps réel sur du matériel standard.
• Généralisabilité : Le caractère « plug-and-play » du cadre suggère qu'il peut être intégré dans des architectures VLA existantes (validé sur les architectures PaliGemma et SigLIP+Gemma) pour améliorer l'efficacité sans réentraîner l'ensemble du modèle fondamental à partir de zéro.

En conclusion, CF-VLA résout le goulot d'étranglement de l'efficacité des politiques basées sur le flux en initialisant intelligemment le processus de génération, permettant aux robots d'agir plus rapidement et plus fiablement dans des environnements complexes et réels.