Résumé Technique : CycleVLA

Énoncé du Problème

Les approches actuelles de détection et de correction des défaillances robotiques opèrent principalement de manière post hoc. Elles identifient les erreurs seulement après qu'une défaillance est pleinement survenue (par exemple, un objet a été lâché ou une collision a eu lieu) et appliquent des actions correctives de manière rétrospective, souvent via des politiques résiduelles. Cela revient à essayer de réparer un verre brisé après qu'il s'est cassé ; l'opportunité de prévention est perdue.

L'article soutient que de nombreuses défaillances de tâches robotiques surviennent lors des transitions de sous-tâches (par exemple, passer de la saisie au levage). À ces moments critiques, des indices de progression (comme un grippeur mal aligné juste avant un levage) fournissent des signaux forts pour anticiper la défaillance. Le défi consiste à doter les modèles de fondation robotiques généralistes, spécifiquement les modèles Vision-Langage-Action (VLA), d'une autocorrection proactive : la capacité de détecter les erreurs naissantes pendant l'exécution et de s'adapter avant que la défaillance ne se manifeste, sans intervention externe.

Méthodologie : CycleVLA

CycleVLA est un système conçu pour permettre aux VLA d'anticiper les défaillances et de s'en remettre via un cycle en trois étapes : Exécution sensible à la progression, Retour en arrière piloté par VLM et Nouvelle tentative basée sur MBR.

1. Fine-tuning de VLA sensible à la progression

Les VLA standards manquent généralement de mécanismes pour estimer la progression d'une sous-tâche ou pour déterminer quand arrêter une sous-tâche. CycleVLA répond à cela par :

• Construction de données : Utiliser des Grands Modèles de Langage (LLM) pour décomposer les démonstrations de tâches de haut niveau en sous-tâches atomiques avec des horodatages de début et de fin précis. Celles-ci sont alignées avec la proprioception du robot (états du grippeur et primitives de mouvement) pour créer un ensemble de données décomposé en sous-tâches.
• Dimensions d'action étendues : La politique VLA est affinée avec un espace d'action étendu. Au lieu du vecteur d'action standard à 7 dimensions (3D translation, 3D rotation, état du grippeur), la sortie est étendue à 9 dimensions :
  • $s_t \in \{0, 1\}$ : Un signal d'arrêt indiquant la terminaison de la sous-tâche.
  • $p_t \in [0, 1]$ : Un signal de progression indiquant le niveau d'achèvement de la sous-tâche actuelle (discrétisé en classes).
• Stratégie d'entraînement : La dernière étape d'action de chaque sous-tâche est suréchantillonnée pour accentuer la détection de la terminaison. Le modèle prédit conjointement l'arrêt et la progression avec les deltas de l'effecteur terminal comme sorties scalaires, ne nécessitant aucun changement architectural au-delà de l'élargissement de la dimension d'action.

2. Prédiction de défaillance et retour en arrière basés sur VLM

Au moment de l'inférence, le système surveille la progression prédite $p_t$. Lorsque $p_t$ atteint un seuil $\tau_p$ (par exemple, 0,9), le système interroge un Modèle de Vision-Langage (VLM) prêt à l'emploi pour décider de poursuivre ou d'intervenir.

• Entrée : Le VLM reçoit des vues synchronisées de la caméra tierce et de la caméra montrée au poignet, l'instruction de la sous-tâche actuelle et la liste complète des sous-tâches.
• Raisonnement : En utilisant le raisonnement par chaîne de pensée (Chain-of-Thought), le VLM fusionne le contexte global (identité de l'objet, exécution correcte de la sous-tâche) avec des indices fins (alignement du grippeur, qualité du contact) pour prédire si l'exécution actuelle échouera.
• Décision :
  • Transit : Si aucune défaillance n'est prédite, le système passe à la sous-tâche suivante.
  • Retour en arrière (Backtrack) : Si une défaillance est prédite, le système ramène la configuration du robot à l'état de début de la sous-tâche la plus précoce qui restaure les préconditions manquantes (par exemple, si un objet tombe, revenir à la sous-tâche de saisie). L'état du robot est restauré par l'exécution inverse des actions delta enregistrées, mais les états des objets ne sont pas réinitialisés ; le VLA doit re-percevoir la scène actuelle.

3. Mise à l'échelle au moment du test via le décodage Minimum Bayes Risk (MBR)

Lors d'un retour en arrière, le VLA tente à nouveau la sous-tâche. Pour améliorer le taux de réussite de ces tentatives, CycleVLA utilise le décodage Minimum Bayes Risk (MBR) comme stratégie de mise à l'échelle à l'échelle du test en zéro-shot.

• Échantillonnage : La politique VLA stochastique génère $N$ hypothèses de chunks d'actions ($A = \{a^{(1)}, \dots, a^{(N)}\}$) pour l'observation et la sous-tâche actuelles.
• Sélection : Au lieu de sélectionner l'action la plus probable, MBR sélectionne l'hypothèse qui minimise le risque attendu (distance moyenne par paire) sous la distribution de la politique :
  $$a^{MBR} = \arg\min_{a^{(i)} \in A} \frac{1}{N} \sum_{j=1}^{N} d(\phi(a^{(i)}), \phi(a^{(j)}))$$
  où $d$ est une métrique de distance (spécifiquement la distance L2 dans le mouvement prédit de l'effecteur terminal) et $\phi$ extrait les caractéristiques de la trajectoire. Cela sélectionne la trajectoire de "consensus" dans les régions de haute densité de l'espace de sortie de la politique.

Contributions Clés

1. Système CycleVLA : Un nouveau cadre permettant l'autocorrection proactive des VLA en combinant la prédiction de progression de sous-tâche, le retour en arrière guidé par VLM et la nouvelle tentative basée sur MBR.
2. Mise à l'échelle au moment du test en zéro-shot : Démontre que le décodage MBR sert de stratégie efficace et sans entraînement pour améliorer les taux de réussite des VLA, particulièrement pour les politiques sous-entraînées.
3. Gains de performance : Montre que CycleVLA améliore les taux de réussite à travers des VLA de capacités variées (de sous-entraînés à pleinement convergés), surpassant l'état de l'art $\pi0.5$ sur les benchmarks de simulation.
4. Robustesse en monde réel : Valide l'approche sur un robot réel, atteignant des taux de réussite élevés sur des tâches précises et à long horizon, et corrigeant environ 80 % des défaillances injectées manuellement lors de tests de stress.

Résultats Expérimentaux

Benchmarks de Simulation (LIBERO & LIBERO-Plus)

• Tâches standards : Sur le benchmark LIBERO, CycleVLA (utilisant le backbone $\pi0.5$) a atteint un taux de réussite moyen de 98,5 %, surpassant le $\pi0.5$ de base (96,9 %) et d'autres méthodes de pointe comme GR00T N1 (93,9 %).
• Robustesse aux perturbations : Sur LIBERO-Plus (introduisant sept dimensions de perturbation), CycleVLA a montré des gains significatifs. Le modèle CycleVLA basé sur $\pi0.5$ a amélioré le taux de réussite moyen de +21,0 % par rapport au modèle de base, démontnant une récupération supérieure des erreurs d'exécution comme les mauvaises saisies causées par des changements environnementaux.
• Modèles sous-entraînés : CycleVLA a été efficace sur des modèles entraînés pour moins d'étapes (200K et 350K). Pour le checkpoint 200K, la correction de défaillance a augmenté le taux de réussite moyen de 73,2 % à 80,0 %, comblant efficacement l'écart de performance avec les modèles plus grands.
• Études d'ablation : Le retrait du décodage MBR a provoqué une baisse modérée de la performance. L'utilisation d'un VLM plus petit (LLaMA-3.2-11B) a réduit la performance en raison d'une prédiction de défaillance moins fiable. Le retrait du signal d'arrêt a conduit à une terminaison prématurée des sous-tâches.

Expériences en Monde Réel

• Configuration : Évalué sur un bras AgileX PiPER avec une caméra au poignet et une caméra frontale. Les tâches incluaient suspendre une théière (précision), placer des fruits sur des assiettes (long horizon), et emballer des ustensiles de cuisine (défis visuels).
• Défaillances naturelles : CycleVLA a surpassé la ligne de base sans correction sur toutes les tâches (par exemple, 0,93 contre 0,80 sur la tâche d'emballage).
• Tests de stress : Un humain a injecté des erreurs (objets distracteurs, déplacement de cible, substitution de cible) juste avant les transitions de sous-tâches. CycleVLA a corrigé ~80 % de ces défaillances injectées en moyenne, maintenant des taux de réussite comparables à une exécution non perturbée dans de nombreux cas.

Signification et Revendications

L'article positionne CycleVLA comme une première investigation sur l'octroi de capacités d'autocorrection proactive aux VLA. Sa signification réside dans le passage d'un paradigme de correction d'erreur réactive (réparer les choses après qu'elles se sont cassées) à une récupération anticipative (prévenir la casse).

Les auteurs affirment que :

1. Les transitions de sous-tâches sont des points de défaillance critiques où les indices de progression peuvent être exploités pour l'anticipation.
2. Les VLM peuvent servir efficacement de prédicteurs de défaillance et de planificateurs en zéro-shot lorsqu'ils sont guidés par des signaux de progression, sans nécessiter de réentraînement du VLA.
3. Le décodage MBR est un mécanisme puissant, sans entraînement, pour améliorer la fiabilité du VLA au moment du test, en particulier pour les politiques qui ne sont pas totalement convergées.
4. L'approche est généralisable, fonctionnant à travers différents backbones VLA et dans des environnements simulés et réels.

L'article reconnaît des limites, notant que le retour en arrière suppose des états de robot réversibles (ce qui peut ne pas être vrai dans des environnements dynamiques) et que le décodage MBR augmente le temps d'inférence en raison des multiples passages vers l'avant. Un travail futur est suggéré pour intégrer ces capacités directement dans les VLA pour un raisonnement de bout en bout.