Résumé Technique : FailSafe – Raisonnement et Récupération après Échec pour les Modèles Vision-Langage-Action

Énoncé du Problème

Les avancées récentes des modèles Vision-Langage-Action (VLA) ont permis aux robots d'exécuter des tâches de manipulation complexes en intégrant le contrôle de bas niveau dans les modèles Vision-Langage (VLM). Cependant, ces modèles dépendent fortement de jeux de données à grande échelle composés de trajectoires propres et de vérité terrain, qui incluent rarement des scénarios d'échec. Par conséquent, bien que les VLA soient performants dans leur distribution, ils peinent à détecter ou à se remettre d'échecs imprévisibles et abrupts rencontrés lors de l'exécution en conditions réelles.

Les approches existantes face au raisonnement sur l'échec présentent des limitations significatives :

• Absence d'actions exécutables : De nombreux jeux de données ne fournissent que des explications textuelles des échecs (par exemple, « le préhenseur devrait se déplacer vers la gauche »), qui sont ambiguës concernant l'amplitude et les points d'arrivée, ce qui les rend difficiles à exécuter directement par les modèles VLA.
• Dépendance à la supervision humaine : Des méthodes comme OLAF et YAY nécessitent des observateurs humains externes pour surveiller les opérations et intervenir, ce qui est irréalisable pour des systèmes entièrement autonomes.
• Incapacité à passer à l'échelle : Bien que certains pipelines génèrent des trajectoires d'échec, ils échouent souvent à produire des actions de correction correspondantes qui soient à la fois valides et exécutables par des robots.

Le défi central abordé par ce travail est l'absence d'un pipeline évolutif capable de générer automatiquement un raisonnement de haut niveau sur l'échec couplé à des actions de récupération de bas niveau et exécutables pour améliorer la robustesse des VLA.

Méthodologie : Le Pipeline FailSafe

Les auteurs proposent FailSafe, un nouveau cadre conçu pour générer automatiquement des cas d'échec diversifiés couplés à des actions de récupération exécutables au sein de simulateurs supportant la planification de mouvement (démontré dans ManiSkill). Le pipeline se compose de cinq étapes clés :

1. Génération d'Échecs

FailSafe définit trois modes de défaillance fondamentaux pour modéliser les erreurs robotiques courantes :

• Échec de Translation : Perturbations le long des axes cartésiens ($x, y, z$).
• Échec de Rotation : Déviations angulaires en roulis, tangage ou lacet.
• Échec de No-ops : Le bras robotique reste bloqué pendant une période sans mouvement.

Ces échecs sont injectés à des étapes arbitraires des trajectoires de vérité terrain. Le système utilise une configuration YAML pour spécifier les plages de bruit (par exemple, $\pm0,1$ pour la translation, $\pm1$ radian pour la rotation) et les étapes où les échecs surviennent. Cela simule un déploiement en conditions réelles où les erreurs peuvent survenir de manière inattendue.

2. Collecte d'Actions

Contra�à les méthodes précédentes qui produisent du texte, FailSafe collecte des actions de récupération de l'effecteur à 7 degrés de liberté (7-DoF) ($\Delta A$).

• Cartographie : Pour une pose déviée ($P_d$) dans une trajectoire d'échec, le système la mappe vers une pose corrective correspondante ($P_c$) dans la trajectoire correcte.
• Contraintes : Pour éviter les collisions, $P_c$ est sélectionnée dans une fenêtre commençant 10 étapes après le début de l'échec et se terminant 3 étapes avant la conclusion de la tâche.
• Diversité : Le système génère plusieurs paires $(P_d, P_c)$ candidates. L'action corrective $\Delta A$ résultante est la différence à 7-DoF entre ces poses. Crucialement, même si un type d'échec spécifique (par exemple, Translation X) est injecté, la $\Delta A$ résultante n'est pas restreinte à une seule dimension ; elle fournit des ajustements sur les sept dimensions pour gérer des modes de défaillance simultanés ou complexes.

3. Vérification Systématique

Avant l'inclusion dans le jeu de données, chaque action de récupération candidate subit une vérification rigoureuse :

• Le système rejoue la trajectoire : $A \to P_d \to P_c \to \text{Reste de la Tâche}$.
• Si la tâche, qui avait initialement échoué, réussit après l'application de la pose corrective $P_c$, la paire est validée.
• Cela garantit que les actions collectées sont robustes et efficaces lorsqu'elles sont appliquées à différents moments.

4. Construction du Jeu de Données

Le pipeline a été appliqué à trois tâches dans ManiSkill : Pick Cube (Prendre le cube), Push Cube (Pousser le cube) et Stack Cube (Empiler le cube).

• Échelle : Le jeu de données résultant contient environ 131 000 paires échec-action et 56 000 trajectoires de vérité terrain (succès).
• Format : Chaque entrée comprend 10 images consécutives multi-vues (avant, côté, poignet), des instructions de tâche, l'identification de la sous-tâche, la classification de l'échec (oui/non), le type d'échec et le vecteur d'action corrective à 7-DoF.

5. Entraînement du Modèle (FailSafe-VLM)

Les auteurs ont affiné LLaVa-OneVision-7B (LLaVa-OV-7B) sur le jeu de données FailSafe.

• Architecture : Le modèle utilise Qwen2-7B-Instruct comme colonne vertébrale linguistique et SigLIP comme tour de vision, avec un projecteur MLP à deux couches (GELU).
• Entraînement : Un ajustement fin complet par instruction a été réalisé avec un co-entraînement sur un mélange de VQA RoboPoint pour améliorer la généralisation.
• Stratégie d'Inférence : FailSafe-VLM opère comme un assistant externe à un modèle VLA de base. Tous les 10 pas, il analyse l'état actuel pour déterminer si un échec est probable. Si "Oui", il produit une action corrective ; si "Non", le contrôle revient au VLA de base.

Contributions Clés

1. Pipeline Évolutif Échec-Action : Le premier cadre capable de générer automatiquement des explications de raisonnement sur l'échec et des actions de récupération précises et exécutables à 7-DoF pour les robots, adaptable aux simulateurs supportant la planification de mouvement.
2. Amélioration des Performances : Démontre que le jeu de données FailSafe permet aux VLM existants de raisonner sur les échecs, augmentant considérablement les taux de réussite de trois modèles VLA de pointe ($\pi$o-FAST, OpenVLA, OpenVLA-OFT).
3. Généralisation : Montre que FailSafe-VLM peut se généraliser à travers diverses configurations spatiales, vues de caméra, catégories d'objets (incluant des objets non vus comme des sphères et des chargeurs) et embodiments robotiques (par exemple, le transfert de Franka Emika Panda vers xArm 6).

Résultats Expérimentaux

Les auteurs ont évalué FailSafe-VLM sur le bras Franka Emika Panda dans l'environnement ManiSkill :

• Gains de Performance VLA :

  • OpenVLA : A obtenu l'amélioration la plus importante, avec une augmentation moyenne du taux de réussite de 22,6 % (de 14,7 % à 37,3 %).
  • OpenVLA-OFT : Amélioration de 8,0 % (de 90,7 % à 98,7 %).
  • $\pi$o-FAST : Amélioration de 4,0 % (de 78,7 % à 82,7 %).
  • Ces gains ont été obtenus même lorsque la vue de caméra utilisée pour FailSafe-VLM était inédite (différente de sa vue d'entraînement), tout en correspondant à la vue d'entraînement du VLA.

• Généralisation :

  • Objets Inconnus : Testé sur Pick Sphere, Place Sphere et Pick Charger, FailSafe-VLM a amélioré les performances d'OpenVLA-OFT de 17,4 % en moyenne.
  • Embodiments Inconnus : Appliqué à un robot xArm 6 (entraîné uniquement sur des données Franka), il a amélioré le taux de réussite de Stack Cube de 56 % à 76 %.

• Comparaison avec les VLM État de l'Art :

  • FailSafe-VLM a nettement surperformé GPT-4o, Gemini-2.5-flash et Qwen2.5-VL en détection d'échec (Succès Binaire : 0,9094 contre ~0,70 pour GPT-4o), identification du type d'échec (Précision : 0,8368 contre ~0,20) et prédiction de l'action de récupération (Similarité Cosinus : 0,6522 contre presque 0 pour les autres).
  • Notamment, Qwen2.5-VL a fréquemment produit "pas d'échec" et des actions nulles, échouant à aider à la récupération.

• Efficacité :

  • L'intégration a entraîné un surcoût d'inférence marginal de +3,8s à +9,1s par tâche, principalement dû à la replanification du simulateur.

Signification et Revendications

Le papier positionne FailSafe comme une étape critique vers une IA incarnée robuste et explicable. Les auteurs affirment que :

• Autonomie : En supprimant le besoin de supervision humaine pour la détection et la récupération des échecs, FailSafe rapproche les systèmes VLA d'une autonomie complète.
• Raisonnement Actionnable : Le passage des descriptions textuelles d'échec aux actions delta exécutables comble le fossé entre le raisonnement de haut niveau et le contrôle de bas niveau, une limitation des travaux précédents.
• Évolutivité : La conception du pipeline permet la création évolutive de données échec-récupération, ce qui est extrêmement difficile à collecter dans le monde réel.
• Fondation pour Travaux Futurs : Bien que la méthode actuelle se concentre sur la récupération au niveau du mouvement et ne traite pas encore des erreurs au niveau de l'objet (par exemple, lâcher un objet), elle établit une fondation pour de futurs systèmes capables d'autocorrection dans des environnements complexes et dynamiques.

Les auteurs concluent que FailSafe sert de première tentative pour permettre un raisonnement sur l'échec et une autonomie accrus, ouvrant la voie à une manipulation robotique plus fiable dans des environnements non structurés.