Résumé Technique : Pilotage de Modèles Vision-Langage-Action par la Vérification de l'Alignement Raisonnement-Action au Moment de l'Exécution

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont fait progresser le suivi d'instructions robotiques en intégrant des dorsales (backbones) vision-langage pré-entraînées avec des têtes de génération d'actions. Une évolution récente, les « VLA de raisonnement », incorpore la Chaîne de Pensée (Chain-of-Thought ou CoT), générant des plans textuels intermédiaires avant d'exécuter des actions de bas niveau. Bien que cela améliore les performances sur des tâches complexes à long horizon, un mode de défaillance critique persiste : l'écart de fidélité de la CoT incarnée (Embodied CoT Faithfulness Gap).

Même lorsqu'un VLA de raisonnement génère un plan textuel correct (par exemple, « ramasser la soupe »), la séquence d'actions de bas niveau qui suit peut échouer à réaliser physiquement ce plan (par exemple, en saisissant le fromage à la crème au lieu de la soupe). Ce désalignement est particulièrement présent dans les scénarios hors distribution (OOD) impliquant des instructions, des objets ou des contextes visuels nouveaux. Le papier formalise cela comme un manque de « fidélité de la CoT incarnée », où les résultats physiques des actions ne correspondent pas de manière fiable au raisonnement auto-généré par le modèle. Les méthodes de pilotage existantes reposent souvent sur des critiques appris (par exemple, des fonctions Q) qui peinent à se généraliser aux changements sémantiques ou visuels nouveaux, échouant à vérifier l'alignement entre l'intention de haut niveau et l'exécution de bas niveau.

Méthodologie : SEAL (Steering for Embodied reasoning-action ALignment)

Les auteurs proposent SEAL, un cadre de pilotage de politique au moment de l'exécution, sans apprentissage supplémentaire, conçu pour imposer l'alignement raisonnement-action. SEAL fonctionne en échantillonnant plusieurs séquences d'actions candidates, en simulant leurs résultats, et en sélectionnant celle qui s'aligne le mieux avec son propre plan textuel en utilisant un Modèle Vision-Langage (VLM) pré-entraîné comme vérificateur.

Le processus se déroule en trois étapes à chaque étape de raisonnement, après qu'un nouveau plan textuel $\hat{\ell}^r_t$ a été généré :

1. Hypothétiser (Hypothesize) : La politique de base du VLA de raisonnement ($\pi^{r\text{-}VLA}_\theta$) génère $K$ séquences d'actions candidates en parallèle. Ces séquences sont autorégressives et de longueur variable, se terminant lorsqu'elle produit un jeton « think » (indiquant un retour au raisonnement).
2. Prédire (Predict) : Un modèle de dynamique (ou une simulation d'environnement parallèle dans le benchmark) prédit la séquence d'observations futures ($\hat{o}^{(k)}_{t:t+H}$) pour chaque séquence d'actions candidate. Cela permet au système de « regarder vers l'avenir » pour anticiper le résultat potentiel de chaque hypothèse sans les exécuter sur le robot.
3. Vérifier (Verify) : Un VLM pré-entraîné (par exemple, GPT-4o) agit comme un vérificateur. Il est sollicité avec l'image initiale, l'image finale prédite d'une séquence candidate, et le plan textuel. Le VLM attribue un score binaire indiquant si le résultat prédit remplit avec succès le plan. La séquence d'actions ayant le score d'alignement le plus élevé est sélectionnée pour l'exécution.

Optimisation au moment de l'exécution (Runtime Optimization) : Pour minimiser la latence, le cadre emploie une stratégie d'exécution asynchrone. L'étape de vérification s'exécute en parallèle de la génération des candidats suivants. Le système utilise une stratégie de « sortie anticipée » (early-exit), exécutant la première séquence d'actions candidate que le VLM vérifie avec succès, plutôt que d'attendre que tous les $K$ candidats soient générés et évalués.

Contributions Clés

1. Pilotage de politique au moment de l'exécution pour l'alignement raisonnement-action : Le papier introduit un cadre qui impose la fidélité de la CoT incarnée sans nécessiter de réglage fin (fine-tuning) supplémentaire. En vérifiant les actions par rapport au raisonnement textuel du modèle lui-même, SEAL transforme la diversité naturelle d'action de la politique, d'une source d'erreur en une force, filtrant ainsi les exécutions désalignées.
2. Expérimentations de généralisation étendues et analyse de mise à l'échelle : Les auteurs démontrent que SEAL surpasse les bases solides (y compris les VLA classiques et le pilotage basé sur la fonction Q) jusqu'à 15 % sur les tâches de composition de comportement et les décalages OOD. Crucialement, ils montrent que la performance augmente avec la taille et la diversité du jeu de données de réglage fin ; à mesure que la politique de base génère un ensemble plus riche de candidats d'actions, la capacité du vérificateur à sélectionner le bon s'améliore.
3. Jeu de données annoté par le raisonnement et benchmark étendu : Les auteurs contribuent à une version en code ouvert, annotée par le raisonnement, du jeu de données LIBERO-100. Ils étendent également le benchmark LIBERO avec de nouvelles descriptions de tâches, des variations visuelles et des tâches de composition de comportement spécifiquement conçues pour évaluer la robustesse OOD et la généralisation compositionnelle.

Résultats Expérimentaux

Les expériences ont été menées sur la suite de benchmarks LIBERO en utilisant trois jeux de données de complexité croissante (LIBERO-10, LIBERO-100-Basket, LIBERO-100).

• Performance en distribution (ID) : Sur les tâches ID standards, SEAL a atteint des taux de réussite de 94–97 %, surpassant le VLA de raisonnement de base ($\pi^{0\text{-}reason}$) et le pilotage par fonction Q ($\pi^{0\text{-}V\text{-}GPS}$). L'amélioration provient du filtrage des séquences d'actions qui, bien que plausibles, ne correspondent pas au sous-objectif spécifique défini dans le plan textuel.
• Composition de comportement : Sur des tâches nouvelles nécessitant la recombinaison de compétences apprises (par exemple, « mettre A et C dans le panier » alors qu'on a été entraîné sur « A+B » et « C »), SEAL montre des gains significatifs. Alors que les bases stagnent à environ 15 % de réussite, SEAL atteint jusqu'à 53 % de réussite sur le plus grand jeu de données, démontant que la vérification permet au modèle de tirer parti de ses capacités de raisonnement même lorsque la génération d'actions est bruitée.
• Robustesse OOD :
  • Décalages Sémantiques : SEAL maintient plus de 91 % de réussite sur les instructions reformulées et les changements de propriétés d'objets, là où les bases sans raisonnement chutent considérablement.
  • Décalages Visuels : Dans le cas le plus difficile de décalage « Visual-Viewpoint » (changement d'angles de caméra et d'arrière-plans), SEAL maintient un taux de réussite de 45 %, surpassant la meilleure base de plus de 17 %. Cela souligne la capacité du vérificateur à filtrer les actions qui échouent sous de sévères perturbations visuelles.
• Loi de mise à l'échelle (Scaling Law) : Augmenter le nombre de candidats échantillonnés ($K$) de 1 à 10 a entraîné un gain de performance de 15 % sur les tâches de composition et les épisodes courts. Le temps d'inférence a évolué linéairement avec $K$, restant compétitif par rapport aux travaux précédents.

Signification et Revendications

Le papier affirme que le principal goulot d'étranglement des VLA de raisonnement actuels n'est pas la génération du plan, mais l'exécution fidèle de ce plan. En introduisant une boucle de vérification au moment de l'exécution qui vérifie explicitement l'alignement raisonnement-action, les auteurs démontrent que :

1. La fidélité est actionnable : S'assurer qu'un robot « fait ce qu'il dit » augmente considérablement la robustesse dans les scénarios OOD et la généralisation compositionnelle.
2. La diversité est une force : Plutôt que de supprimer la stochasticité de la génération d'actions, SEAL tire parti de celle-ci en échantillonnant plusieurs hypothèses et en sélectionnant celle qui s'aligne avec le plan sémantique.
3. Amélioration sans réentraînement : Des gains de performance élevés peuvent être obtenus sans réentraîner la politique sous-jacente, simplement en ajoutant une étape de vérification utilisant des VLM prêts à l'emploi.

Les auteurs concluent que vérifier ce qu'un robot fait par rapport à ce qu'il dit est une étape critique vers la construction d'agents robotiques plus robustes, dignes de confiance et généralisables. Ils reconnaissent les limites, notamment la dépendance à la qualité des propositions du modèle de base et la charge de calcul de la vérification par VLM, mais positionnent SEAL comme une étape importante pour répondre au problème de l'écart de fidélité de la CoT incarnée.