Résumé Technique : CoSPlan : Planification de Séquences Correctives via Mises à Jour Incrémentielles de Graphes de Scène

1. Définition du Problème

Les modèles de langage-vision (VLM) ont démontré des capacités significatives en raisonnement textuel et en planification, particulièrement lorsqu'ils utilisent des techniques comme la Chaîne de Pensée (Chain-of-Thought - CoT). Cependant, leur capacité à effectuer une planification séquentielle dans le domaine visuel reste sous-explorée. Les benchmarks existants se concentrent souvent sur des puzzles visuels statiques ou supposent des instructions idéales et sans erreur, échouant à capturer les complexités de la prise de décision dans le monde réel, où les agents doivent naviguer à travers des contraintes physiques et se rétablir de erreurs d'exécution.

Le papier identifie une lacune critique : les VLM peinent à maintenir un raisonnement visuel multi-étapes cohérent, surtout lorsqu'ils sont tenus de détecter et de corriger des étapes erronées au sein d'une séquence. Les modèles actuels ont tendance à compresser le raisonnement d'un état initial vers un objectif final en une seule étape, simulant implicitement de longues séquences d'actions sans représentations intermédiaires explicites. Cela conduit à des échecs dans la « Complétion d'Étape » (planifier les actions restantes) et la « Détection d'Erreur » (identifier où une séquence a mal tourné), entraînant souvent des performances proches du hasard lorsque des erreurs sont introduites.

Pour y remédier, les auteurs introduisent CoSPlan (Corrective Sequence Planning), un benchmark multimodal conçu pour évaluer les VLM sur leur capacité à naviguer à travers une séquence d'actions visuelles d'une scène initiale ($I_0$) vers une scène cible ($I_g$), étant donné un contexte initial contenant au moins une action intentionnelle, non optimale ou erronée ($A_E$).

2. Méthodologie

2.1 Le Benchmark CoSPlan

CoSPlan évalue les modèles sur deux tâches distinctes :

1. Détection d'Erreur : Identifier l'étape erronée spécifique au sein du contexte initial fourni (ou déterminer si aucune erreur n'existe).
2. Complétion d'Étape : Sélectionner la séquence correcte d'actions restantes pour atteindre l'état cible, corrigeant ainsi la trajectoire établie par l'erreur.

Le benchmark comprend quatre tâches distinctes, chacune présentant des erreurs sous-optimales intentionnelles (sauf pour un cas spécifique noté ci-dessous) :

• Maze-E : Tâches de navigation où l'agent doit se déplacer d'une cellule de départ à une cellule d'objectif tout en évitant des obstacles. Les erreurs incluent le dépassement des limites, la collision avec des obstacles ou des mouvements diagonaux illégaux.
• Blocks-World-E : Tâches de réarrangement de blocs où l'objectif est de transformer une configuration de pile initiale en une cible. Les erreurs impliquent des mouvements physiquement impossibles (ex: déplacer des blocs qui ne sont pas au sommet, des blocs flottants) ou un empilement inefficace.
• Shuffle-E : Tâches de reconstruction d'images où des patchs d'images mélangés doivent être échangés pour restaurer l'image originale. Note : En raison de la nature en cascade des erreurs dans cette tâche, une seule erreur est introduite, mais il est noté que cela crée un défi unique pour l'uniformité.
• Robo-VQA-E : Tâches de réorganisation d'objets du monde réel utilisant des paires image-texte curatées. Les erreurs incluent des placements sous-optimaux, des interactions arbitraires avec des objets inexistants, ou des actions invalides (ex: ouvrir une porte déjà ouverte).

Garde-fous de Conception : Pour empêcher les modèles de « tricher » en sélectionnant simplement une option qui correspond visuellement à l'état final ($I_g$) sans raisonner sur les contraintes, CoSPlan inclut des options distractrices. Ces distracteurs atteignent l'état final mais échouent à corriger l'erreur spécifique du contexte initial, forçant le modèle à comprendre l'historique et les contraintes de la scène.

2.2 Solution Proposée : Mise à Jour Incrémentielle de Graphe de Scène (SGI)

Reconnaissant que les approches standard de CoT et les graphes de scène (SG) statiques peinent face au raisonnement visuel à long terme, les auteurs proposent la méthode SGI, qui ne nécessite pas d'entraînement.

• Concept Central : Au lieu de raisonner directement sur des images ou de compresser toute la séquence en une seule étape, la SGI transforme les images en Graphes de Scène textuels. Elle effectue ensuite un raisonnement itératif, étape par étape, dans l'espace textuel.
• Algorithme :
  1. Graphes de Scène Classiques : Le VLM génère un Graphe de Scène initial ($S_0$) à partir de $I_0$ et un Graphe de Scène cible ($S_g$) à partir de $I_g$.
  2. Mise à jour Incrémentielle : Partant de $S_0$, le modèle est invité à « simuler » chaque action du contexte initial (incluant l'erreur) pour mettre à jour le graphe de manière incrémentielle, produisant un graphe d'état intermédiaire ($S_c$).
  3. Simulation d'Options : Pour chaque option à choix multiples (représentant une séquence future potentielle), le modèle simule les actions en partant de $S_c$, générant un graphe final hypothétique ($S_m$) pour cette option.
  4. Comparaison de Similitude : Le modèle compare chaque graphe hypothétique ($S_m$) avec le graphe cible ($S_g$) pour déterminer quelle option s'aligne le mieux avec les contraintes de l'objectif, sélectionnant ainsi le chemin qui corrige l'erreur.

Cette approche décompose la charge de raisonnement, permettant au modèle de suivre explicitement l'évolution des états plutôt que de compter sur une visualisation implicite.

3. Contributions Clés

1. Benchmark CoSPlan : Le premier benchmark multimodal évaluant les VLM sur la planification séquentielle dans le domaine vision-langage sous des conditions sujettes aux erreurs. Il combine de manière unique des séquences d'actions temporelles avec l'exigence de détection et de correction d'erreurs à travers quatre types de tâches diversifiés.
2. Analyse Empirique des Faiblesses des VLM : Le papier fournit une évaluation rigoureuse des VLM de pointe (incluant GPT-4o, GPT-5.1, Intern-VLM, Qwen, et d'autres). Il révèle que même les modèles avancés performent près du hasard sur ces tâches, soulignant une incapacité significative à visualiser les étapes intermédiaires et à gérer les erreurs en contexte.
3. Méthode SGI : Une nouvelle technique sans entraînement qui exploite les Graphes de Scène pour des mises à jour incrémentielles. La SGI améliore considérablement les performances par rapport aux méthodes de Graphes de Scène classiques et aux lignes de base de type Chain-of-Thought en modélisant explicitement les états intermédiaires.

4. Résultats

• Performance de Base : Les VLM classiques et ceux utilisant le CoT standard ou les SG statiques performent mal, souvent proches ou en dessous du hasard (ex: ~20 % de précision sur des QCM à 5 options). Cela indique une difficulté fondamentale avec la planification de séquences visuelles en présence d'erreurs.
• Performance de la SGI : La méthode SGI produit une amélioration constante à travers toutes les tâches.
  • Complétion d'Étape : La SGI atteint une amélioration moyenne de ~4,4 % par rapport aux méthodes de Graphes de Scène standards, avec des gains atteignant jusqu'à 10,3 % pour des modèles spécifiques comme Intern-VLM 2.
  • Détection d'Erreur : La SGI améliore la précision de la détection d'erreur de 4,1 % à 9,2 % en moyenne selon le modèle.
  • Généralisation : La SGI démontre une robustesse sur des jeux de données externes, mont'rant des améliorations sur les tâches de VQA (Visual Question Answering) et le benchmark PlanBench (planification textuelle), suggérant que l'utilité de la méthode s'étend au-delà des tâches spécifiques de CoSPlan.
• Sensibilité à l'Erreur : L'étude montre que les VLM excellent dans les contextes sans erreur mais se dégradent considérablement lorsqu'une seule erreur est introduite. De plus, la performance chute à mesure que le nombre d'options du QCM augmente, suggérant une dépendance au biais des options plutôt qu'à un véritable raisonnement.

5. Signification et Revendications

Le papier affirme que CoSPlan expose une limitation critique des VLM actuels : bien qu'ils puissent posséder une forte généralisation zero-shot dans la compréhension textuelle ou d'images statiques, ils manquent du raisonnement visuel multi-étapes cohérent requis pour la prise de décision dans le monde réel où des erreurs surviennent.

La signification de ce travail réside dans :

• Réalisme : En introduisant des erreurs, CoSPlan imite des scénarios de déploiement réalistes (ex: robotique, navigation autonome) où les agents doivent se rétablir d'actions sous-optimales, une capacité actuellement absente de la plupart des benchmarks.
• Changement Méthodologique : Le succès de la SGI suggère que transformer le raisonnement visuel en raisonnement textuel itératif (via les Graphes de Scène) est une voie viable pour surmonter le fossé du raisonnement à "longue horizon" des VLM, sans nécessifier de réentraînement intensif.
• Valeur Diagnostique : Le benchmark sert de test rigoureux pour distinguer les modèles qui se contentent d'« halluciner » un état final de ceux qui comprennent réellement les relations causales et les contraintes d'une séquence visuelle.

Les auteurs concluent que bien que la SGI booste substantiellement les performances, la performance proche du hasard de nombreux modèles, même avec la SGI, souligne que la simulation d'étapes visuelles reste un défi intrinsèquement difficile pour les architectures actuelles, nécessitant des recherches supplémentaires sur les mécanismes de raisonnement visuel robuste.