ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

Le papier présente ViPlan, le premier benchmark open-source comparant les approches de planification symbolique ancrée par des modèles vision-langage (VLM) et la planification directe par VLM, révélant que la première surpasse la seconde dans des tâches de type Blocksworld tandis que la seconde excelle dans des environnements de robotique domestique, tout en mettant en évidence les limites actuelles du raisonnement visuel des VLM.

L'essentiel

🎨 Le Grand Défi de la Planification Visuelle : ViPlan

Imaginez que vous voulez construire un robot capable de ranger votre chambre ou de jouer aux blocs. Pour cela, vous avez besoin d'un cerveau. Aujourd'hui, nous avons deux types de "cerveaux" très puissants basés sur l'intelligence artificielle :

1. Le Visionnaire (VLM-as-planner) : Il regarde la photo et dit directement : "Je vais prendre ce bloc et le mettre là !"
2. L'Architecte (VLM-as-grounder) : Il regarde la photo, la décrit avec des mots précis ("Le bloc rouge est sur le bleu"), puis passe ces informations à un planificateur logique très rigoureux qui calcule la meilleure suite de mouvements.

Le problème ? Personne ne savait vraiment lequel des deux était le meilleur, car il n'existait pas de terrain de jeu équitable pour les tester tous les deux en même temps.

C'est là qu'intervient ViPlan, le premier "stade de sport" ouvert à tous pour comparer ces deux approches.

🧱 Les Deux Terrains de Jeu

Les chercheurs ont créé deux mondes virtuels très différents pour tester nos robots :

1. Le Monde des Blocs (Blocksworld) : C'est un jeu de construction très logique, comme des Lego sur une table. Tout est visible, tout est clair. C'est un peu comme un puzzle mathématique.
   • L'analogie : C'est comme résoudre une équation où chaque pièce a sa place exacte.
2. La Maison Domestique (Household) : C'est une simulation d'une vraie maison avec un robot. Il y a des objets cachés dans des tiroirs, des meubles qui bougent, et des angles morts. C'est le chaos du quotidien.
   • L'analogie : C'est comme essayer de ranger une chambre en ayant seulement un petit miroir pour voir ce qui se passe, sans pouvoir tout voir d'un coup.

🏆 Les Résultats : Qui gagne ?

Les résultats sont surprenants et montrent que le contexte est roi.

1. Dans le Monde des Blocs (Logique pure)

Ici, l'Architecte (VLM-as-grounder) écrase le Visionnaire.

• Pourquoi ? Parce que dans ce monde, la précision est tout. L'Architecte regarde l'image, dit "Oui, le bloc est libre", et le planificateur logique construit un plan parfait.
• Le score : L'Architecte réussit 46% des tâches, contre seulement 9% pour le Visionnaire qui se trompe souvent de logique.
• La métaphore : C'est comme un joueur d'échecs qui utilise un ordinateur pour vérifier chaque coup. Le joueur qui essaie de tout deviner d'un coup (le Visionnaire) fait des erreurs fatales.

2. Dans la Maison Domestique (Chaos réel)

Ici, c'est l'inverse ! Le Visionnaire (VLM-as-planner) devient le champion.

• Pourquoi ? Parce que dans une vraie maison, on ne voit pas tout. L'Architecte essaie de vérifier chaque petit détail ("Est-ce que la porte est ouverte ?", "Est-ce que la tasse est à portée de main ?"). Comme il y a trop d'angles morts, il se trompe souvent, et une seule erreur le fait tout rater.
• Le Visionnaire, lui, utilise son "intuition" linguistique. Il dit : "Bon, je vais aller chercher la tasse, même si je ne la vois pas parfaitement, c'est probablement là." Il devine mieux que l'Architecte ne peut vérifier.
• Le score : Le Visionnaire réussit 34% des tâches, contre 5% pour l'Architecte.
• La métaphore : C'est comme un détective qui, face à un crime complexe, utilise son instinct et son expérience pour deviner le coupable, plutôt que de passer des heures à vérifier chaque alibi (ce qui le ferait se perdre dans les détails).

🤔 Et la "Pensée à voix haute" (Chain-of-Thought) ?

Vous avez peut-être entendu dire que demander à une IA de "réfléchir étape par étape" (comme si elle parlait à voix haute) l'aide toujours.
La mauvaise nouvelle : Dans ce test, ça n'a pas vraiment aidé, et ça a même parfois nui !

• L'analogie : C'est comme demander à un coureur de marathon de s'arrêter à chaque kilomètre pour écrire un journal de bord détaillé. Au lieu de courir, il s'épuise à écrire et finit par abandonner avant la ligne d'arrivée. Les modèles actuels se perdent dans leurs propres explications.

💡 La Leçon à retenir

Ce papier nous apprend une chose fondamentale : il n'y a pas de solution unique.

• Si vous avez besoin de précision chirurgicale dans un environnement contrôlé (comme un laboratoire ou un jeu de logique), utilisez l'Architecte (Vision + Logique).
• Si vous devez agir dans un monde réel, imprévisible et partiellement caché (comme une maison ou une rue), le Visionnaire (Intuition visuelle + Langage) est souvent plus robuste.

ViPlan est donc une boussole pour les chercheurs : il nous dit quand utiliser quel outil, et nous rappelle que nos robots intelligents ont encore beaucoup de mal à combiner la vue parfaite avec la logique parfaite, surtout quand ils doivent "penser" trop fort.

Résumé technique

1. Problématique

L'intégration des Modèles de Langage de Grande Taille (LLM) avec des planificateurs symboliques est une approche prometteuse pour générer des plans vérifiables et ancrés dans la réalité. Récemment, cette idée a été étendue aux domaines visuels grâce aux Modèles Vision-Langage (VLM). Deux paradigmes principaux émergent :

1. VLM-as-Planner : Le modèle VLM sélectionne directement les actions à partir des entrées visuelles, sans utiliser de planificateur symbolique externe.
2. VLM-as-Grounder : Le VLM est utilisé pour « ancrer » (ground) les représentations symboliques du monde (comme les prédicats booléens en PDDL) à partir des données perceptuelles (images), permettant ensuite à un planificateur symbolique classique de générer le plan.

Cependant, il existe un manque critique de benchmarks visuels ouverts permettant une comparaison rigoureuse entre ces deux approches dans des environnements identiques. Les travaux précédents se concentrent soit sur le planificateur direct (souvent avec des modèles privés), soit sur des benchmarks fermés, rendant difficile l'évaluation des forces et faiblesses relatives de chaque méthode, notamment face à l'ambiguïté visuelle et à l'observabilité partielle.

2. Méthodologie : Le Benchmark ViPlan

Les auteurs présentent ViPlan, le premier benchmark open-source conçu pour comparer systématiquement les approches VLM-as-planner et VLM-as-grounder.

A. Domaines de Tâches

ViPlan introduit deux environnements visuels aux défis complémentaires :

1. ViPlan-Blocksworld (ViPlan-BW) : Une variante visuelle du problème classique d'empilement de blocs. C'est un environnement entièrement observable et abstrait, où la précision de l'ancrage visuel (détection d'objets et de relations spatiales) est cruciale.
2. ViPlan-Household (ViPlan-HH) : Un environnement de robotique domestique simulé (basé sur iGibson 2.0 avec le robot Fetch). Il présente des défis de partial observabilité (certains objets sont cachés), de navigation et de manipulation d'objets réalistes.

Chaque domaine contient 75 tâches réparties en trois niveaux de difficulté (Simple, Moyen, Difficile).

B. Approches Évaluées

Le benchmark évalue huit variantes de méthodes :

• VLM-as-Planner : Le VLM génère soit un plan complet (format JSON), soit l'action suivante. Des variantes incluent le raisonnement par chaîne de pensée (CoT).
• VLM-as-Grounder : Le VLM répond à des questions Oui/Non pour vérifier les préconditions et les effets des actions d'un planificateur symbolique (Fast Downward). Des variantes incluent l'ajout de mémoire (pour corriger les erreurs d'ancrage) et le CoT.

C. Sélection des Modèles

Sur un pool de 21 modèles VLM open-source (de différentes tailles et familles : InternVL, Qwen, LLaVA, Gemma, etc.) et 3 modèles fermés (GPT-4.1, GPT-5.2), les auteurs ont sélectionné les 5 meilleurs modèles basés sur une évaluation préliminaire pour les tests principaux, assurant ainsi la reproductibilité et la pertinence des résultats.

3. Contributions Clés

1. Création de ViPlan : Un benchmark open-source reproductible comparant directement les approches symboliques ancrées par VLM et les planificateurs directs.
2. Analyse des Compromis (Trade-off) : Identification claire des domaines où chaque approche excelle ou échoue.
3. Évaluation du Chain-of-Thought (CoT) : Une analyse approfondie montrant que le CoT n'améliore pas systématiquement les performances en planification visuelle.
4. Analyse Qualitative des Échecs : Identification des modes de défaillance spécifiques (hallucinations d'ancrage, incohérences de planification, erreurs de parsing).
5. Données Open-Source : Mise à disposition du code, des environnements et des résultats détaillés pour la communauté.

4. Résultats Principaux

Les résultats révèlent une divergence fondamentale selon le domaine :

• Dans ViPlan-Blocksworld (Environnement Abstrait/Observable) :

  • L'approche VLM-as-Grounder surpasse nettement le VLM-as-Planner (46 % de réussite contre 9 %).
  • Raison : La tâche nécessite un ancrage visuel précis et une logique stricte. Le planificateur symbolique, guidé par des vérifications précises du VLM, gère mieux la structure logique que le VLM agissant seul.

• Dans ViPlan-Household (Environnement Réaliste/Partiellement Observable) :

  • L'approche VLM-as-Planner est largement supérieure (34 % de réussite contre 5 % pour le VLM-as-Grounder).
  • Raison : L'observabilité partielle et l'ambiguïté visuelle rendent la vérification de chaque prédicat (nécessaire pour l'approche Grounder) trop coûteuse en erreurs. Le VLM-as-Planner exploite ses priors linguistiques (connaissance du monde) pour proposer des actions plausibles malgré le manque d'informations visuelles complètes.

• Impact du Chain-of-Thought (CoT) :

  • L'ajout de CoT n'améliore pas de manière cohérente les performances. Dans certains cas (notamment pour Plan + CoT dans ViPlan-HH), il dégrade les résultats (chute de 39 % à 23 %).
  • Cause : Les modèles entrent souvent dans des boucles de raisonnement répétitives, épuisant le budget de tokens sans produire de plan valide, ou produisent des raisonnements incohérents.

• Analyse des Échecs :

  • VLM-as-Planner : Échoue souvent par des prédictions d'actions non exécutables (manque de suivi d'état interne) ou des erreurs de formatage (JSON).
  • VLM-as-Grounder : Échoue principalement par des erreurs d'ancrage (hallucinations sur les préconditions). Une erreur mineure dans la vérification d'un prédicat peut entraîner un état symbolique incohérent et bloquer le plan.

5. Signification et Conclusion

L'article ViPlan démontre qu'il n'existe pas de solution universelle pour la planification visuelle assistée par VLM. Le choix de l'architecture dépend intrinsèquement de la nature de l'environnement :

• Pour des tâches structurées et entièrement observables, l'hybridation VLM-as-Grounder (VLM + Planificateur Symbolique) est supérieure car elle garantit la rigueur logique.
• Pour des tâches ambiguës, partiellement observables et complexes (comme la robotique domestique), l'approche VLM-as-Planner (directe) s'avère plus robuste en s'appuyant sur la compréhension sémantique du modèle plutôt que sur une vérification visuelle exhaustive et fragile.

De plus, le travail met en lumière les limites actuelles des VLMs en matière de raisonnement visuel complexe et de cohérence sur de longues chaînes de pensée (CoT), suggérant que les améliorations futures doivent se concentrer sur la fiabilité du raisonnement visuel plutôt que sur l'ajout simple de prompts de réflexion.

Ce benchmark ouvre la voie à de nouvelles recherches sur des méthodes hybrides capables de combiner la rigueur du symbolisme avec la flexibilité des priors linguistiques, tout en fournissant une base standardisée pour évaluer les progrès futurs.