🤖 AI

VeriGraph: Scene Graphs for Execution Verifiable Robot Planning

Le papier présente VeriGraph, un cadre innovant qui intègre des modèles vision-langage pour la planification robotique tout en utilisant des graphes de scène pour vérifier et corriger itérativement la faisabilité des actions, améliorant ainsi considérablement les taux de réussite des tâches par rapport aux méthodes de base.

Auteurs originaux : Daniel Ekpo, Mara Levy, Saksham Suri, Chuong Huynh, Archana Swaminathan, Abhinav Shrivastava

Publié 2026-04-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Daniel Ekpo, Mara Levy, Saksham Suri, Chuong Huynh, Archana Swaminathan, Abhinav Shrivastava

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandez à un robot de ranger votre cuisine en désordre. Si vous lui dites simplement « Range la cuisine », il risque de faire n'importe quoi : il pourrait essayer de prendre une assiette alors qu'une tasse est posée dessus, ou pire, il pourrait renverser tout le contenu !

C'est exactement le problème que les chercheurs de l'Université du Maryland ont voulu résoudre avec leur nouvelle invention appelée VeriGraph.

Voici une explication simple de comment cela fonctionne, en utilisant quelques analogies amusantes.

1. Le problème : Le robot qui a la tête dans le nuage

Les robots modernes sont très intelligents grâce à des modèles d'intelligence artificielle (comme ceux qui génèrent du texte ou des images). Mais quand on leur donne une photo d'une scène désordonnée, ils ont tendance à « halluciner » ou à oublier les règles de la physique.

C'est comme si vous demandiez à un enfant de ranger ses jouets, mais qu'il ne voyait pas que le camion est sous la poupée. Il essaiera de prendre la poupée en premier, et le camion tombera. Les robots actuels font souvent la même erreur : ils planifient des actions sans bien comprendre ce qui est posé sur quoi.

2. La solution : Le « Plan de Dessin » (Le Scene Graph)

Au lieu de laisser le robot regarder la photo brute (qui est remplie de détails inutiles comme la couleur du mur ou la texture de la table), VeriGraph transforme la scène en un schéma simplifié, appelé « graphe de scène ».

Imaginez que vous dessinez un schéma rapide sur un coin de papier pour expliquer à quelqu'un comment ranger :

🍎 Pomme → est dans → 🥣 Bol
🥣 Bol → est sur → 🍽️ Assiette
🥫 Boîte de tomates → est sur → 🥫 Boîte de haricots

Ce schéma ne contient que l'essentiel : qui est où et qui touche qui. C'est comme une carte au trésor simplifiée où chaque objet est un point et chaque relation (sur, dans, sous) est une ligne.

3. Le Super-Contrôleur : La Vérification

C'est ici que VeriGraph devient génial. Avant que le robot n'effectue vraiment une action, le système joue le rôle d'un contrôleur de sécurité rigoureux.

Voici le processus, étape par étape :

Le Chef (Le Planificateur) : L'IA regarde le schéma et dit : « Ok, je vais déplacer la pomme du tapis vers le bol ».
Le Gardien (Le Vérificateur) : Avant de laisser le robot bouger, le Gardien regarde le schéma et demande : « Attends ! Est-ce que la pomme est libre ? Y a-t-il autre chose dessus ? »
- Si la réponse est OUI (tout est libre), le robot agit.
- Si la réponse est NON (par exemple, un couvercle est sur la pomme), le Gardien dit : « STOP ! C'est impossible. Tu vas casser quelque chose. Réfléchis à une autre solution. »

Le robot doit alors corriger son plan. Il peut dire : « Ah, d'accord, je vais d'abord enlever le couvercle, puis prendre la pomme ».

4. L'Analogie du Puzzle

Imaginez que vous essayez de résoudre un puzzle géant (comme un Tangram) en regardant une photo de l'objectif.

Sans VeriGraph : Le robot essaie de bouger une pièce au hasard. Si ça ne colle pas, il continue d'essayer n'importe quoi jusqu'à ce qu'il casse le puzzle.
Avec VeriGraph : Le robot a une carte mentale précise. À chaque mouvement, il vérifie sur sa carte : « Si je déplace cette pièce ici, est-ce que ça va bloquer l'autre pièce ? ». Si la carte dit « Non », il ne bouge pas. Il ajuste son plan jusqu'à ce que tout soit parfait.

Pourquoi c'est important ?

Les chercheurs ont testé VeriGraph sur des tâches difficiles (ranger des assiettes, empiler des blocs, résoudre des puzzles).

Les robots classiques ont échoué souvent.
VeriGraph a réussi beaucoup plus souvent (jusqu'à 58% de réussite en plus !).

C'est comme si vous aviez un assistant qui ne se contente pas de vous donner des idées, mais qui vérifie aussi que vos idées sont physiquement possibles avant que vous ne les fassiez.

En résumé

VeriGraph, c'est comme donner au robot deux choses :

Une carte simplifiée de la pièce (le graphe) pour qu'il ne se perde pas dans les détails.
Un gardien vigilant qui vérifie chaque mouvement pour s'assurer qu'il respecte les lois de la physique (rien ne doit tomber, rien ne doit être coincé).

Grâce à cette méthode, les robots deviennent beaucoup plus fiables pour nous aider à ranger notre maison, cuisiner ou jouer avec nous, sans casser nos objets préférés !

1. Problématique

Les modèles de langage-vision (VLM) et les grands modèles de langage (LLM) ont ouvert de nouvelles perspectives pour la planification de tâches robotiques. Cependant, ces modèles souffrent de limitations critiques lorsqu'ils sont appliqués à des tâches de manipulation à long horizon :

Plans incorrects : Ils génèrent souvent des séquences d'actions non exécutables ou physiquement impossibles (ex: essayer de déplacer un objet qui est recouvert par un autre).
Manque de compréhension spatiale : La planification directe à partir d'images brutes (pixels) introduit du bruit et rend difficile le raisonnement sur les relations spatiales et les contraintes physiques.
Absence de vérification : Les approches existantes manquent souvent de mécanismes robustes pour vérifier la faisabilité d'une action avant son exécution, nécessitant une intervention humaine ou entraînant des échecs en boucle.

L'objectif est de créer un système capable de comprendre l'environnement physique, de respecter les contraintes d'ordre d'exécution et de corriger automatiquement les erreurs de planification.

2. Méthodologie : Le Framework VeriGraph

VeriGraph propose une architecture modulaire qui utilise les graphes de scène (Scene Graphs) comme représentation intermédiaire pour la planification et la vérification.

A. Génération de Graphe de Scène

Le système convertit l'image de la scène initiale (et l'image de référence ou l'instruction de but) en un graphe de scène structuré $G = \{V, E\}$ :

Nœuds ( $V$ ) : Représentent les objets.
Arêtes ( $E$ ) : Représentent les relations spatiales (ex: « sur », « dans »).
Un générateur de graphe (basé sur un VLM comme GPT-4V) extrait ces éléments en utilisant un dictionnaire global d'objets pour normaliser les noms.

B. Validation des Contraintes

Avant l'exécution, chaque action proposée est validée par rapport aux contraintes physiques du graphe :

Préconditions : Vérification que les conditions nécessaires sont réunies (ex: un objet ne peut être déplacé s'il supporte d'autres objets).
Post-conditions : Vérification que l'action aboutit à l'état attendu (ex: l'objet déplacé doit reposer sur le nouvel objet support).
Si une contrainte est violée, le système génère un feedback immédiat.

C. Planification Itérative

Au lieu de générer une séquence d'actions complète d'un seul coup (approche "one-shot"), VeriGraph utilise un planificateur itératif :

Le planificateur (LLM) propose un petit nombre d'actions (ex: 3).
Le module de vérification simule ces actions sur le graphe de scène actuel.
Si une violation est détectée, un feedback est renvoyé au planificateur pour corriger le plan.
Le graphe de scène est mis à jour après chaque action valide.
Le processus se répète jusqu'à ce que l'état final corresponde au graphe de but ou qu'un seuil d'erreurs soit atteint.

D. Spécification Flexible des Objectifs

Le système accepte deux types d'entrées pour définir l'objectif :

Des instructions en langage naturel (ex: « Mettez la pomme dans le bol »).
Une image de référence montrant l'état désiré.
Dans les deux cas, le système génère un graphe de scène cible pour guider la planification.

3. Contributions Clés

Représentation Unifiée : Utilisation des graphes de scène à la fois comme format de représentation pour la planification et comme mécanisme de vérification d'exécution.
Boucle de Correction Automatique : Introduction d'un mécanisme itératif qui détecte et corrige les violations de contraintes sans intervention humaine, évitant les cycles d'erreurs grâce à un seuil d'erreur défini.
Spécification d'Objectifs Multimodale : Capacité à générer des graphes de but à partir d'images de référence ou de texte, offrant une flexibilité supérieure aux méthodes basées uniquement sur le texte ou l'image brute.
Efficacité et Robustesse : Démonstration que la structure symbolique des graphes de scène est plus robuste au bruit visuel que les approches basées sur les pixels bruts.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre groupes de tâches : puzzles Tangram, réarrangement, instructions linguistiques et empilement (stacking), dans des environnements variés (cuisine, blocs, vaisselle).

Performance Globale : VeriGraph surpasse significativement les méthodes de base (baselines) :
- +58 % sur les tâches basées sur le langage par rapport à SayCan.
- +56 % sur les tâches de puzzles Tangram par rapport à VILA.
- +30 % sur les tâches basées sur l'image de référence.
Comparaison des Méthodes :
- La version avec planification itérative (« Ours ») obtient un taux de réussite de 86 % sur les tâches d'instruction par image (blocs), contre 27 % pour VILA.
- Pour les tâches de langage, VeriGraph atteint 65 % de réussite contre 17 % pour SayCan.
Études d'Ablation :
- L'utilisation d'un planificateur itératif améliore la précision par rapport à un planificateur direct (non itératif).
- Un seuil d'erreur de 5 itérations offre le meilleur compromis entre précision et temps de calcul.
- La qualité du graphe de scène généré est le facteur limitant principal ; lorsque des graphes de vérité terrain sont fournis, le taux de réussite est quasi parfait.

5. Signification et Conclusion

VeriGraph représente une avancée significative pour la robotique de manipulation en adressant le problème de la « boîte noire » des modèles de langage. En introduisant une couche de vérification symbolique (le graphe de scène), le système rend la planification vérifiable et exécutable.

Impact : Cela permet aux robots de gérer des tâches complexes à long horizon en comprenant les relations spatiales et les contraintes physiques, réduisant ainsi le besoin de supervision humaine.
Limites et Futur : La performance dépend de la précision de la génération initiale du graphe de scène. Les erreurs de détection d'objets ou de relations peuvent se propager. Le travail futur se concentrera sur l'amélioration de la génération de graphes de scène et l'exploration d'approches hybrides (VLM cloud pour la génération de graphes + LLM local pour la planification) pour réduire les coûts.

En résumé, VeriGraph démontre que l'intégration de représentations structurées (graphes) avec des modèles de langage modernes est une voie prometteuse pour rendre la planification robotique plus fiable, sûre et adaptable aux environnements réels.