💻 computer science

SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations

L'article présente SG-CoT, un cadre de planification robotique en deux étapes qui utilise des graphes de scène pour permettre aux grands modèles de langage de détecter et de clarifier les ambiguïtés, surpassant ainsi les méthodes antérieures en précision et en taux de réussite.

Auteurs originaux : Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

Publié 2026-03-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🤖 SG-CoT : Le Robot qui ne devine pas, il vérifie !

Imaginez que vous donnez une instruction à un robot très intelligent, mais un peu trop confiant. Vous lui dites : « Prends la tasse. »

Si vous avez une seule tasse sur la table, le robot la prend. Mais si vous en avez trois (une rouge, une bleue et une verte), ou si vous n'en avez aucune, le robot risque de faire une erreur. Les grands modèles de langage (les « cerveaux » des robots) ont tendance à inventer une réponse plutôt que de dire : « Attends, je ne suis pas sûr ! ». C'est ce qu'on appelle l'ambiguïté.

Les auteurs de ce papier ont créé une solution géniale appelée SG-CoT (Scene Graph-Chain-of-Thought). Voici comment ça marche, avec des analogies simples.

1. Le Problème : Le Robot qui a la « mémoire sélective » 🧠🚫

Les robots actuels fonctionnent un peu comme quelqu'un qui lit un livre à très grande vitesse. Ils voient une image, ils ont une idée, et ils agissent.

Le problème : S'ils ne voient pas bien ou s'il y a plusieurs objets pareils, ils « hallucinent ». Ils inventent des détails pour combler les trous de leur mémoire.
L'exemple : Si vous dites « Prends la tasse verte » et qu'il y a deux tasses vertes, le robot va peut-être en prendre une au hasard. Si vous dites « Prends la tasse » et qu'il n'y en a pas, il va peut-être chercher dans le vide.

2. La Solution : Le « Carnet de Notes » Structuré 📝🕸️

Pour régler ça, SG-CoT ne laisse pas le robot deviner. Il lui donne d'abord un carnet de notes très organisé, qu'on appelle un Graphique de Scène (Scene Graph).

L'analogie du Dessin Animé : Imaginez que le robot ne regarde pas juste une photo floue. Il a un dessinateur qui crée instantanément un plan détaillé de la pièce.
- Ce plan liste tous les objets : « Tasse rouge ici », « Tasse bleue là-bas ».
- Il note les relations : « La tasse rouge est sur la table », « La tasse bleue est à côté de l'assiette ».
- C'est comme passer d'une photo floue à un plan d'architecte précis avec des étiquettes sur tout.

3. Le Processus : Le Détective qui pose des questions 🕵️‍♂️❓

C'est ici que la magie opère. Le robot ne se contente pas de regarder le plan. Il utilise une méthode appelée Chain-of-Thought (Chaîne de Pensée), mais avec une touche spéciale : il interroge son plan.

Voici le scénario type avec SG-CoT :

L'instruction : Vous dites : « Prends la tasse verte. »
La vérification : Le robot regarde son « plan d'architecte » (le Graphique de Scène).
La découverte : Il voit qu'il y a deux tasses vertes.
Le réflexe intelligent : Au lieu de prendre l'une au hasard, le robot s'arrête. Il se dit : « Attends, mon plan me dit qu'il y en a deux. Je ne peux pas deviner. »
La question : Il vous demande : « Laquelle voulez-vous ? Celle à gauche ou celle à droite ? »

En résumé : Le robot ne dit plus « Je pense que c'est ça ». Il dit : « Mon plan montre deux options, aidez-moi à choisir. »

4. Pourquoi c'est génial ? (Les Résultats) 🏆

Les chercheurs ont testé leur méthode dans des simulations (des mondes virtuels) et les résultats sont impressionnants :

Moins d'erreurs : Le robot réussit beaucoup plus souvent ses tâches, même quand il y a des pièges (plusieurs objets, objets manquants).
Meilleures questions : Quand il ne comprend pas, il pose la bonne question. Au lieu de dire « Je ne sais pas », il dit « Vous voulez la tasse rouge ou la bleue ? ».
Travail d'équipe : Ils ont aussi testé ça avec deux robots. Si un robot ne voit pas un objet parce qu'il est caché, il peut demander à l'autre robot : « Tu vois quelque chose de rouge ? ». C'est comme deux collègues qui se passent des informations pour résoudre un casse-tête.

En conclusion 🎯

Imaginez que vous donnez des instructions à un assistant très zélé mais un peu étourdi.

Sans SG-CoT : Il prend une décision rapide et fait une bêtise.
Avec SG-CoT : Il prend un moment, consulte son carnet de notes ultra-précis, repère le doute, et vous demande : « Excusez-moi, il y a une petite confusion, pouvez-vous préciser ? ».

C'est cette capacité à reconnaître ce qu'il ne sait pas et à vérifier les faits avant d'agir qui rend ce nouveau système beaucoup plus sûr et fiable pour le futur de la robotique.

1. Problématique

L'utilisation de modèles de langage (LLM) comme planificateurs pour les robots a considérablement progressé, mais elle se heurte à un défi majeur : l'ambiguïté. Les robots doivent souvent interpréter des instructions humaines dans des environnements dynamiques où l'information peut être incomplète ou imprécise.

L'article identifie trois sources principales d'ambiguïté que les approches précédentes peinent à gérer :

Sous-spécification de l'instruction : L'utilisateur omet des détails cruciaux (ex: « Prends la tasse » alors qu'il y en a plusieurs).
Ambiguïté environnementale : L'état de l'environnement crée des conflits (ex: absence de l'objet demandé ou multiplicité d'objets valides).
Observation partielle (Multi-agent) : Dans un système multi-robots, un agent ne voit pas toute la scène, ce qui peut masquer des objets essentiels à la tâche.

Les méthodes existantes (comme CLARA ou Inner Monologue) reposent souvent sur des estimations d'incertitude ou des descriptions textuelles haut niveau, ce qui les rend incapables de distinguer des attributs spécifiques (ex: « l'objet avec des boutons verts ») ou des relations spatiales complexes, conduisant à des actions sous-optimales ou dangereuses.

2. Méthodologie : SG-CoT

Les auteurs proposent SG-CoT (Scene Graph-Chain-of-Thought), un cadre de planification en deux étapes qui intègre la construction de graphes de scène avec le raisonnement itératif des LLM.

A. Construction du Graphe de Scène (Scene Graph)

Au lieu de fournir une simple liste d'objets au LLM, le système construit un graphe de scène structuré $G = (V, E)$ à partir des observations visuelles :

Nœuds ( $V$ ) : Représentent les objets détectés, avec leurs attributs (couleur, taille, état).
Arêtes ( $E$ ) : Représentent les relations sémantiques et spatiales entre les objets (ex: « à gauche de », « à l'intérieur de »).
Génération : Un modèle Vision-Language (VLM) est utilisé via un prompting pour générer ce graphe sous forme JSON, en une seule passe pour réduire la complexité computationnelle ( $O(n^2)$ évité).

B. Processus de Raisonnement Itératif

Le LLM ne génère pas de plan en une seule passe. Il suit une boucle de raisonnement, d'interrogation et d'action :

Initialisation : Le LLM reçoit l'instruction, l'observation et le schéma du graphe.
Raisonnement et Interrogation : Le LLM émet un trace de pensée. S'il manque d'informations, il appelle une API pour interroger le graphe de scène via deux fonctions :
- retrieve_node : Récupère des objets selon des attributs (ex: « tous les bols rouges »).
- retrieve_edge : Récupère les relations (ex: « ce qui est au-dessus du bol bleu »).
Mise à jour du contexte : Les résultats de la requête sont ajoutés à l'historique de conversation, permettant au LLM de « s'ancrer » dans la réalité visuelle avant de décider.
Décision : Une fois l'information suffisante, le LLM choisit soit une séquence d'actions physiques, soit une question de clarification ciblée si une ambiguïté persiste.

3. Contributions Clés

Cadre SG-CoT : Intégration novatrice des graphes de scène avec le raisonnement en chaîne de pensée (CoT) itératif pour améliorer la robustesse des robots face à l'ambiguïté.
Classification des ambiguïtés : Définition formelle de trois types d'ambiguïtés (environnement, instruction, observation partielle), mettant l'accent sur les ambiguïtés induites par l'environnement, souvent négligées.
Métrique d'évaluation : Introduction du Correct Question Rate (CQR) pour mesurer non seulement si le robot demande de l'aide, mais si la question posée est pertinente et identifie correctement la source de l'ambiguïté.

4. Résultats Expérimentaux

L'évaluation a été menée sur des environnements de table simulés (basés sur SayCan) et des tâches multi-robots (basées sur LEMMA), comparant SG-CoT à des méthodes de référence (CLARA, Inner Monologue, ProgPrompt) utilisant des modèles comme Gemini-2.5-Flash et Qwen3-VL-2B-Instruct.

Performance Globale : SG-CoT surpasse systématiquement les méthodes existantes.
- Taux de réussite (SR) : Augmentation d'au moins 4 % en environnement mono-agent et 15 % en environnement multi-agent.
- Précision des questions (CQR) : Amélioration d'au moins 10 % par rapport aux meilleures méthodes précédentes.
Gestion de l'ambiguïté :
- En cas de multiplicité (plusieurs objets valides) ou d'absence, SG-CoT détecte correctement le problème et pose la bonne question, là où les autres modèles tentent souvent d'agir de manière erronée.
- En observation partielle, SG-CoT permet aux robots de communiquer efficacement pour récupérer les informations manquantes auprès d'autres agents.
Étude d'ablation : La suppression de l'itération (fournir le graphe complet d'un coup) ou des arêtes du graphe entraîne une chute significative des performances, confirmant l'importance du raisonnement itératif et de la structure relationnelle du graphe.

5. Signification et Limites

Signification :
Ce travail démontre que l'ancrage du raisonnement des LLM dans une représentation structurée du monde (le graphe de scène) est crucial pour la fiabilité robotique. SG-CoT transforme le LLM d'un générateur de texte confiant en un agent capable de vérifier ses hypothèses, de détecter les incohérences et de collaborer avec l'humain ou d'autres robots pour résoudre les ambiguïtés.

Limites :

Dépendance au VLM : La qualité du graphe de scène dépend de la précision du modèle de vision. Si le VLM hallucine des relations, le raisonnement du LLM sera compromis.
Coût computationnel : La génération de graphes et les multiples appels LLM augmentent la latence et la consommation de tokens.
Validation simulée : Les expériences sont limitées à des environnements simulés ; une validation sur des robots physiques réels est nécessaire.

En conclusion, SG-CoT représente une avancée significative vers des systèmes robotiques plus autonomes et collaboratifs, capables de naviguer dans la complexité et l'incertitude du monde réel.