Résumé technique : Le syndrome du « oui, monsieur » chez les agents robotiques incarnés

Énoncé du problème

Les modèles vision-langage (VLM) sont de plus en plus déployés comme planificateurs de haut niveau pour les robots incarnés, traduisant les instructions en langage naturel et les observations visuelles en plans d'action physiques. Une lacune critique existe dans les cadres d'évaluation actuels : si l'abstention (la capacité à reconnaître lorsqu'une requête ne peut être résolue de manière fiable) a été étudiée dans les grands modèles de langage (LLM) textuels uniquement, les benchmarks existants échouent à capturer l'ancrage perceptuel et les contraintes physiques inhérentes à la robotique.

Dans les contextes incarnés, l'« abstention » est définie comme le fait de ne pas exécuter une instruction lorsque celle-ci est mal posée, non ancrée, ambiguë ou physiquement irréalisable compte tenu de la scène observée et des capacités de l'agent. L'échec à s'abstenir conduit à une exécution incorrecte de la tâche, à une accumulation d'erreurs dans les tâches multi-étapes et à une interaction dégradée. Les systèmes actuels ont souvent tendance à passer à l'action même lorsque les instructions sont ambiguës ou impossibles, un comportement que les auteurs qualifient de « syndrome du oui, monsieur ».

Méthodologie : Cadre ROBOABSTENTION

Pour combler cette lacune, les auteurs introduisent ROBOABSTENTION, un cadre évolutif et auditable pour générer et évaluer des instructions d'abstention ancrées dans des images du monde réel. Le cadre fonctionne via un pipeline en trois phases conçu pour assurer la vérifiabilité programmatique et réduire les hallucinations dans le processus de génération de données :

1. Ancrage visuel structuré : Un VLM (Claude Sonnet 4.6 d'Anthropic) extrait une représentation JSON structurée de l'image d'entrée. Cette phase est limitée à la description perceptuelle (objets, attributs, états, localisations spatiales) en utilisant des vocabulaires contrôlés. Crucialement, le modèle est invité à ne rapporter que ce qui est directement observable et à identifier les objets absents ou peu plausibles, évitant tout raisonnement en aval à ce stade.
2. Dérivation déterministe des contraintes : En utilisant une logique basée sur des règles appliquée à la sortie JSON structurée, le système dérive de manière déterministe des instances candidates pour des catégories spécifiques d'abstention. Cette phase est entièrement non apprise, garantissant que les conditions d'abstention sont mathématiquement vérifiables sur la base de la représentation de la scène.
3. Génération d'instructions contrôlée : Des instructions en langage naturel sont générées à l'aide de modèles spécifiques à chaque catégorie. Ces modèles sont instanciés uniquement avec les candidats dérivés à la phase 2, garantissant que les instructions générées correspondent strictement à la condition d'abstention visée (par exemple, un modèle d'« Irréalité physique » n'est rempli qu'avec des paires objet-localisation qui violent les contraintes de taille).

Taxonomie de l'abstention

Le cadre catégorise l'abstention en huit types distincts, organisés en trois groupes :

• Ancrage de la référence :
  • Référent manquant : L'objet n'existe pas dans la scène.
  • Référent ambigu : Plusieurs objets satisfont la description sans attributs distinctifs.
  • Intention sous-spécifiée : Manque de contexte pour les références déictiques (par exemple, « cela », « là-bas »).
  • Intention subjective : Nécessite des préférences utilisateur inconnues du robot (par exemple, « ma boisson préférée »).
• Faisabilité d'exécution :
  • Irréalité physique : Violation des contraintes spatiales ou physiques (par exemple, faire entrer un clavier dans une tasse).
  • Capacité manquante : Nécessite des capteurs ou des actionneurs que le robot ne possède pas (par exemple, l'odorat).
  • Instructions contradictoires : Impose des exigences mutuellement incompatibles.
• Fausse prémisse :
  • Fausse prémisse : L'instruction suppose un état du monde contredit par la scène (par exemple, « éteindre » un moniteur qui est déjà éteint).

Construction du jeu de données

Le benchmark utilise 1 250 images provenant de cinq ensembles de données diversifiés en robotique incarnée (DROID, Robo2VLM, RoboVQA, BridgeV2 et EgoThink). Le pipeline génère un total de 6 069 instructions, chaque image étant associée à des instructions susceptibles de provoquer une abstention dans plusieurs catégories. Le jeu de données est conçu pour être auditable, chaque instruction étant traçable jusqu'à l'ancrage visuel spécifique et à la dérivation de contraintes qui ont justifié sa création.

Résultats expérimentaux

Les auteurs ont évalué plusieurs VLM de pointe, notamment GPT-5.4, Claude Sonnet 4.6, Gemini Robotics ER 1.6 Preview et Gemini 2.5 Flash.

• Performance de base : Tous les modèles ont présenté des faiblesses significatives en matière d'abstention. Le modèle général le plus performant, Gemini 2.5 Flash, s'est abstenu dans seulement 39,0 % des instructions. Le planificateur spécifique à l'incarnation, Gemini Robotics ER 1.6 Preview, a obtenu un résultat encore pire, s'abstenant dans seulement 16,5 % des cas.
• Disparités par catégorie : Les modèles ont relativement bien performé sur les cas de « Référent manquant » (41,3 % d'abstention) mais ont échoué de manière dramatique sur les tâches de « Référent ambigu » (2,6 % d'abstention), suggérant une tendance à deviner plutôt qu'à demander des clarifications.
• Échelle du modèle et raisonnement : Au sein de la famille GPT-5.4, l'augmentation de l'échelle du modèle (de Nano à Mini, puis à Full) a eu peu d'effet sur les taux globaux d'abstention. De manière surprenante, l'augmentation du niveau de « raisonnement » (de aucun à élevé) a réduit la performance d'abstention, indiquant que la délibération supplémentaire encourage les modèles à construire des plans d'action plausibles ou des contournements plutôt que de reconnaître l'invalidité.
• Modes d'échec : L'analyse des réponses non abstentionnelles a révélé que les modèles « hallucinent » fréquemment des cibles concrètes, inventent des capacités sensorielles ou proposent des stratégies de recherche et d'action pour contourner l'incertitude. Le plus grand cluster d'échecs est la « Sélection arbitraire de cible », où les modèles résolvent l'ambiguïté en choisissant une cible sans clarification.

Stratégies d'atténuation

L'étude a testé si l'incitation (prompting) pouvait améliorer les performances :

• Incitation défensive : Instruire explicitement le modèle à s'abstenir dans des conditions spécifiques.
• Apprentissage en contexte (ICL) : Fournir quelques exemples de comportement d'abstention correct.
• Approche combinée : Utiliser les deux stratégies.

L'approche combinée a produit les améliorations les plus élevées, portant le taux d'abstention de Gemini Robotics ER 1.6 Preview à 93,6 % et de GPT-5.4 Mini à 88,6 %. Cependant, les auteurs notent qu'aucune approche unique n'a résolu entièrement le problème et que des modes d'échec significatifs ont persisté même avec l'atténuation.

Importance et revendications

L'article présente l'abstention comme une capacité distincte qui doit être explicitement mesurée dans l'évaluation de l'IA incarnée, séparément du succès d'exécution de la tâche. Les auteurs affirment que :

1. Les VLM de pointe actuels, même ceux dotés de capacités de raisonnement avancées, sont sujets au « syndrome du oui, monsieur », exécutant avec assurance des instructions ambiguës, non ancrées ou physiquement impossibles.
2. Les benchmarks existants sont insuffisants car ils manquent de l'ancrage visuel et de la vérification des contraintes physiques requises pour la robotique.
3. ROBOABSTENTION fournit une méthode évolutive, auditable et vérifiable programmatiquement pour générer de tels benchmarks, allant au-delà de l'annotation manuelle.
4. Bien que les stratégies d'incitation puissent améliorer considérablement les performances, le problème fondamental des modèles passant à l'action par défaut en cas d'incertitude reste un défi ouvert, suggérant que les architectures actuelles pourraient manquer des mécanismes inhérents pour reconnaître leurs propres limites dans des environnements physiques.

Les auteurs concluent que le benchmark ne doit pas être interprété comme une preuve de préparation au déploiement dans le monde réel, car il se concentre sur des instructions bénignes et non exécutables et ne couvre pas les utilisations malveillantes ou les interactions à long horizon. Le travail vise à soutenir le développement de modèles capables de mieux reconnaître l'incertitude et d'éviter d'agir sur la base d'hypothèses invalides.