💬 NLP

Infer Human's Intentions Before Following Natural Language Instructions

L'article propose FISER, un cadre qui améliore les performances de l'IA incarnée dans les tâches collaboratives en inférant explicitement les intentions humaines par le raisonnement social avant de planifier des actions, surpassant ainsi les méthodes de bout en bout standard et les bases de référence solides sur le benchmark HandMeThat.

Auteurs originaux : Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

Publié 2026-08-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot conçu pour aider à la maison. Pour que cette machine soit véritablement utile, elle doit comprendre les demandes informelles, souvent incomplètes, que nous nous adressons les uns aux autres chaque jour. Lorsqu'une personne dit : « Peux-tu me passer ça du canapé ? » en rangeant, elle ne parle pas dans le vide. Elle suppose que l'auditeur sait à quoi « ça » fait référence, en se basant sur le contexte partagé et l'historique de ce qui vient de se passer. Si la personne a été en train de rassembler des livres dans une boîte, le robot devrait comprendre que « ça » désigne un livre, et non un coussin ou une télécommande. Cette capacité à lire entre les lignes, à inférer des objectifs cachés à partir d'actions observées, est le défi central pour faire de l'intelligence artificielle un véritable partenaire dans les environaux humains. Sans cette compétence, un robot pourrait suivre les instructions littéralement mais échouer à être utile, car il ne peut combler le fossé entre une commande vague et l'action spécifique nécessaire pour accomplir une tâche partagée.

Des chercheurs de l'Université de Washington et du MIT ont abordé ce problème avec une nouvelle approche appelée FISER, qui signifie « Follow Instructions with Social and Embodied Reasoning » (Suivre les instructions avec un raisonnement social et incarné). Leurs travaux se concentrent sur une difficulté spécifique : les instructions humaines sont naturellement ambiguës parce que les gens omettent des détails qu'ils considèrent comme évidents. L'équipe a testé ses idées dans un environnement numérique appelé HandMeThat, une simulation textuelle d'un foyer où un humain et un robot doivent travailler ensemble. Dans ce cadre, un humain peut être en train d'organiser des objets et, au milieu de sa tâche, demander de l'aide au robot via une requête vague. Le travail du robot est de comprendre exactement ce que l'humain veut, non seulement en écoutant les mots, mais en observant ce que l'humain a fait et en devinant son plan sous-jacent.

Les chercheurs ont découvert que la manière la plus efficace de résoudre ce problème est de diviser la tâche en deux étapes distinctes. Premièrement, le robot s'engage dans un « raisonnement social », où il s'arrête pour deviner explicitement l'intention de l'humain. Il examine l'historique des actions de l'humain et la situation actuelle pour décider de ce que la personne cherche réellement à accomplir. Par exemple, si l'humain a été en train de mettre des livres dans une boîte, le robot déduit que l'objectif est de ranger les livres. Ce n'est qu'après avoir fait cette inférence que le robot passe à la seconde étape, le « raisonnement incarné », où il planifie les mouvements physiques nécessaires pour donner l'objet correct. Ce processus en deux étapes est crucial car il force le système à résoudre l'ambiguïté du langage avant de tenter de bouger.

Pour tester cela, l'équipe a construit des modèles informatiques capables d'effectuer ces étapes. Ils ont comparé leur méthode à d'autres approches, y compris le fait de simplement demander à un grand modèle de langage pré-entraîné d'accomplir la tâche en une seule fois, ou d'utiliser une technique appelée « Chaîne de Pensée » (Chain of Thought) pour guider le modèle à travers des étapes de raisonnement. Les résultats ont été clairs : les modèles qui séparent explicitement le raisonnement social de la planification physique sont nettement plus performants. Lors des tests les plus difficiles, où les instructions étaient hautement ambiguës, la nouvelle méthode a atteint un taux de réussite de 64,5 %, établissant un nouveau record pour ce type de tâche. En revanche, même les modèles de langage pré-entraînés les plus puissants, lorsqu'ils étaient sollicités avec soin, ont eu du mal à atteindre le même niveau de performance, échouant souvent à comprendre les objectifs cachés de l'humain ou se perdant dans les détails de l'environnement.

L'étude a également révélé pourquoi les puissants modèles pré-entraînés peinaient. Ces modèles, qui ont lu de vastes quantités de textes provenant d'Internet, possèdent une connaissance générale mais manquent de la capacité spécifique à raisonner sur le contexte physique immédiat d'une tâche partagée. Lorsque les chercheurs ont tenté d'aider ces modèles en filtrant les objets non pertinents de l'environnement, les modèles ont tout de même échoué à planifier efficacement, suggérant que le problème n'était pas seulement un excès d'informations, mais une difficulté fondamentale à relier les indices sociaux aux actions physiques. Les chercheurs ont conclu que pour que les robots soient de véritables assistants utiles, ils doivent être entraînés à traiter les intentions humaines comme une partie spécifique et observable du problème à résoudre, plutôt qu'à espérer qu'un modèle de langage général comprenne par lui-même. En apprenant au système à d'abord comprendre l'esprit de l'humain, puis à agir sur cette compréhension, les chercheurs ont montré une voie vers des agents artificiels plus capables et coopératifs.

Résumé Technique : Suivre des Instructions avec un Raisonnement Social et Incorporé (FISER)

Formulation du Problème

L'article traite du défi consistant à permettre aux agents IA de suivre des instructions en langage naturel dans des tâches collaboratives homme-robot incarnées (embodied). Si l'apprentissage du langage ancré standard associe les instructions aux actions, il échoue souvent dans les scénaux réels où les instructions humaines sont intrinsèquement ambiguës. Les humains supposent que les auditeurs possèdent des connaissances préalables sur leurs objectifs et intentions cachés, ce qui les amène à omettre des informations critiques par souci d'efficacité (Grice 1975 ; Sperber et Wilson 1986).

Les auteurs formalisent cela comme un processus de décision de Markov (MDP) Homme-Robot. Dans ce cadre, un humain effectue une trajectoire d'actions $\tau_{t'}$ dans un environnement partagé avant d'émettre une instruction en langage naturel $u$ . Le robot doit inférer la fonction de récompense interne cachée $R_h$ de l'humain ainsi qu'un sous-objectif spécifique $p^*$ pour déterminer la tâche robotique correcte $G_r$ . La difficulté centrale réside dans le fait que l'instruction $u$ seule est insuffisante ; le robot doit exploiter la trajectoire partiellement observable de l'humain et le contexte de l'environnement pour lever l'ambiguïté de la requête.

Méthodologie : Le Cadre FISER

Les auteurs proposent FISER (Follow Instructions with Social and Embodied Reasoning), un cadre qui décompose explicitement le problème de suivi d'instructions en deux phases distinctes : le Raisonnement Social et le Raisonnement Incorporé.

1. Modélisation des Intentions Humaines

Le cadre modélise l'objectif caché $G_h$ de l'humain comme un ensemble de prédicats logiques. L'humain sélectionne un sous-objectif $p^*$ (une partie spécifique du plan global) nécessitant de l'aide et génère une instruction $u$ pour spécifier une tâche robotique $G_r$ . Le robot ne peut pas observer directement $G_h$ , $p^*$ ou $G_r$ ; il doit les inférer à partir de la trajectoire observée $\tau_{t'}$ , de l'état final $s_{t'}$ et de l'instruction $u$ .

2. Raisonnement en Deux Phases

Phase 1 : Raisonnement Social (Reconnaissance de la Tâche) : Le robot lève l'ambiguïté de l'instruction en langage naturel pour la transformer en une tâche robotique concrète et exécutable $G_r$ $G_{r}$ . Cette phase implique :
- Reconnaissance de la Tâche du Robot : Estimation de $G_r$ étant donné $s_{t'}$ , $\tau_{t'}$ et $u$ .
- Reconnaissance du Plan Humain (Optionnelle) : Une étape enrichie où le modèle prédit explicitement le sous-objectif $p^*$ de l'humain (par exemple, « ranger des livres dans une boîte ») avant de déterminer $G_r$ . Cela est modélisé par la prédiction d'un tuple de prédicats logiques (Quantificateur, Sujet, Verbe, Objet).
Phase 2 : Raisonnement Incorporé (Planification Ancrée) : Une fois $G_r$ établi, le problème se réduit à une tâche standard de planification conditionnée par un objectif. Le robot génère une séquence d'actions $\{a_t\}$ pour atteindre $G_r$ au sein de l'environnement.

3. Implémentation du Modèle

Les auteurs implémentent un modèle basé sur un Transformer entraîné de zéro (en raison des longueurs de jetons excessives des données d'entrée, qui dépassent les limites de contexte des modèles pré-entraînés existants de petite taille).

Architecture : Le modèle utilise $3N$ couches d'encodage. Les $2N$ premières couches constituent la phase de Raisonnement Social, et les $N$ dernières couches constituent la phase de Raisonnement Incorporé.
Interaction de Modalité : Un module spécialisé fusionne quatre flux d'entrée : la Description de l'État du Monde, la Trajectoire Humaine, l'Instruction Linguistique et les Sorties Passées du Modèle.
Stratégies d'Entraînement :
- De Bout en Bout (E2E) : Le modèle est entraîné pour produire directement des actions, avec une perte auxiliaire appliquée aux prédictions intermédiaires.
- Multi-Étapes (MS) : Les modules de Raisonnement Social et de Raisonnement Incorporé sont entraînés séparément. Le module Social prédit $G_r$ (et optionnellement $p^*$ ), qui est ensuite injecté comme entrée de vérité terrain au module Incorporé lors de l'évaluation.

Configuration Expérimentale

Le cadre est évalué sur le benchmark HandMeThat (HMT), un environnement domestique textuel contenant des tâches de suivi d'instructions ambiguës réparties sur quatre niveaux de difficulté :

Niveau 1 : Planification pure (aucune ambiguïté).
Niveau 2 : Nécessite d'inférer les objectifs à partir des trajectoires humaines.
Niveau 3 : Nécessite un raisonnement pragmatique pour résoudre l'ambiguïté linguistique.
Niveau 4 : Nécessite des a priori forts pour résoudre les ambiguïtés inhérentes où l'information est insuffisante.

Les auteurs comparent leur approche à :

Baselines : Performance humaine, heuristiques codées à la main et un réseau neuronal de type Seq2Seq.
État de l'Art (SOTA) : La méthode précédente la plus performante (Cao et al. 2024) qui utilise l'inférence d'objectif itérative.
Grands Modèles de Langage (LLM) : GPT-4 Turbo avec prompting de type Chaîne de Pensée (CoT), incluant le prompting standard, l'ingénierie de prompt (PE) et des prompts CoT imitant la structure de FISER (prédiction des étapes intermédiaires).

Résultats Clés

Les expériences produisent trois conclusions principales :

La Séparation du Raisonnement Améliore la Performance : Les modèles qui séparent explicitement le raisonnement social et le raisonnement incorporé (FISER) surpassent de manière significative les approches de bout en bout. Le modèle Multi-Staged + FISER atteint un taux de succès moyen de 64,5 % sur l'ensemble de test HMT, établissant un nouvel état de l'art.
Les Petits Modèles Surpassent les LLM Promptés : Malgré l'accès de GPT-4 Turbo à de vastes connaissances de sens commun, il ne parvient pas à égaler la performance des modèles Transformer de petite échelle entraînés de zéro. Même avec le prompting CoT et des connaissances spécifiques au domaine, GPT-4 obtient moins de la moitié du taux de succès du modèle FISER sur les niveaux ambigus (2–4).
Analyse des Modes d'Échec :
- GPT-4 lutte principalement avec les Échecs de Planification (hallucinations sur l'emplacement des objets) et les Intentions Incorrectes (désalignement du sens commun avec l'objectif spécifique de l'humain).
- Les modèles FISER évitent efficacement les échecs de planification et les comportements redondants, mais font toujours face à des défis pour identifier correctement l'objet cible dans des scénarios hautement ambigus.
- Le filtrage des objets non pertinents améliore légèrement les performances de GPT-4 mais ne comble pas l'écart, indiquant que la limitation n'est pas seulement la sélection d'objets, mais la capacité fondamentale à effectuer le raisonnement social et incorporé requis.

Signification et Revendications

L'article affirme que la clé pour résoudre les tâches de suivi d'instructions ambiguës est de modéliser explicitement les intentions humaines comme des étapes de raisonnement intermédiaires. En traitant l'humain comme un agent partiellement observable avec des objectifs cachés, plutôt que comme un simple émetteur d'instructions désincarné, le système peut mieux exploiter le contexte pour lever l'ambiguïté.

Les auteurs affirment que :

Le pré-entraînement est insuffisant : Les LLM généraux pré-entraînés, même avec le prompting CoT, manquent des connaissances de domaine spécifiques et de la structure de raisonnement requises pour les tâches sociales et incorporées complexes dans des environnements partagés.
Le raisonnement structuré est supérieur : Décomposer le problème en phases de raisonnement social (inférence d'intention) et de raisonnement incorporé (planification d'action) donne de meilleurs résultats qu'un entraînement monolithique de bout en bout ou un prompting direct.
Efficacité : Entraîner un petit modèle spécifique au domaine de zéro est plus efficace et plus fiable que de tenter de prompter de massifs LLM généralistes pour ces tâches collaboratives spécifiques.

Ce travail établit que pour que les agents IA soient véritablement utiles dans les environnements humains, ils doivent aller au-delà du simple ancrage linguistique pour incorporer un raisonnement social capable d'inférer le « pourquoi » derrière les actions humaines avant d'exécuter le « comment ».