REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?

Ce papier présente REI-Bench, le premier benchmark pour l'évaluation de la planification de tâches robotiques face aux instructions vagues, et propose une méthode de cognition contextuelle orientée tâche qui améliore significativement les performances des agents incarnés en traduisant ces ambiguïtés en instructions claires.

Chenxi Jiang, Chuhao Zhou, Jianfei Yang

Publié 2026-03-12
📖 4 min de lecture☕ Lecture pause café

Each language version is independently generated for its own context, not a direct translation.

Voici une explication simple et imagée de ce papier de recherche, comme si nous en discutions autour d'un café.

🤖 Le Problème : Le Robot qui a un "Trou de Mémoire"

Imaginez que vous avez un robot domestique très intelligent, un peu comme un majordome futuriste. Vous lui donnez des ordres pour faire le ménage ou cuisiner.

Le problème, c'est que les humains ne parlent pas comme des ordinateurs. Nous sommes pleins d'implicites.

  • Ordre clair : "Prends la poêle sur l'évier et mets-la sur l'îlot." (Le robot sait exactement quoi faire).
  • Ordre vague (la réalité) : "Est-ce que tout est prêt ? Alors, s'il te plaît, déplace le truc lourd dehors."

Pour nous, humains, c'est évident : le "truc lourd", c'est la poêle qu'on vient de discuter. Mais pour le robot ? C'est le chaos. Il peut prendre une assiette, un sac de patates, ou n'importe quel objet "lourd" de la cuisine.

Les chercheurs de ce papier (l'équipe MARS de Singapour) ont découvert que même les robots les plus avancés, ceux qui utilisent les plus grands cerveaux artificiels (les LLM), échouent lamentablement quand on utilise ce genre de langage vague. Leur taux de réussite chute de près de 37 % ! C'est comme si un chef cuisinier professionnel ratait son plat parce que vous lui avez dit "mets un peu de ça" sans préciser quoi.

🧪 L'Expérience : Le "REI-Bench" (Le Terrain de Jeu)

Pour comprendre pourquoi ça rate, ils ont créé un nouveau terrain de jeu appelé REI-Bench.

Imaginez que vous testez un élève en mathématiques.

  1. Le niveau facile : Vous lui donnez l'équation exacte : "2 + 2 = ?".
  2. Le niveau moyen : Vous lui dites "Ajoute deux pommes à deux pommes".
  3. Le niveau difficile (vague) : Vous lui dites "Ajoute deux trucs ronds à deux autres trucs ronds", tout en lui racontant une histoire confuse sur un jardinier qui a perdu ses outils.

Les chercheurs ont créé des milliers de scénarios comme ça. Ils ont mélangé :

  • Des instructions claires.
  • Des instructions avec des mots de remplacement ("le truc", "ça").
  • Des contextes de conversation qui ajoutent du bruit (parler de "Mme Rose" alors qu'il y a une pomme "Apple" sur la table, pour embrouiller le robot).

Le verdict ? Les robots, même les plus intelligents, se perdent. Ils oublient de regarder le contexte. Ils se concentrent trop sur "quelles actions faire" (la recette) et pas assez sur "de quoi on parle" (les ingrédients).

💡 La Solution : Le "Traducteur de Contexte" (TOCC)

Les chercheurs ont essayé de corriger ça avec des méthodes classiques (donner plus d'exemples, demander au robot de "réfléchir" étape par étape). Ça a aidé un peu, mais pas assez. C'est comme essayer d'enseigner une langue étrangère à quelqu'un en lui donnant juste un dictionnaire : ça reste difficile.

Ils ont donc inventé une astuce simple mais géniale qu'ils appellent TOCC (Cognition Contextuelle Orientée Tâche).

L'analogie du Chef et du Sous-chef :
Imaginez que le robot est un chef cuisinier très occupé qui doit préparer un repas complexe.

  • Avant (sans TOCC) : Le client arrive en disant : "Mets le truc chaud dans le four." Le chef panique, cherche le "truc", se trompe, et le repas est raté.
  • Avec TOCC : Avant que le chef ne commence à cuisiner, un sous-chef (le traducteur) intervient. Il écoute le client, regarde ce qui s'est dit avant, et dit au chef : "Attends, quand le client dit 'le truc chaud', il veut dire la poêle qu'on a chauffée il y a deux minutes. Reformule l'ordre : 'Mets la poêle dans le four'."

Une fois l'ordre clarifié par le sous-chef, le chef (le planificateur) n'a plus qu'à exécuter la tâche. Il n'a plus besoin de deviner.

Résultat : Cette méthode a considérablement amélioré la réussite des robots, même avec des instructions très floues et des conversations confuses.

🌟 Pourquoi c'est important pour nous ?

Ce papier nous dit quelque chose de crucial pour l'avenir :
Pour que les robots soient utiles aux enfants, aux personnes âgées ou à tout le monde (pas juste aux experts en informatique), ils doivent comprendre notre langage humain, avec ses imprécisions et ses sous-entendus.

Nous ne pouvons pas apprendre aux humains à parler comme des robots. Nous devons apprendre aux robots à comprendre les humains. Ce travail est une première étape majeure pour rendre les robots plus "intelligents" dans la vraie vie, capables de comprendre que "le truc" signifie toujours la même chose dans le contexte de notre conversation.

En résumé : Les robots sont devenus de superbes exécutants, mais ils sont encore de mauvais "écouteurs". Cette recherche leur apprend à écouter le contexte pour ne plus se tromper de "truc".