Adaptive Domain Modeling with Language Models: A Multi-Agent Approach to Task Planning

Imaginez que vous essayez d'apprendre à un robot comment préparer le dîner. Autrefois, les scientifiques devaient écrire un manuel d'instructions massif et rigide pour chaque scénario possible : « Si la casserole est rouge, fais X. Si la casserole est bleue, fais Y. » Si le robot rencontrait une casserole verte, ou une tâche qu'il n'avait pas vue auparavant, il se figeait car le manuel ne couvrait pas ce cas. C'est le monde de la planification symbolique, où les ordinateurs suivent des règles strictes et préécrites. C'est puissant, mais c'est comme un GPS qui ne connaît que les routes dessinées sur une carte de 1990 ; si une nouvelle route s'ouvre, le GPS se perd.

D'un autre côté, nous avons maintenant les Grands Modèles de Langage (LLM), ces cerveaux d'IA super intelligents qui peuvent discuter, écrire des histoires et comprendre le langage humain. Ils sont incroyablement flexibles et peuvent deviner ce que vous voulez dire même si vous vous exprimez de manière étrange. Cependant, ils sont aussi un peu comme un artiste brillant mais éparpillé : ils pourraient imaginer un plan qui semble génial mais qui est physiquement impossible à réaliser pour un robot, ou ils pourraient oublier totalement les lois de la physique.

La grande question pour les scientifiques est la suivante : Comment combiner la fiabilité stricte des anciens robots suiveurs de règles avec le cerveau créatif et flexible de la nouvelle IA ? Nous avons besoin d'un système capable de comprendre une requête désordonnée du monde réel comme « Fais une tour avec le plus gros bloc en bas », puis de comprendre comment la construire, même si le robot n'a jamais vu de « plus gros bloc » auparavant. C'est là que l'article que vous allez lire intervient, proposant une nouvelle façon de permettre aux robots d'apprendre à la volée.

---

Rencontrez TAPAS : L'équipe d'architectes créatifs du robot

Rencontrez TAPAS (Task-based Adaptation and Planning using AgentS). Ne voyez pas TAPAS comme un seul cerveau de robot, mais comme une petite équipe de construction hautement organisée travaillant à l'intérieur d'un ordinateur. Au lieu d'une seule personne essayant de tout faire, TAPAS répartit le travail entre trois « agents » spécialisés (petits travailleurs d'IA), chacun ayant un rôle spécifique, qui communiquent entre eux pour construire un plan.

Voici comment cette équipe fonctionne, en utilisant une analogie simple : Imaginez que vous vouliez construire une tour avec des blocs, mais que vous disiez à l'équipe : « Je veux le bloc rouge au-dessus du bleu. »

1. Le Générateur de Domaine (Le rédacteur du livre de règles)
D'abord, le Générateur de Domaine écoute votre requête. Autrefois, si le robot ne savait pas ce que « rouge » ou « bleu » signifiait dans son livre de règles, il disait simplement : « Erreur ! Je ne connais pas ce mot ! » et s'arrêtait. Mais TAPAS est différent. Si le Générateur de Domaine réalise que : « Hé, notre livre de règles actuel n'a pas de moyen de décrire les couleurs », il ne panique pas. Il dit : « D'accord, nous devons ajouter une règle de 'couleur' à notre livre de règles. » Il réécrit littéralement le manuel d'instructions interne du robot sur le champ pour inclure ce nouveau concept.

2. Le Générateur d'État Initial (Le metteur en scène)
Ensuite, le Générateur d'État Initial observe la pièce. Il voit les blocs sur la table. Si le livre de règles vient d'être mis à jour pour inclure la « couleur », cet agent demande : « Attendez, de quelle couleur est chaque bloc ? » Si vous ne lui avez pas précisé, il pourrait vous demander (ou demander à la simulation) cette information. Il prépare la scène, en s'assurant que le robot sait exactement où se trouve chaque bloc et de quelle couleur il est, en accord avec les nouvelles règles.

3. Le Générateur d'État Final (Le fixateur d'objectifs)
Enfin, le Générateur d'État Final examine votre souhait : « Rouge sur bleu. » Il vérifie le nouveau livre de règles et la scène. Il dit : « Compris. L'objectif est de les empiler de sorte que le rouge soit au-dessus. »

La magie de l'appel d'outils ("Tool-Calling")
La partie la plus cool est la façon dont ils communiquent. Ils ne se contentent pas de deviner ; ils utilisent des « outils ». Si le Générateur d'Objectifs voit un problème (comme : « Nous ne pouvons pas empiler des blocs par taille parce que nous n'avons pas encore de règle de 'taille' »), il sort un outil appelé missing_fluent et dit au Générateur de Domaine : « Hé, nous avons besoin d'une règle pour la taille ! » Le Générateur de Domaine met alors à jour le livre de règles, et toute l'équipe recommence avec de nouvelles instructions meilleures. C'est comme un groupe d'amis construisant un ensemble Lego où, s'ils réalisent qu'il leur manque une pièce spécifique, un ami court au magasin pour l'acheter, puis ils continuent tous à construire ensemble.

De « Quoi » à « Comment » : L'équipe d'exécution

Une fois le plan écrit, TAPAS doit réellement faire bouger le robot. C'est délicat car le plan peut dire « Placer le bloc A sur le bloc B », mais le bras physique du robot ne sait peut-être que faire « Déplacer le préhenseur vers les coordonnées X, Y, Z. »

TAPAS utilise un Exécuteur de Plan pour combler ce fossé. Il agit comme un traducteur.

• Le Traducteur : Il prend le plan de haut niveau très élaboré et le transforme en instructions simples en langage naturel comme « Déplace ton bras vers la gauche » ou « Attrape le bloc rouge. »
• L'Agent ReAct : C'est le cerveau « Raisonner et Agir » du robot. Il regarde l'instruction, vérifie quels outils (compétences) le robot possède réellement, et choisit le meilleur. Si le robot essaie de saisir un bloc et le rate, l'Agent Validateur (le superviseur) dit : « Oups, ça n'a pas marché. Réessaie, mais déplace peut-être ton bras plus lentement. »

Qu'ont-ils découvert ?

Les auteurs ont testé TAPAS de deux manières principales : sur des énigmes logiques classiques et dans une maison 3D simulée appelée VirtualHome.

1. Les énigmes logiques (Les benchmarks)
Ils ont testé TAPAS sur sept défis de planification différents, comme le célèbre « Blocksworld » (empiler des blocs) et « Barman » (mélanger des boissons).

• Le résultat : TAPAS était incroyablement efficace. En utilisant un modèle d'IA de haut niveau (GPT-4o), il a résolu 97 % des problèmes de « Barman » et 100 % des problèmes de « Blockswold ».
• La comparaison : C'était bien meilleur que d'utiliser d'autres modèles d'IA ou de simplement essayer de forcer l'IA à tout faire sans un plan structuré. Par exemple, dans le test « Blocksworld », TAPAS a résolu 100 % des problèmes, tandis que les autres méthodes avaient beaucoup de mal.

2. Le test des « Nouvelles Règles » (Adaptabilité)
C'est ici que TAPAS brille vraiment. Les chercheurs ont donné au robot des tâches qu'il n'avait jamais vues auparavant, comme « Empile les blocs de sorte que le plus gros soit en bas » ou « Déplace les blocs, mais assure-toi que le robot ne tombe pas en panne de batterie. »

• Le résultat : TAPAS a réussi à comprendre qu'il devait ajouter des règles de « taille » ou de « batterie » à son livre de règles. Il l'a fait automatiquement.
  • Pour la tâche de « taille », il a mis à jour les règles pour dire : « Tu ne peux empiler un bloc que sur un plus gros que lui. » Il a résolu 90 % de ces nouveaux problèmes complexes.
  • Pour la tâche de la « batterie », il a ajouté des règles sur la consommation d'énergie. Il a résolu 100 % des problèmes de batterie des « Grippers » (mains de robot).
• Le bémol : Ce n'était pas parfait. Dans le test « Floortile » (nettoyage de carreaux) avec des contraintes de batterie, il n'a résolu que 70 % des problèmes. L'article suggère que c'était parce que l'IA devinait parfois le niveau de batterie de départ au lieu de le demander, montrant que le système doit encore faire attention à ne pas faire de suppositions.

3. La simulation VirtualHome
Enfin, ils ont placé TAPAS dans une simulation 3D d'une maison. La tâche était : « Prends une tarte dans le frigo et mets-la sur la table », et « Réchauffe un saumon et mets-le sur la table. »

• Le résultat : TAPAS a réussi à générer un plan, à le traduire en actions et à guider un robot virtuel pour ouvrir le frigo, attraper la nourriture, utiliser le micro-ondes et placer les articles sur la table.
• L'astuce de la mémoire : Ils ont aussi testé si TAPAS pouvait apprendre de ses erreurs. Ils ont dit au système : « La prochaine fois que tu utilises le frigo, assure-toi de le fermer, même si je ne le dis pas. » Plus tard, face à une tâche similaire, le robot s'en est souvenu et a fermé le frigo automatiquement. Cela a montré que TAPAS peut stocker une « mémoire procédurale » pour s'améliorer au fil du temps.

Pourquoi cela importe (Et ce que ce n'est pas)

L'article suggère que TAPAS est une avancée majeure car il combine le meilleur des deux mondes : la créativité de l'IA qui comprend le langage et la fiabilité des règles de planification strictes. Il ne se contente pas de suivre un script ; il peut réécrire le script quand la situation change.

Cependant, les auteurs précisent avec prudence qu'il s'agit d'une simulation. Ils l'ont testé dans un monde informatique (VirtualHome) et sur des énigmes logiques standards, et non sur un vrai robot dans une cuisine réelle et désordonnée. Bien que les résultats soient prometteurs, l'article admet que le déploiement dans le monde réel fait toujours face à des défis, comme empêcher l'IA de « halluciner » (inventer des faits) ou de gérer des erreurs trop complexes pour être corrigées automatiquement.

En bref, TAPAS est comme un robot qui ne se contente pas de suivre une carte ; il peut dessiner une nouvelle carte lorsqu'il trouve un obstacle, demander son chemin s'il est perdu, et se souvenir du raccourci pour la prochaine fois. Ce n'est pas encore un robot parfait, mais c'est un robot très intelligent qui apprend à réfléchir sur le vif.