💬 NLP

Bootstrapping Cognitive Agents with a Large Language Model

Cet article propose un cadre qui amorce des architectures cognitives interprétables en utilisant les connaissances générales bruitées de grands modèles de langage, démontrant à travers des tâches culinaires incarnées que cette approche hybride atteint une plus grande efficacité que le recours exclusif aux LLM tout en permettant la vérification et la mise à jour des connaissances spécifiques au domaine.

Auteurs originaux : Feiyu Zhu, Reid Simmons

Publié 2026-02-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Feiyu Zhu, Reid Simmons

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment cuisiner dans une cuisine. Vous disposez de deux outils très différents pour vous aider :

Le « Super-Lecteur » (Grand Modèle de Langage) : C'est comme un robot qui a lu tous les livres, sites web et recettes d'Internet. Il sait que « les tomates vivent généralement au frigo » et que « vous avez besoin d'un couteau pour couper une pomme ». Cependant, il est un peu éparpillé. Il invente parfois des choses (hallucinations), se perd dans les détails spécifiques, et il est très coûteux de lui demander conseil chaque fois qu'il doit bouger un bras.
Le « Bibliothécaire Strict » (Architecture Cognitive) : C'est comme un robot doté d'un manuel de règles très organisé et étape par étape. Il est incroyablement fiable et facile à comprendre. Si vous lui dites « Règle 1 : Si le frigo est ouvert, regarde à l'intérieur », il fera exactement cela. Mais, il commence avec un livre vide. Vous devez écrire manuellement chaque règle pour chaque situation, ce qui demande un énorme effort humain.

La Grande Idée de l'Article :
Les auteurs, Feiyu (Gavin) Zhu et Reid Simmons de l'Université Carnegie Mellon, ont décidé de combiner ces deux éléments. Ils ont créé un système où le Super-Lecteur écrit les règles initiales pour le Bibliothécaire Strict, puis le Bibliothécaire prend le relais.

Pensez-y de cette façon :

La Phase de Démarrage (Bootstrapping) : Vous demandez au Super-Lecteur : « Comment trouver un œuf ? ». Le Super-Lecteur répond : « Eh bien, les œufs sont généralement dans le frigo ou dans un placard ». Le robot essaie ensuite cela dans la cuisine. Si cela fonctionne, le robot l'inscrit comme une règle stricte et permanente dans son propre carnet de règles : « Si j'ai besoin d'un œuf, je vérifie d'abord le frigo. »
La Phase d'Apprentissage : Le robot continue ainsi. Il essaie de couper une tomate. S'il est bloqué, il demande un indice au Super-Lecteur. Le Super-Lecteur suggère une stratégie, et le robot transforme cette stratégie en une règle permanente.
Le Résultat : Finalement, le robot possède son propre carnet de règles complet. Il n'a plus besoin de solliciter le coûteux Super-Lecteur pour obtenir de l'aide. Il se contente de suivre ses propres règles.

Pourquoi est-ce mieux que d'utiliser simplement le Super-Lecteur ?
L'article a testé cela dans une cuisine simulée avec des tâches telles que « trouver une tomate », « couper une pomme » ou « nettoyer les comptoirs ».

Coût et Vitesse : Demander au Super-Lecteur chaque mouvement (comme « bouger à gauche », « saisir le couteau », « couper ») revient à appeler un consultant pour chaque étape de la construction d'une maison. C'est lent et cela coûte beaucoup d'argent en puissance de calcul. Ce nouveau système n'appelle le consultant que quelques fois pour apprendre les règles, puis construit la maison lui-même. L'article a constaté que cette méthode utilisait significativement moins de « tokens » (la monnaie de calcul de l'IA) que le simple fait de demander à l'IA chaque action.
Fiabilité : Le Super-Lecteur peut parfois être absurde. Il pourrait penser qu'un mug est une tasse et cesser de chercher le mug. Le Bibliothécaire Strict, en revanche, suit ses propres règles vérifiées. Si la règle dit « vérifier l'évier », il vérifie l'évier, même si le Super-Lecteur s'est trompé une fois.
Généralisation : Une fois que le robot a appris la règle « Si j'ai besoin de trouver quelque chose, je vérifie là où il est couramment stocké », il peut appliquer cela à n'importe quel objet (œufs, couteaux, tasses) sans avoir besoin d'être réappris.

Comment il gère les erreurs :
Le système possède un « critique » intégré. Si le robot essaie une règle et se retrouve coincé dans une boucle (comme ramasser un objet et le reposer au même endroit indéfiniment), il réalise que quelque chose ne va pas. Il demande alors au Super-Lecteur de corriger la règle, en la rendant plus spécifique (par exemple, « Ne ramasse l'objet que s'il n'est pas déjà à l'endroit cible »).

Le mot de la fin :
Cet article montre que vous n'avez pas à choisir entre une IA intelligente mais bruyante et un robot stupide mais fiable. En utilisant l'IA intelligente pour écrire le manuel d'instructions initial du robot fiable, vous obtenez un système qui est intelligent, peu coûteux à l'usage et facile à comprendre. Le robot apprend de la connaissance « bruitée » de l'IA, mais la filtre à travers son propre cerveau logique pour créer un ensemble d'instructions propres et efficaces pour accomplir des tâches de cuisine. Le robot apprend de la connaissance « bruitée » de l'IA, mais la filtre à travers son propre cerveau logique pour créer un ensemble d'instructions propres et efficaces pour accomplir des tâches de cuisine.

Résumé technique : Amorçage d'agents cognitifs avec un grand modèle de langage

Énoncé du problème

Les grands modèles de langage (LLM) possèdent des connaissances générales étendues, bien que bruitées, mais souffrent de limitations telles que la vulnérabilité aux attaques adverses, les hallucinations et les rendements décroissants liés au passage à l'échelle. À l'inverse, les architectures cognitives offrent une excellente interprétabilité, une flexibilité pour les mises à jour et un raisonnement structuré grâce à des mémoires déclaratives et procédurales ; cependant, elles nécessitent traditionnellement un travail manuel important pour instancier des règles de production, ce qui limite leur application à des environnements simples. Le défi central abordé est de savoir comment exploiter les connaissances encodées dans les LLM pour amorcer des architectures cognitives sans hériter du manque d'interprétabilité du LLM ou de la dépendance de l'architecture cognitive à la création manuelle de règles.

Méthodologie

Les auteurs proposent un cadre qui combine les LLM avec une architecture cognitive personnalisée pour créer un agent incarné capable d'accomplir des tâches de cuisine. Le système fonctionne sur un cycle « percevoir-planifier-agir », séparant la génération de connaissances de l'application des connaissances.

Aperçu de l'architecture

L'agent se compose de quatre composants principaux :

Base de connaissances du monde : Un dictionnaire de connaissances générales (ex. : « les tomates vont dans le réfrigérateur ») dérivé des LLM.
Connaissance de l'environnement : Une mémoire déclarative reflétant l'état actuel de l'agent et ses observations (ex. : statut de la pince, contenu de la table).
Mémoire procédurale : Un ensemble de règles de production (précondition $\rightarrow$ effet) qui dictent le comportement. Contrairement aux opérateurs de planification standards, ces règles reflètent des connaissances contextuelles et sont renforcées au fil du temps.
Pile de tâches (Task Stack) : Un mécanisme inspiré d'ACT-R et SOAR pour gérer une hiérarchie de tâches et de sous-tâches.

Processus d'amorçage

L'agent apprend via un curriculum de familles de tâches (ex. : trouver un/une <objet>, trancher un/une <objet>). Le processus pour une tâche unique implique :

Instanciation : Les variables de la famille de tâches sont remplies avec des objets concrets de l'environnement.
Tentative d'exécution : L'agent tente la tâche en utilisant les règles de production existantes.
Sélection d'action (Requête LLM) : Si aucune règle ne s'applique ou si un cycle est détecté, l'agent interroge le LLM. Le prompt inclut la tâche actuelle, un résumé de l'état et les options disponibles. Le LLM utilise le prompting par chaîne de pensée (Chain-of-Thought - CoT) pour analyser les stratégies et suggérer une action.
Génération de production : Le LLM est interrogé à nouveau pour générer une règle de production basée sur l'action. Il s'agit d'un processus en deux étapes :
- Description en anglais : Le LLM généralise l'action spécifique en une règle (ex. : « explorer les endroits inexplorés où l'objet est couramment stocké »).
- Génération de code : Le LLM convertit la description en anglais en code Python exécutable respectant une interface spécifique.
Renforcement et amélioration :
- Vérification : Le code généré est rejoué contre l'état actuel pour s'assurer que les vérifications de préconditions passent.
- Mécanisme de critique : Un LLM critique analyse les conditions de fin de tâche et suggère des modifications pour éviter la sur-contrainte (conditions inutiles) ou la sur-généralisation (absence de préconditions critiques).
- Mise à jour de l'utilité : Un signal de récompense (récompense unitaire lors de l'achèvement de la tâche) se propage à travers le chemin le plus court des applications de production en utilisant le retour de Bellman (Bellman backup). Cela met à jour l'utilité des productions, permettant à l'agent de prioriser les règles qui mènent à une réussite et de résoudre les conflits entre règles applicables à l'aide d'une stratégie de sélection optimal-bruyante.

Distinctions clés

Contrairement aux approches qui utilisent les LLM pour générer des plans directs pour chaque étape, ce cadre utilise le LLM uniquement pour générer des règles de production généralisables. Une fois qu'une règle est apprise, l'agent l'exécute sans nouvelle intervention du LLM, ancrant la connaissance dans l'instance spécifique de l'environnement.

Contributions clés

Cadre hybride : Une nouvelle architecture d'agent qui intègre les LLM pour la génération de connaissances avec une architecture cognitive pour le raisonnement et l'exécution.
Amorçage à partir de zéro : Une démonstration de la manière dont un agent peut apprendre à accomplir des tâches de cuisine complexes et multi-étapes (trouver, trancher, dégager) en partant d'un apport humain minimal (uniquement les noms des familles de tâches).
Efficacité et généralisation : La preuve que le cadre nécessite nettement moins de tokens pour opérer dans de nouveaux environnements par rapport à l'interrogation d'un LLM pour chaque action, car les règles apprises sont transférables.

Résultats expérimentaux

Le cadre a été évalué dans le simulateur AI2THOR avec trois familles de tâches : trouver un/une <objet>, trancher un/une <objet> et dégager les plans de travail. L'agent a été comparé à une ligne de base qui interroge le LLM pour les actions à chaque étape (Action-Only).

Taux de réussite : L'agent amorcé a atteint un taux de réussite de 100 % (15/15) sur toutes les instances de tâches, y compris la recherche d'objets inexistants (où il a correctement identifié que la tâche était impossible). La ligne de base Action-Only a échoué sur une instance en raison d'une fausse hypothèse équivalant « mug » à « cup ».
Efficacité : L'agent amorcé a nécessité beaucoup moins de tokens. Par exemple, dans la tâche trancher, l'agent amorcé a utilisé 0 token pendant les tests (se reposant sur les règles apprises), tandis que la ligne de base Action-Only a utilisé plus de 102 000 tokens. Dans la tâche trouver, l'agent amorcé a utilisé environ 917 tokens contre 54 754 pour la ligne de base.
Différences de comportement : L'agent amorcé a montré un comportement plus systématique, tel que poser des objets sur les plans de travail avant de les trancher ou utiliser des placards individuels pour le stockage, piloté par des règles de production spécifiques apprises. La ligne de base agissait au cas par cas, menant parfois à des stratégies moins optimales (ex. : trancher dans le réfrigérateur).
Signification statistique : Bien que le nombre d'étapes soit similaire pour les tâches trouver et trancher, l'agent amorcé a pris nettement plus d'étapes dans la tâche dégager (p-valeur 0,001) en raison d'une règle apprise spécifique imposant l'utilisation de réceptacles vides uniques pour chaque objet, contrairement à la ligne de base qui réutilisait le même réceptacle.

Signification et affirmations

L'article affirme que cette approche combine avec succès le « meilleur des deux mondes » : les connaissances riches mais bruitées des LLM et l'interprétabilité et la flexibilité de mise à jour des architectures cognitives.

Généralisation : Le cadre démontre que les connaissances générées par un LLM peuvent être distillées en règles de production qui se généralisent à de nouveaux objets et environnements sans régénération.
Rentabilité : En découplant la génération de connaissances de l'exécution, le système réduit considérablement le coût computationnel et l'utilisation de tokens requis pour le déploiement dans de nouveaux scénarios.
Interprétabilité : Les règles de production fournissent un arbre de décision vérifiable, offrant une explicabilité concernant l'importance des caractéristiques, les processus d'apprentissage et les décisions de haut niveau.
Limitations : Les auteurs reconnaissent que le système repose sur des interfaces de bas niveau bien définies (fossé sim-to-real) et que l'étape de génération de code à partir de l'anglais nécessite des processus de décision qui doivent être articulables, ce qui peut limiter l'applicabilité à des compétences qui ne s'expriment pas facilement par le langage (ex. : la sculpture).

Ce travail se positionne comme une alternative aux modèles de fondation purement basés sur les données, suggérant une voie vers des agents personnalisés où les règles de production peuvent être explicitement modifiées pour répondre aux préférences individuelles sans réentraînement extensif.