💬 NLP

$How^{2}$ : How to learn from procedural How-to questions

L'article présente $How^{2}$ , un cadre d'agent mémoire permettant aux agents basés sur les LLM d'améliorer la planification tout au long de la vie dans des environnements interactifs en posant et en stockant des questions procédurales de type « comment faire », démontrant ainsi que des réponses abstraites et indépendantes de l'état sont les plus efficaces pour l'apprentissage.

Auteurs originaux : Gautier Dagan, Frank Keller, Alex Lascarides

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gautier Dagan, Frank Keller, Alex Lascarides

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un meuble complexe, comme une étagère, mais que vous ne l'avez jamais fait auparavant. Vous avez un tas de bois et d'outils, mais pas de mode d'emploi.

Dans le monde de l'Intelligence Artificielle, c'est ce qu'un « agent » (un programme informatique intelligent) affronte lorsqu'il tente de résoudre un problème de planification. Il sait quoi il veut construire, mais il ne sait pas comment assembler les pièces.

Cet article, intitulé How2, présente une nouvelle méthode permettant à ces agents IA d'apprendre. Au lieu de simplement deviner et commettre des erreurs (par essais et erreurs), l'IA est entraînée à demander de l'aide à un « Enseignant » (une autre IA ou un expert humain), à noter la réponse, et à utiliser cette note pour résoudre des problèmes similaires plus tard.

Voici la décomposition de leur découverte, en utilisant des analogies simples :

1. Le Problème : Le Dilemme « Trop Spécifique » vs « Trop Vague »

Lorsque vous demandez à un enseignant « Comment construire cette étagère ? », il peut répondre de différentes manières. Les chercheurs ont testé quatre types de réponses pour voir laquelle aide le mieux l'élève à apprendre au fil du temps :

La Réponse « GPS » (Exécutable) : L'enseignant dit : « Déplacez votre main exactement de 3 pouces vers la gauche, puis prenez la vis dans le logement n°12. »
- Avantages : Cela fonctionne parfaitement sur le moment.
- Inconvénients : Si vous déplacez la vis vers le logement n°15, les instructions deviennent inutiles. C'est comme un GPS qui ne fonctionne que si vous êtes exactement dans le même embouteillage qu'auparavant.
La Réponse « Sous-Objectif » (Partiellement Exécutable) : L'enseignant dit : « D'abord, trouvez une vis. Ensuite, mettez-la dans le trou. »
- Avantages : C'est plus flexible. Vous pouvez trouver la vis où qu'elle se trouve.
La Réponse « Abstraite » (Non Exécutable) : L'enseignant dit : « Vous devez disposer le bois en forme de « T » et le visser ensemble. »
- Avantages : C'est le plus flexible. Cela ne se soucie pas des logements ou des numéros spécifiques ; cela décrit le modèle.
- Inconvénients : L'IA doit déterminer exactement quelles pièces correspondent à la forme en « T ».

2. La Grande Découverte : Court terme vs Long terme

Les chercheurs ont découvert un compromis fascinant, comparable au choix entre un repas à emporter et apprendre à cuisiner :

Pour un succès immédiat : La réponse « GPS » (instructions spécifiques, étape par étape) est la meilleure. Si vous devez simplement construire l'étagère maintenant, suivez les étapes exactes.
Pour un apprentissage à vie : Les réponses « Abstraite » ou « Sous-Objectif » sont bien meilleures. Si vous voulez construire de nombreuses étagères au cours de votre vie, vous devez comprendre le concept du modèle, et non pas simplement les coordonnées spécifiques d'une vis.

L'Analogie :
Si un enseignant vous donne une liste spécifique d'ingrédients pour un gâteau (par exemple : « Utilisez la farine dans le sac bleu sur l'étagère du haut »), vous pouvez faire ce seul gâteau. Mais si le sac bleu est vide demain, vous êtes bloqué.
Si l'enseignant dit : « Utilisez deux tasses de farine », vous pouvez faire le gâteau peu importe où se trouve la farine ou quelle est la couleur du sac. L'article montre que les agents IA apprennent beaucoup mieux lorsqu'on leur enseigne la règle « deux tasses de farine » plutôt que la règle « sac bleu ».

3. La Solution : Le Cadre « How2 »

Les auteurs ont construit un système appelé How2 pour gérer ce processus d'apprentissage. Imaginez-le comme un carnet de notes intelligent pour l'IA.

Voici comment cela fonctionne en quatre étapes :

Vérifier le Carnet : Avant d'essayer de construire quelque chose, l'IA vérifie sa mémoire. « Ai-je déjà construit une étagère comme celle-ci ? »
Demander à l'Enseignant : Si le carnet est vide ou si les anciennes notes ne correspondent pas à la situation actuelle (par exemple, le bois est à un endroit différent), l'IA demande à l'Enseignant : « Comment faire cela ? »
Traduire la Réponse : C'est l'étape magique. Lorsque l'Enseignant donne une réponse, l'IA ne se contente pas de la copier-coller. Elle traduit la réponse.
- Exemple : Si l'enseignant dit « Déplacez le bois depuis le logement 12 », le carnet de notes de l'IA le réécrit sous la forme « Déplacez le bois depuis l'endroit où il se trouve ». Cela rend la note utile pour n'importe quelle situation future, et pas seulement pour la situation actuelle.
Stocker et Réutiliser : L'IA enregistre cette note « traduite ». La prochaine fois qu'elle devra construire une étagère, elle lira la note, déterminera où se trouve le bois maintenant, et suivra la règle générale.

4. Les Résultats : Le Test « Minecraft »

Les chercheurs ont testé cela dans un monde numérique appelé Plancraft (basé sur le jeu Minecraft), où l'IA doit fabriquer des objets comme des bouteilles en verre ou du colorant rouge en utilisant une grille de fabrication.

La Découverte : Les agents qui suivaient simplement des instructions spécifiques et rigides (style « GPS ») échouaient lamentablement lorsque la configuration du jeu changeait légèrement. Ils ne pouvaient pas s'adapter.
Le Gagnant : Les agents qui utilisaient le système How2 avec des notes « traduites » (en abstrayant les numéros de logements spécifiques) devenaient beaucoup plus intelligents au fil du temps. Ils demandaient de l'aide moins souvent et résolvaient plus de tâches seuls, car ils avaient appris les modèles de fabrication, et non pas simplement les mouvements spécifiques.

Résumé

L'article soutient que pour que l'IA apprenne véritablement et s'améliore dans la planification au cours d'une vie, elle ne doit pas simplement mémoriser des instructions spécifiques. Au lieu de cela, elle devrait poser des questions, obtenir des réponses, puis résumer ces réponses en règles générales.

C'est la différence entre mémoriser un seul numéro de téléphone (inutile si la personne déménage) et comprendre comment fonctionne un annuaire téléphonique (utile pour toujours). Le cadre How2 enseigne à l'IA à faire exactement cela : transformer des réponses spécifiques « comment faire » en connaissances générales et réutilisables.

Résumé Technique : How2 – Apprendre à partir de Questions Procédurales « Comment Faire »

Énoncé du Problème

Les agents opérant dans des environnements interactifs sont souvent confrontés à des problèmes de planification où ils manquent des connaissances procédurales nécessaires pour accomplir des tâches spécifiques. Bien que les assistants IA puissent poser des questions de clarification pour résoudre les ambiguïtés, ils demandent rarement des connaissances procédurales (par exemple, « Comment faire X ? ») pour combler les lacunes de connaissances en vue d'une planification future. Le défi réside dans le caractère ouvert des questions « comment faire » : les réponses valides varient de descriptions de sous-objectifs de haut niveau à des séquences d'actions entièrement exécutables. Cette variabilité rend difficile pour les agents de poser les bonnes questions et pour les « enseignants » (humains ou oracles) de fournir des réponses à la fois immédiatement utiles et réutilisables pour l'apprentissage tout au long de la vie. Plus précisément, les réponses étroitement couplées à l'état actuel (par exemple, des emplacements d'inventaire spécifiques) sont souvent non généralisables à de nouveaux états, ce qui entrave l'autonomie à long terme.

Méthodologie

Les auteurs proposent How2, un cadre d'agent piloté par la mémoire conçu pour l'apprentissage tout au long de la vie dans des environnements interactifs. Le système opère au sein de Plancraft, un environnement de fabrication basé sur Minecraft où les agents doivent manipuler des objets d'inventaire pour assembler des objets cibles.

Cadre Central

How2 intègre un agent, un enseignant et un module de mémoire via le flux de travail suivant :

Récupération de Mémoire : L'agent interroge d'abord un magasin de mémoire en utilisant un outil read-memory avec une requête $\theta$ (par exemple, un nom de recette). La mémoire est un magasin clé-valeur où les valeurs sont des ensembles d'entrées de mémoire.
Vérification de Pertinence : Si des entrées existent, une vérification de pertinence basée sur un LLM détermine si la mémoire stockée s'applique à l'état de jeu actuel ( $o_t$ ).
Génération de Question : Si aucune mémoire pertinente n'est trouvée (un échec de cache), l'agent génère une question procédurale « comment faire » ( $q_\theta$ ) conditionnée par l'observation actuelle.
Réponse de l'Enseignant : Un modèle d'enseignant ( $T$ $T$ ) répond à la question. L'article évalue quatre types d'enseignants distincts basés sur le niveau d'abstraction de leurs réponses :
- Exécutable : Fournit des séquences d'actions complètes et ancrées, étape par étape (par exemple, « Déplacez-vous de I12 vers A1 »).
- Partiellement Exécutable : Supprime les détails spécifiques à l'état (par exemple, « Déplacez le verre vers A1 ») mais reste une liste plate d'actions.
- Sous-objectif Partiellement Exécutable : Structure le plan en sous-objectifs hiérarchiques (par exemple, « Fondre le verre » suivi de « Fabriquer la bouteille »), regroupant les actions en recettes identifiables.
- Non Exécutable : Fournit des descriptions en langage naturel de haut niveau et non ancrées utilisant des motifs et des formes (par exemple, « Disposez les objets en forme de V »), abstrayant complètement les noms d'emplacements spécifiques.
Analyse et Stockage : Le module ParseAnswer de l'agent traite la réponse de l'enseignant. Il abstrait les détails spécifiques à l'état (en remplaçant les IDs d'emplacements spécifiques par des noms d'objets) et génère des tags. L'entrée généralisée est stockée en mémoire sous la requête originale et les tags associés.

Configuration Expérimentale

Les auteurs ont évalué le cadre en utilisant les modèles Llama 3.3 70B et Qwen 3 32B. Ils ont introduit deux divisions de jeu de données pour tester les capacités d'apprentissage tout au long de la vie :

Faible Répétition : L'ensemble de validation original de Plancraft avec 347 tâches uniques.
Forte Répétition : Une nouvelle division avec 107 tâches uniques répétées sur 570 exemples, conçue pour tester la réutilisation des connaissances.

L'évaluation a comparé le cadre complet How2 à des ablations :

Just Ask : Une configuration oracle où l'enseignant répond à chaque requête sans stockage en mémoire (borne supérieure).
Mémoire-Seulement : Utilisation de la mémoire sans analyse ni vérifications de pertinence.
Analyse/Pertinence : Composants individuels du cadre complet.

Contributions Clés

Le Cadre How2 : Une architecture novatrice permettant aux agents d'apprendre des connaissances procédurales en posant des questions, en stockant les réponses et en les réutilisant via un module de mémoire.
Analyse des Niveaux d'Abstraction : Une investigation systématique sur la manière dont la granularité des réponses de l'enseignant (de l'exécutable au non exécutable) impacte à la fois la réussite immédiate de la tâche et la réutilisabilité à long terme.
Identification du Compromis : L'identification d'un compromis critique entre l'utilité immédiate d'une réponse et sa réutilisabilité à long terme.

Résultats

Les expériences ont produit plusieurs résultats clés :

Utilité Immédiate vs. Long Terme :
- Les enseignants exécutables ont obtenu les taux de réussite les plus élevés dans le mode « Just Ask » (0,59), confirmant qu'ils sont les plus efficaces pour une exécution immédiate.
- Cependant, lorsqu'ils sont réutilisés dans le mode Mémoire-Seulement, les plans exécutables ont subi une chute dramatique des performances (de 0,58 à 0,32 dans la division à forte répétition) en raison de leur couplage étroit avec des états spécifiques.
- Les réponses abstraites (Sous-objectif Partiellement Exécutable et Non Exécutable) ont montré une réutilisabilité nettement supérieure. Leur performance n'a chuté que d'environ 9 % lors du passage des modes « Just Ask » à « Mémoire ».
Efficacité de l'Abstraction :
- L'enseignant Sous-objectif Partiellement Exécutable a constamment surpassé l'enseignant Partiellement Exécutable plat, soutenant l'hypothèse que la structuration des réponses en sous-objectifs améliore l'efficacité de la mémoire.
- Le module Parse s'est révélé crucial pour rendre les plans exécutables réutilisables, améliorant leur taux de réussite dans la division à forte répétition de 0,32 à 0,44.
Performance du Cadre Complet :
- Le cadre complet How2 (intégrant mémoire, analyse et vérifications de pertinence) a atteint un taux de réussite de 0,52 dans le mode à forte répétition.
- Crucialement, cela a été réalisé avec un taux d'intervention inférieur de 42 % (0,53) par rapport à l'oracle « Just Ask » (0,92), démontrant que l'agent a réutilisé avec succès les connaissances stockées plutôt que de constamment interroger l'enseignant.
- Le cadre a permis aux agents utilisant des enseignants Non Exécutables (les plus difficiles à ancrer) d'atteindre des taux de réussite (0,53) proches de ceux des agents avec des enseignants entièrement exécutables, en ancrant efficacement les instructions abstraites grâce aux modules d'analyse et de pertinence.
Variations de Modèles :
- Les expériences avec le modèle de raisonnement Qwen 3 32B ont montré des tendances similaires, bien que le modèle ait utilisé l'action de mémoire moins fréquemment. Fait intéressant, l'enseignant Non Exécutable a obtenu les meilleurs résultats avec Qwen 3, suggérant que les capacités de raisonnement peuvent mieux gérer les instructions abstraites et non ancrées.

Importance et Revendications

L'article revendique que How2 fournit un mécanisme viable pour que les agents basés sur des LLM améliorent leurs capacités de planification au fil du temps dans des environnements interactifs sans fine-tuning. L'importance principale réside dans la démonstration que l'abstraction des connaissances à partir de questions « comment faire » est essentielle pour un apprentissage tout au long de la vie efficace.

Alors que les instructions directes et exécutables sont optimales pour résoudre une seule instance d'une tâche, elles échouent à se généraliser. À l'inverse, les réponses abstraites (sous-objectifs ou motifs de haut niveau), lorsqu'elles sont combinées à un mécanisme d'analyse et de vérification de pertinence, permettent aux agents de construire une base de connaissances robuste et réutilisable. Cela réduit la dépendance à la supervision externe (interventions de l'enseignant) tout en maintenant des taux de réussite élevés, comblant efficacement le fossé entre la résolution immédiate de problèmes et l'acquisition de compétences à long terme. Les auteurs concluent que l'apprentissage à partir de questions procédurales est une stratégie puissante pour les agents opérant dans des domaines interactifs contraints.