🤖 machine learning

Multi $^2$ : Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments

Le document présente Multi $^2$ , un cadre multi-agents hiérarchique qui combine un planificateur de haut niveau affiné par apprentissage supervisé avec un exécuteur de bas niveau basé sur l'apprentissage par renforcement afin d'atténuer la dérive d'objectif et de parvenir à une prise de décision robuste et à long terme dans des environnements interactifs dynamiques, accompagné de la publication de trois nouveaux ensembles de données de référence.

Auteurs originaux : Sangeun Park, Minhae Kwon

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sangeun Park, Minhae Kwon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent, mais légèrement éparpillé, comment accomplir une tâche complexe et multi-étapes dans un jeu vidéo. Par exemple, l'objectif pourrait être de « trouver une plante rare, la mélanger avec de l'eau et préparer une potion ».

Si vous dites simplement au robot : « Vas-y, fais-le » et que vous le laissez deviner chaque mouvement par lui-même, il se confond souvent. Il pourrait oublier à quoi servait la potion, commencer à marcher en rond ou essayer de boire l'eau au lieu de la mélanger. Dans le monde de la recherche, on appelle cela la « dérive d'objectif » (objective drift) : le robot commence son voyage avec un objectif clair, mais à mi-chemin, il perd de vue ce qu'il était censé faire.

Le document présente un nouveau système appelé Multi2 pour corriger cela. Voyez Multi2 non pas comme un seul robot, mais comme une équipe de deux travailleurs spécialisés qui travaillent ensemble, tel un patron et un artisan qualifié.

Les deux travailleurs : Le Patron et le Bâtisseur

1. Le Patron (Système 1) : Le planificateur de la « vue d'ensemble »

Ce qu'il fait : Ce travailleur ne touche pas aux commandes. Au lieu de cela, il regarde le grand objectif et le décompose en petits morceaux gérables.
L'analogie : Imaginez que vous construisez une maison. Le Patron est l'architecte. Il ne pose pas les briques ; il dessine les plans et dit : « D'abord, nous devons couler les fondations. Une fois cela fait, nous construirons les murs. »
Comment il apprend : Le Patron est entraîné en lui montrant des milliers d'exemples de bons plans (une méthode appelée Ajustement Fin Supervisé ou Supervised Fine-Tuning). Il apprend à donner des instructions claires et adaptées au contexte afin que l'équipe ne perde jamais l'objectif principal.

2. Le Bâtisseur (Système 2) : L'exécuteur « sur le terrain »

Ce qu'il fait : Ce travailleur manipule réellement les outils et effectue le travail. Il prend l'instruction du Patron (« Couler les fondations ») et détermine exactement quels boutons presser pour y parvenir.
L'analogie : Le Bâtisseur est l'équipe de construction. Ce sont eux qui se salissent les mains, qui gèrent la boue et qui corrigent les erreurs si un seau de béton se renverse.
Comment il apprend : Le Bâtisseur est entraîné en deux étapes :
- Étape 1 (Hors ligne/Offline) : Il étudie une bibliothèque de vidéos de construction passées pour apprendre les bases sans commettre de vraies erreurs.
- Étape 2 (En ligne/Online) : Il va dans le monde réel (l'environnement du jeu) et s'exerce. S'il se trompe, il apprend immédiatement de ses erreurs. Crucialement, on lui apprend à rester proche de ce qu'il a appris dans la bibliothèque pour qu'il ne devienne pas trop imprévisible et n'oublie pas les bases. C'est ce qu'on appelle l'Apprentissage par Renforcement Hors ligne vers en Ligne (Offline-to-Online Reinforcement Learning).

Pourquoi cette équipe fonctionne mieux

Le document soutient que les méthodes précédentes tentaient de faire faire au même robot à la fois la planification et la construction. C'est comme demander à l'architecte de poser aussi chaque brique. C'est trop de travail, et l'architecte oublie souvent le plan en essayant de planter un clou.

Multi2 résout cela en séparant les rôles :

Stabilité : Parce que le Patron (Système 1) est spécialisé dans la planification, l'équipe ne perd jamais de vue l'objectif principal, même si la tâche est longue.
Efficacité : Le Bâtisseur (Système 2) s'améliore dans des actions spécifiques grâce à la pratique. Cela signifie que le robot n'a pas besoin de « réfléchir » autant ou d'utiliser autant de mots informatiques (tokens) pour accomplir ses tâches. C'est comme un menuisier expérimenté qui peut couper une planche d'un geste fluide, alors qu'un novice doit mesurer et remesurer constamment.

Les résultats

Les chercheurs ont testé cette équipe dans trois différents « mondes de jeux vidéo » (ScienceWorld, ALFWorld et TextCraft) où les tâches nécessitent de nombreuses étapes.

Meilleur succès : Multi2 a résolu plus de tâches que les autres méthodes, particulièrement les tâches longues et difficiles où les autres robots abandonnent généralement ou se confondent.
Moins de confusion : Lorsque d'autres robots commençaient à boucler (répéter la même action inutile encore et encore), Multi2 restait sur la bonne voie.
Économie d'énergie : Multi2 a utilisé moins de ressources informatiques (tokens) pour obtenir les mêmes résultats, ce qui le rend plus rapide et plus efficace.

La « recette secrète »

Le document a également publié un nouvel ensemble de données d'entraînement (comme un nouveau manuel scolaire pour les robots) spécifiquement conçu pour enseigner ce travail d'équipe entre le Patron et le Bâtisseur. Ils ont découvert que si l'on mélange l'entraînement — par exemple, en essayant d'apprendre au Patron comment poser des briques ou au Bâtisseur comment dessiner des plans — le système échoue. Les rôles spécifiques doivent rester séparés et être entraînés spécifiquement pour leur tâche.

En bref, Multi2 est une façon de construire des agents d'IA qui ne se contentent pas de « deviner » leur chemin à travers une tâche longue, mais qui possèdent un gestionnaire clair pour garder l'objectif en vue et un travailleur qualifié qui apprend de l'expérience pour accomplir le travail efficacement.

Résumé Technique : Multi2 – Prise de Décision Multi-Agents Hiérarchique avec des Agents Basés sur les LLM

1. Énoncé du Problème

Le défi central abordé par ce travail est la fragilité des agents basés sur les Grands Modèles de Langage (LLM) dans les environnements interactifs à long horizon. Bien que les agents récents basés sur les LLM fassent preuve d'un raisonnement contextuel robuste, ils peinent lors d'interactions prolongées, souffrant principalement d'une dérive d'objectif (objective drift). À mesure que les interactions s'étendent sur plusieurs tours, les agents s'écartent souvent de leurs objectifs initiaux en raison de l'accumulation de petites erreurs d'exécution et du désalignement de leur état interne avec l'intention initiale.

De plus, les approches existantes reposent souvent sur des historiques d'interaction toujours plus volumineux pour maintenir le contexte, ce qui entraîne une inefficacité des tokens. Bien que la décomposition hiérarchique (division des tâches en sous-objectifs) ait été proposée pour atténuer les échecs de planification, les méthodes actuelles échouent souvent à garantir une exécution stable. Plus précisément, la composante « exécutante » dans de nombreux systèmes hiérarchiques n'est pas explicitement entraînée pour corriger les erreurs cumulatives pendant l'interaction, laissant le système vulnérable aux boucles, aux violations de contraintes et à la dégradation des performances à mesure que l'horizon des tâches s'allonge.

2. Méthodologie : Le Cadre Multi2

Les auteurs proposent Multi2, un cadre de prise de décision multi-agents hiérarchique qui sépare explicitement la décomposition des tâches (planification) de l'exécution des actions par une spécialisation des rôles. Le cadre opère sur deux systèmes distincts :

Système 1 (Agent de Haut Niveau) : Se concentre sur la génération de sous-objectifs sensibles au contexte. Il prend une description de tâche et une observation actuelle en entrée et produit un sous-objectif. Ce système est entraîné via un Ajustement Supervisé (SFT) pour assurer une planification sémantique cohérente et structurée.
Système 2 (Agent de Bas Niveau) : Responsable de l'exécution d'actions atomiques dans l'environnement dynamique afin d'atteindre le sous-objectif fourni par le Système 1. Ce système est entraîné via un pipeline d'Apprentissage par Renforcement (RL) Offline-to-Online.

Pipeline d'Entraînement

Le processus d'entraînement est divisé en trois étapes pour garantir la stabilité et l'amélioration continue :

Entraînement Offline (Système 1) : Le Système 1 est affiné par clonage de comportement (SFT) sur un jeu de données de haut niveau ( $D_{sys1}$ ) contenant des descriptions de tâches et des séquences de paires observation-sous-objectif. L'objectif est de minimiser la perte de cross-entropie pour imiter les sous-objectifs experts.
Entraînement Offline (Système 2) : Le Système 2 est initialisé par un RL offline sur un jeu de données de bas niveau ( $D_{sys2}$ $D_{sy s 2}$ ) contenant des transitions (observation, action, récompense, observation suivante) conditionnées par des sous-objectifs. Les auteurs emploient une structure acteur-critique avec une conception de perte novatrice :
- Entraînement du Critique : Minimise l'erreur de différence temporelle (TD) en utilisant un apprentissage de valeur en distribution (ID) pour stabiliser l'entraînement.
- Entraînement de l'Acteur : Utilise un terme d'avantage ancré à la politique (policy-anchored advantage term). Cela combine l'imitation d'actions offline avec un terme d'avantage pondéré qui encourage les actions estimées comme générant des rendements plus élevés, atténuant ainsi la sur-imitation et les comportements de type "template".
Entraînement Online (Auto-amélioration du Système 2) : Pour permettre une adaptation continue, le Système 2 subit un raffinement par RL online. Une nouvelle politique ( $\pi_{on}$ $π_{o n}$ ) est mise à jour à l'aide d'un buffer de relecture mélangeant les données offline et les nouvelles trajectoires online. La fonction de perte inclut :
- Un terme de log-vraisemblance pondéré renforçant les actions à haut avantage.
- Un terme de régularisation de Kullback-Leibler (KL) qui contraint la politique online à rester proche de la politique entraînée en mode offline ( $\pi_{off}$ ). Cela empêche l'effondrement de mode et les changements de politique brusques, garantissant une auto-amélioration stable.

Architecture

Multi2 utilise un backbone LLM pré-entraîné partagé (ex: Qwen-2.5, Mistral, Llama-3.1) avec une Adaptation de Bas Rang (LoRA). Crucialement, le Système 1 et le Système 2 utilisent des adaptateurs LoRA distincts, permettant une paramétrisation spécifique au rôle sans mettre à jour l'intégralité du backbone.

3. Contributions Clés

Cadre Multi2 : Un cadre hiérarchique spécialisé par rôle qui sépare la planification des sous-objectifs (Système 1) et l'exécution des actions (Système 2) comme des problèmes d'optimisation distincts, traitant l'instabilité de l'interaction à long horizon.
Objectif de RL Offline-to-Online Fondé sur des Principes : Un pipeline d'entraînement novateur pour l'exécutant (Système 2) qui combine l'apprentissage offline ancré sur la politique et le raffinement online régularisé par KL. Cette conception s'aligne explicitement sur le rôle de l'exécutant pour permettre une auto-amélioration stable et efficace en termes d'échantillonnage.
Jeux de Données de Benchmark Hiérarchiques : La publication de trois jeux de données hiérarchiques bien structurés pour l'entraînement et l'évaluation d'agents LLM interactifs à travers plusieurs environnements (ScienceWorld, ALFWorld, TextCraft), comblant un manque de disponibilité de données hiérarchiques cohérentes.
Validation Empirique : Démonstration que Multi2 surpasse systématiquement les bases solides en termes de performance, d'efficacité des tokens et de robustesse face à la dérive d'objectif.

4. Résultats Expérimentaux

Le cadre a été évalué sur ScienceWorld, ALFWorld et TextCraft en utilisant divers modèles de base (Qwen-2.5 3B, Mistral 7B, Llama-3.1 8B).

Performance : Multi2 a obtenu les taux de réussite les plus élevés sur la plupart des backbones et des divisions d'évaluation (In-Distribution et Out-of-Distribution). Par exemple, sur la division ID de ScienceWorld avec Llama-3.1 8B, Multi2 a atteint un taux de réussite de 67,61 % contre 60,48 % pour la base hiérarchique Glider et 23,23 % pour le modèle basé sur le prompting ReAct.
Robustesse à la Dérive d'Objectif : Multi2 a démontré une performance supérieure sur les tâches difficiles nécessitant de longs horizons. Alors que les agents basés sur le prompting se sont dégradés brutalement avec la difficulté des tâches, et que d'autres bases affinées ont montré des baisses entre les tâches moyennes et difficiles, Multi2 a maintenu une performance constante, indiquant une atténuation efficace de la dérive d'objectif.
Efficacité des Tokens : Multi2 était nettement plus efficace en termes de tokens que les autres modèles de référence. En utilisant une invocation hiérarchique sur demande et une génération d'actions optimisée par RL, il a atteint de meilleures performances avec moins de tokens d'inférence par rapport aux méthodes basées sur le prompting qui reposent sur de longues fenêtres de contexte et des démonstrations en contexte.
Études d'Ablation :
- Spécialisation des Rôles : L'inversion des paradigmes d'entraînement (entraîner le Système 1 avec RL et le Système 2 avec SFT) a entraîné les moins bonnes performances, confirmant la nécessité du SFT pour la planification et du RL pour l'exécution.
- Architecture : La structure hiérarchique avec des adaptateurs spécifiques aux rôles a surpassé les bases à modèle unique ou à adaptateur partagé.
- Conception de la Perte : La perte offline ancrée sur la politique et la perte online régularisée par KL proposées ont été cruciales pour réduire la variance et éviter les échecs de faible performance par rapport aux variantes vanilla IQL ou AWAC.

5. Signification et Revendications

L'article affirme que Multi2 fournit une solution fiable et efficace pour construire des agents basés sur les LLM capables de résoudre des tâches à long horizon. Sa signification réside dans :

Traitement des Limitations Fondamentales : Il va au-delà de la simple décomposition hiérarchique en entraînant explicitement la couche d'exécution pour corriger les erreurs cumulatives, une lacune identifiée dans des travaux antérieurs comme Glider.
Stabilité dans l'Interaction : La combinaison du SFT pour la préservation de l'intention et du RL régularisé par KL pour le raffinement de l'exécution offre un mécanisme fondé sur des principes pour une coordination stable sur des interactions étendues.
Efficacité des Ressources : Le cadre atteint des performances de pointe tout en réduisant la consommation de tokens, ce qui le rend plus pratique pour un déploiement réel.
Ressource pour la Communauté : En publiant les jeux de données hiérarchiques et le code, les auteurs visent à faciliter une adoption plus large et une comparaison équitable dans le développement de la prise de décision hiérarchique pour les agents LLM.

Les auteurs positionnent ce travail comme une étape vers une IA agentique capable de maintenir son intention et de s'adapter efficacement dans des environnements dynamiques, contribant ainsi à des algorithmes d'apprentissage plus efficaces pour les systèmes interactifs.