🤖 machine learning

HERAKLES: Hierarchical Skill Compilation for Open-ended LLM Agents

HERAKLES est un agent hiérarchique qui combine une politique de haut niveau basée sur un LLM pour la sélection de sous-objectifs réalisables avec un contrôleur de bas niveau qui compile les comportements réussis en compétences réutilisables, permettant ainsi une exploration ouverte et une composition de compétences efficaces dans des environnements partiellement observables avec des récompenses éparses.

Auteurs originaux : Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

Publié 2026-07-22

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La quête du robot auto-didacte

Imaginez un monde où les ordinateurs ne se contentent pas de suivre une recette stricte écrite par un humain, mais apprennent au contraire à cuisiner, à construire et à explorer par eux-mêmes, en devenant plus intelligents chaque jour. C'est le rêve de « l'apprentissage ouvert » (open-ended learning) dans l'intelligence artificielle. Pendant longtemps, l'IA a été comme un étudiant qui mémorise un énorme manuel, mais qui se fige lorsqu'on lui pose une question qui ne figure pas dans le livre. Les vrais humains, en revanche, sont différents. Nous ne nous contentons pas de mémoriser ; nous construisons une bibliothèque de compétences. Quand nous apprenons à faire du vélo, nous n'apprenons pas seulement à garder l'équilibre ; nous apprenons à pédaler, à diriger et à freiner comme des outils distincts que nous pourrons mélanger et combiner plus tard pour apprendre à conduire une moto.

Le document que vous allez lire s'attaque à un problème spécifique dans ce domaine : comment enseigner à un agent d'IA à continuer d'apprendre indéfiniment sans rester bloqué ? L'idée clé est l'« apprentissage hiérarchique ». Pensez à cela comme une entreprise avec un patron et un ouvrier. Le patron (le cerveau de haut niveau) ne fait pas le gros du travail ; au lieu de cela, il décompose les grands projets effrayants en tâches plus petites et gérables pour l'ouvrier (le cerveau de bas niveau). L'ouvrier accomplit les tâches et, une fois qu'il devient très doué, ces tâches deviennent des « compétences » que le patron peut simplement commander d'un seul mot. Le document explore comment construire un robot capable de faire cela automatiquement, transformant un chaos de nouveaux défis en une boîte à outils d'aptitudes ordonnée et bien organisée.

L'histoire de HERAKLES : Le robot qui construit sa propre boîte à outils

Rencontrez HERAKLES, un nouveau type de cerveau robotique conçu pour être un apprenant à vie. Imaginez que vous êtes un jeune aventurier tentant de conquérir une forêt immense et mystérieuse. Au début, vous ne savez que faire un pas à la fois. Si vous voulez atteindre une montagne lointaine, vous devez découvrir chaque étape depuis le début, ce qui est épuisant et lent. Vous pourriez vous fatiguer et abandonner avant même d'avoir atteint la première colline.

HERAKLES résout cela en agissant comme une équipe intelligente dotée de deux rôages distincts. Le premier rôle est le Général (la politique de haut niveau), qui est une IA très intelligente et douée pour le langage. Le second rôle est le Soldat (la politique de bas niveau), qui est un robot rapide et efficace qui déplace réellement le corps et ramasse des objets.

Voici comment la magie opère :

1. Le Général planifie, le Soldat exécute
Quand le Général voit un grand objectif comme « Construire une pioche en pierre », il n'essaie pas de tout faire d'un coup. Au lieu de cela, il regarde ce que le Soldat sait déjà faire. Peut-être que le Soldat sait « couper du bois » et « placer une table ». Le Général décompose le grand objectif : « D'abord, coupe du bois. Ensuite, place une table. Enfin, fabrique la pioche. » Le Général donne ces ordres plus petits au Soldat.

2. L'astuce de la « compilation de compétences »
C'est ici que HERAKLES est vraiment ingénieux. Chaque fois que le Soldat termine avec succès une tâche, comme « couper du bois », le Général ne l'oublie pas simplement. Il prend toute cette séquence de mouvements et la « compile » en une compétence unique et réutilisable. C'est comme si le Soldat apprenait à faire du vélo, et soudain, le Général peut simplement dire « Roule vers la rivière » au lieu de dire « Pédale, dirige, équilibre, pédale, dirige... »

À mesure que le robot apprend, sa boîte à outils de compétences s'agrandit. Le Général commence à avoir accès à des « options » de plus en plus grandes. Au lieu de faire 100 petits pas pour construire une maison, le Général pourrait simplement dire « Construire un mur » (une compétence que le Soldat a déjà maîtrisée) et « Construire un toit » (une autre compétence maîtrisée). Cela rend le robot beaucoup plus rapide et efficace.

3. Le filtre de sécurité
Le Général est assez intelligent pour savoir ce que le Soldat ne peut pas encore faire. Si le Soldat n'a pas encore appris à « faire du feu », le Général ne lui demandera pas de le faire, car cela mènerait simplement à l'échec et à la confusion. Le système utilise un « vérificateur de compétence » spécial pour n'offrir au Général que des objectifs où le Soldat a de bonnes chances de réussir. Cela permet de maintenir le processus d'apprentissage fluide et d'éviter que le robot ne se retrouve bloqué sur des tâches impossibles.

Ce qu'ils ont découvert

Les chercheurs ont testé HERAKLES dans un monde numérique appelé Crafter, qui est une version 2D de Minecraft où vous devez collecter des ressources et fabriquer des objets pour survivre. L'objectif était de voir si HERAKLES pouvait apprendre des tâches de plus en plus difficiles au fil du temps sans avoir besoin qu'un humain lui enseigne chaque étape.

Ils ont comparé HERAKLES à d'autres méthodes d'IA :

Le robot « Tout-en-un » : Un robot qui essaie d'apprendre chaque petite étape à partir de zéro à chaque fois. Ce robot s'est vite bloqué car les tâches complexes prenaient trop de temps à apprendre.
Le robot au « Cerveau figé » : Un robot qui possède un cerveau intelligent mais dont les compétences corporelles restent fixes, n'apprenant jamais de nouveaux tours physiques.
Le robot au « Code caché » : Un robot qui essaie d'apprendre des compétences mais utilise un code secret au lieu d'un langage clair, ce qui rend difficile la combinaison logique des compétences.

Les résultats :
HERAKLES a été le grand vainqueur sur le long terme. Alors que les autres robots se sont bloqués après avoir appris quelques tâches faciles (comme simplement marcher vers un arbre), HERAKLES a continué à s'améliorer. À la fin de l'entraînement (après 250 000 étapes dans le jeu), HERAKLES avait appris à fabriquer des objets complexes comme une pioche en pierre, tandis que les autres en étaient encore à lutter avec des tâches basiques.

Le document suggère que HERAKLES est bien meilleur en termes d'« efficacité d'échantillonnage » (sample efficiency), ce qui signifie qu'il apprend davantage avec moins d'essais. Il a également fait preuve d'une incroyable flexibilité. Lorsque les chercheurs ont demandé à HERAKLES de faire des choses qu'il n'avait jamais vues auparavant, comme « collecter 4 bois » au lieu de juste « collecter du bois », ou d'utiliser un synonyme comme « acquérir du bois » au lieu de « collecter du bois », il a réussi presque à chaque fois. Il a même pu comprendre comment fabriquer une « épée en bois » en réalisant qu'elle était très similaire à la « pioche en bois » qu'il avait déjà appris à fabriquer.

Pourquoi cela importe

Les auteurs suggèrent que cette méthode est un grand pas vers la création d'une IA qui peut véritablement croître et s'adapter d'elle-même. En laissant l'IA construire sa propre bibliothèque de compétences puis utiliser ces compétences pour s'attaquer à des défis encore plus difficiles, HERAKLES évite le sentiment de « blocage » qui frappe de nombreux autres systèmes d'apprentissage.

Cependant, le document admet également qu'il existe des limites. Pour l'instant, le Général ne comprend que le texte, pas les images, il ne peut donc pas voir le monde directement. De plus, le système a besoin d'une liste d'objectifs pour démarrer ; il n'invente pas les objectifs lui-même pour le moment. Mais l'idée d'un robot capable de « compiler » ses propres expériences en de nouvelles compétences réutilables est un concept puissant. Cela suggère un avenir où les agents d'IA ne se contentent pas de mémoriser le passé, mais construisent activement les fondations d'un avenir d'apprentissage infini.

Résumé Technique : HERAKLES – Compilation Hiérarchique de Compétences pour les Agents LLM à Ouverture Infinie

Énoncé du Problème

Le papier traite du défi de l'apprentissage à ouverture infinie (open-ended learning) dans des environnements partiellement observables caractérisés par des récompenses éparses et des espaces d'objectifs structurés et vastes. Bien que les modèles de fondation récents aient atteint des performances de niveau humain sur des tâches statiques, ils peinent face à la croissance de la complexité au cours de la vie car ils reposent sur des jeux de données fixes. En revanche, les humains acquièrent continuellement des compétences diverses en décomposant des tâches complexes en sous-compétences plus simples préalablement intériorisées.

Les approches actuelles d'agents à ouverture infinie (ex: Voyager, AutotelicLLM) font souvent face à une explosion combinatoire de la complexité des objectifs. À mesure que les agents rencontrent des objectifs de plus en plus complexes, le temps nécessaire pour maîtriser chaque nouvel objectif de manière isolée augmente rapidement, provoquant un arrêt de la progression de l'apprentissage. Les méthodes existantes de l'Apprentissage par Renforcement Hiérarchique (HRL) reposent souvent sur des ensembles de compétences prédéfinis ou des politiques pré-entraînées, ce qui est incompatible avec des agents véritablement à ouverture infinie qui doivent découvrir et étendre de manière autonome leur répertoire de compétences sans intervention d'expert.

Le problème central est de savoir comment permettre à un agent de s'adapter continuellement à un espace d'objectifs croissant en composant efficacement de nouvelles compétences à partir de comportements maîtrisés, sans dépendre de jeux de données statiques ou de primitives définies par des experts.

Méthodologie : HERAKLES

Les auteurs proposent HERAKLES (HiERarchicAl sKill compiLation for open Ended llm agentS), un agent hiérarchique qui apprend conjointement une politique de haut niveau et un contrôleur de bas niveau. Le système repose sur l'hypothèse que l'espace des objectifs admet des relations de prérequis, permettant de décomposer les tâches en sous-objectifs.

Architecture

L'agent se compose de deux politiques entraînées simultanément :

Politique de Haut Niveau ( $\pi_{HL}$ ) : Implémentée sous la forme d'un Grand Modèle de Langage (LLM) (spécifiquement Mistral 7B avec des adaptateurs LoRA). Elle agit comme un planificateur et un explorateur, sélectionnant des sous-objectifs basés sur des invites textuelles dérivées des observations et des objectifs de la tâche. Elle opère sur un ensemble restreint d'options « appelables » — des sous-objectifs que l'on estime que la politique de bas niveau peut atteindre de manière fiable.
Politique de Bas Niveau ( $\pi_{LL}$ ) : Un réseau neuronal léger et efficace sur le plan computationnel (basé sur ResNet) qui exécute des actions primitives. Elle est entraînée pour résoudre directement des objectifs et compiler progressivement les trajectoires réussies en compétences réutilisables.

Mécanismes Clés

Compilation Hiérarchique : Lorsqu' l'agent hiérarchique résout avec succès un objectif $g$ , la trajectoire complète des actions primitives est « compilée » dans $\pi_{LL}$ . Une fois maîtrisée, $\pi_{LL}$ peut exécuter $g$ directement comme une compétence unique. $\pi_{HL}$ peut alors invoquer cette nouvelle compétence comme une primitive pour des objectifs plus complexes, réduisant ainsi efficacement le rapport signal/bruit pour la planification de haut niveau.
Filtrage Adaptatif des Sous-Objectifs : Pour empêcher $\pi_{HL}$ de sélectionner des sous-objectifs irréalisables, un estimateur de compétence ( $C_\theta$ ) filtre l'espace des objectifs. Cet estimateur, entraîné sur les trajectoires de bas niveau, prédit la probabilité que $\pi_{LL}$ puisse atteindre un objectif spécifique à partir de l'état actuel. $\pi_{HL}$ ne sélectionne que des objectifs ayant une probabilité de succès estimée élevée, garantissant un apprentissage stable.
Optimisation Bilével : Le système est formulé comme un problème bilével avec une structure de Stackelberg. $\pi_{HL}$ $π_{H L}$ façonne la distribution des états et des sous-objectifs vus par $\pi_{LL}$ $π_{LL}$ , tandis que l'exécution de $\pi_{LL}$ $π_{LL}$ détermine l'optimalité de la décomposition de haut niveau. Les deux politiques sont entraînées simultanément :
- $\pi_{HL}$ est entraînée via l'apprentissage par renforcement on-policy (POAD) sur les trajectoires de décision de haut niveau.
- $\pi_{LL}$ est entraînée via l'apprentissage par renforcement off-policy (AWR) en utilisant deux types de données : des déroulements hiérarchiques complets (pour la compilation de compétences) et des segments de sous-objectifs (pour le renforcement de compétences).

Dynamique d'Entraînement

Le processus d'entraînement suit un curriculum automatique. Initialement, $\pi_{LL}$ ne maîtrise que des actions atomiques. À mesure qu'elle maîtrise des objectifs, ceux-ci sont ajoutés à son répertoire. $\pi_{HL}$ utilise ensuite ces objectifs maîtrisés comme blocs de construction pour s'attaquer à des objectifs plus complexes. Cela crée une boucle de rétroaction où la compétence croissante de la politique de bas niveau étend l'espace d'action effectif de la politique de haut niveau.

Contributions Clés

Cadre d'Apprentissage Conjoint : Une méthode pour les agents à ouverture infinie qui entraîne conjointement une politique de haut niveau basée sur un LLM et un contrôleur de bas niveau sans nécessiter de compétences spécifiées ou de pré-entraînement étendu.
Compilation de Compétences Dynamique : Un mécanisme par lequel les comportements réussis sont automatiquement distillés dans la politique de bas niveau, permettant une composition de compétences scalable à mesure que la compétence de l'agent croît.
Filtrage Adaptatif : Un mécanisme de filtrage basé sur la compétence qui restreint l'espace de recherche de $\pi_{HL}$ aux sous-objectifs réalisables, stabilisant l'apprentissage dans des environnements complexes à ouverture infinie.
Abstraction Structurée par le Langage : Exploitation des propriétés compositionnelles du langage naturel pour définir l'espace des objectifs et faciliter la découverte de chaînes de prérequis entre les objectifs.

Résultats Expérimentaux

La méthode a été évaluée dans l'environnement Crafter, un monde 2D généré procéduralement avec un arbre de réalisations de 17 objectifs nécessitant la collecte d'artefacts et l'artisanat.

Efficacité d'Échantillonnage : HERAKLES a surpassé les bases de référence (POAD, FUN, BOSS) sur le long terme. Bien que les bases de référence progressent initialement plus vite, elles plafonnent après avoir maîtrisé les objectifs faciles. HERAKLES montre une amélioration graduelle et soutenue à mesure que davantage d'objectifs sont compilés dans $\pi_{LL}$ , atteignant finalement des objectifs complexes (ex: « fabriquer une pioche en pierre ») que les bases de référence n'ont pas réussi à découvrir.
Généralisation : HERAKLES a démontré une généralisation supérieure aux objectifs non vus par rapport aux bases de référence :
- Généralisation Compositionnelle : Il maintient des taux de réussite élevés sur des objectifs nécessitant la répétition de tâches connues (ex: « collecter 4 bois » vs « collecter du bois »), là où les bases de référence échouent significativement.
- Objectifs Synonymes : Il gère efficacement les verbes synonymes.
- Objectifs Similaires par Trajectoire : Il transfère avec succès les compétences vers des objectifs non vus partageant des structures de prérequis similaires (ex: « fabriquer une épée en bois » après avoir appris « fabriquer une pioche en bois »).
Expansion des Compétences : Le nombre de compétences de bas niveau appelables par $\pi_{HL}$ augmente régulièrement au cours de l'entraînement, confirmant la capacité du système à construire une bibliothèque de compétences réutilisables.

Signification et Revendications

Le papier affirme que HERAKLES offre une voie viable vers des agents autotéliques capables d'un apprentissage continu. En combinant les capacités de raisonnement et de composition des LLM avec l'efficacité d'exécution de contrôleurs de bas niveau spécialisés, le système surmonte la « barrière de complexité » qui stoppe l'apprentissage à ouverture infinie.

Les auteurs soulignent que leur approche :

Ne repose pas sur des compétences définies par des experts ou des politiques pré-entraînées.
Permet une généralisation compositionnelle en traitant les objectifs maîtrisés comme des primitives pour l'apprentissage futur.
Améliore l'efficacité d'échantillonnage dans les contextes à ouverture infinie en amortissant l'apprentissage passé en compétences réutilisables.

Ce travail est présenté comme une étape vers l'Intelligence Artificielle Générale (AGI), répondant spécifiquement au besoin d'agents capables de générer, de sélectionner et de s'entraîner de manière autonome sur leurs propres objectifs pour étendre continuellement leurs capacités. Les auteurs reconnaissent des limites, telles que la dépendance actuelle aux objectifs textuels (suggérant des travaux futurs avec des modèles Vision-Langage) et le coût computationnel du réentraînement périodique, mais positionnent la méthode comme une étape fondamentale vers des agents pleinement autonomes et à ouverture infinie.