Résumé technique : Apprentissage conjoint d'options neuronales hiérarchiques et d'un modèle de monde abstrait (AgentOWL)

1. Énoncé du problème

L'article aborde le défi consistant à permettre aux agents de prise de décision d'acquérir cumulativement de nouvelles compétences en composant celles qui existent déjà. Alors que le cadre des options formalise cela comme l'apprentissage d'une hiérarchie de politiques (options) réalisant des objectifs de plus en plus difficiles, les approches standard d'apprentissage par renforcement hiérarchique sans modèle (RL) souffrent d'une faible efficacité d'échantillonnage. À mesure que le nombre de compétences acquises augmente, l'espace d'action effectif s'élargit, rendant l'apprentissage de la politique de plus en plus gourmand en données et intraitable pour de nouveaux objectifs.

Le problème central est un compromis : apprendre rapidement de nouvelles compétences versus le nombre de compétences déjà acquises. Les méthodes sans modèle standard nécessitent un nombre exponentiellement plus grand d'échantillons à mesure que l'apprentissage progresse. Les auteurs proposent que le RL basé sur un modèle puisse résoudre ce problème en utilisant un modèle de monde pour planifier et écarter des options avant l'exécution dans le monde réel. Cependant, les approches existantes de modélisation du monde manquent souvent de l'efficacité des données requise pour apprendre des dynamiques complexes à partir d'échantillons limités, ou elles échouent à fournir les abstractions temporelles et d'état nécessaires pour rendre la planification traitable.

2. Méthodologie : AgentOWL

Les auteurs proposent AgentOWL (Option and World model Learning Agent), un système qui apprend conjointement un ensemble d'options neuronales hiérarchiques et un modèle de monde abstrait de manière efficace en termes d'échantillons.

2.1 Modélisation de monde abstrait

Le système utilise un cadre Produit d'Experts (PoE-World) pour apprendre un modèle de monde qui abstrait à la fois les états et le temps.

• Abstraction d'état : Au lieu de prédire des transitions de pixels bruts, le modèle prédit de futurs états abstraits définis par des prédicats d'objectif $f(s) = (g_1(s), g_2(s), \dots)$. Cela réduit la dimensionalité de la tâche de prédiction.
• Représentation symbolique : Le modèle de monde est représenté comme un produit d'experts, où chaque expert est un programme symbolique court (extrait de code Python) généré par un grand modèle de langage (LLM). Ces programmes modélisent des mécanismes causaux indépendants.
• Prior d'axiome de cadre : Pour maintenir l'efficacité des échantillons, le modèle intègre un « prior d'axiome de cadre ». Cela biaise le modèle à croire qu'une option $o_i$ modifie principalement sa fonctionnalité correspondante $f_i$ et ne modifie pas les autres fonctionnalités $f_j$ ($j \neq i$). Cela est mis en œuvre via une estimation du Maximum A Posteriori (MAP) avec des priors gaussiens, réduisant considérablement les données nécessaires pour apprendre les dynamiques de transition.
• Reconstruction : Puisque le modèle abstrait prédit $p(f' | s)$, un estimateur de densité de noyau (fonction de pondération) est utilisé de manière heuristique pour échantillonner des états complets $s'$ à partir d'états abstraits $f'$, permettant à l'agent d'interagir avec un environnement simulé sans apprendre un modèle génératif paramétrique complet.

2.2 Apprentissage conjoint d'options hiérarchiques

AgentOWL s'entraîne itérativement pour maîtriser une séquence d'objectifs $\{g_1, \dots, g_n\}$ en apprenant les options correspondantes $\{o_1, \dots, o_n\}$.

• Hypothèse de sous-option basée sur LLM : Lorsqu'un agent doit atteindre un nouvel objectif cible $g$ mais manque d'une option directe, un LLM est sollicité pour hypothétiser une nouvelle sous-option $o_{h \to g}$. Le LLM sélectionne une précondition $h$ (un sous-objectif précédemment appris) parmi l'ensemble existant d'options $\Omega$ qui pourrait servir de pierre angulaire. Cette nouvelle option et son modèle de monde hypothétique sont ajoutés au système.
• Exploration basée sur modèle : L'agent apprend une politique $\pi_{wm}$ au sein du modèle de monde abstrait en utilisant l'apprentissage par Q profond (DQN). Cette politique sert de guide d'exploration pour la politique du monde réel $\pi_{real}$. La politique combinée est définie comme $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$. Le taux d'exploration $\epsilon$ est réduit de 1 à 0, permettant à l'agent de passer de la planification basée sur modèle à un apprentissage entièrement sans modèle à mesure que la politique du monde réel se stabilise.
• Entraînement hiérarchique stable : Pour atténuer la non-stationnarité causée par l'entraînement des options de bas niveau (ce qui modifie l'environnement vu par les options de haut niveau), le système emploie un mécanisme de stabilisation. Les données des épisodes ne sont ajoutées au tampon de replay pour l'entraînement que si toutes les sous-options exécutées dans cet épisode sont « stables » (c'est-à-dire qu'elles ont été entraînées sur un nombre suffisant d'échantillons $n > n_{seuil}$ et ont un taux de réussite élevé $\delta > \delta_{seuil}$).

3. Contributions clés

1. Cadre AgentOWL : Une architecture novatrice qui apprend conjointement des options neuronales hiérarchiques et un modèle de monde abstrait, permettant une acquisition de compétences efficace en termes d'échantillons.
2. Modèle de monde abstrait avec programmes symboliques : L'intégration de PoE-World avec des programmes symboliques générés par LLM permet d'apprendre des dynamiques complexes et temporellement abstraites à partir de très peu de données, surmontant le « piège d'un pas » des modèles de bas niveau.
3. Découverte d'options pilotée par LLM : Une méthode utilisant les LLM pour hypothétiser de nouvelles sous-options (préconditions) basées sur les compétences existantes, automatisant efficacement le curriculum d'acquisition de compétences sans nécessiter d'ingénierie manuelle des sous-objectifs.
4. DQN hiérarchique stable : Une procédure d'entraînement qui stabilise l'apprentissage de hiérarchies d'options profondes en filtrant les données basées sur la stabilité des sous-options, résolvant le problème de non-stationnarité inhérent au RL hiérarchique.

4. Résultats expérimentaux

La méthode a été évaluée sur trois jeux Atari centrés sur les objets (OCAtari) connus pour leur exploration difficile : Montezuma's Revenge, Pitfall et Private Eye.

• Efficacité d'acquisition de compétences : AgentOWL a maîtrisé une fraction nettement plus élevée d'options en utilisant moins d'étapes d'environnement par rapport aux bases de référence, notamment Rainbow DQN, Goal-conditioned DQN et Hierarchical DQN (sans modèle de monde). Alors que les bases de référence plafonnaient à un faible nombre de compétences maîtrisées, AgentOWL a continué à acquérir des compétences complexes.
• Généralisation vers des objectifs difficiles : L'analyse qualitative a montré que les bases de référence échouaient à acquérir des options pour des objectifs difficiles (par exemple, atteindre des pièces spécifiques dans Pitfall) car elles ne pouvaient pas découvrir les séquences d'actions longues nécessaires. AgentOWL a planifié avec succès ces séquences de manière abstraite et les a exécutées de manière hiérarchique.
• Apprentissage implicite : Les expériences ont démontré que AgentOWL améliore implicitement les sous-options même lorsqu'il n'est récompensé que pour un objectif de haut niveau. Les sous-options utiles pour l'objectif cible ont montré des taux de réussite accrus, tandis que les autres, sans rapport, n'ont pas évolué.
• Généralisation Zero-Shot : Dans une expérience avec un état de départ nouveau, AgentOWL a pu composer des options existantes pour atteindre des objectifs précédemment maîtrisés sans entraînement supplémentaire, à condition qu'une seule nouvelle option lui soit donnée pour naviguer du nouveau départ vers l'état de départ original. Les bases de référence dépourvues de modèle de monde abstrait et de composition hiérarchique ont échoué à s'adapter en zero-shot.

5. Importance et affirmations

L'article affirme que l'apprentissage d'options et l'apprentissage de modèles de monde sont profondément imbriqués. En apprenant un modèle de monde abstrait qui capture les effets des options, l'agent peut planifier efficacement, ce qui facilite à son tour la découverte et le raffinement de nouvelles compétences.

Les auteurs soulignent qu'AgentOWL démontre :

• Efficacité d'échantillonnage : Atteindre des hiérarchies de compétences complexes avec nettement moins de données que les bases de référence sans modèle.
• Généralisation compositionnelle : La capacité à combiner des compétences apprises pour résoudre de nouveaux problèmes (généralisation zero-shot) et à apprendre implicitement des sous-compétences requises pour des objectifs de haut niveau.
• Évolutivité de la planification : L'utilisation de modèles abstraits et temporellement étendus permet une planification sur de longs horizons qui serait intraitable pour des modèles de bas niveau.

L'article conclut que bien que des limitations actuelles existent (telles que le besoin de séquences d'objectifs ordonnées et d'entrées symboliques), l'approche met en lumière une direction prometteuse pour construire des agents capables d'étendre cumulativement leurs connaissances et leurs capacités grâce à l'interaction entre l'acquisition de compétences et la modélisation du monde.