Multi-level meta-reinforcement learning with skill-based curriculum

Cet article propose un cadre d'apprentissage par renforcement méta multi-niveaux intégrant un curriculum basé sur des compétences, qui comprime efficacement les processus de décision markoviens en hiérarchisant les politiques pour réduire la stochasticité, accélérer la convergence et faciliter le transfert de compétences entre différents problèmes et niveaux de complexité.

L'essentiel

Imaginez que vous devez apprendre à un robot à traverser une ville très complexe pour aller chercher un trésor. La ville est pleine de pièges, de portes fermées, de clés à trouver et de zones de circulation très denses. Si vous demandez au robot d'apprendre chaque petit mouvement (gauche, droite, avancer d'un pas) depuis le début, cela prendrait des années et il se perdrait constamment.

C'est exactement le problème que ce papier de recherche tente de résoudre. Les auteurs proposent une méthode intelligente pour apprendre aux robots (ou aux intelligences artificielles) à résoudre des problèmes complexes en les découpant en plusieurs niveaux, un peu comme un chef d'orchestre qui dirige une symphonie.

Voici l'explication simple, avec des analogies du quotidien :

1. Le problème : Se perdre dans les détails

Dans le monde réel, les tâches sont souvent une suite d'étapes. Pour ouvrir une porte, il faut d'abord trouver la clé, puis s'approcher, puis tourner la poignée. Si l'on essaie d'apprendre tout cela d'un coup, c'est comme essayer de construire une maison en posant chaque brique individuellement sans jamais avoir vu le plan. C'est lent et inefficace.

2. La solution : La "Compression" (Le concept de MMDP)

Les auteurs utilisent une technique qu'ils appellent la compression multi-niveaux. Imaginez que vous avez une carte très détaillée d'une ville avec chaque rue et chaque maison. C'est trop d'informations pour planifier un long voyage.

• Niveau 1 (Le détail) : C'est la carte détaillée. Le robot apprend à faire un pas à la fois.
• Niveau 2 (Le quartier) : Au lieu de dire "avance de 1 mètre", on dit "va au centre commercial". Tout le chemin pour y arriver est compressé en une seule action. Le robot n'a plus besoin de voir les détails de la route, juste le point d'arrivée.
• Niveau 3 (La ville) : On va encore plus haut. Au lieu de dire "va au centre commercial", on dit "va au quartier nord".

L'analogie du livre de cuisine :
Au niveau 1, vous apprenez à couper un oignon, à émincer une carotte.
Au niveau 2, vous avez une compétence "Faire une sauce tomate". Vous ne regardez plus comment couper l'oignon, vous lancez juste l'action "Faire la sauce".
Au niveau 3, vous avez la compétence "Faire un spaghetti". Vous lancez "Faire la sauce" et "Faire les pâtes" comme deux gros blocs.

En compressant les tâches, le robot apprend beaucoup plus vite car il a moins de choix à faire à chaque étape. Il ne se soucie plus des détails inutiles pour le moment.

3. Le "Professeur", l'Élève et l'Assistant

Pour que cela fonctionne, les auteurs imaginent trois personnages qui travaillent ensemble :

• Le Professeur (Teacher) : C'est le coach. Il ne donne pas juste le problème final. Il crée un programme d'entraînement (curriculum). Il commence par des exercices faciles (apprendre à marcher dans une pièce vide), puis des exercices moyens (traverser une pièce avec des obstacles), et enfin le grand défi (traverser toute la ville avec des portes fermées). Il dit à l'élève : "D'abord, apprends à ouvrir une porte. Ensuite, apprends à trouver une clé."
• L'Élève (Student) : C'est le robot qui apprend. Il suit le programme du professeur, niveau par niveau.
• L'Assistant (Assistant) : C'est le bibliothécaire. Quand l'élève réussit un exercice, l'Assistant regarde comment il a fait, et il écrit une "recette" (une compétence ou skill) dans un livre.
  • Exemple : L'élève a appris à traverser une pièce en évitant les chaises. L'Assistant écrit dans le livre : "Compétence 'Éviter les obstacles'".
  • Plus tard, si le robot doit traverser une autre pièce avec des chaises, il n'a pas besoin de réapprendre. Il va chercher la recette dans le livre de l'Assistant et l'utilise directement. C'est ce qu'on appelle le transfert d'apprentissage.

4. Les "Compétences" et les "Emplacements" (Skills & Embeddings)

C'est la partie la plus magique. Le robot ne mémorise pas chaque situation exacte (comme "si je suis à la case 3, je tourne à gauche"). Il apprend des logiques abstraites.

• La Compétence (Skill) : C'est une règle générale. Par exemple : "Si tu veux ouvrir une porte, trouve d'abord la clé, puis va vers la porte."
• L'Emplacement (Embedding) : C'est la façon de traduire la situation actuelle en langage que la compétence comprend. Peu importe si la clé est sur la table ou sur le lit, la compétence "Trouver la clé" sait comment s'adapter.

L'analogie du Lego :
Au lieu d'apprendre à construire chaque maison de Lego individuellement, le robot apprend à construire des "murs", des "toits" et des "portes" (les compétences). Quand il doit construire une nouvelle maison (un nouveau problème), il assemble simplement ces pièces préfabriquées. Il n'a pas besoin de recréer les briques une par une.

5. Pourquoi c'est génial ?

• Rapidité : Le robot apprend en quelques heures ce qui prendrait des mois.
• Adaptabilité : Si on change la disposition des meubles dans la ville, le robot n'a pas besoin de tout réapprendre. Il utilise ses compétences de base (marcher, ouvrir une porte) et s'adapte rapidement.
• Robustesse : Même si le robot fait une erreur à un niveau supérieur, il peut se corriger en descendant un niveau pour ajuster les détails.

En résumé

Ce papier propose une méthode pour apprendre aux intelligences artificielles à penser comme des humains : en décomposant les gros problèmes en petits sous-problèmes, en apprenant des règles générales (compétences) plutôt que des détails, et en réutilisant ces règles pour résoudre de nouveaux problèmes plus rapidement.

C'est comme passer d'un élève qui apprend à lire lettre par lettre, à un lecteur qui reconnaît des mots entiers, puis des phrases, et qui peut enfin lire un livre entier sans s'arrêter à chaque syllabe.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "Multi-level meta-reinforcement learning with skill-based curriculum" par Sichen Yang et Mauro Maggioni.

1. Problématique

Le domaine de la prise de décision séquentielle (Reinforcement Learning - RL) fait face à un défi majeur : l'exploitation efficace des structures multi-niveaux naturelles dans des tâches complexes. Les approches classiques d'apprentissage hiérarchique (HRL) et les méthodes récentes d'HRL profond souffrent souvent de plusieurs limitations :

• Enchevêtrement des sous-tâches : Les politiques de bas niveau et de haut niveau sont souvent intriquées, ce qui propage le bruit stochastique à travers les niveaux et complique la planification à long terme.
• Manque de transférabilité : Les compétences apprises sont souvent spécifiques à un environnement ou à une tâche, rendant difficile leur réutilisation (transfer learning) dans de nouveaux contextes géométriques ou structurels.
• Complexité computationnelle : La résolution directe de MDP (Processus de Décision Markovien) complexes avec des récompenses rares nécessite un nombre prohibitif d'itérations et d'échantillons.
• Abstraction rigide : Les méthodes existantes se limitent souvent à un ou deux niveaux d'abstraction ou reposent sur des sous-objectifs spécifiés manuellement.

L'objectif est de concevoir un cadre capable de compresser un MDP complexe en une pile de MDPs plus simples et plus abstraits, tout en préservant la sémantique du problème original, afin d'accélérer l'apprentissage et de permettre un transfert efficace de compétences.

2. Méthodologie

Les auteurs proposent un cadre unifié basé sur trois piliers interconnectés : la compression multi-niveau, la factorisation des politiques (compétences et embeddings), et l'apprentissage par curriculum.

A. Processus de Décision Markovien Multi-Niveau (MMDP)

Le cœur de la méthode est la construction itérative d'une séquence de MDPs compressés :

• Compression : À chaque niveau $l$, un ensemble de familles paramétriques de politiques (sous-politiques) apprises au niveau inférieur $l-1$ est traité comme un seul action abstraite au niveau $l$.
• Préservation sémantique : Contrairement à d'autres méthodes d'abstraction qui peuvent perdre l'information, cette compression préserve la structure et le sens du MDP original. Les transitions, récompenses et facteurs d'actualisation du MDP compressé sont calculés de manière à être cohérents en espérance avec le MDP plus fin.
• Résolution : Le processus suit une approche "bottom-up" pour construire la hiérarchie (en définissant les actions abstraites) et "top-down" pour résoudre le problème. On résout d'abord le MDP le plus compressé (niveau le plus haut, $L$), puis on affine la solution vers les niveaux inférieurs jusqu'au MDP original.

B. Factorisation Compétition-Embedding (Skill-Embedding Decomposition)

Pour permettre le transfert, les politiques sont factorisées en deux composantes :

• Compétences (Skills) : Des fonctions de haut niveau (souvent des fonctions d'ordre supérieur) qui représentent des logiques réutilisables (ex: "aller d'un point A à un point B", "concaténer deux actions"). Elles sont indépendantes du contexte spécifique.
• Embeddings : Des fonctions qui extraient les caractéristiques pertinentes de l'espace d'état-action spécifique à un problème (ex: la position actuelle, la destination, l'état des portes).
• Décomposition : Une politique $\pi$ est vue comme la composition d'une compétence $\pi_{skill}$ et d'un embedding $e$. Cela permet d'appliquer la même compétence à différents problèmes en changeant simplement l'embedding.

C. Apprentissage par Curriculum et Coopération Teacher-Student-Assistant

Le cadre introduit trois rôles pour orchestrer l'apprentissage :

1. Enseignant (Teacher) : Fournit un curriculum ordonné de MDPs de difficulté croissante. Il fournit des indices sur les compétences à utiliser et les embeddings pour structurer les actions abstraites.
2. Étudiant (Student) : Résout les MDPs du curriculum dans l'ordre, en construisant les MMDPs et en affinant les politiques.
3. Assistant (Assistant) : Analyse les politiques optimales apprises par l'étudiant pour extraire de nouvelles compétences (skills) et les ajouter à un "dictionnaire" public. Ces compétences peuvent ensuite être réutilisées par l'étudiant pour résoudre de nouveaux problèmes plus rapidement.

3. Contributions Clés

1. Cadre de Compression Multi-Niveau : Une méthode formelle pour transformer un MDP complexe en une pile de MDPs compressés indépendants, réduisant la stochasticité et l'espace de recherche des politiques à chaque niveau supérieur.
2. Mécanisme de Transfert par Factorisation : L'introduction de la décomposition compétence-embedding permet un transfert de compétences à travers différents niveaux d'abstraction et différents MDPs, même lorsque les espaces d'état diffèrent, évitant ainsi l'apprentissage par cœur (rote learning).
3. Curriculum Dynamique et Adaptatif : Un système où la difficulté émerge naturellement de la compression. Le curriculum n'est pas seulement une séquence de tâches, mais une structure où les compétences apprises sur des sous-problèmes sont réutilisées pour construire des solutions à des problèmes plus complexes.
4. Généralisation des Actions : Contrairement aux MDPs factorisés classiques (FMDP) qui supposent une structure de transition fixe, ce cadre impose une structure du côté des actions/politiques, permettant des ensembles d'actions de haut niveau qui ne sont pas de simples produits cartésiens complets.

4. Résultats Expérimentaux

Les auteurs valident leur approche sur deux exemples principaux :

• MazeBase+ : Une variante complexe du célèbre MazeBase, impliquant la navigation dans un labyrinthe avec plusieurs pièces, des portes, des clés et un but.
  • Résultats : L'algorithme apprend à ouvrir des portes et à naviguer en plusieurs niveaux. Il démontre une capacité de transfert remarquable : lorsqu'on change la configuration des pièces et des clés, l'agent réutilise les compétences apprises (navigation, logique de concaténation "aller-ramasser-ouvrir") et converge en quelques itérations, là où un apprentissage classique échouerait ou serait très lent.
  • Robustesse : Même lorsque la politique de haut niveau initiale est sous-optimale pour un nouveau problème, le processus d'affinement (refinement) converge vers la solution optimale.
• Navigation et Transport avec Embouteillages : Un problème de navigation dans une grille avec des zones de trafic (embouteillages) et deux modes de transport (moto, voiture) ayant des vitesses différentes selon les conditions.
  • Résultats : Le cadre permet de découpler la navigation (éviter les obstacles) du choix du mode de transport. Les compétences de navigation apprises sur des scénarios simples sont transférées à des scénarios complexes avec plus de routes de trafic, réduisant drastiquement le nombre d'itérations nécessaires.

Les graphiques montrent que le nombre d'itérations nécessaire pour converger est bien inférieur à celui de l'itération de valeur classique, et que le coût par itération est également réduit grâce à la compression de l'espace d'état et d'action.

5. Signification et Impact

Ce travail apporte une contribution significative à l'état de l'art du Reinforcement Learning en :

• Résolvant le problème de la stochasticité hiérarchique : En compressant les politiques en actions déterministes (ou moins stochastiques) aux niveaux supérieurs, il simplifie considérablement la planification à long terme.
• Offrant une voie vers le "Meta-RL" constructif : Au lieu d'apprendre simplement une initialisation rapide, le cadre construit explicitement une bibliothèque de compétences réutilisables et une structure de résolution de problèmes.
• Faisant le pont entre programmation fonctionnelle et RL : L'utilisation de fonctions d'ordre supérieur, de composition et d'abstraction rappelle les principes de la programmation fonctionnelle, offrant un langage mathématique rigoureux pour décrire l'apprentissage hiérarchique.
• Améliorant l'efficacité des échantillons : En particulier dans les domaines à récompenses rares, la capacité à apprendre des sous-tâches et à les assembler permet de résoudre des problèmes complexes avec beaucoup moins d'interactions avec l'environnement.

En résumé, ce papier propose une architecture robuste et théoriquement fondée pour l'apprentissage par renforcement multi-niveau, capable d'acquérir, de compresser et de transférer des compétences de manière efficace, mimant ainsi la façon dont les humains décomposent et résolvent des tâches complexes.