🤖 machine learning

Curriculum reinforcement learning with measurable task representation learning

Ce papier propose une nouvelle approche de génération automatique de curriculum pour l'apprentissage par renforcement qui utilise un autoencodeur variationnel pour apprendre une représentation latente de tâche avec une similarité mesurable, permettant ainsi la construction efficace de curriculums dans des tâches de navigation complexes et non euclidiennes où les méthodes d'interpolation traditionnelles échouent.

Auteurs originaux : Yongyan Wen, Siyuan Li, Mingjian Fu, Yiqin Yang, Xun Wang, Peng Liu

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongyan Wen, Siyuan Li, Mingjian Fu, Yiqin Yang, Xun Wang, Peng Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment naviguer dans un labyrinthe complexe et confus pour y trouver un trésor spécifique. Si vous déposez simplement le robot dans la version la plus difficile du labyrinthe immédiatement, il risque de rester bloqué, de heurter des murs et d'abandonner car il ne sait pas quoi faire. C'est un problème courant en Intelligence Artificielle appelé le problème de la « récompense sparse » : le robot ne reçoit un signal de « bon travail » que lorsqu'il gagne enfin, ce qui peut prendre des milliers d'essais.

L'Apprentissage par Renforcement à Curriculum (CRL) est l'idée d'enseigner au robot comme le ferait un enseignant humain : commencer par un niveau facile, puis un niveau légèrement plus difficile, et progressivement gravir les échelons jusqu'au boss final. Mais voici la partie délicate : Comment l'ordinateur sait-il quel niveau vient « ensuite » ?

Le problème des « lignes droites »

La plupart des méthodes précédentes ont tenté de créer ces niveaux intermédiaires en traçant une ligne droite entre le « début facile » et la « fin difficile ». Imaginez tracer une ligne droite sur une carte, de votre maison au sommet d'une montagne. S'il y a un grand canyon ou un mur au milieu de cette ligne droite, le chemin est inutile. Vous ne pouvez pas traverser le mur.

Dans des labyrinthes complexes (comme ceux de cet article), la « distance » entre deux tâches n'est pas une ligne droite. C'est plutôt un chemin sinueux contournant des obstacles. Si vous mélangez simplement les points de départ et d'arrivée mathématiquement, vous risquez de créer accidentellement une « tâche » où le robot est piégé derrière un mur sans issue. C'est ce que les auteurs appellent la limitation euclidienne : elle suppose que le monde est plat et ouvert, mais les vrais labyrinthes sont pleins de virages, de détours et de culs-de-sac.

La solution : ACRL (L'approche du « Traducteur »)

Les auteurs proposent une nouvelle méthode appelée ACRL (Curriculum Automatique avec Apprentissage de Représentation). Au lieu d'essayer de mélanger directement le départ et l'arrivée, ils utilisent un tour de force ingénieux impliquant un « langage secret » ou un Espace Latent.

Pensez-y ainsi :

Le Traducteur (VAE) : Le robot teste de nombreux labyrinthes différents. Le système observe ce que fait le robot (ses mouvements et les récompenses qu'il obtient) et traduit ces expériences dans un « espace latent ». Ce n'est pas une carte physique ; c'est une carte mentale où les expériences similaires sont proches les unes des autres, indépendamment de leur éloignement apparent sur la carte réelle.
- Analogie : Imaginez deux labyrinthes qui semblent totalement différents sur le papier. Dans l'un, vous allez à gauche puis à droite ; dans l'autre, vous allez à droite puis à gauche. Mais si les deux labyrinthes ont une « sensation » similaire (par exemple, tous deux nécessitent d'esquiver un type spécifique de piège), le système réalise qu'ils sont des « cousins » et les place côte à côte dans cette carte mentale secrète.
Le chemin lisse : Une fois que le système possède cette carte mentale, il peut tracer une ligne lisse et sûre des tâches « faciles » vers la tâche cible « difficile » au sein de cet espace mental. Parce que cet espace comprend la vraie difficulté et la similarité des tâches (et pas seulement leurs coordonnées physiques), la ligne qu'il trace évite les « murs » et les culs-de-sac.
Le retour du Traducteur : Le système traduit ensuite ces nouvelles étapes lisses en labyrinthes réels et jouables. Le résultat est une séquence parfaite de niveaux qui deviennent progressivement plus difficiles, guidant le robot en toute sécurité vers l'objectif sans jamais le faire heurter un cul-de-sac.

Fonctionnement en pratique

L'article a testé cette méthode sur deux types de défis :

MiniGrid : Un monde basé sur une grille avec des clés, des portes et de la lave. Le robot doit ramasser une clé pour ouvrir une porte. Si vous mélangez simplement les positions de départ et d'arrivée, vous pourriez créer une porte verrouillée alors que la clé se trouve de l'autre côté d'un mur. ACRL évite cela en comprenant la logique de la tâche, et pas seulement les nombres.
U-Maze : Un environnement continu et lisse avec une barrière au milieu. Le robot doit apprendre à contourner la barrière. Les méthodes standard tentaient souvent de pousser le robot directement à travers la barrière (ce qui est impossible). ACRL a appris à guider le robot autour de la courbe.

Les résultats

L'article affirme que ACRL est beaucoup plus rapide et plus efficace que les méthodes précédentes.

Apprentissage plus rapide : Le robot apprend la tâche finale beaucoup plus vite car il ne perd pas de temps sur des étapes intermédiaires impossibles ou confuses.
Meilleure stabilité : Une fois que le robot a appris le chemin, il reste bon dans cette tâche. D'autres méthodes se confondent parfois et oublient ce qu'elles ont appris.
Aide externe inutile : Le système détermine le curriculum tout seul, sans qu'un humain ait besoin de dire : « D'accord, essayez maintenant ce niveau spécifique. »

La limite

L'article note une limitation : cette méthode fonctionne mieux lorsque l'environnement peut être décrit par des nombres (comme des coordonnées ou des paramètres). Elle ne sait pas encore gérer des tâches décrites par des mots ou des symboles (comme « allez à la maison rouge » par rapport à « allez à la maison bleue » si les maisons ne sont pas définies par des coordonnées).

En résumé : L'article présente un enseignant intelligent pour les robots. Au lieu de deviner l'étape suivante en traçant une ligne droite, il construit une carte mentale de ce qui rend les tâches réellement similaires. Il utilise ensuite cette carte pour créer un parcours d'entraînement parfait, étape par étape, qui guide le robot du « débutant » à l'« expert » sans jamais rester bloqué dans un cul-de-sac.

Résumé Technique : Apprentissage par Renforcement avec Curriculum et Apprentissage de Représentation de Tâches Mesurable

Énoncé du Problème
L'Apprentissage par Renforcement avec Curriculum (CRL) vise à accélérer l'apprentissage sur des tâches cibles difficiles en entraînant des agents sur une séquence de tâches de difficulté croissante. Alors que les premières méthodes de CRL se concentraient sur la séquençage de tâches prédéfinies, la recherche récente a évolué vers la génération automatique de curriculums. Un paradigme dominant dans ce domaine implique l'interpolation de distribution de tâches, où de nouvelles tâches intermédiaires sont générées en interpolant entre une distribution de tâche initiale et une distribution de tâche cible à l'aide de métriques de distance telles que la divergence de KL ou la distance de Wasserstein.

Cependant, cette approche basée sur l'interpolation repose sur l'hypothèse que la similarité des tâches peut être mesurée via une distance euclidienne dans l'espace des contextes (tâches). Cette hypothèse échoue dans des environnements complexes, en particulier ceux possédant des structures géométriques non euclidiennes (par exemple, des labyrinthes avec des murs). Dans de tels contextes, une interpolation en ligne droite dans l'espace des paramètres peut générer des tâches physiquement irréalisables (par exemple, placer un objectif derrière un mur) ou ne pas représenter une progression significative en termes de difficulté, entravant ainsi la capacité de l'agent à transférer efficacement ses connaissances. De plus, les méthodes existantes peinent souvent à définir des métriques de similarité significatives dans des environnements complexes, de haute dimension ou à récompense sparse, sans signaux de récompense externes spécifiquement conçus pour la génération de curriculums.

Méthodologie : ACRL
Les auteurs proposent ACRL (Curriculum Automatique avec Apprentissage de Représentation), un cadre qui génère des curriculums en apprenant une représentation de tâche mesurable dans un espace latent. L'idée centrale est que la similarité des tâches doit être définie par le comportement de l'agent (transitions d'état et récompenses) plutôt que par les paramètres bruts de l'environnement.

La méthodologie se compose de trois composants principaux :

Apprentissage de Représentation de Tâches via VAE :
Les auteurs utilisent un Autoencodeur Variationnel (VAE) pour mapper les contextes de tâches vers un espace latent.
- Encodeur : Prend des trajectoires (séquences d'états, d'actions, de récompenses et d'états suivants) collectées à partir d'un contexte de tâche spécifique $c$ et les encode dans une embedding latente $z$ . Pour assurer l'invariance par permutation, l'embedding de la trajectoire est calculée comme le produit des embeddings pour les transitions individuelles.
- Décodeurs : Le VAE inclut un décodeur de transition ( $p_\theta(s'|z)$ ) et un décodeur de récompense ( $p_\theta(r|z)$ ) pour reconstruire l'état suivant et la récompense, garantissant que l'espace latent capture la dynamique et la structure de récompense de la tâche.
- Décodeur de Tâche : Un décodeur auxiliaire ( $p_c^\theta(z)$ ) mappe l'embedding latent de retour vers l'espace des contextes, permettant la génération de nouveaux paramètres de tâche à partir de points latents.
- Contrainte d'Entraînement : Pour assurer des représentations significatives, le VAE est entraîné uniquement sur des trajectoires où l'agent obtient un retour supérieur à un seuil spécifique $\delta$ , filtrant ainsi les tentatives aléatoires ou échouées.
Génération Automatique de Curriculum :
Une fois les représentations de tâches apprises, le curriculum est mis à jour en utilisant deux stratégies basées sur les progrès de l'agent :
- Prédiction dans l'Espace Latent (LSP) : Utilisée lorsque l'agent a atteint une certaine performance sur la tâche cible. La méthode interpole entre les embeddings latents des tâches réussies actuelles et l'embedding de la tâche cible dans l'espace latent. Ces points interpolés sont décodés de retour vers l'espace des contextes pour générer de nouvelles tâches, progressivement plus difficiles, qui respectent les contraintes géométriques sous-jacentes de l'environnement.
- Mise à Jour de la Frontière d'Exploration (EBU) : Utilisée aux stades précoces ou lorsque la performance sur la tâche cible est faible. La méthode identifie la « frontière d'exploration » — les tâches les plus proches de la cible que l'agent peut actuellement résoudre — et échantillonne de nouvelles tâches près de cette frontière avec l'ajout de bruit gaussien pour encourager l'exploration.
Stratégie d'Échantillonnage :
Le cadre maintient un tampon de tâches et utilise un ratio d'échantillonnage $\lambda$ pour équilibrer l'échantillonnage à partir de la distribution de curriculum apprise (pour exploiter les progrès) et une distribution uniforme sur l'espace des contextes (pour assurer l'exploration et prévenir l'effondrement de mode).

Contributions Clés

Cadre ACRL : La proposition d'un cadre RL de curriculum automatisé qui génère des distributions de tâches intermédiaires entre les tâches source et cible sans nécessiter de récompenses externes pour la génération de curriculum. Il utilise l'apprentissage de représentation de tâches pour mapper les contextes vers un espace latent, assurant une métrique plus fluide et plus significative pour la similarité des tâches.
Similarité de Tâches Mesurable : Une méthode novatrice d'apprentissage de représentation de tâches qui mappe l'espace des contextes vers un espace latent en utilisant un VAE. Cette approche permet la mesure de similarité dans des espaces métriques non euclidiens en encodant les transitions d'état et les récompenses, surmontant ainsi les limites de l'interpolation euclidienne directe.
Supériorité Empirique : Des démonstrations montrant que ACRL atteint une efficacité d'apprentissage et une performance asymptotique supérieures sur des tâches de navigation difficiles avec des structures géométriques complexes par rapport aux bases de référence de l'état de l'art, y compris les méthodes basées sur l'interpolation (CURROT) et les approches génératives (Goal GAN, ALP-GMM).

Résultats Expérimentaux
Les auteurs ont évalué ACRL sur deux domaines :

MiniGrid (Espace d'Actions Discret) : Un ensemble de tâches de navigation dans des labyrinthes de difficulté variable (Facile, Moyen, Difficile) impliquant des clés, des portes et de la lave. Dans ces environnements, la distance euclidienne échoue car les murs bloquent les chemins directs.
- Performance : ACRL a surpassé les bases de référence (Défaut, Aléatoire, ALP-GMM, Goal GAN, VDS, PLR, CURROT) en termes de temps pour atteindre le seuil et de stabilité.
- Visualisation du Curriculum : Les distributions de tâches générées ont navigué avec succès autour des obstacles, se déplaçant de la position initiale vers la cible via des chemins réalisables. En revanche, CURROT a généré des tâches intermédiaires qui menaient souvent les agents dans des murs, échouant à fournir un chemin d'apprentissage valide.
- Analyse de Représentation : La mise à l'échelle multidimensionnelle (MDS) de l'espace latent a révélé que les embeddings appris capturaient efficacement la structure non euclidienne des tâches, regroupant les tâches similaires (en termes de difficulté et de géométrie).
U-Maze (Espace d'Actions Continu) : Un environnement de contrôle continu où l'agent doit naviguer autour d'une barrière en forme de U.
- Performance : ACRL a démontré une meilleure efficacité d'échantillonnage que les bases de référence. Bien que Goal GAN ait atteint une bonne performance asymptotique, il a souffert en termes de temps pour atteindre le seuil en raison d'un manque de guidage vers la cible. D'autres bases de référence ont échoué car elles ont généré des tâches dans des régions inaccessibles.
- Études d'Ablation : L'étude a confirmé que la combinaison de LSP et EBU est cruciale. Le retrait de l'un ou l'autre composant, ou la fixation du ratio d'échantillonnage $\lambda$ trop élevé (réduisant l'exploration) ou trop bas (dégradant vers un échantillonnage uniforme), a considérablement réduit les performances. L'inclusion des deux décodeurs de récompense et de transition s'est également révélée essentielle pour un apprentissage de représentation stable.

Signification et Revendications
L'article revendique que ACRL adresse une limitation fondamentale dans la génération automatique de curriculums : l'incapacité des métriques de distance euclidienne à capturer la similarité des tâches dans des environnements complexes et non euclidiens. En apprenant une représentation latente basée sur l'interaction réelle de l'agent (trajectoires), la méthode peut générer des curriculums qui respectent les contraintes géométriques et dynamiques de l'environnement.

Les auteurs soulignent que leur approche :

Ne nécessite pas de récompenses externes pour la génération de curriculum.
Est compatible avec n'importe quel algorithme RL existant (par exemple, PPO, SAC).
Gère à la fois les espaces de contextes discrets et continus.
Fournit un chemin d'apprentissage plus robuste et efficace pour les agents affrontant des tâches à horizon long et à récompense sparse.

L'article conclut avec modestie, reconnaissant une limitation : la méthode suppose actuellement un espace de contexte paramétrique (paramètres numériques) et ne peut pas gérer directement des définitions non paramétriques comme des contextes symboliques ou basés sur le langage, bien que cela soit noté comme une voie potentielle pour un travail futur impliquant des encodeurs sémantiques.