Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies

Imaginez que vous appreniez à un robot à naviguer dans un monde qui ne reste jamais identique. Dans le domaine de la robotique et de l'intelligence artificielle, c'est un casse-tête colossal. Si vous apprenez à un robot à marcher uniquement sur un pavé plat et lisse, il risque de trébucher dès qu'il rencontrera une plaque d'herbe ou une pente raide. C'est là qu'intervient l'Apprentissage par Renforcement (RL - Reinforcement Learning). Considérez le RL comme un jeu numérique de tâtonnements où un agent apprend en essayant des actions et en recevant des récompenses pour les bons mouvements ou des pénalités pour les mauvais. Mais il y a un piège : si le monde d'entraînement est trop facile, le robot peut ne pas apprendre à gérer des situations complexes et échouera dans le monde réel. S'il est trop difficile dès le départ, le robot se découragera et n'apprendra rien.

Pour résoudre cela, les scientifiques utilisent l'Apprentissage par Curriculum (Curriculum Learning). C'est comme un enseignant humain qui ne jetterait pas un étudiant face à un examen de calcul intégral dès le premier jour. Au lieu de cela, il commence par l'addition simple, passe ensuite à l'algèbre, puis s'attaque au calcul intégral à mesure que l'étudiant progresse. L'objectif est d'augmenter progressivement la difficulté de l'environnement d'entraînement afin que le robot apprenne à être robuste — c'est-à-dire qu'il puisse gérer aussi bien des sols glissants que des obstacles soudains. Cependant, déterminer exactement la vitesse à laquelle il faut augmenter la difficulté, et quels défis spécifiques ajouter ensuite, est incroyablement complexe. Si vous vous trompez, le robot peut rester bloqué dans une boucle d'échecs, ou il pourrait ne jamais apprendre les compétences les plus difficiles.

Cet article présente une nouvelle méthode plus intelligente pour concevoir ces curriculums d'entraînement pour les robots. L'auteur, Prishita Ray et ses collègues, propose une méthode appelée Génération de Curriculum Reparamétrée (Reparameterized Curriculum Generation). Au lieu de deviner au hasard quels environnements tester ou de définir manuellement les niveaux de difficulté, leur système utilise un « critique » (un observateur intelligent) pour surveiller la performance du robot. Sur la base de ce retour d'expérience, le système utilise les mathématiques pour ajuster précisément les paramètres de l'environnement d'entraînement — comme la pente d'une colline ou le nombre d'obstacles — vers le haut ou vers le bas, de manière graduée. Ils ont testé cela sur deux défis classiques de type jeu vidéo : une voiture traversant des parcours d'obstacles et un marcheur bipède essayant de rester debout sur un terrain accidenté. Les résultats suggèrent que cette méthode aide les robots à apprendre plus rapidement et à mieux gérer une plus grande variété de situations délicates que les anciennes méthodes, qu'elles soient aléatoires ou conçues manuellement.

L'histoire du programme scolaire intelligent

Imaginez que vous entraînez un personnage de jeu vidéo à conduire une voiture. Autrefois, vous choisissiez peut-être une piste au hasard à chaque partie. Parfois, la piste était une autoroute droite et vide ; d'autres fois, c'était un labyrinthe chaotique de murs. C'est ce qu'on appelle l'Échantillonnage Aléatoire (Random Sampling). C'est chaotique et inefficace. Ou bien, vous pourriez essayer un Curriculum Manuel, où vous décidez : « Bon, pour la première heure, je n'utiliserai que des pistes plates. Ensuite, j'ajouterai quelques bosses. Puis j'ajouterai des virages. » C'est mieux, mais c'est rigide. Et si le personnage est prêt pour les virages mais pas pour les bosses ? Ou si l'on peine avec les bosses alors que la piste est plate ? Vous faites des suppositions, et vous risquez de perdre du temps.

L'auteur de cet article s'est posé la question suivante : Pouvons-nous construire un système qui détermine automatiquement la courbe de difficulté parfaite pour le robot, moment après moment ?

Ils ont construit un cadre qu'ils appellent Reparam. Voyez cela comme un concepteur de niveaux de jeu vidéo qui est aussi un coach personnel. Ce entraîneur a deux missions principales :

1. La Politique (L'Étudiant) : C'est le cerveau du robot, apprenant à diriger la voiture ou à faire marcher le marcheur bipède.
2. Le Critique (Le Coach) : C'est la partie spéciale de la nouvelle méthode. Le Critique ne se contente pas de regarder le robot ; il modifie activement l'environnement d'entraînement.

Voici comment la magie opère. L'environnement d'entraînement possède des « boutons » ou des paramètres. Pour la voiture, ces boutons contrôlent la courbure de la route ($\kappa$) et le nombre d'obstacles présents ($p$). Pour le marcheur, les boutons contrônent la glissance du sol ($f$), le nombre de fossés ($\rho$) et la raideur des pentes ($s$).

Le Critique observe la performance du robot. Si le robot écrase le niveau actuel, le Critique utilise un outil mathématique appelé optimisation basée sur le gradient pour tourner les boutons légèrement vers le mode « plus difficile ». Si le robot échoue lamentablement, le Critique les tourne vers le mode « plus facile ». Mais voici le tour de force : le Critique ne devine pas. Il calcule la direction exacte pour tourner les boutons afin de faire apprendre le robot de la manière la plus efficace possible. C'est comme un GPS qui ne se contente pas de dire « tournez à gauche », mais qui calcule l'angle exact pour tourner le volant afin d'éviter un nid-de-poule.

La recette secrète : Garder le robot calme

Il y avait un problème avec les méthodes précédentes. Lorsque l'environnement d'entraînement change trop vite ou de manière trop sauvage, le robot est confus. Dans le monde de l'IA, on appelle cela un décalage de distribution (distribution shift). Imaginez que vous appreniez à conduire, et qu'une minute vous soyez sur une autoroute sèche, et l'instant d'après, sur un lac gelé. Votre cerveau aurait du mal à s'adapter car les « règles » de la route auraient changé de façon trop drastique.

Pour corriger cela, l'auteur a ajouté un objectif de régularisation. Considérez cela comme une règle de « calme ». Elle dit au Critique : « Hé, tu peux rendre le niveau plus difficile, mais ne le change pas trop par rapport au niveau précédent. » Cela garantit que le robot apprend étape par étape, en maintenant l'environnement d'entraînement suffisamment stable pour que le robot puisse construire une base solide de compétences. Cela a été particulièrement important pour la tâche de course automobile, où le robot devait traiter des images (ce qu'il « voit ») ainsi que des données numériques. La règle de « calme » a aidé le robot à mieux comprendre le monde visuel, l'empêchant d'être submergé par des changements soudains et brusques de décor.

La Course et la Marche

L'équipe a testé leur idée sur deux défis très différents en utilisant l'OpenAI Gym, un kit d'outils populaire pour l'entraînement des robots.

1. Le Défi de Course Automobile :
Le robot devait conduire une voiture sur une piste remplie d'obstacles. La difficulté était contrôlée par la courbure de la route et le nombre d'obstacles sur celle-ci.

• Le Résultat : La nouvelle méthode (spécifiquement la version avec la règle de « calme », appelée Reparam-M) a été championne. Elle a atteint une récompense moyenne de 650 (avec un écart-type de 134), battant toutes les autres méthodes.
• Pourquoi c'était important : Le robot n'a pas seulement terminé la course ; il a percuté des obstacles beaucoup moins souvent. Alors qu'un robot « Vanilla » (entraîné uniquement sur des pistes faciles) percutait en moyenne 1,85 fois, le robot Reparam-M n'a percuté que 0,60 fois. Il a également passé moins de temps à rouler hors de la route sur l'herbe, montant ainsi qu'il a appris à rester sur la piste même quand celle-ci devenait difficile.

2. Le Défi du Marcheur Bipède :
Il s'agissait d'un robot à deux jambes essayant de marcher vers l'avant sans tomber dans des fossés ou glisser sur des pentes.

• Le Résultat : Curieusement, la règle de « calme » n'était pas aussi nécessaire ici. Le cerveau du marcheur pour la marche était plus simple (il n'avait pas besoin de traiter des images, juste des capteurs corporels). La version sans la règle supplémentaire (Reparam) a été la plus performante, avec un score de récompense moyenne de 127.
• Pourquoi c'était important : Ce robot a fait en moyenne 128 pas, contre 110 pour le robot « Vanilla ». Il est également tombé moins souvent dans les fossés.

Ce qu'ils ont appris (et ce qu'ils n'ont pas appris)

L'article souligne avec soin ce qui fonctionne et ce qui ne fonctionne pas. Ils ont testé plusieurs variantes de leur idée :

• Mises à jour bidirectionnelles (Reparam-A) : Ils ont essayé de laisser le Critique rendre le niveau plus facile si le robot réussissait trop bien, dans l'espoir de le maintenir dans une « zone d'apprentissage ». Mais cela a en réalité ralenti les choses. Il s'est avéré qu'une fois que le robot était prêt pour un niveau plus difficile, le rendre plus facile n'était qu'une perte de temps.
• Curriculum Inversé (Reparam-R) : Ils ont essayé de commencer par les niveaux les plus difficiles et de remonter vers les plus faciles. Cela n'a pas fonctionné aussi bien que de commencer par le facile pour devenir plus difficile.
• Curriculums Manuels et Aléatoires : Comme prévu, ces anciennes méthodes ont été surpassées par le système automatisé et intelligent.

L'auteur a constaté que sa méthode est efficace en termes d'échantillonnage (sample-efficient), ce qui signifie qu'elle apprend plus rapidement et nécessite moins de tentatives pour devenir performante dans la tâche. Ils ont mené ces expériences cinq fois avec différentes graines aléatoires (random seeds) pour s'assurer que les résultats n'étaient pas dus à la chance. Les résultats étaient cohérents : la nouvelle méthode battait systématiquement les anciennes.

Cependant, l'article reste humble. Ils notent que bien que la méthode fonctionne très bien dans ces mondes simulés, il s'agit toujours d'une simulation. Ils n'ont pas encore testé cela sur un vrai robot dans un vrai salon. Ils suggèrent que les travaux futurs devront voir si ce « programme scolaire intelligent » peut gérer des variables du monde réel encore plus complexes.

À retenir

Cet article ne consiste pas à inventer un nouveau robot ou un nouveau jeu. Il s'agit d'inventer un meilleur enseignant. En utilisant un système intelligent piloté par les mathématiques pour ajuster le niveau de difficulté des environnements d'entraînement à la volée, l'auteur a démontré que les robots peuvent apprendre à être plus robustes, plus adaptables et moins sujets aux accidents. Qu'il s'agisse d'une voiture naviguant sur une piste chaotique ou d'un marcheur traversant un chemin rocailleux, la leçon est claire : la meilleure façon d'enseigner à un robot n'est pas de le jeter dans le grand bain, mais de le guider à travers un voyage de défis parfaitement cadencés, étape par étape.