Diverse and Adaptive Behavior Curriculum for Autonomous Driving: A Student-Teacher Framework with Multi-Agent RL

Cet article propose un cadre innovant d'apprentissage par curriculum automatique pour la conduite autonome, où un agent « enseignant » basé sur l'apprentissage par renforcement multi-agents génère dynamiquement des comportements de trafic variés pour entraîner un agent « étudiant », améliorant ainsi la robustesse et l'équilibre de la conduite par rapport aux méthodes traditionnelles.

L'essentiel

Voici une explication de cette recherche scientifique, imagée et simplifiée, pour comprendre comment les voitures autonomes apprennent à conduire sans se faire peur.

🚗 Le Problème : Apprendre à conduire dans un monde trop "gentil"

Imaginez que vous appreniez à conduire. Si votre moniteur vous emmène uniquement sur des routes vides, avec des autres conducteurs qui s'arrêtent toujours gentiment pour vous laisser passer, vous deviendrez un excellent conducteur... uniquement dans ce monde parfait.

Dès que vous sortirez dans la vraie ville, avec des gens qui coupent la route, des piétons distraits et des embouteillages, vous serez perdu. C'est le problème actuel des voitures autonomes : elles sont entraînées dans des simulateurs où les autres voitures (les "NPCs") suivent des règles rigides et prévisibles. Elles ne savent pas gérer le chaos réel.

🎓 La Solution : Un système "Professeur-Élève" intelligent

Les auteurs de cette paper proposent une méthode géniale pour résoudre ce problème. Ils ont créé un système d'apprentissage basé sur deux personnages : l'Élève (la voiture autonome) et le Professeur (un cerveau artificiel qui contrôle les autres voitures).

1. L'Élève (La voiture autonome)

C'est notre voiture qui doit apprendre à conduire. Elle a des capteurs (caméras, lidars) mais, comme nous, elle ne voit pas tout ce qui se passe dans le monde. Elle doit prendre des décisions avec une vision partielle.

2. Le Professeur (Le contrôleur du trafic)

C'est ici que ça devient magique. Le Professeur n'est pas un humain, c'est une intelligence artificielle qui contrôle toutes les autres voitures sur la route.

• Son super-pouvoir : Il peut changer le niveau de difficulté instantanément, comme un professeur qui ajuste la difficulté d'un exercice.
• Le bouton de difficulté (λ) : Imaginez un bouton qui va de +1 (très facile) à -1 (très dur).
  • À +1 (Facile) : Le Professeur ordonne aux autres voitures d'être ultra-gentilles. Elles s'arrêtent, vous laissent passer, comme des anges. C'est l'entraînement de base.
  • À 0 (Moyen) : Les voitures sont normales. Elles respectent le code de la route mais ne vous font pas de cadeaux.
  • À -1 (Difficile) : Le Professeur devient un peu "méchant" (mais réaliste !). Il ordonne aux voitures d'être égoïstes, de couper la route, de ne pas vous laisser passer. C'est le niveau "cauchemar" pour tester les limites.

🔄 La Boucle d'Apprentissage : Comment ça marche ?

Au lieu de donner un manuel d'instructions, le système fonctionne comme un jeu vidéo dynamique :

1. L'Élève essaie : La voiture conduit dans une situation donnée.
2. Le Professeur observe : Si l'Élève réussit trop facilement, le Professeur se dit : "Tiens, c'est trop simple, je vais augmenter la difficulté !" Il change le comportement des autres voitures pour les rendre plus agressives.
3. L'adaptation : Si l'Élève échoue trop souvent (il a peur ou fait un accident), le Professeur se dit : "Oups, c'est trop dur, je vais ralentir un peu les autres."
4. Le résultat : L'Élève progresse pas à pas, passant de la route calme aux embouteillages chaotiques, sans jamais être submergé. C'est ce qu'on appelle l'apprentissage curriculaire automatique.

🎨 L'Analogie du Coach de Sport

Imaginez un coach de natation :

• Au début, il met l'élève dans une petite piscine calme (λ = 1).
• Dès que l'élève nage bien, le coach ajoute des vagues douces (λ = 0).
• Quand l'élève maîtrise les vagues, le coach simule une tempête (λ = -1).
• Si l'élève se noie, le coach revient aux vagues douces pour qu'il reprenne confiance.

Le but n'est pas de noyer l'élève, mais de le rendre capable de nager dans n'importe quelle mer.

🏆 Les Résultats : Qui gagne ?

Les chercheurs ont comparé deux types de voitures :

1. La voiture classique : Entraînée avec des voitures "robots" qui suivent des règles fixes.
2. La voiture "Élève" : Entraînée avec notre Professeur intelligent.

Le verdict ?
La voiture entraînée par le Professeur est bien meilleure !

• Elle est plus sûre : elle évite mieux les accidents.
• Elle est plus fluide : elle ne reste pas bloquée à attendre que tout le monde s'arrête (ce que font les voitures classiques par peur). Elle ose avancer, comme un vrai conducteur humain.
• Elle est plus adaptable : elle sait gérer des situations qu'elle n'a jamais vues auparavant, car elle a appris à s'adapter au comportement des autres, pas juste à suivre des règles.

💡 En résumé

Cette recherche montre que pour créer une voiture autonome vraiment intelligente, il ne faut pas lui apprendre à conduire dans un monde parfait. Il faut lui donner un Professeur dynamique qui crée des situations de plus en plus complexes, l'obligeant à apprendre à gérer le stress, l'imprévu et les autres conducteurs égoïstes. C'est ainsi qu'on passe d'un robot rigide à un conducteur autonome capable de survivre dans le chaos de la vraie ville.

Résumé technique

Voici un résumé technique détaillé de l'article "Diverse and Adaptive Behavior Curriculum for Autonomous Driving: A Student-Teacher Framework with Multi-Agent RL", présenté à la conférence IROS 2025.

1. Problématique

L'apprentissage par renforcement (RL) est une approche prometteuse pour la conduite autonome de bout en bout, permettant aux agents d'apprendre par essai-erreur dans des simulations. Cependant, deux limitations majeures entravent la généralisation et la robustesse de ces agents :

• Scénarios rigides : La plupart des simulations reposent sur des comportements de véhicules non joueurs (NPC) basés sur des règles fixes (vitesse constante, distances fixes), ce qui limite la capacité de l'agent à gérer des situations imprévues.
• Déséquilibre des scénarios : Les méthodes existantes se concentrent soit sur des comportements routiniers (peu informatifs), soit sur la génération exclusive de scénarios critiques (accidents, situations dangereuses), négligeant la nécessité d'un apprentissage équilibré couvrant tout le spectre des comportements de conduite, du quotidien au critique.
• Curriculum manuel : Les approches d'apprentissage par curriculum (progression de la difficulté) sont souvent conçues manuellement, se focalisant sur la disposition des acteurs et non sur la dynamique comportementale complexe des interactions trafic.

2. Méthodologie : Cadre Élève-Professeur (Student-Teacher)

Les auteurs proposent un cadre novateur combinant l'apprentissage par renforcement multi-agents (MARL) et l'apprentissage par curriculum automatique.

A. Le Professeur (Teacher)

Le rôle du professeur est de générer dynamiquement des comportements de trafic (NPC) adaptés à un niveau de difficulté souhaité.

• Architecture : Il s'agit d'un agent MARL basé sur un réseau de graphes. Contrairement aux approches précédentes traitant les agents indépendamment, ce réseau encode conjointement l'historique des mouvements des agents et la topologie routière (graphe de voies vectorisé).
• Observation : Le professeur dispose d'une observabilité complète (contrairement à l'élève qui a une observabilité partielle), lui permettant de voir l'état global de l'environnement, l'historique des poses, les vitesses, et les options de route des agents.
• Fonction de Récompense : La récompense du professeur est un compromis entre deux objectifs :
  1. Récompense intrinsèque : Encourage des comportements de conduite réalistes (avancement vers la destination, maintien de voie, confort).
  2. Récompense extrinsèque : Dépend de la performance de l'élève (récompense de conduite de l'élève).
  • Un paramètre d'entrée auxiliaire $\lambda$ (de -1 à 1) contrôle l'équilibre.
    • $\lambda = 1$ : Les NPC sont altruistes (facilitent le passage de l'élève).
    • $\lambda = 0$ : Comportement égoïste standard.
    • $\lambda = -1$ : Comportement adversaire (gênent activement l'élève).
  • Un mécanisme de pondération basé sur la distance (fonction RBF) ajuste l'influence de la récompense extrinsèque selon la proximité des NPC avec l'élève.
• Algorithme d'apprentissage : Utilisation de l'IPPO (Independent Proximal Policy Optimization) avec partage de paramètres et d'observations globales via l'architecture graphique, permettant à chaque NPC d'apprendre une politique indépendante tout en étant conscient du contexte global.

B. L'Élève (Student)

• Représentation : L'élève est un agent de RL profond (Deep RL) avec observabilité partielle, reflétant les contraintes réelles (capteurs caméra et LiDAR).
• Architecture : Utilisation de TransFuser, une architecture basée sur les Transformers fusionnant les données RGB et LiDAR.
• Objectif : Apprendre une politique de conduite robuste pour atteindre une destination en évitant les collisions.

C. Algorithme de Curriculum Automatique

Le système entraîne l'élève et le professeur de manière alternée (jeu de Markov alterné) pour assurer la stabilité :

1. Phase d'entraînement du Professeur : Mise à jour de la politique des NPC sur $N_{teacher}$ itérations pour apprendre à générer des comportements correspondant à différents niveaux de $\lambda$.
2. Phase de Recalibration : Évaluation de la performance de l'élève sur tous les niveaux de difficulté pour déterminer le point de départ optimal du curriculum.
3. Phase d'entraînement de l'Élève : L'élève s'entraîne sur $N_{student}$ itérations. Le niveau de difficulté $\lambda$ est ajusté dynamiquement en fonction du taux de réussite de l'élève :
   • Si le taux de réussite > seuil ($T_{success}$) : Augmentation de la difficulté.
   • Si le taux de réussite < seuil ($T_{fail}$) : Réduction de la difficulté.
   • Un mécanisme de "self-paced" permet de rééchantillonner des niveaux plus faciles pour éviter l'oubli catastrophique.

3. Contributions Clés

1. Conception du Professeur : Un agent MARL basé sur des graphes capable de générer des comportements de trafic adaptatifs et diversifiés, contrôlés par un paramètre de difficulté continu/discret.
2. Algorithme de Curriculum Automatique : Une méthode orchestrant l'entraînement conjoint et alterné de l'élève et du professeur, éliminant le besoin de conception manuelle de séquences de tâches.
3. Cadre Symbiotique : Une approche où la difficulté s'adapte continuellement aux capacités de l'élève, couvrant un spectre allant des interactions routinières aux situations critiques.

4. Résultats Expérimentaux

Les expériences ont été menées dans le simulateur CARLA sur des intersections urbaines non signalisées.

• Génération de comportements : Le professeur a démontré sa capacité à créer une corrélation claire entre le paramètre $\lambda$ et la complexité du trafic.
  • À $\lambda = 1$, le trafic est clairsemé et coopératif.
  • À $\lambda = -1$, le trafic est dense, dynamique et adversaire.
  • L'étape de recalibration améliore la fluidité de la progression de la difficulté.
• Généralisation de l'Élève :
  • Les élèves entraînés avec ce curriculum automatique (Student CL et Student+ CL) surpassent significativement les élèves entraînés sur du trafic basé sur des règles (Student Rule).
  • Performance : Meilleurs taux de réussite, moins de collisions, et une progression de trajet plus rapide.
  • Comportement : Contrairement à la baseline qui adopte une politique "exploitative" (attendre que tous les autres véhicules aient fini pour avancer), les élèves entraînés par curriculum adoptent un style de conduite assertif et adaptatif, prenant des décisions réalistes pour naviguer dans les intersections.
  • L'ajout de la phase de recalibration (Student+ CL) offre les meilleures performances globales.

5. Signification et Conclusion

Ce travail marque une avancée significative dans la formation des véhicules autonomes en résolvant le problème de la généralisation face à la diversité des comportements humains.

• Impact : Il démontre qu'un curriculum généré automatiquement par un agent MARL est supérieur aux scénarios statiques ou manuellement conçus pour apprendre des politiques de conduite robustes.
• Futur : Les auteurs prévoient d'étendre le cadre pour inclure des agents plus complexes (piétons, cyclistes) et d'affiner les récompenses pour une coordination trafic encore plus fine.

En résumé, cette approche permet de créer des agents de conduite autonome capables de gérer non seulement les situations critiques, mais aussi la complexité subtile et dynamique du trafic quotidien, grâce à une boucle d'apprentissage adaptative et symbiotique.