Apprendre à un ordinateur à conduire ne revient pas à apprendre à un enfant à faire du vélo. Un enfant apprend en essayant, en tombant et en se relevant, comprenant progressivement le ressenti de la route. Un ordinateur, en revanche, apprend en traitant de vastes quantités de données, souvent dans un monde numérique où il peut expérimenter des millions d'années de conduite en l'espace de quelques jours. Ce processus repose sur une méthode appelée apprentissage par renforcement, où une intelligence artificielle tente différentes actions et reçoit un retour : une récompense pour avoir atteint une destination en toute sécurité, ou une pénalité pour une collision. Pour rendre cet apprentissage efficace, les chercheurs utilisent des simulateurs capables de faire tourner des milliers de ces scénarios de conduite simultanément, créant ainsi une bibliothèque massive de situations de trafic pour que l'IA puisse les étudier. L'objectif est de créer un agent de conduite capable de gérer le chaos imprévisible des rues réelles, des intersections animées aux changements de voie soudains, sans jamais avoir besoin d'un instructeur humain.

Pendant des années, la méthode standard pour entraîner ces agents a été une méthode appelée randomisation de domaine. Imaginez un enseignant qui jette un élève dans toutes les situations de trafic possibles de manière aléatoire, des autoroutes vides aux centres-villes saturés, espérant que le simple volume finira par mener à la maîtrise. Bien que cette approche fonctionne, elle est incroyablement gaspilleuse. L'ordinateur passe un temps considérable à s'exercer sur des scénarios qui sont soit trop faciles pour enseigner quoi que ce soit de nouveau, soit si difficiles que la version actuelle de l'IA ne peut faire aucun progrès. C'est comme un étudiant passant des heures sur un problème de mathématiques qu'il maîtrise déjà, tout en ignorant ceux qu'il commence à peine à comprendre. Cette inefficacité signifie que, même avec des ordinateurs puissants, le processus d'entraînement prend plus de temps et nécessite plus de données que nécessaire pour atteindre un haut niveau de compétence.

Une équipe de chercheurs a introduit une nouvelle approche appelée CL4AD, qui change la manière dont ces leçons de conduite numériques sont organisées. Au lieu de lancer des scénarios à l'IA de manière aléatoire, ce système agit comme un concepteur de programme intelligent. Il évalue constamment quels scénarios de trafic sont les plus utiles pour le niveau de capacité actuel de l'IA et donne la priorité à ces scénarios spécifiques. Le système observe la performance de l'IA dans une situation donnée et se demande : Est-ce trop facile ? Est-ce trop difficile ? Ou est-ce juste assez pour apprendre ? En concentrant le temps d'entraînement sur les scénarios « juste assez », ceux qui sont suffisamment difficiles pour enseigner quelque chose de nouveau mais pas trop durs pour que l'IA abandonne, les chercheurs ont découvert qu'ils pouvaient accélérer considérablement le processus d'apprentissage.

Les chercheurs ont testé cette idée à l'aide d'un simulateur puissant appelé GPUDRIVE, qui peut faire tourner des milliers de scénarios de conduite simultanément sur des puces informatiques spécialisées. Ils ont entraîné un agent d'IA avec l'ancienne méthode aléatoire et l'ont comparée à la nouvelle méthode de curriculum. Les résultats étaient frappants. L'IA entraînée avec le curriculum a atteint un taux de réussite de 99 % dans la navigation de scénarios de trafic un milliard d'étapes plus tôt que celle entraînée de manière aléatoire. En termes de temps réel, cela signifie que l'entraînement a été terminé 77 % plus rapidement. La méthode de curriculum s'est également révélée supérieure à d'autres tentatives d'organisation de l'entraînement, telles que la sélection manuelle de scénarios basés sur des règles simples comme la densité du trafic ou la vitesse des véhicules. Le nouveau système a systématiquement surpassé ces méthodes manuelles, trouvant de lui-même le chemin le plus efficace vers la maîtrise.

L'une des découvertes les plus intéressantes fut la manière dont le système décidait de présenter les scénarios à l'IA. Les chercheurs ont conçu le système pour utiliser différentes « fonctions d'utilité », qui sont essentiellement des façons de mesurer ce qui rend un scénario précieux. Certaines fonctions examinaient à quel point l'IA était proche du meilleur comportement de conduite possible, tandis que d'autres mesuraient la fréquence à laquelle l'IA atteignait son objectif sans collision. Un troisième type de fonction mesurait à quel point la conduite de l'IA paraissait réaliste par rapport aux conducteurs humains. L'étude a révélé que ces différentes mesures pointaient souvent vers des types de situations de trafic différents. Par exemple, le système qui se concentrait sur l'atteinte des objectifs avait tendance à privilégier les scénarios avec moins de voitures, tandis que le système cherchant l'écart entre la performance actuelle et la perfection se concentrait sur un trafic plus dense et complexe. Cela suggère qu'il n'existe pas une seule « meilleure » façon d'organiser l'entraînement ; différents objectifs nécessitent différents types de pratique.

Les chercheurs ont également étudié si le fait de rendre l'IA meilleure dans sa conduite signifiait qu'elle conduirait aussi plus comme un humain. Ils ont découvert que ce sont en réalité deux objectifs distincts. Une IA peut être entraînée pour atteindre sa destination parfaitement et éviter toutes les collisions, tout en conduisant d'une manière qui semble peu naturelle ou inconfortable pour un passager humain. Le curriculum a aidé l'IA à atteindre ses objectifs beaucoup plus rapidement, mais il n'a pas automatiquement rendu le style de conduite plus réaliste. Pour atteindre à la fois une haute performance et un comportement humain, les chercheurs ont noté que le système de récompense lui-même devrait être modifié pour encourager spécifiquement des habitudes de conduite réalistes, et non seulement des résultats réussis.

Même lorsque les chercheurs ont limité la puissance informatique disponible pour l'entraînement, la méthode du curriculum a montré sa valeur. Dans un test où ils ont utilisé un ordinateur plus petit et moins puissant, l'agent entraîné par le curriculum a tout de même atteint des taux de réussite élevés 67 % plus vite que la méthode aléatoire. Cela suggère que les gains d'efficacité ne sont pas seulement le résultat de ressources informatiques massives, mais sont un bénéfice fondamental de l'organisation intelligente du processus d'apprentissage. Le système fonctionne en maintenant l'IA dans un état de défi constant et productif, garantissant que chaque moment d'entraînement contribue à l'amélioration.

L'étude a également révélé comment le processus d'apprentissage évolue au fil du temps. À mesure que l'IA s'améliore, le système déplace automatiquement son attention vers de nouveaux scénarios plus difficiles. Il ne reste pas bloqué sur les mêmes problèmes, ni ne saute trop rapidement vers les plus difficiles. Au lieu de cela, il crée une frontière d'apprentissage mobile, ajustant constamment la difficulté pour correspondre aux compétences croissantes de l'IA. Ce processus dynamique permet au système de gérer la complexité des données de conduite du monde réel, qui comprend des centaines de milliers de situations de trafic différentes. En s'adaptant en temps réel aux progrès de l'IA, le curriculum garantit que l'entraînement reste efficace et performant, même lorsque l'échelle des données augmente.

En fin de compte, ce travail démontre que la manière dont nous organisons les données d'entraînement est tout aussi importante que les données elles-mêmes. En passant de l'échantillonnage aléatoire à un curriculum intelligent et adaptatif, les chercheurs peuvent enseigner aux agents de conduite autonome beaucoup plus rapidement et avec moins de ressources. Les conclusions offrent une voie claire pour le développement de voitures autonomes plus sûres et plus fiables, montrant que la clé d'un apprentissage rapide ne réside pas seulement dans le fait de faire plus, mais dans le fait de faire les bonnes choses au bon moment. Les chercheurs ont mis leur système à disposition, permettant à la communauté scientifique élargie de s'appuyer sur cette méthode et de continuer à affiner la manière dont les machines apprennent à naviguer dans le monde.