Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

Le rêve d'une voiture qui se conduit elle-même est une constante de la science-fiction depuis des décennies, promettant un avenir où le fardeau de la direction, du freinage et de la navigation dans le trafic est levé des épaules humaines. Au cours des vingt dernières années, des ingénieurs travaillent à transformer cette promesse en réalité, en construisant des systèmes capables de voir la route, de prédire ce que feront les autres conducteurs et de décider comment se déplacer en toute sécurité. Ces systèmes reposent sur trois piliers principaux : la capacité de percevoir le monde à travers des caméras et des capteurs, la capacité de deviner où les autres personnes et véhicules iront ensuite, et la capacité de planifier un chemin sûr vers l'avant. Bien que nous ayons vu des flottes d'essai opérer dans des villes spécifiques, la technologie n'est pas encore prête pour la voie publique partout. Un obstacle majeur demeure : comment savoir si un programme informatique est véritablement meilleur qu'un autre ? Différentes équipes de recherche testent souvent leurs logiciels dans des mondes virtuels différents ou avec des règles différentes, ce qui rend impossible une comparaison équitable. Sans terrain d'entente, il est difficile de dire si une nouvelle méthode est un véritable bond en avant ou simplement une méthode qui ne fonctionne que sur un test spécifique.

Une équipe de chercheurs de l'Université de Californie du Sud a décidé de résoudre ce problème en réunissant huit des planificateurs autonomes les plus avancés dans une seule arène virtuelle partagée. Ils ont choisi une plateforme de simulation populaire appelée CARLA, qui recrée la physique de la conduite et la complexité des rues citadines, et l'ont utilisée comme juge neutre. Les chercheurs ont pris des modèles de logiciels qui avaient précédemment remporté des premières places dans trois grandes compétitions différentes — l'une basée sur des données réelles de Waymo, une autre sur le jeu de données nuPlan, et plusieurs issues de la communauté CARLA elle-même — et les ont forcés à circuler sur les mêmes pistes, faisant face aux mêmes embouteillages, piétons et zones de construction. L'objectif n'était pas de créer un nouveau point de référence, mais de voir comment ces différentes approches, qui avaient été développées de manière isolée, se comporteraient lorsqu'elles seraient jugées par les mêmes normes exactes. L'étude comprenait une grande variété de méthodes : certaines qui reposent sur des règles strictes écrites par des humains, certaines qui apprennent en observant les conducteurs humains, certaines qui apprennent par essais et erreurs comme un personnage de jeu vidéo, et certaines qui utilisent des modèles mathématiques complexes pour prédire l'avenir.

Les résultats de cette comparaison directe ont révélé qu'il n'existe pas de "meilleure" façon unique de construire un conducteur autonome. Au contraire, l'étude a montré que les forces et les faiblesses d'un système dépendent fortement de la quantité d'informations qu'il est autorisé à voir et de la manière dont il est entraîné. Les chercheurs ont constaté que les planificateurs qui recevaient des informations « privilégiées » — signifiant qu'ils pouvaient voir l'emplacement exact et la vitesse de chaque autre voiture et piéton, comme s'ils possédaient une carte parfaite de l'ensemble du monde — performaient de manière nettement supérieure sur des itinéraires longs et continus. Ces systèmes, qui incluaient un planificateur basé sur des règles et un modèle entraîné à imiter la conduite humaine, ont réussi à compléter près de 97 pour cent de leurs itinéraires assignés sans accident. En revanche, le système le plus performant qui ne reposait que sur des capteurs standards, tels que des caméras et des scanners laser, a complété environ 70 pour cent des itinéraires. Cela suggère que si les capteurs sont bons pour gérer les interactions locales rapides, avoir une vue parfaite, de type vue aérienne, de la situation de trafic est crucial pour maintenir la progression sur de longues distances.

Cependant, avoir une vue parfaite ou un taux de complétion élevé ne garantit pas une conduite sûre ou légale. L'étude a mis au jour un compromis surprenant entre atteindre la destination et respecter les règles. L'un des modèles les plus performants, qui combinait un puissant moteur de prédiction avec un système de contrôle conçu pour suivre un chemin tracé, était excellent pour rester sur la route et atteindre sa destination. Pourtant, il violait fréquemment les lois de la circulation, comme brûler des feux rouges ou ignorer des panneaux stop, car ses instructions se concentraient sur le maintien du chemin plutôt que sur l'obéissance aux règles. D'un autre côté, un modèle entraîné par apprentissage par renforcement, qui apprend en receant des récompenses pour les bons comportements et des pénalités pour les mauvais, était très bon pour éviter les infractions mais peinait à terminer des itinéraires longs de manière efficace. Cela souligne un défi critique : une voiture autonome peut être très bonne pour avancer ou très bonne pour être polie, mais combiner ces deux traits dans un seul système reste difficile.

La découverte la plus révélatrice fut peut-être qu'aucune approche unique ne pouvait gérer de manière constante les situations les plus chaotiques. Lorsque les chercheurs ont testé les modèles face à des scénarios spécifiques impliquant des obstacles, tels qu'une portière de voiture s'ouvrant dans la voie, une zone de construction ou un piéton surgissant de manière inattendue, chaque méthode a éprouvé des difficultés. Que le système soit basé sur des règles, l'apprentissage à partir de données ou des prédictions mathématiques complexes, aucun n'a pu naviguer de manière fiable dans ces environnements riches en obstacles sans commettre d'erreurs. Cela suggère que la capacité à prendre des décisions précises autour d'objets inhabituels est un goulot d'étranglement partagé par l'ensemble du domaine. L'étude a également démontré que regarder uniquement un score final peut être trompeur. Deux systèmes peuvent finir avec la même note globale, mais l'un peut avoir échoué parce qu'il a eu un accident, tandis que l'autre a échoué parce qu'il a enfreint les règles. En décomposant les résultats en types spécifiques de situations de conduite, les chercheurs ont montré qu'un score élevé peut masquer des types de défaillances très différents.

Les chercheurs ont également introduit une nouvelle approche hybride pour le test, prenant un modèle célèbre pour prédire où les autres voitures iront et y ajoutant un module de planification. Ce nouveau système a bien performé pour maintenir la voiture sur son chemin, mais, comme les autres performants, il a tout de même eu des difficultés avec les règles de circulation. L'étude a conclu que bien que nous ayons fait des progrès considérables dans la simulation et le test de la technologie de conduite autonome, nous ne sommes pas encore au point où ces systèmes sont prêts pour un déploiement de masse. L'écart entre une voiture capable de conduire sur une piste de test calme et une qui peut gérer le chaos imprévisible d'une vraie ville est encore significatif. Ce travail sert de feuille de route claire pour l'avenir, montrant que les prochaines percées ne viendront pas simplement du fait de rendre une partie du système plus rapide ou plus intelligente, mais de la résolution de l'équilibre difficile entre le suivi d'un chemin, l'obéissance à la loi et la réaction sécurisée à l'imprévu. Tant que cet équilibre n'aura pas été trouvé, la promesse de véhicules entièrement autonomes reste hors de portée.