🤖 machine learning

Multi-Agent Reinforcement Learning for Safe Autonomous Driving Under Pedestrian Behavioral Uncertainty

Ce papier propose un cadre d'apprentissage par renforcement multi-agent qui entraîne conjointement des véhicules autonomes et des piétons présentant des traits de personnalité cachés, démontrant que cette approche génère des scénarios d'interaction plus réalistes et réduit considérablement les taux de collision par rapport aux références basées sur des règles et à l'entraînement en agent unique.

Auteurs originaux : Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez enseigner à une voiture autonome comment conduire dans une ville animée. Habituellement, les ingénieurs testent ces véhicules dans des simulations où les piétons qui marchent dans la rue sont comme des acteurs suivant un script strict. Ils marchent en ligne droite, ne traversent qu'aux passages piétons et ne font jamais rien de surprenant.

Le problème ? Les vrais humains sont désordonnés. Parfois, ils sont distraits, parfois pressés, et parfois ils décident de « traverser illégalement » (jaywalk) juste devant une voiture. Si une voiture autonome n'est entraînée que sur des piétons « parfaits », elle pourrait avoir un accident lorsqu'elle rencontre un humain réel et imprévisible.

Cet article propose une nouvelle façon d'entraîner les voitures autonomes : laisser les piétons apprendre à être imprévisibles, eux aussi.

Voici une décomposition de ce qu'ils ont fait, en utilisant des analogies simples :

1. L'approche du « partenaire de danse » (Apprentissage Multi-Agents)

Au lieu d'enseigner à la voiture (le SDC) pendant que les piétons suivent simplement un script, les chercheurs ont placé la voiture et 12 piétons dans une pièce virtuelle et les ont appris ensemble en utilisant une technique appelée Apprentissage par Renforcement Multi-Agents (MARL).

L'ancienne méthode : La voiture est comme un élève qui s'entraîne au piano pendant qu'un professeur joue un métronome. L'élève apprend à garder le rythme, mais si le métronome s'arrête soudainement ou accélère, l'élève panique.
La nouvelle méthode : La voiture et les piétons sont comme des partenaires de danse qui apprennent une chorégraphie ensemble. Les piétons ne suivent pas seulement un script ; ils ont leurs propres « personnalités » (comme être prudent ou téméraire) qui sont cachées à la voiture. Ils apprennent à réagir à la voiture, et la voiture apprend à réagir à eux.

2. Le trait de « personnalité » caché

Dans cette simulation, chaque piéton se voit attribuer un « trait de personnalité » secret au début du jeu. Ce trait détermine la probabilité qu'ils traversent illégalement.

La contrainte : La voiture autonome ne peut pas voir ce trait. C'est comme essayer de deviner si une personne va s'élancer du trottoir uniquement sur la base de son langage corporel, sans savoir si elle est pressée ou simplement rêveuse.
Cela crée de l'incertitude. La voiture doit être prête à tout, tout comme un conducteur humain le serait.

3. Les résultats : Apprendre à « attendre »

Lorsque la voiture et les piétons ont été entraînés ensemble, quelque chose d'intéressant s'est produit :

Les piétons ont appris : Ils ont compris que si la voiture arrive vite vers eux, il est plus intelligent d'attendre une seconde que de se jeter dessus. Ils ont appris une forme d'« attente coopérative » sans que personne ne leur ait explicitement demandé de le faire.
La voiture a appris : Parce que les piétons étaient plus réalistes (parfois en attente, parfois se précipitant), la voiture est devenue meilleure pour gérer le chaos.
Le bilan :
- Ancienne méthode (Piétons scriptés) : La voiture atteignait son objectif seulement 35 % du temps et avait un accident 33 % du temps.
- Nouvelle méthode (Entraînement conjoint) : La voiture atteignait son objectif 78 % du temps et n'avait un accident que 14 % du temps.

4. Le test de l'« écart de vitesse »

Les chercheurs voulaient savoir : La voiture comprend-elle réellement la différence entre un passage piéton sûr et un piéton traversant illégalement dangereux ?

Ils ont inventé une métrique de « différentiel de vitesse ». Imaginez vérifier à quelle vitesse un conducteur ralentit lorsqu'il voit un enfant par rapport à un adulte.

La découverte : Lorsque la voiture s'approchait d'un piéton à un passage piéton, elle ralentissait correctement. Mais lorsqu'elle s'approchait d'un piéton traversant illégalement, elle roulait encore 2,65 mètres par seconde plus vite.
Ce que cela signifie : La voiture n'anticipait pas pleinement le piéton traversant illégalement. Elle roulait encore un peu trop vite pour la surprise. Cependant, parce que les piétons étaient entraînés à attendre parfois, la voiture ne s'est pas écrasée aussi souvent que dans les anciens modèles rigides.

5. La vérification de la réalité du « traverser illégalement »

L'étude a révélé que traverser illégalement était rare (seulement 13 % du temps où les gens traversaient la rue), mais cela était responsable de 62 % de tous les accidents.

Cela souligne qu'une petite quantité de comportement imprévisible cause le plus grand danger.
Le système a bien géré cela jusqu'à un certain point. S'ils rendaient le traverser illégalement trop fréquent (50 % du temps), le système commençait à s'effondrer, ce qui est logique : personne ne peut conduire en toute sécurité si tout le monde se jette dans la rue au hasard.

La conclusion

L'article affirme qu'en entraînant les voitures autonomes aux côtés de piétons « intelligents » qui ont des personnalités cachées et qui apprennent de la voiture, nous obtenons un terrain de test beaucoup plus réaliste et plus sûr. Il ne s'agit pas seulement de la voiture apprenant à conduire ; il s'agit de tout l'environnement apprenant à interagir.

Le résultat ? Une voiture autonome beaucoup plus capable de survivre à la réalité désordonnée et imprévisible d'une rue de ville, réduisant les accidents de 30 % par rapport à l'entraînement de la voiture seule contre des piétons statiques et scriptés.

Résumé Technique : Apprentissage par Renforcement Multi-Agent pour la Conduite Autonome Sécurisée dans un Contexte d'Incertitude Comportementale des Piétons

Énoncé du Problème
Les tests actuels basés sur la simulation pour les Véhicules Autonomes (SDC) reposent souvent sur des modèles de piétons scriptés ou simplifiés qui échouent à capturer l'hétérogénéité et l'incertitude du comportement réel de traversée des humains. Cette limitation est particulièrement aiguë dans les scénarios impliquant des traversées irrégulières (jaywalking), régies par des traits de personnalité latents invisibles pour le véhicule. Par conséquent, les évaluations de sécurité peuvent ne pas exposer adéquatement les SDC à des situations d'« intention latente », conduisant à des évaluations irréalistes de leur capacité à gérer des interactions imprévisibles avec les piétons.

Méthodologie
Les auteurs proposent un cadre d'Apprentissage par Renforcement Multi-Agent (MARL) où un SDC et 12 piétons sont entraînés conjointement pour générer des scénarios d'interaction plus réalistes. Le système est implémenté en utilisant l'Optimisation de Politique Proximale Multi-Agent (MAPPO) au sein d'un environnement basé sur JAX, exécuté sur un seul GPU avec 512 environnements parallèles.

Conception de l'Environnement : La simulation se déroule dans une carte urbaine de 120×120 m comportant un carrefour à quatre voies et une intersection en T. La scène inclut 12 agents piétons, une augmentation significative par rapport aux travaux antérieurs qui n'utilisent généralement que quelques piétons de fond.
Comportement des Piétons : Les piétons utilisent une recherche de chemin Dijkstra scriptée pour la locomotion de bas niveau. Les décisions de haut niveau (avancer/attendre) sont contrôlées par une politique d'apprentissage par renforcement. Crucialement, chaque piéton se voit attribuer un trait de personnalité latent ( $\tau_j$ ) échantillonné au début d'un épisode, représentant sa tendance à traverser irrégulièrement. Ce trait est caché au SDC. Si un piéton décide de « avancer », un tirage aléatoire probabiliste détermine s'il traverse à un passage piéton désigné ou s'il traverse irrégulièrement, en fonction de son $\tau_j$ spécifique.
Modèle du SDC : Le SDC utilise un modèle cinématique de type bicyclette avec une vitesse maximale de 30 km/h. Il opère selon un paradigme d'Entraînement Centralisé, Exécution Décentralisée (CTDE).
Architecture d'Entraînement :
- Acteurs : Le SDC et les 12 piétons partagent les paramètres de l'acteur (agents homogènes).
- Critique : Un critique centralisé partagé observe un état global (58 dimensions), incluant les positions et vitesses de tous les agents, l'état du SDC, et les tendances cachées de traversée irrégulière des piétons.
- Récompenses : Le système utilise une fonction de récompense mixte (50 % piéton, 50 % SDC) pour encourager la coopération. Les piétons reçoivent des récompenses pour la progression et une prime de «attente intelligente» lorsqu'ils attendent à proximité d'un SDC approchant rapidement. Le SDC est fortement pénalisé pour les collisions et les excès de vitesse près de passages occupés, mais ne reçoit aucune récompense positive pour un arrêt indéfini afin d'éviter le piratage de la récompense.
Quantification de l'Incertitude : Les auteurs introduisent une métrique de Différentiel de Vitesse pour mesurer la réaction du SDC à l'incertitude. Elle calcule la différence de vitesse du SDC lorsqu'il approche d'utilisateurs de passages piétons prévisibles par rapport à des piétons traversant irrégulièrement imprévisibles à des distances spécifiques. Un différentiel positif indique que le SDC n'a pas anticipé la rencontre avec un piéton traversant irrégulièrement.

Contributions Clés

Environnement d'Entraînement Conjoint MARL : L'article décrit un environnement novateur où un SDC et 12 piétons sont entraînés conjointement, la traversée irrégulière étant pilotée par un trait de personnalité latent invisible pour le véhicule. Cela étend les travaux antérieurs sur les intersections MARL en augmentant le nombre d'agents et en introduisant une incertitude comportementale pilotée par des traits.
Métrique de Différentiel de Vitesse : Une nouvelle métrique est introduite pour quantifier, directement à partir des trajectoires, comment la vitesse d'un SDC varie entre des rencontres prévisibles et imprévisibles, fournissant une mesure au niveau de la trajectoire de l'incertitude.
Comportement Coopératif Émergent : L'étude démontre empiriquement que l'entraînement conjoint conduit à un comportement d'attente coopérative émergent chez les piétons (qui apprennent à attendre lorsque le SDC approche à vitesse élevée) et réduit les collisions par rapport à un entraînement en agent unique.

Résultats Expérimentaux
Les évaluations ont été menées sur 500 épisodes avec des graines fixes :

Performance vs. Lignes de Base : Le SDC MARL entraîné conjointement a atteint un taux de réussite de l'objectif de 78 % avec un taux de collision de 14 %. Cela surpasse significativement la meilleure ligne de base basée sur des règles (35 % d'objectifs, 33 % de collisions) et un SDC RL en agent unique entraîné contre des piétons scriptés (65 % d'objectifs, 20 % de collisions).
Analyse de l'Incertitude : La métrique de différentiel de vitesse a révélé qu'à proximité des piétons traversant irrégulièrement (0–3 m), le SDC circulait 2,65 m/s plus vite (8,08 m/s) qu'à proximité des utilisateurs de passages piétons (5,43 m/s), indiquant un manque d'anticipation des traversées irrégulières.
Attribution des Collisions : Bien que les traversées irrégulières ne représentent que 13 % des événements de traversée, elles sont responsables de 62 % de toutes les collisions.
Avantages de l'Entraînement Conjoint : L'entraînement conjoint a réduit les collisions de 30 % par rapport au RL en agent unique (de 20 % à 14 %). De plus, le SDC entraîné conjointement s'est bien généralisé aux piétons scriptés (76 % d'objectifs), et même un SDC en agent unique couplé à des piétons entraînés par MARL a vu son taux de collision chuter de 20 % à 16 %.
Étude d'Ablation : Les performances se sont dégradées de manière gracieuse à mesure que les taux de traversée irrégulière augmentaient de 0 % à 30 %, mais se sont dégradées brutalement lorsque la traversée irrégulière atteignait 50 %, suggérant que le système tolère des niveaux réalistes d'incertitude mais lutte lorsque l'imprévisibilité devient dominante.

Signification et Revendications
L'article revendique que la contribution principale est la génération de comportements piétons plus riches lors de l'entraînement et de l'évaluation des SDC sans programmation explicite d'une attente coopérative. Les auteurs soutiennent que le réalisme du modèle de piéton façonne directement l'évaluation de sécurité d'un SDC ; les modèles scriptés sous-représentent l'élément de surprise des traversées irrégulières. En exposant les SDC à des situations d'intention latente via un entraînement conjoint piloté par des traits, le cadre produit une évaluation de sécurité plus rigoureuse. La métrique de différentiel de vitesse proposée offre un outil quantitatif pour évaluer la capacité d'une politique de SDC à gérer l'incertitude, complétant les évaluations basées sur la perception humaine. Le travail suggère que l'entraînement conjoint MARL est une voie viable pour exposer les SDC aux comportements complexes et hétérogènes présents dans les environnements urbains réels.