🤖 machine learning

Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning

Cet article présente un cadre intégrant l'analyse de portée de Hamilton-Jacobi et l'apprentissage par renforcement profond pour permettre aux véhicules autonomes d'interagir de manière sûre et optimale avec les cyclistes en modélisant leurs réactions comportementales.

Auteurs originaux : Aarati Andrea Noronha, Jean Oh

Publié 2026-02-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Aarati Andrea Noronha, Jean Oh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imagine que vous conduisez une voiture autonome dans une ville animée. Soudain, un cycliste apparaît devant vous. Que faites-vous ?

Si vous êtes trop prudent, vous vous arrêtez net, comme un élève qui a peur de faire une faute. Le cycliste passe, mais vous avez perdu du temps et bloqué la circulation.
Si vous êtes trop agressif, vous passez trop près, comme un chauffard, ce qui effraie le cycliste et crée un danger.

L'objectif de ce papier de recherche est de trouver le juste milieu : une voiture qui sait passer un cycliste rapidement, mais en restant parfaitement sûre et en tenant compte de ce que le cycliste ressent.

Voici comment les auteurs (Aarati et Jean) ont réussi à créer cette "intelligence" en mélangeant deux outils puissants, expliqués avec des analogies simples :

1. Le "Bouclier Invisible" (L'Analyse de Reachability Hamilton-Jacobi)

Imaginez que la voiture possède un bouclier mathématique invisible autour d'elle. Ce bouclier est calculé par une formule très complexe (l'équation Hamilton-Jacobi).

Comment ça marche ? Ce bouclier définit une zone de "non-retour". Si la voiture entre dans cette zone, elle sait mathématiquement qu'elle va percuter le cycliste, peu importe ce qu'elle fait ensuite.
Le problème : Ce bouclier est tellement protecteur qu'il est parfois trop gros. Il empêche la voiture de bouger même quand c'est sûr, comme un parent qui tiendrait la main de son enfant pour traverser la rue alors qu'il n'y a aucune voiture. La voiture devient paralysée par la peur.

2. L'Apprentissage par l'Expérience (Le Reinforcement Learning / Deep Q-Learning)

C'est ici qu'intervient la deuxième partie : l'apprentissage automatique. Imaginez que la voiture est un jeune apprenti qui joue à un jeu vidéo des millions de fois.

Le jeu : L'apprenti doit atteindre une ligne d'arrivée le plus vite possible sans toucher le cycliste.
La récompense : S'il arrive vite et sans accident, il gagne des points. S'il est trop lent ou trop près, il perd des points.
Le but : Au fil du temps, l'apprenti apprend à trouver le chemin le plus rapide qui reste juste à l'intérieur du bouclier de sécurité. Il ne s'arrête plus bêtement ; il apprend à glisser intelligemment.

3. La Grande Innovation : Comprendre la "Peur" du Cycliste

C'est la partie la plus originale de l'article. Les auteurs se sont dit : "Un cycliste n'est pas un robot. Il a des sentiments."

Si une voiture passe à 1 mètre d'un cycliste à 20 km/h, le cycliste peut se sentir en danger, même si mathématiquement, il n'y a pas de collision imminente.

L'Analogie du Miroir : Les chercheurs ont créé un système (un "auto-encodeur") qui agit comme un miroir des émotions. Ils ont nourri ce système avec des données réelles de cyclistes.
Le résultat : La voiture apprend à prédire : "Ah, si je fais ça, le cycliste va avoir peur et va peut-être freiner ou dévier."
L'adaptation : Au lieu de juste éviter la collision physique, la voiture ajuste sa trajectoire pour que le cycliste se sente à l'aise. Elle ne passe pas trop près, même si elle pourrait le faire techniquement.

Le Résultat : Une Danse Parfaite

Les chercheurs ont testé leur système avec des données réelles de 34 millions de kilomètres de conduite à Ann Arbor (Michigan).

Comparaison avec les humains : Les conducteurs humains sont souvent soit trop lents, soit trop brusques.
Comparaison avec les anciennes voitures autonomes : Les anciennes méthodes (comme celle de 2019) étaient trop prudentes et perdaient du temps.
Leur nouvelle méthode : Elle est plus rapide que les conducteurs humains et plus sûre (moins de moments de danger) que les anciennes voitures autonomes.

En résumé :
Ce papier décrit comment donner à une voiture autonome un instinct de survie mathématique (le bouclier) couplé à une intelligence sociale (comprendre la peur du cycliste). Le résultat est une voiture qui ne se contente pas d'éviter les accidents, mais qui apprend à danser avec les cyclistes de manière fluide, rapide et respectueuse. C'est comme passer d'un élève qui a peur de lever la main à un danseur de ballet qui connaît parfaitement chaque mouvement.

1. Problématique

La navigation des véhicules autonomes (VA) en présence de cyclistes pose un défi majeur en raison de l'imprévisibilité et de la variabilité du comportement des cyclistes. La littérature actuelle présente deux approches souvent contradictoires :

Algorithmes de navigation traditionnels : Souvent trop prudents, ils garantissent la sécurité mais sacrifient l'optimalité temporelle (le temps de trajet), conduisant à des interactions inefficaces.
Apprentissage par renforcement (RL) : Offre de bons compromis entre optimisation et complétude, mais manque souvent de garanties formelles de sécurité.

Le problème central est de concevoir un algorithme capable de garantir la sécurité (en évitant les zones de collision) tout en maintenant l'efficacité temporelle et en respectant le confort du cycliste. Il s'agit de modéliser l'interaction comme un jeu différentiel à deux agents (le véhicule et le cycliste) où le cycliste est traité comme une perturbation dont la réponse dépend de l'état du véhicule.

2. Méthodologie

L'approche proposée combine l'analyse de la réachabilité Hamilton-Jacobi (HJ) pour les garanties de sécurité et l'Apprentissage par Renforcement Profond (Deep Q-Learning) pour l'optimisation de la trajectoire.

A. Modélisation du système

Le problème est formulé comme un jeu différentiel à somme nulle à deux agents :

Agent Ego (Véhicule) : Contrôle l'entrée $u$ .
Perturbation (Cycliste) : Contrôle l'entrée $d$ .
État du système ( $s$ ) : Défini par le vecteur $[\Delta x, \Delta v, \Delta y]$ , représentant respectivement la distance longitudinale, la vitesse relative longitudinale et la distance latérale entre le véhicule et le cycliste.
Dynamique : Modélisée par une équation différentielle ordinaire $\dot{s} = f(x, u, d)$ .

B. Analyse de sécurité par Réachabilité Hamilton-Jacobi

Une fonction de valeur $v(s, t)$ est calculée comme solution d'une inégalité de Bellman-Hamilton-Jacobi dépendante du temps.

Ensemble de collision ( $C_0$ ) : États où une collision est inévitable.
Ensemble rétrograde atteignable ( $B$ ) : Ensemble d'états potentiellement dangereux qui pourraient mener à une collision, calculé via la solution de viscosité d'une équation aux dérivées partielles (EDP).
Fonction de valeur : Représente la pénalité maximale accumulée. Si $v(s) > 0$ , l'état est sûr ; si $v(s) \le 0$ , la collision est inévitable.

C. Modélisation de la perturbation (Confort du cycliste)

C'est l'apport majeur de l'approche. Au lieu de considérer le cycliste comme une perturbation purement aléatoire, les auteurs modélisent sa réponse comme une fonction de son confort.

Approche : Utilisation d'un Auto-encodeur pour détecter les états "anormaux" (dangereux) par rapport aux états "normaux" (sûrs).
Données : Entraînement sur des états sûrs (basés sur la fonction de valeur HJ).
Classification : Si l'erreur de reconstruction de l'auto-encodeur est élevée pour un état donné, cet état est classé comme dangereux (le cycliste se sent menacé). Cela permet d'ajuster l'ensemble des perturbations possibles $D$ pour refléter la réaction humaine.

D. Navigation par Deep Q-Learning (DQN)

Pour éviter la prudence excessive de la réachabilité pure, la fonction de valeur HJ est utilisée comme signal de récompense structuré dans un cadre DQN.

Objectif : Maximiser la récompense cumulative (sécurité + temps).
Processus : Le réseau de neurones apprend une politique $\pi$ qui sélectionne l'action maximisant la valeur Q, équilibrant ainsi la sécurité (via la récompense HJ) et l'efficacité temporelle.

3. Contributions Clés

Extension à deux agents : Adaptation de l'approche de Fisac et al. (2019), initialement conçue pour un agent unique, à un système interactif Véhicule-Cycliste.
Modélisation du confort humain : Introduction d'une méthode pour quantifier le niveau de confort du cycliste en fonction de l'état du véhicule, transformant la perturbation en une réponse comportementale latente.
Garantie de sécurité et optimisation : Création d'un algorithme de navigation qui offre des garanties formelles de sécurité (via HJ) tout en optimisant le temps de trajet (via RL).
Quantification de la sécurité : Définition d'une métrique permettant de passer un cycliste à une vitesse et une distance raisonnables, au-delà de la simple évitement de collision.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur la base de données Safety Pilot Michigan (34 millions de miles de données naturelles), en comparant la méthode proposée avec :

Des conducteurs humains (vérité terrain).
L'algorithme de Fisac et al. (2019).

Métriques principales (sur 60 trajectoires de test) :

Sécurité (Facteur de sécurité HJ) : La méthode proposée (-2.01) est plus sûre que les conducteurs humains (-2.31) et l'algorithme Fisac '19 (-2.18). Un score plus élevé (moins négatif) indique une meilleure sécurité.
États dangereux : La méthode proposée passe le moins de temps dans des états potentiellement dangereux (31,6 % contre 39,0 % pour les humains).
Temps de trajet : La méthode est plus rapide que les conducteurs humains (233s vs 253s) mais légèrement plus lente que l'algorithme Fisac '19 (199s).
- Analyse : Le léger ralentissement par rapport à Fisac '19 est intentionnel et justifié par le fait que l'algorithme original ne prenait pas en compte le confort du cycliste, conduisant à des manœuvres trop agressives aux yeux du cycliste.
Taux de réussite : 100 % pour tous les agents (atteinte de l'objectif sans collision).

Visualisation : Les trajectoires générées par le cadre proposé sont plus fluides et optimales en longueur que celles des humains, tout en maintenant une marge de sécurité supérieure à celle de l'approche purement mathématique de 2019.

5. Signification et Impact

Ce travail démontre la faisabilité de combiner des méthodes de contrôle optimal rigoureuses (HJ) avec l'apprentissage par renforcement pour résoudre des problèmes de navigation complexes impliquant des agents humains.

Avancée théorique : L'intégration d'un modèle de "confort" via des auto-encodeurs dans un cadre de jeu différentiel permet de mieux capturer la dynamique humaine, souvent négligée dans les modèles purement physiques.
Pratique : Pour le développement de véhicules autonomes, cette approche offre une voie pour réduire les "arrêts fantômes" (où le véhicule s'arrête inutilement par excès de prudence) tout en évitant les manœuvres agressives qui pourraient effrayer les usagers vulnérables de la route.
Futur : Les auteurs prévoient d'étendre cette approche à des systèmes multi-agents pour une navigation plus complexe dans des environnements urbains denses.