Driving with A Thousand Faces: A Benchmark for Closed-Loop Personalized End-to-End Autonomous Driving

Ce papier présente Person2Drive, une plateforme et un benchmark complets pour la conduite autonome de bout en bout personnalisée, qui résout les défis liés aux données, à l'évaluation et aux algorithmes en proposant un système de collecte de données diversifié, des métriques quantitatives basées sur des vecteurs de style et un cadre d'apprentissage adaptatif pour reproduire fidèlement les comportements de conduite individuels.

L'essentiel

Imaginez que vous apprenez à conduire une voiture autonome. Jusqu'à présent, la plupart des voitures intelligentes apprenaient à conduire comme un "conducteur moyen". C'est un peu comme si vous demandiez à un chef cuisinier de préparer un plat unique pour 1 000 personnes, en mélangeant toutes les préférences de chacun dans une seule soupe géante. Le résultat ? Un plat qui ne plaît à personne vraiment, car il ne correspond ni au goût du piment du Mexique, ni à la douceur du Japon, ni à la saveur épicée de l'Italie.

C'est exactement le problème que l'équipe de recherche derrière ce papier, Person2Drive, a voulu résoudre. Leur idée est simple mais révolutionnaire : une voiture autonome devrait pouvoir conduire avec le style de votre grand-père, de votre meilleur ami ou de vous-même.

Voici comment ils ont fait, expliqué avec des images simples :

1. Le Problème : La "Moyenne" n'existe pas

Les voitures autonomes actuelles sont entraînées sur des données de millions de conducteurs, ce qui crée un "style moyen". Mais dans la vraie vie, nous sommes tous différents. Certains sont prudents et freinent tôt, d'autres sont sportifs et accélèrent fort, d'autres encore sont calmes et changent de voie lentement. En ignorant ces différences, on perd le côté humain et rassurant de la conduite.

2. La Solution : Une "École de Conduite" Virtuelle (Le Dataset)

Pour apprendre à la voiture à imiter votre style, il faut d'abord l'observer. Les chercheurs ont créé un système génial :

• Le Simulateur Réaliste : Ils ont utilisé un jeu vidéo très avancé (CARLA), mais avec une touche spéciale. Ils ont installé un vrai volant et de vrais pédales (Logitech G29) dans une pièce.
• Les 30 Conducteurs : Ils ont fait conduire 30 personnes différentes sur les mêmes routes virtuelles, encore et encore. C'est comme si vous invitiez 30 amis à jouer au même jeu vidéo, mais avec des manettes physiques pour que leurs mouvements soient réels.
• Le Résultat : Ils ont créé une immense bibliothèque de données appelée Person2Drive. C'est comme un musée où chaque "conducteur" a sa propre salle avec ses habitudes uniques (comment il tourne, comment il freine, comment il s'arrête).

3. L'Analyse : Le "Détective de Style"

Comment savoir si la voiture a bien compris votre style ? Les chercheurs ont inventé un outil mathématique qu'on pourrait appeler le "Détective de Style".

• Au lieu de dire "ce conducteur est agressif", ils mesurent des détails précis : à quelle vitesse il tourne le volant, à quel moment il freine, la distance qu'il garde avec les autres.
• Ils utilisent une sorte de "test ADN" mathématique (appelé MMDSS) pour comparer la conduite de la voiture avec la vôtre. Si le test dit "90% de similarité", c'est que la voiture conduit presque comme vous !

4. L'Entraînement : Le "Coach de Conduite" Personnalisé

C'est la partie la plus magique. Une fois que la voiture a une base de conduite sûre (elle sait ne pas se crasher), ils utilisent un Coach Virtuel (un modèle de récompense).

• Imaginez que vous apprenez à jouer de la guitare. Votre professeur ne vous dit pas seulement "joue la note", il vous dit "joue avec plus de passion" ou "plus doucement".
• Ici, le coach regarde la trajectoire que la voiture va prendre et lui dit : "Non, non, tu vas trop vite ici, tu ne ressembles pas à ce conducteur ! Ralentis un peu, tourne plus doucement."
• La voiture s'entraîne alors spécifiquement pour imiter le style d'un seul conducteur, sans perdre sa capacité à conduire en sécurité.

5. Le Résultat : Une Voiture qui vous ressemble

À la fin de l'expérience, la voiture autonome ne conduit plus comme un robot froid et uniforme. Elle conduit :

• Si vous êtes prudent : elle sera douce et patiente.
• Si vous êtes dynamique : elle sera plus réactive et fluide.
• Le plus important : Elle le fait sans devenir dangereuse. C'est comme si elle avait appris votre "personnalité" au volant, tout en gardant son "cerveau" de sécurité intact.

En résumé

Ce papier nous dit que l'avenir de la voiture autonome n'est pas une seule voiture qui conduit pour tout le monde, mais des voitures capables de s'adapter à chaque individu. C'est comme passer d'un uniforme gris pour tout le monde à un costume sur mesure, fait exprès pour vous, pour que vous vous sentiez à l'aise et en confiance dans votre voiture.

C'est un pas de géant vers des voitures qui ne sont pas seulement intelligentes, mais aussi humaines.

Résumé technique

1. Problématique

Les systèmes de conduite autonome de bout en bout (E2E-AD) actuels apprennent généralement un style de conduite moyen unique, négligeant la diversité inhérente aux comportements humains (habitudes, traits de personnalité, patterns cognitifs). Cette uniformité limite la confiance, le confort et l'acceptation des utilisateurs.

La personnalisation de l'E2E-AD se heurte à trois défis majeurs :

1. Niveau Données : Absence de jeux de données réels à grande échelle avec des annotations au niveau de l'individu et supportant l'évaluation en boucle fermée.
2. Niveau Évaluation : Manque de métriques quantitatives standardisées pour mesurer et comparer les styles de conduite individuels.
3. Niveau Algorithmique : Difficulté à apprendre des représentations stylisées directement à partir des trajectoires utilisateurs et absence d'un cadre unifié pour l'adaptation personnalisée.

2. Méthodologie : Le Framework Person2Drive

Les auteurs proposent Person2Drive, une plateforme complète et un benchmark pour la conduite personnalisée, structuré autour de trois piliers :

A. Collecte de Données Personnalisées

• Système : Développement d'un système open-source basé sur le simulateur CARLA, utilisant une interface "homme-dans-la-boucle" (volant Logitech G29, retour haptique, navigation 2D réaliste).
• Jeu de Données : Création d'un jeu de données à grande échelle (Person2Drive) impliquant 30 conducteurs.
  • Chaque conducteur parcourt plusieurs fois les mêmes routes (1 km) dans divers scénarios (intersections, merges, changements de voie).
  • Données multi-modales synchronisées (LiDAR, 6 caméras, 5 radars, IMU, GNSS, cartes HD).
  • Innovation : Contrairement aux datasets existants, il capture la variabilité intra-conducteur (même conducteur, mêmes routes) et inter-conducteur, avec des annotations d'identité.

B. Évaluation du Style de Conduite

Pour quantifier les styles, les auteurs introduisent un cadre d'évaluation en trois étapes :

1. Vecteurs de Style : Identification de 10 indicateurs clés (basés sur les paramètres de contrôle du véhicule et le comportement du conducteur) via une normalisation médiane et une analyse de variance pour maximiser la discriminabilité inter-individuelle.
2. Mesures de Similarité :
   • MMDSS (Maximum Mean Discrepancy Similarity Score) : Une métrique normalisée [0, 1] basée sur la MMD pour quantifier la similarité entre les distributions de trajectoires. Une valeur plus élevée indique un style plus cohérent.
   • Divergence KL : Utilisée comme mesure complémentaire pour évaluer l'écart entre les distributions.
3. Normalisation Spécifique au Scénario : Une stratégie d'adaptation pour éliminer les biais liés au contexte (ex: une conduite agressive en ville vs sur autoroute).

C. Adaptation du Style de Conduite (PDSA)

Les auteurs proposent une stratégie d'adaptation en trois étapes pour personnaliser un modèle E2E de base (basé sur DiffusionDrive) :

1. Entraînement de base : Entraînement initial du modèle E2E sur des données génériques.
2. Modélisation du Style : Entraînement d'un modèle de récompense (Reward Model) léger (MLP) qui prédit le vecteur de style à partir d'une trajectoire. Ce modèle apprend à mapper les dynamiques de trajectoire vers le style du conducteur.
3. Affinement Guidé par le Style (Fine-tuning) :
   • Seul le planning de trajectoire (tête de prédiction) est affiné.
   • Une fonction de perte (MSE) aligne les vecteurs de style prédits par le modèle sur les vecteurs de style de la vérité terrain (GT) du conducteur cible.
   • Cela permet d'injecter le style personnel sans dégrader les compétences de conduite de base (sécurité).

3. Résultats Clés

Les expériences menées sur Person2Drive et StyleDrive démontrent :

• Efficacité de l'évaluation : Le MMDSS distingue clairement les styles intra-conducteur (cohérence élevée, ~0.93) des styles inter-conducteurs (divergence marquée, ~0.65), validant la capacité à capturer des différences fines.
• Performance de l'adaptation (PDSA) :
  • L'affinement guidé par le style améliore l'alignement avec le style cible par rapport au fine-tuning direct (DFT).
  • Le modèle complet (PDSA avec features BEV) obtient les meilleurs scores MMDSS, prouvant que le contexte environnemental aide à l'alignement du style.
• Sécurité et Performance : L'adaptation personnalisée n'altère pas la sécurité. Le score de conduite global augmente de +14.56 points et le taux de réussite reste stable (~98%), confirmant que le style peut être personnalisé sans compromettre la sécurité.
• Visualisation : Les trajectoires générées par PDSA reproduisent fidèlement les comportements humains (ex: timing des dépassements, distances de freinage) là où les modèles de base échouent.

4. Contributions Principales

1. Person2Drive Dataset : Le premier jeu de données open-source, multi-modale et à grande échelle pour la conduite E2E personnalisée, incluant des annotations d'identité et supportant l'évaluation en boucle fermée.
2. Métriques Quantitatives : Introduction du MMDSS et d'un cadre d'évaluation standardisé pour mesurer objectivement les styles de conduite individuels.
3. Framework PDSA : Une méthode d'adaptation efficace et sûre utilisant un modèle de récompense pour guider l'affinement des modèles E2E, permettant une personnalisation fine sans réentraînement complet.

5. Signification et Impact

Ce travail comble un vide critique dans la recherche sur la conduite autonome en passant d'une approche "moyenne" à une approche centrée sur l'humain.

• Scientifique : Il établit un benchmark reproductible pour l'étude des styles de conduite individuels.
• Technique : Il démontre qu'il est possible d'adapter les modèles de conduite de bout en bout aux préférences individuelles tout en maintenant des performances de sécurité élevées.
• Futur : Cela ouvre la voie à des systèmes de conduite autonome plus acceptables, confortables et dignes de confiance, capables de s'adapter à la "mille visages" des conducteurs humains.