HetroD: A High-Fidelity Drone Dataset and Benchmark for Autonomous Driving in Heterogeneous Traffic

Ce papier présente HetroD, un ensemble de données et un benchmark haute fidélité basé sur des drones, conçu pour améliorer les systèmes de conduite autonome dans des environnements de trafic hétérogène dominés par des usagers vulnérables, en fournissant des annotations précises et en révélant les limites des modèles actuels face à ces comportements complexes.

L'essentiel

🚁 HetroD : Le "Simulateur de Chaos" pour les Voitures Autonomes

Imaginez que vous apprenez à conduire. La plupart des écoles vous entraînent sur des autoroutes parfaites, avec des lignes blanches impeccables, où tout le monde respecte les feux rouges et reste dans sa voie. C'est comme apprendre à nager dans une piscine calme avec des couloirs bien délimités.

Mais la réalité, c'est un marché animé ou une place de village en fête : des piétons traversent partout, des scooters filent entre les voitures, des vélos font des figures imprévisibles, et tout le monde se faufile, négocie sa place et change d'avis en une seconde. C'est le trafic hétérogène.

Le problème ? Les voitures autonomes actuelles sont comme des nageurs qui ont appris uniquement dans la piscine. Dès qu'elles arrivent sur le "marché", elles paniquent, ne voient pas les dangers latéraux et ne savent pas comment réagir.

C'est là qu'intervient HetroD.

🎥 1. La caméra volante qui voit tout

Pour comprendre ce chaos, les chercheurs (de Berkeley, de Taiwan et d'Allemagne) ont eu une idée géniale : au lieu de regarder la route depuis le pare-brise d'une voiture (comme un humain), ils ont utilisé des drones.

• L'analogie : Imaginez que vous regardez un match de football depuis les gradins (vue drone) plutôt que depuis le terrain, collé au sol (vue voiture). Du haut, vous voyez tout le monde, rien n'est caché par un autre joueur, et vous voyez les stratégies de tous les joueurs en même temps.
• Le résultat : Ils ont filmé 17,5 heures de trafic intense en Taiwan, un endroit où les scooters et les voitures cohabitent de manière très dynamique. Ils ont créé une carte ultra-précise (au centimètre près) de chaque mouvement.

🧩 2. La boîte à outils pour les robots

Ce n'est pas juste une vidéo. C'est une base de données géante (plus de 65 000 trajectoires !) qui sert de "cahier de devoirs" pour les voitures autonomes.

• Ils ont inclus des situations rares et difficiles : des virages en "crochet" (hook turns), des dépassements agressifs, des coupures de file, et des intersections sans feux où tout le monde doit se faire des signes de tête pour savoir qui passe.
• Ils ont aussi créé un kit de conversion (une sorte de traducteur universel) pour que les chercheurs du monde entier puissent utiliser ces données facilement, comme si c'était un jeu vidéo standard.

🧪 3. Le test de vérité : Les robots échouent !

Les chercheurs ont pris les meilleures voitures autonomes actuelles (les "champions" du monde) et les ont mises à l'épreuve avec HetroD. Le résultat ? C'est un désastre.

Voici ce qui s'est passé, avec des métaphores simples :

• Le problème des scooters (Les "Moustiques" imprévisibles) :
  Les voitures autonomes sont très bonnes pour prédire où ira une autre voiture (qui suit une ligne). Mais face à un scooter qui zigzague entre les voitures, elles sont aveugles. C'est comme essayer de prédire la trajectoire d'un moustique en pleine tempête. Les modèles actuels ne voient pas les mouvements latéraux (de côté) des deux-roues et des piétons.
• Le problème des intersections (Le "Jeu de la chaise musicale") :
  Dans les intersections complexes sans feux, les voitures actuelles sont trop rigides. Elles s'attendent à ce que tout le monde respecte les règles strictes. Quand un scooter passe en force ou qu'un piéton traverse, la voiture autonome ne sait pas négocier. Elle se fige ou, pire, elle percute sur le côté.
• La surprise des données :
  Même si on entraîne les voitures avec ces nouvelles données, elles peinent toujours à s'adapter. C'est comme si on apprenait à un enfant à jouer aux échecs, mais qu'on le mettait soudainement dans un tournoi de "Dames" où les règles ont changé.

💡 Pourquoi c'est important ?

HetroD nous dit une vérité brutale : nous ne sommes pas prêts.
Nos voitures autonomes sont trop "policées". Elles sont faites pour des routes idéales. Mais le monde réel est chaotique, surtout dans les pays où les piétons, les vélos et les scooters partagent la route avec les voitures.

Ce nouveau dataset est un miroir qui montre aux ingénieurs exactement où ils échouent. Il les force à inventer de nouvelles méthodes pour que, un jour, une voiture autonome puisse naviguer dans un marché bondé aussi facilement qu'un humain, en comprenant les regards, les gestes et l'intention de chacun, sans avoir peur de se faire percuter sur le côté.

En résumé : HetroD est le premier "terrain de jeu" réaliste et difficile pour apprendre aux voitures à survivre dans le vrai monde, pas seulement dans un monde de rêve.

Résumé technique

1. Problématique

Le développement de systèmes de conduite autonome fait face à un défi majeur : la navigation dans des environnements de trafic hétérogènes. Contrairement aux trafics structurés et disciplinés (dominés par les véhicules automobiles), les environnements réels impliquent une interaction complexe entre des usagers vulnérables de la route (VRU : piétons, cyclistes, motocyclistes) et des véhicules motorisés.

Les datasets existants (comme NuScenes, Waymo, Argoverse) souffrent de limitations critiques :

• Biais de perception : Basés sur des capteurs embarqués, ils sont sujets aux occlusions et ont un champ de vision limité, ce qui rend difficile le suivi des VRU dans des foules denses.
• Manque de diversité comportementale : Ils sous-représentent les manœuvres non structurées (dépassements agressifs, changements de voie informels, négociation de priorité) et les interactions inter-espèces complexes.
• Généralisation insuffisante : Les modèles entraînés sur ces données échouent souvent à prédire les mouvements latéraux des VRU ou à gérer des scénarios de haute densité.

2. Méthodologie et Construction du Dataset

Les auteurs ont créé HetroD, un dataset de grande envergure capturé par drone, conçu pour offrir une vue globale et sans occlusion des scènes de trafic.

• Collecte de données :
  • Source : 17,5 heures de vidéo ultra-haute résolution (5,4K) enregistrées par drone.
  • Lieux : Six sites urbains diversifiés à Taïwan (intersections signalisées, non signalisées, routes droites bondées).
  • Échelle : Plus de 65 400 trajectoires d'agents uniques.
  • Composition : 70 % des agents sont des VRU (surtout des scooters, reflétant une réalité de trafic asiatique sous-représentée ailleurs).
• Annotation et Traitement :
  • Précision : Annotations au centimètre près, incluant des cartes HD (formats Lanelet2 et OpenDRIVE), des boîtes englobantes (bounding boxes) et l'état des feux de circulation.
  • Pipeline : Utilisation de réseaux de neurones profonds pour la détection et le suivi, complété par des filtres de Kalman pour combler les lacunes, et un processus rigoureux de validation manuelle et automatique pour éliminer les faux positifs.
• Outils Unifiés : Développement d'un toolkit permettant de convertir les données HetroD vers des formats compatibles avec les frameworks existants (ScenarioNet, GPUDrive, trajdata), facilitant l'adoption par la communauté.

3. Contributions Clés

1. Dataset Hétérogène de Référence : Le premier dataset drone offrant une précision centimétrique et une couverture large sur des environnements urbains denses et hétérogènes, avec une proportion de VRU sans précédent (69,9 %).
2. Nouveaux Métriques d'Évaluation : Introduction de métriques normalisées pour quantifier la complexité du trafic (échelle d'interaction, densité géographique, diversité des agents), montrant que HetroD présente des niveaux d'interaction et de risque (TTC, DRAC) supérieurs aux datasets existants.
3. Benchmark Complet : Établissement de protocoles standardisés pour l'évaluation de la prédiction de mouvement, de la planification de trajectoire et de la simulation, incluant des évaluations croisées entre datasets.

4. Résultats de l'Évaluation

Les auteurs ont évalué des modèles de l'état de l'art (SOTA) sur HetroD, révélant des limites fondamentales des approches actuelles.

A. Prédiction de Mouvement (Motion Forecasting)

• Modèles testés : MTR et Wayformer.
• Résultats :
  • Chute de performance : Les modèles entraînés sur des données embarquées (NuScenes, Waymo) voient leur précision chuter drastiquement lorsqu'ils sont testés sur HetroD (augmentation de l'erreur Brier-FDE).
  • Avantage de la vue drone : Les modèles entraînés sur des données drone (SinD, HetroD) généralisent mieux entre eux, grâce à l'absence d'occlusion.
  • Sensibilité aux changements : Les modèles sont très sensibles aux changements de carte (erreur augmentée de +166 % pour MTR lors d'un changement de lieu) mais robustes aux variations temporelles.
  • Difficultés spécifiques : Les prédictions échouent particulièrement sur les deux-roues (mouvements latéraux, filtres) et dans les scénarios à haut risque d'interaction (TTC < 2s). Les modèles ont tendance à "sur-prédire" les trajectoires et à manquer les interactions subtiles.

B. Planification de Trajectoire (Motion Planning)

• Modèles testés : IDM (modèle basé sur des règles) et PDM-Closed (planificateur fort de NuPlan).
• Résultats :
  • Dégradation globale : Les scores de planification (confort, progression, sécurité) diminuent significativement sur HetroD par rapport à NuPlan.
  • Collisions latérales : L'analyse des collisions montre que les planificateurs échouent principalement dans les interactions latérales avec les VRU (dépassements, négociations de virages), alors qu'ils maintiennent de bonnes performances sur les collisions frontales.
  • Échec face à l'imprévu : Les planificateurs basés sur des règles peinent à anticiper les manœuvres non structurées (ex: virage à droite avec des piétons traversant, négociation sur route étroite).

5. Signification et Impact

• Révélation des limites actuelles : HetroD démontre que les approches dominantes, optimisées pour des trafics structurés et centrés sur les véhicules, sont inadéquates pour les environnements réels hétérogènes.
• Nécessité de nouvelles approches : Les résultats appellent au développement de modèles capables de gérer la dynamique réactive des VRU, de prédire les mouvements latéraux complexes et de fonctionner dans des scénarios de haute densité sans dépendre uniquement de la structure des voies.
• Futur de la recherche : Ce dataset ouvre la voie à une simulation de trafic haute fidélité et à des tests de généralisation hors distribution (Out-of-Distribution), essentiels pour garantir la sécurité des véhicules autonomes dans des contextes mondiaux variés.

En conclusion, HetroD comble un vide critique dans la recherche sur la conduite autonome en fournissant les données et les benchmarks nécessaires pour passer d'une logique de "voies disciplinées" à une compréhension profonde des interactions complexes et non structurées entre tous les usagers de la route.