HetroD: A High-Fidelity Drone Dataset and Benchmark for Autonomous Driving in Heterogeneous Traffic

Dit paper introduceert HetroD, een hoogwaardig drone-gebaseerd dataset en benchmark voor autonoom rijden in heterogeen verkeer, dat zich richt op de complexe interacties met kwetsbare weggebruikers en aantoont dat bestaande modellen moeite hebben met het voorspellen van hun ongeordende bewegingen.

De kern

Stel je voor dat je een zelfrijdende auto traint, alsof het een kind is dat leren fietsen. Tot nu toe hebben de meeste trainers (de datasets) het kind alleen geoefend op een lege, perfect gemarkeerde racebaan. Alles was voorspelbaar: auto's reden in banen, en er waren geen onverwachte obstakels.

Maar de echte wereld is geen racebaan. Het is een drukke, chaotische marktplein in een Aziatische stad. Hier springen scooters tussen auto's door, lopen mensen over de weg zonder te kijken, en maken mensen bochten die op geen enkele kaart staan.

Dit is precies waar het nieuwe onderzoek HetroD over gaat. Hier is de uitleg in simpele taal:

1. De Camera die alles ziet (De Drone)

Tot nu toe keken de zelfrijdende auto's alleen door hun eigen voorruit. Dat is alsof je probeert te dansen terwijl je een blinddoek op hebt en alleen naar je eigen voeten kijkt. Je ziet de mensen links en rechts niet goed, en je mist wat er boven je hoofd gebeurt.

De makers van HetroD hebben een slimme oplossing: ze hebben drones gebruikt.

• De Analogie: Stel je voor dat je in plaats van op de grond te lopen, als een vogel boven de drukke straat zweeft. Je ziet alles: de auto's, de scooters, de voetgangers, en hoe ze allemaal met elkaar omgaan.
• Het Resultaat: Ze hebben 17,5 uur aan video gemaakt van zes verschillende drukke plekken in Taiwan. Ze hebben elke beweging van elke persoon en voertuig tot op de centimeter nauwkeurig opgetekend.

2. Het Grote Chaos (De "Heterogene" Verkeer)

De naam "HetroD" staat voor Heterogeneous (gemengd) verkeer.

• Het Probleem: In de oude datasets waren er vooral auto's. Maar in de echte wereld (en zeker in Azië) zijn er veel meer kwetsbare weggebruikers: scooters, fietsers en voetgangers.
• De Analogie: In de oude datasets was het verkeer als een orkest waar alleen violisten spelen. In HetroD is het verkeer als een wilde jazz-sessie waar violisten, drummers, saxofonisten en zelfs mensen die dansen, allemaal tegelijkertijd hun eigen ding doen. Scooters maken soms "haakbochten" (ze keren abrupt om), snijden in rijen, en onderhandelen om ruimte zonder verkeersborden.
• De Statistiek: Van alle bewegingen in deze dataset is 70% van deze kwetsbare weggebruikers (scooters, fietsers, mensen). Dat is een wereldrecord voor een dataset.

3. De Test: Zelfrijdende Auto's op de Proef

De makers hebben niet alleen data verzameld, maar ook een proef opgezet. Ze hebben de slimste zelfrijdende auto's ter wereld (die getraind zijn op de "lege racebanen") voor deze drone-data gezet.

Het resultaat? De auto's vielen flink op hun bek.

• Voorspellen: De auto's konden niet voorspellen waar een scooter naartoe zou gaan. Ze dachten dat de scooter in een rechte lijn zou blijven, maar de scooter maakte een plotselinge bocht.
• Plannen: De auto's wisten niet hoe ze moesten reageren. Ze botsten vaak aan de zijkant (lateral collisions) met voetgangers of scooters, omdat ze alleen keken naar wat er voor hen gebeurde, niet wat er naast hen gebeurde.
• De Les: De auto's waren te star. Ze waren getraind om regels te volgen, maar in dit chaotische verkeer moet je kunnen "onderhandelen" en flexibel zijn.

4. Waarom is dit belangrijk?

Stel je voor dat je een piloot traint voor een vliegtuig, maar je traint hem alleen in een rustige hangar. Als hij dan in een echte storm terechtkomt, crasht hij.

HetroD is die storm.

• Het is een hulpmiddel om zelfrijdende auto's te leren hoe ze zich moeten gedragen in een wereld vol chaos.
• Het laat zien dat we de auto's niet meer alleen op "perfecte" data moeten trainen, maar op de echte, rommelige, drukke wereld.
• Ze hebben ook een gereedschapskist gemaakt zodat andere onderzoekers deze data makkelijk kunnen gebruiken om hun eigen auto's slimmer te maken.

Kort samengevat:
De makers van HetroD hebben een drone gebruikt om de meest chaotische verkeerssituaties ter wereld vast te leggen. Ze hebben bewezen dat onze huidige zelfrijdende auto's nog te bang en te star zijn voor deze chaos. Met deze nieuwe dataset hopen ze auto's te leren om net zo slim en flexibel te zijn als een lokale scooterrijder die zich door een drukke menigte werkt.

Technische samenvatting

Probleemstelling

Autonome voertuigen (AV's) worstelen nog steeds met het navigeren in heterogeen verkeer, waarbij voertuigen, voetgangers en tweewielers (vooral scooters en motorfietsen) complex met elkaar interageren. Bestaande datasets (zoals NuScenes, Waymo, Argoverse2) zijn grotendeels gebaseerd op boordcamera's en richten zich op gestructureerd verkeer met duidelijke rijbanen. Ze hebben drie belangrijke tekortkomingen:

1. Beperkt zicht: Boordcamera's hebben een beperkt gezichtsveld (FOV) en lijden onder obstructies, wat leidt tot gefragmenteerde trajecten voor niet-ego-voertuigen.
2. Onderschatting van VRU's: Vulnerable Road Users (VRU's) zoals voetgangers en tweewielers zijn ondervertegenwoordigd, terwijl hun gedrag (bijv. ongestructureerde manoeuvres, rijbaan splitsen) cruciaal is voor veiligheid.
3. Gebrek aan realiteit: Bestaande datasets missen complexe, cultureel specifieke interacties zoals "hook turns" (haakbochten), agressieve inhalen en informele wegbevoorrading, wat leidt tot modellen die in de echte wereld falen.

Methodologie

Om deze kloof te dichten, hebben de auteurs HetroD ontwikkeld, een dataset en benchmark specifiek voor heterogeen verkeer.

• Dataverzameling:

  • Platform: Gebruik van drones voor een holistisch, occlusievrij overzicht.
  • Locaties: 6 topologisch diverse locaties in Taiwan (drukte verkeerslichten, ongecontroleerde kruispunten, drukke rechte wegen).
  • Schaal: 17,5 uur aan ultra-hoge resolutie video (5.4K) met een frame rate van 25/30 fps.
  • Annotaties: Centimeter-nauwkeurige ground truth trajecten, HD-kaarten (Lanelet2 en OpenDRIVE), en verkeerslichtstatussen.
  • Verwerking: Een geautomatiseerde pipeline gebruikt diepe neurale netwerken voor detectie en classificatie, Kalman-filters voor tracking, en uitgebreide kwaliteitscontrole (automatisch + handmatig) om fouten te elimineren.

• Dataset Kenmerken:

  • Totaal 65.4k unieke agent-trajecten.
  • 70% VRU's (voetgangers, fietsers, scooters/motorfietsen), wat een significant hoger percentage is dan in andere datasets.
  • Focus op ongestructureerde manoeuvres zoals rijbaan splitsen, informeel weggeven en agressieve inhalen.

• Tooling:

  • Ontwikkeling van een unificatie toolkit die HetroD-data converteert naar formaten compatibel met bestaande frameworks (ScenarioNet, GPUDrive, trajdata), waardoor directe vergelijking en toepassing mogelijk is.

Belangrijkste Bijdragen

1. HetroD Dataset: De eerste drone-dataset met centimeter-nauwkeurige annotaties voor heterogeen verkeer, met een ongeëvenaarde schaal aan cross-type interacties (voertuig vs. VRU).
2. Standaardisatie: Een benchmark met gestandaardiseerde evaluatieprotocollen voor bewegingsvoorspelling, bewegingsplanning en cross-dataset evaluatie.
3. Tooling: Een toolkit die de integratie van drone-data in bestaande ontwikkelworkflows voor autonome driving faciliteert.

Resultaten en Evaluatie

De auteurs hebben state-of-the-art (SOTA) modellen getest op HetroD om hun generalisatievermogen te beoordelen.

1. Bewegingsvoorspelling (Motion Forecasting):

• Modellen: MTR en Wayformer getraind op NuScenes, Waymo, SinD en HetroD.
• Resultaat: Er is een significante prestatiedaling wanneer modellen getraind op boord-data (NuScenes/Waymo) worden getest op drone-data (HetroD).
  • Modellen struggle om laterale bewegingen van VRU's te voorspellen.
  • Cross-dataset gap: Modellen getraind op drone-data generaliseren beter naar andere drone-datasets dan andersom, vanwege het volledige zicht.
  • Sensitiviteit: Modellen zijn zeer gevoelig voor veranderingen in de kaart (map shift) en hebben moeite met hoge dichtheid en heterogeniteit. Tweewielers zijn het moeilijkst te voorspellen.

2. Bewegingsplanning (Motion Planning):

• Modellen: IDM (Intelligent Driver Model) en PDM-Closed (regelgebaseerd) getest in een gesloten lus.
• Resultaat: Beide planners vertonen een drastische afname in prestaties op HetroD vergeleken met NuPlan.
  • Collisies: Het aantal schuldige botsingen (at-fault collisions) neemt sterk toe.
  • Type fouten: De meeste fouten zijn laterale botsingen met VRU's (bijv. bij het inhalen of kruisen), terwijl standaard forward-collision checks dit vaak missen.
  • Conclusie: Regelgebaseerde planners, geoptimaliseerd voor gestructureerd verkeer, missen het vermogen om laterale interacties in ongestructureerde omgevingen te anticiperen.

3. Analyse van Foutpatronen:

• Modellen neigen tot "over-predictie" in dichte VRU-scenario's en missen subtiele interacties.
• Unieke manoeuvres (zoals haakbochten) worden niet goed gehanteerd.

Betekenis en Impact

HetroD markeert een paradigmaverschuiving in de ontwikkeling van autonome voertuigen:

• Realiteitstest: Het blootlegt dat huidige SOTA-modellen niet robuust genoeg zijn voor de complexiteit van heterogeen verkeer, vooral in regio's met veel scooters en voetgangers.
• Veiligheid: Het benadrukt dat veiligheid in heterogene omgevingen niet alleen afhangt van het volgen van rijbanen, maar van het begrijpen van informele, laterale interacties.
• Toekomstig Onderzoek: De dataset biedt een nieuwe testomgeving voor het ontwikkelen van modellen die specifiek zijn ontworpen voor VRU-gedrag, reactieve simulatie en generalisatie over verschillende culturele verkeerspatronen.

Kortom, HetroD is een cruciale stap om autonome systemen veiliger en adaptiever te maken voor de realiteit van gemengd verkeer, waarbij drones een essentiële rol spelen in het verzamelen van de benodigde data.