Driving with A Thousand Faces: A Benchmark for Closed-Loop Personalized End-to-End Autonomous Driving

Dit paper introduceert Person2Drive, een uitgebreid benchmarkplatform dat de uitdagingen van gepersonaliseerd end-to-end autonoom rijden aanpakt door een schaalbaar datasetverzamelsysteem, kwantitatieve stijlmetingen en een effectief leerframework te bieden om individuele rijstijlen na te bootsen.

De kern

Rijden met duizend gezichten: Waarom elke auto een eigen persoonlijkheid moet hebben

Stel je voor dat je een nieuwe auto koopt. Je wilt dat hij rijdt precies zoals jij: misschien ben je een rustige ouderwetse bestuurder die nooit harder dan 50 km/u gaat, of misschien ben je een sportieve bestuurder die van het ene op het andere moment van rijstrook wisselt.

Helaas rijden de huidige zelfrijdende auto's (zoals die van Tesla of Waymo) allemaal op één manier: de "gemiddelde" manier. Ze zijn getraind op data van duizenden mensen, waardoor ze een soort "gemiddelde bestuurder" zijn geworden. Ze zijn veilig, maar ze voelen niet echt als jij. Ze missen de persoonlijkheid.

Dit paper, getiteld "Driving with A Thousand Faces" (Rijden met duizend gezichten), introduceert een nieuwe manier om zelfrijdende auto's te maken die zich aanpassen aan jouw unieke rijstijl.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gemiddelde" Auto

Stel je voor dat je een kledingwinkel binnenloopt waar alleen één maat beschikbaar is: "M". Als je klein bent, is de broek te groot; als je groot bent, is hij te klein. De auto's van vandaag zijn die "maat M". Ze proberen iedereen tevreden te stellen, maar passen niemand perfect.

2. De Oplossing: Person2Drive (De "Maat op Maat" Workshop)

De onderzoekers hebben een nieuw systeem bedacht, genaamd Person2Drive. Dit is als een grote, slimme kledingwinkel waar ze voor elke klant een pak op maat maken. Ze doen dit in drie stappen:

Stap 1: De Rijles (Het Verzamelen van Data)

Om te weten hoe jij rijdt, moeten ze eerst zien hoe jij rijdt.

• De Simulatie: Ze hebben een virtuele wereld gebouwd (een heel realistische computerspelletje) met een stuurwiel en pedalen.
• De Oefening: 30 echte mensen hebben hierin rondgereden op dezelfde routes. Ze hebben niet alleen "normaal" gereden, maar ook in verschillende situaties: op de snelweg, in de stad, bij kruispunten.
• Het Resultaat: Ze hebben een enorme database gecreëerd met duizenden rijstijlen. Het is alsof ze duizenden "vingerafdrukken" van rijgedrag hebben verzameld.

Stap 2: De "Stijl-Scanner" (Het Meten van Je Stijl)

Hoe vertaal je "rijden zoals jij" naar cijfers?

• Ze hebben een slimme scanner bedacht die kijkt naar details: Hoe hard rem je? Hoe scherp draai je? Hoe ver houd je afstand van de auto voor je?
• Ze noemen dit een "Stijl Vector". Denk hierbij aan een persoonlijkheidstest voor auto's.
• Ze gebruiken wiskundige formules (zoals MMDSS) om te meten: "Hoeveel lijkt rijgedrag van persoon A op persoon B?" Als de score hoog is, rijden ze op dezelfde manier. Als de score laag is, zijn ze totaal verschillend.

Stap 3: De "Stijl-Coach" (Het Leren van de Auto)

Nu hebben ze de data en de meetlat. Hoe leren ze de auto om jou na te bootsen?

• Ze beginnen met een basisauto die al redelijk goed rijdt (de "gemiddelde" auto).
• Dan komt de Stijl Coach (een beloningssysteem) kijken. De auto probeert een route te rijden. De Coach zegt: "Nee, zo rijdt jij niet! Jij remt iets zachter en houdt meer afstand. Probeer het nog eens."
• De auto leert van deze feedback en past alleen zijn laatste beslissingen aan. Het is alsof je een beginnende kok bent die een meesterkok (jij) in de gaten houdt. De kok zegt niet "kook de hele maaltijd opnieuw", maar "voeg net iets meer peper toe". Zo blijft de auto veilig, maar rijdt hij wel precies zoals jij.

Waarom is dit belangrijk?

1. Vertrouwen en Comfort: Als een auto rijdt zoals jij gewend bent, voel je je veiliger en comfortabeler. Je hoeft niet constant te corrigeren of je af te vragen waarom de auto zo plotseling remt.
2. Veiligheid: Het klinkt misschien tegenstrijdig, maar een auto die je stijl kent, is veiliger. Als hij weet dat jij een "voorzichtige" rijder bent, zal hij niet plotseling een agressieve inhaalmanoeuvre maken die jij niet zou doen.
3. De Toekomst: In plaats van dat we allemaal moeten wennen aan de robot, past de robot zich aan aan ons.

Samenvattend

Dit paper is als het begin van een revolutie in de auto-industrie. Ze zeggen: "Vergeet de één-op-één oplossing. Iedereen is uniek, en onze auto's moeten dat ook zijn." Met hun nieuwe database en slimme leermethodes maken ze de stap van "een auto voor iedereen" naar "een auto voor jou".

Het is alsof je eindelijk een auto hebt die niet alleen je bestemming kent, maar ook precies weet hoe jij het liefst op die bestemming aankomt.

Technische samenvatting

Probleemstelling

Bestaande end-to-end autonoom rijden (E2E-AD) systemen leren doorgaans een enkel "gemiddeld" rijstijlmodel dat op alle bestuurders wordt toegepast. Dit negeert de inherente diversiteit in menselijk rijgedrag, die wordt gevormd door cognitieve patronen, gewoontes en persoonlijkheidstrekken. Het ontbreken van personalisatie beperkt het comfort, het vertrouwen en de acceptatie van autonome systemen.

De uitdagingen voor gepersonaliseerd E2E-AD liggen op drie niveaus:

1. Data: Er zijn geen grote datasets met individuele rijstijl-annotaties die geschikt zijn voor gesloten-lus (closed-loop) evaluatie. Bestaande datasets zijn vaak gesimuleerd, gebaseerd op experts, of ontberen individuele labels.
2. Evaluatie: Er ontbreken gestandaardiseerde, kwantitatieve metrieken om individuele rijstijlen te meten en te vergelijken.
3. Algoritme: Bestaande methoden kunnen geen gestileerde representaties direct leren uit gebruikersdata en missen een unified end-to-end kader voor veilige personalisatie.

Methodologie: Person2Drive

De auteurs stellen Person2Drive voor, een uitgebreid platform en benchmark dat een gesloten-lus onderzoeksstroomlijn biedt voor datacollectie, modeltraining en kwantitatieve evaluatie.

1. Datacollectie en Dataset

• Systeem: Een open-source, schaalbaar datacollectiesysteem gebaseerd op CARLA. Het gebruikt een mens-in-de-lus (human-in-the-loop) opstelling met een Logitech G29 stuur en pedalen, een navigatiekaart en spiegels voor een realistische ervaring.
• Dataset: De dataset bevat data van 30 bestuurders die meerdere keren identieke routes (ongeveer 1 km) rijden onder diverse verkeers-, weer- en scenariocondities (kruispunten, invoegen, etc.).
• Kenmerken: Multi-modale data (LiDAR, camera's, radar, IMU, HD-Maps) met identiteitslabels voor elke bestuurder. In tegenstelling tot eerdere datasets, focust deze op intra- en inter-persoon variatie in dezelfde scenario's.

2. Rijstijl Evaluatie (Style Evaluation)

Om rijstijlen kwantitatief te meten, introduceren de auteurs een drie-staps framework:

• Stijl Vectors: Er worden 10 representatieve indicatoren geselecteerd op basis van voertuigbesturingsparameters en rijgedrag (bijv. remfrequentie, laterale versnelling), genormaliseerd met de mediaan van de populatie om variabiliteit tussen bestuurders te maximaliseren.
• MMDSS (Maximum Mean Discrepancy Similarity Score): Een nieuwe metriek die rijstijl modelleert als een verdeling in plaats van losse trajecten. MMDSS meet de divergentie tussen verdelingen en normaliseert deze naar een score tussen 0 en 1 (hoger = meer vergelijkbare stijl).
• KL-divergentie: Wordt gebruikt als complementaire maatstaf om de richting van de afwijking tussen verdelingen te meten.
• Scenario-specifieke Normalisatie: Om te voorkomen dat scenario-afhankelijke factoren (bijv. snelweg vs. stad) de stijlmeting verstoren, worden kenmerken per scenario genormaliseerd.

3. Aanpassing van Rijstijl (Personal Driving Style Adaptation - PDSA)

Het trainingskader bestaat uit drie fasen:

1. Basis E2E Model Training: Training van een basismodel (DiffusionDrive) op een algemene dataset (Bench2Drive) voor fundamentele rijvaardigheid.
2. Rijstijl Modellering: Training van een leerbaar beloningsmodel (Reward Model). Dit model neemt een traject als input en voorspelt de bijbehorende stijlvector. Het leert een differentieerbare mapping tussen trajectdynamica en bestuurdersstijl.
3. Gestuurde Finetuning: Het basismodel wordt gefinetuned met behulp van de reward model.
   • Alleen de trajectory planner (de laatste voorspellingskop) wordt bijgewerkt.
   • De loss-functie is de Mean Squared Error (MSE) tussen de voorspelde stijlvector van het model en de ground-truth stijlvector van de specifieke bestuurder.
   • Dit zorgt voor personalisatie zonder de fundamentele rijveiligheid te compromitteren.

Belangrijkste Resultaten

• Evaluatie van Stijlmeting: De MMDSS-metriek toont aan dat intra-persoonnel variatie (0.9267) significant lager is dan inter-persoonnel variatie (0.6545), wat bevestigt dat de metriek individuele stijlen effectief onderscheidt.
• Performance van PDSA:
  • Na finetuning op individuele data stijgt de rijprestatie (driving score) met 14.56 punten ten opzichte van het basismodel.
  • Het succescijfer (success rate) blijft stabiel (een verlies van slechts 0.7%), wat aantoont dat personalisatie de veiligheid niet in gevaar brengt.
  • De methode met BEV-features (PDSA) presteert beter dan methoden zonder (PDSA-WB) of directe finetuning (DFT), wat aantoont dat contextuele informatie essentieel is voor nauwkeurige stijlalignement.
• Visualisatie: Kwalitatieve analyses tonen aan dat het gefinetunde model beter de timing van rijstijlen (zoals wisselen van baan en volgafstand na stoppen) nabootst dan het basismodel.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Person2Drive Dataset: De eerste grote, open-source dataset voor gepersonaliseerd E2E-AD met gesloten-lus evaluatie, multi-modale data en individuele bestuurderslabels.
2. Kwantitatieve Stijlmeting: Introductie van MMDSS en een gestructureerd kader voor het meten van rijstijlverschillen, wat een ontbrekende standaard in het veld aanvult.
3. Efficiënte Personalisatie Framework: Een lichtgewicht finetuning-methode die specifieke rijstijlen leert zonder de basisrijvaardigheid te verliezen, door gebruik te maken van een stijl-beloningsmodel.

Significantie:
Dit werk legt de basis voor mensgerichte (human-centered) autonome systemen. Door in te spelen op individuele voorkeuren, kan het vertrouwen van gebruikers in autonome voertuigen worden vergroot en de acceptatie van deze technologie in de maatschappij worden versneld. Het biedt een reproduceerbare benchmark voor toekomstig onderzoek naar veilige en gepersonaliseerde autonome rijstijlen.