🤖 machine learning

Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning

In dit paper wordt een framework gepresenteerd dat Hamilton-Jacobi-bereikbaarheidsanalyse combineert met deep Q-learning om autonome voertuigen veilig en optimaal met fietsers te laten interageren door een veiligheidsmetiek te integreren als beloningssignaal en rekening te houden met het gedrag van de fietser.

Oorspronkelijke auteurs: Aarati Andrea Noronha, Jean Oh

Gepubliceerd 2026-02-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aarati Andrea Noronha, Jean Oh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een autonome auto (een robotauto) op weg is naar zijn bestemming, maar plotseling een fietser tegenkomt. Dit is een heel lastige situatie. De robotauto wil veilig zijn, maar ook niet te langzaam of te voorzichtig zijn, want dan blokkeert hij het verkeer. De menselijke bestuurder daarentegen is vaak te agressief en neemt te veel risico's.

De auteurs van dit artikel, Aarati en Jean, hebben een slimme manier bedacht om dit probleem op te lossen. Ze hebben een systeem gebouwd dat de robotauto leert om veilig te zijn, maar ook slim en snel genoeg om de fietser te passeren zonder hem bang te maken.

Hier is hoe ze dat hebben gedaan, vertaald in alledaags taal:

1. Het Probleem: De "Te Bang" vs. "Te Dapper" Auto

Stel je voor dat je een robotauto programmeert.

Als je hem alleen veiligheid laat controleren (met een wiskundig systeem genaamd Hamilton-Jacobi), wordt de auto als een overbezorgde oma. Hij blijft stilstaan of rijdt heel langzaam omdat hij bang is om de fietser aan te raken. Hij bereikt zijn bestemming nooit op tijd.
Als je hem alleen snelheid laat controleren (met Reinforcement Learning, een soort "leren door te proberen"), wordt hij als een ongeduldige tiener. Hij rijdt te snel en te dichtbij, wat gevaarlijk is.

De auteurs wilden het beste van beide werelden: een auto die weet precies hoe dicht hij mag komen, maar dat ook snel doet.

2. De Oplossing: Een Slimme Mix

Ze hebben twee technologieën samengevoegd, alsof ze een veiligheidsgordel en een sportieve motor aan elkaar koppelen.

De Veiligheidsgordel (Hamilton-Jacobi Reachability):
Dit is een wiskundige "krachtveld"-kaart. Deze kaart zegt aan de auto: "Hier is het gebied waar je nooit mag komen, want daar is een botsing onvermijdelijk." Het is als een onzichtbare muur rondom de fietser. Als de auto deze muur niet raakt, is hij veilig.
- Het nadeel: Deze muur is soms te groot. De auto denkt dat hij veilig is als hij 10 meter afstand houdt, terwijl een fietser zich al ongemakkelijk voelt op 3 meter.
De Sportieve Motor (Deep Q-Learning):
Dit is een kunstmatige intelligentie die leert door ervaring. Hij probeert verschillende routes en leert welke route het snelst is zonder de "veiligheidsgordel" te breken. Hij zoekt de optimale balans tussen snelheid en veiligheid.

3. De Nieuwe Toevoeging: De "Gevoelige Fietser"

Dit is het echte genie van dit onderzoek. De auteurs realiseerden zich dat een fietser geen robot is. Een fietser heeft gevoelens.

Als een robotauto te dichtbij rijdt, zelfs als hij technisch gezien niet botst, voelt de fietser zich onveilig en gaat hij misschien uitwijken of remmen.
De oude systemen keken alleen naar de fysieke afstand.
De nieuwe methode kijkt naar de comfort-sensatie van de fietser. Ze hebben een slim systeem (een auto-encoder) gebruikt dat geleerd heeft uit echte verkeersdata hoe fietsers reageren. Het systeem leert: "Als de auto hier rijdt, voelt de fietser zich bedreigd, zelfs als er geen botsing dreigt."

Het is alsof de robotauto een telepathische antenne heeft gekregen die voelt hoe de fietser zich voelt, in plaats van alleen naar de afstand te kijken.

4. Hoe Werkt Het In De Praktijk?

Stel je een test voor in Ann Arbor (Michigan), waar ze duizenden kilometers aan verkeersdata hebben verzameld.

De Kaart Maken: Eerst berekent de computer de "veiligheidsmuur" (de Hamilton-Jacobi berekening) voor elke mogelijke situatie.
De Fietser Begrijpen: Dan gebruikt het systeem de data om te voorspellen hoe de fietser reageert op de auto. Is de fietser bang? Is hij rustig?
De Leerling: De robotauto (de AI) begint te oefenen. Hij probeert routes. Als hij te dichtbij komt (en de fietser zou bang worden), krijgt hij een "straf". Als hij veilig en snel passeert, krijgt hij een "beloning".
Het Resultaat: De auto leert een route te vinden die:
- De fietser niet bang maakt (want hij houdt rekening met diens comfort).
- Veilig is (geen botsing).
- Snel is (hij komt op tijd aan).

5. Wat Was Het Resultaat?

Toen ze dit testten, bleek hun systeem beter te zijn dan:

Mensen: Mensen zijn vaak te agressief en komen te dichtbij.
Oude Robot-auto's: Die waren te voorzichtig en stonden vaak stil.

De nieuwe robotauto was veiliger dan mensen (minder "onveilige momenten") en sneller dan de oude robot-auto's. Hij wist precies de juiste afstand te vinden: niet te ver weg (zoals een angstige oma), maar niet te dichtbij (zoals een agressieve motorrijder).

Samenvatting in één zin

De auteurs hebben een robotauto getraind die niet alleen kijkt naar "waar kan ik botsen?", maar ook naar "waar voelt de fietser zich ongemakkelijk?", zodat hij veilig en beleefd langs kan fietsen zonder tijd te verliezen.

Titel: Veilig interageren met fietsers met behulp van Hamilton-Jacobi-reikwijdte en versterkend leren

Auteurs: Aarati Andrea Noronha en Jean Oh (Carnegie Mellon University, 2020)

1. Probleemstelling

Autonome voertuigen hebben moeite om veilig en efficiënt met fietsers om te gaan. Bestaande navigatiealgoritmes zijn vaak te voorzichtig, wat leidt tot suboptimale interacties (bijvoorbeeld onnodig lange wachttijden of het niet bereiken van het doel). Menselijke bestuurders daarentegen zijn soms te agressief.
De kernuitdaging ligt in het vinden van een balans tussen:

Veiligheid: Het garanderen dat er geen botsing optreedt.
Optimaliteit: Het bereiken van het doel in een redelijke tijd.
Menselijke perceptie: Het modelleren van het comfort en de reactie van de fietser op het autonome voertuig.

Bestaande methoden op basis van Hamilton-Jacobi (HJ) reachability analysis garanderen veiligheid, maar zijn vaak te conservatief en reiken niet binnen een redelijke tijd. Versterkend leren (Reinforcement Learning - RL) biedt optimaliteit, maar mist vaak formele veiligheidsgaranties.

2. Methodologie

Het paper presenteert een hybride raamwerk dat Hamilton-Jacobi-Bellman (HJB) reachability analysis combineert met Deep Q-Learning (DQN).

A. Formuleren als Differentieel Spel

Het probleem wordt gemodelleerd als een tweespeler (autonoom voertuig en fietser) nul-sum differentieel spel:

Ego-agent: Het autonome voertuig (besturing $u$ ).
Verstoring (Disturbance): De fietser ( $d$ ).
Toestand ( $s$ ): Bestaat uit longitudinale afstand ( $\Delta x$ ), longitudinale snelheidsverschil ( $\Delta v$ ) en laterale afstand ( $\Delta y$ ) ten opzichte van de fietser.

B. Veiligheidsanalyse via Reachability

Er wordt een waardefunctie ( $v(s, t)$ ) berekend als de oplossing van een tijd-afhankelijke HJB-partiële differentiaalvergelijking.

Deze functie kwantificeert de veiligheid: een positieve waarde betekent dat botsing vermeden kan worden, een negatieve of nul-waarde betekent dat een botsing onvermijdelijk is.
Er wordt een achterwaartse bereikbare set (backward reachable set) berekend: de verzameling toestanden die, ongeacht de besturing, uiteindelijk in een botsingszone kunnen terechtkomen.
De complementaire set (buiten de bereikbare set en botsingszone) wordt beschouwd als "veilig".

C. Modelleren van Fietsercomfort (Kerninnovatie)

In tegenstelling tot eerdere werken die de fietser als een statische verstoring behandelden, modelleren de auteurs de reactie van de fietser dynamisch:

Auto-encoder: Er wordt een auto-encoder getraind op "veilige" toestanden (gebaseerd op de HJ-waardefunctie).
Anomaliedetectie: Als de reconstructiefout van een nieuwe toestand hoog is, wordt deze geclassificeerd als "gevaarlijk" of oncomfortabel voor de fietser.
Dit stelt het systeem in staat om de "latente respons" van de fietser (comfortniveau) te voorspellen op basis van de staat van het voertuig, waardoor de verstoring $d$ realistischere menselijke reacties weerspiegelt.

D. Deep Q-Learning voor Navigatie

De berekende HJ-waardefunctie wordt gebruikt als een gestructureerde beloningssignaal (reward) binnen het DQN-raamwerk.

Het DQN leert een beleid dat de cumulatieve beloning maximaliseert, waarbij de beloning een afweging is tussen het bereiken van het doel (tijd) en het vermijden van toestanden met een lage HJ-waarde (veiligheid).
Dit lost het probleem op van de "overmatige voorzichtigheid" van puur reachability-gebaseerde methoden.

3. Belangrijkste Bijdragen

Extensie naar Meerdere Agenten: Uitbreiding van de eerdere single-agent HJ-RL methode (Fisac et al., 2019) naar een tweespeler-systeem (voertuig + fietser).
Kwantificering van Comfort: Een nieuwe methode om de verstoring van de fietser te modelleren als een functie van diens comfortniveau en reactie op het voertuig, gebruikmakend van auto-encoders.
Balans tussen Veiligheid en Tijd: Een algoritme dat zowel veiligheidsgaranties biedt (via HJ) als tijdsefficiënt navigatie mogelijk maakt (via RL).
Kwantitatieve Veiligheidsmeting: Het vermogen om de veiligheid te meten als het vermogen om een fietser te passeren met een redelijke snelheid en afstand, in plaats van alleen botsing te voorkomen.

4. Experimentele Opzet en Resultaten

Dataset: De "Safety Pilot Michigan Database" (SPMD), met ongeveer 40.539 gefilterde fietsevenementen.
Vergelijking: Het voorgestelde framework werd vergeleken met:
1. Menselijke bestuurders (ground truth).
2. De bestaande HJ-RL methode van Fisac et al. (2019).

Kernresultaten (uit Tabel I):

Veiligheid: Het voorgestelde framework presteerde het beste op het gebied van veiligheid (hoogste veiligheidsfactor: -2.01 vs -2.18 voor Fisac '19 en -2.31 voor menselijke bestuurders).
Onveilige toestanden: Het systeem verbleef het minst vaak in potentieel onveilige gebieden (31,6% vs 36,8% voor Fisac '19 en 39,0% voor mensen).
Tijd: Hoewel het iets langzamer was dan de pure Fisac '19-methode (233 sec vs 199 sec), was het aanzienlijk sneller dan menselijke bestuurders (253 sec) en bereikte het even vaak het doel (100% success rate).
Kwalitatieve analyse: De visualisaties tonen aan dat het algoritme in staat is om situaties te herkennen waar de fietser zich bedreigd voelt (bijvoorbeeld als het voertuig te dichtbij is, zelfs bij lage snelheid), wat leidt tot een meer mensachtige en comfortabele interactie.

5. Betekenis en Conclusie

Dit paper demonstreert succesvol dat het combineren van formele veiligheidsanalyse (Hamilton-Jacobi) met versterkend leren (Deep Q-Learning) leidt tot robuuste navigatiealgoritmen voor autonome voertuigen in gemengd verkeer.

De belangrijkste doorbraak is het vermogen om menselijke comfortniveaus te modelleren en te integreren in de veiligheidsberekening. Hierdoor vermijdt het systeem niet alleen botsingen, maar navigeert het ook op een manier die als veilig en comfortabel wordt ervaren door de fietser. Dit is een cruciale stap naar de acceptatie van autonome voertuigen in steden met veel fietsverkeer. De auteurs werken momenteel aan de uitbreiding van deze aanpak naar multi-agent systemen.