🤖 machine learning

Multi-Agent Reinforcement Learning for Safe Autonomous Driving Under Pedestrian Behavioral Uncertainty

Dit artikel stelt een Multi-Agent Reinforcement Learning-raamwerk voor dat autonome voertuigen co-traint met voetgangers die verborgen persoonlijkheidstrekken vertonen, en toont aan dat deze aanpak realistischere interactiescenario's genereert en de botsingspercentages aanzienlijk verlaagt in vergelijking met op regels gebaseerde basismodellen en training met één agent.

Oorspronkelijke auteurs: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto leert rijden in een drukke stad. Meestal testen ingenieurs deze auto's in simulaties waar de mensen op straat lijken op acteurs die een strikt script volgen. Ze lopen in rechte lijnen, ze oversteken alleen bij zebrapaden, en ze doen nooit iets verrassends.

Het probleem? Echte mensen zijn rommelig. Soms zijn ze afgeleid, soms hebben ze haast, en soms besluiten ze om "oversteek" (illegaal oversteken) te doen, precies voor de neus van een auto. Als een zelfrijdende auto alleen is getraind op "perfecte" voetgangers, kan hij crashten wanneer hij een echte, onvoorspelbare mens tegenkomt.

Dit artikel stelt een nieuwe manier voor om zelfrijdende auto's te trainen: laat de voetgangers ook leren onvoorspelbaar te zijn.

Hier is een uitleg van wat ze deden, met eenvoudige analogieën:

1. De "Danspartner"-benadering (Multi-Agent Learning)

In plaats van de auto (de SDC) te leren terwijl voetgangers alleen een script volgen, zetten de onderzoekers de auto en 12 voetgangers in een virtuele kamer en leerden ze samen met een techniek genaamd Multi-Agent Reinforcement Learning (MARL).

De Oude Manier: De auto is als een student die piano oefent terwijl een leraar een metronoom bedient. De student leert de maat te houden, maar als de metronoom plotseling stopt of versnelt, raakt de student in paniek.
De Nieuwe Manier: De auto en de voetgangers zijn als danspartners die samen een routine leren. De voetgangers volgen niet alleen een script; ze hebben hun eigen "persoonlijkheden" (zoals voorzichtig of roekeloos) die verborgen zijn voor de auto. Ze leren reageren op de auto, en de auto leert op hen te reageren.

2. Het Verborgen "Persoonlijkheids"-trek

In deze simulatie krijgt elke voetganger aan het begin van het spel een geheim "persoonlijkheidstrek". Dit trek bepaalt hoe waarschijnlijk het is dat ze oversteek doen.

De Vangst: De zelfrijdende auto kan dit trek niet zien. Het is als proberen te raden of iemand op het punt staat van de stoep te stappen, alleen op basis van hun lichaamstaal, zonder te weten of ze haast hebben of gewoon dagdromen.
Dit creëert onzekerheid. De auto moet klaar zijn voor alles, net zoals een menselijke bestuurder dat zou zijn.

3. De Resultaten: Leren "Wachten"

Toen de auto en de voetgangers samen trainden, gebeurde er iets interessants:

De Voetgangers Leerden: Ze bedachten dat als de auto snel op hen afkomt, het slimmer is om een seconde te wachten dan er tegenaan te rennen. Ze leerden een vorm van "cooperatief wachten" zonder dat iemand hen expliciet vertelde dit te doen.
De Auto Leerde: Omdat de voetgangers realistischer waren (soms wachtend, soms eruit springend), werd de auto beter in het hanteren van het chaos.
Het Scorebord:
- Oude Methode (Gescrpte Voetgangers): De auto bereikte zijn doel slechts 35% van de tijd en crashte 33% van de tijd.
- Nieuwe Methode (Samen Getraind): De auto bereikte zijn doel 78% van de tijd en crashte slechts 14% van de tijd.

4. De "Snelheidsverschil"-test

De onderzoekers wilden weten: Begrijpt de auto echt het verschil tussen een veilig zebrapad en een gevaarlijke oversteek?

Ze bedachten een "Snelheidsverschil"-maatstaf. Denk eraan als het controleren hoe snel een bestuurder afremt wanneer ze een kind zien versus een volwassene.

De Bevinding: Toen de auto een voetganger bij een zebrapad naderde, remde hij netjes af. Maar toen hij een oversteekende naderde, ging hij nog steeds 2,65 meter per seconde sneller.
Wat dit betekent: De auto verwachtte de oversteekende niet volledig. Hij reed nog steeds een beetje te snel voor de verrassing. Omdat de voetgangers echter waren getraind om soms te wachten, crashte de auto niet zo vaak als bij de oude, stijve modellen.

5. De "Oversteek"-Realiteitscheck

De studie vond dat oversteek zeldzaam was (slechts 13% van de tijd dat mensen de straat overstaken), maar dat het verantwoordelijk was voor 62% van alle crashes.

Dit benadrukt dat zelfs een kleine hoeveelheid onvoorspelbaar gedrag het meeste gevaar veroorzaakt.
Het systeem hanteerde dit goed tot op zekere hoogte. Als ze oversteek te vaak maakten (50% van de tijd), begon het systeem te bezwijken, wat logisch is – niemand kan veilig rijden als iedereen willekeurig de straat in rent.

De Conclusie

Het artikel beweert dat door zelfrijdende auto's te trainen naast "slimme" voetgangers die verborgen persoonlijkheden hebben en van de auto leren, we een veel realistischere en veiligere testomgeving krijgen. Het gaat niet alleen om de auto die leren rijden; het gaat om de hele omgeving die leert te interageren.

Het resultaat? Een zelfrijdende auto die veel beter is in het overleven van de rommelige, onvoorspelbare realiteit van een stadsstraat, met een reductie van crashes van 30% in vergelijking met het trainen van de auto alleen tegen statische, gescrpte voetgangers.

Technische Samenvatting: Multi-Agent Versterkend Leren voor Veilig Autonomisch Rijden onder Onzekerheid in Gedrag van Voetgangers

Probleemstelling
Huidige op simulatie gebaseerde testen voor zelfrijdende auto's (SDC's) maken vaak gebruik van gescripte of vereenvoudigde voetgangersmodellen die de heterogeniteit en onzekerheid van echt menselijk overstapgedrag niet adequaat vastleggen. Deze beperking is vooral acuut in scenario's met wild oversteken, dat wordt bepaald door latente persoonlijkheidseigenschappen die voor het voertuig onzichtbaar zijn. Bijgevolg kunnen veiligheidsbeoordelingen SDC's niet voldoende blootstellen aan situaties met "latente intentie", wat leidt tot onrealistische evaluaties van hun vermogen om onvoorspelbare interacties met voetgangers aan te pakken.

Methodologie
De auteurs stellen een Multi-Agent Versterkend Leren (MARL) raamwerk voor waarbij een SDC en 12 voetgangers gezamenlijk worden getraind om realistischere interactiescenario's te genereren. Het systeem is geïmplementeerd met Multi-Agent Proximal Policy Optimization (MAPPO) binnen een JAX-gebaseerde omgeving die draait op een enkele GPU met 512 parallelle omgevingen.

Omgevingsontwerp: De simulatie vindt plaats in een stedelijke kaart van 120×120 m met een kruispunt met vier richtingen en een T-kruising. Het tafereel omvat 12 voetgangersagenten, een aanzienlijke toename ten opzichte van eerdere werken die doorgaans slechts enkele achtergrondvoetgangers gebruiken.
Gedrag van voetgangers: Voetgangers maken gebruik van gescripte Dijkstra-padvinding voor lage-niveau locomotie. Hoog-niveau beslissingen (gaan/wachten) worden aangestuurd door een RL-beleid. Cruciaal is dat elke voetganger een latente persoonlijkheidseigenschap ( $\tau_j$ ) toegewezen krijgt die aan het begin van een episode wordt bemonsterd en hun neiging tot wild oversteken vertegenwoordigt. Deze eigenschap is verborgen voor de SDC. Als een voetganger besluit te "gaan", bepaalt een probabilistische worf of ze over een aangewezen zebrapad oversteken of wild oversteken, gebaseerd op hun specifieke $\tau_j$ .
SDC-model: De SDC maakt gebruik van een kinematisch fietsmodel met een maximumsnelheid van 30 km/h. Het werkt onder een paradigma van Gecentraliseerde Training, Gedecentraliseerde Executie (CTDE).
Trainingsarchitectuur:
- Actoren: De SDC en alle 12 voetgangers delen actorparameters (homogene agenten).
- Criticus: Een gedeelde gecentraliseerde criticus observeert een globale toestand (58 dimensies), inclusief de posities en snelheden van alle agenten, de SDC-toestand en de verborgen neigingen tot wild oversteken van voetgangers.
- Beloningen: Het systeem maakt gebruik van een gemengde beloningsfunctie (50% voetganger, 50% SDC) om samenwerking te stimuleren. Voetgangers ontvangen beloningen voor vooruitgang en een "slim-wacht"-bonus wanneer ze wachten bij een snel naderende SDC. De SDC wordt zwaar gestraft voor botsingen en te hard rijden in de buurt van bezette oversteekplaatsen, maar ontvangt geen positieve beloning voor onbepaalde stilstand om beloningshacking te voorkomen.
Kwantificering van Onzekerheid: De auteurs introduceren een Snelheidsdifferentiemeter om de reactie van de SDC op onzekerheid te meten. Deze berekent het verschil in SDC-snelheid bij het naderen van voorspelbare zebrapadgebruikers versus onvoorspelbare wildoverstekers op specifieke afstanden. Een positief verschil geeft aan dat de SDC de ontmoeting met wildoversteken niet heeft voorzien.

Belangrijkste Bijdragen

MARL Gezamenlijke Trainingsomgeving: Het artikel beschrijft een nieuwe omgeving waarin een SDC en 12 voetgangers gezamenlijk worden getraind, waarbij wild oversteken wordt aangedreven door een latente persoonlijkheidseigenschap die voor het voertuig onzichtbaar is. Dit breidt eerdere MARL-werkzaamheden rond kruispunten uit door het aantal agenten te verhogen en gedragsonzekerheid gedreven door eigenschappen in te voeren.
Snelheidsdifferentiemeter: Een nieuwe metriek wordt geïntroduceerd om direct uit trajecten te kwantificeren hoe de snelheid van een SDC varieert tussen voorspelbare en onvoorspelbare ontmoetingen, waardoor een maatstaf voor onzekerheid op trajectniveau wordt geboden.
Emergent Gedrag van Samenwerking: De studie toont empirisch aan dat gezamenlijke training leidt tot emergent gedrag van samenwerkend wachten bij voetgangers (die leren wachten wanneer de SDC met snelheid naderbij komt) en botsingen vermindert in vergelijking met training met een enkele agent.

Experimentele Resultaten
Evaluaties werden uitgevoerd over 500 episodes met vaste zaden:

Prestaties versus Baselines: De gezamenlijk getrainde MARL-SDC behaalde een doelvoltooiingspercentage van 78% met een botsingspercentage van 14%. Dit presteerde aanzienlijk beter dan de beste op regels gebaseerde baseline (35% doelen, 33% botsingen) en een SDC met versterkend leren van een enkele agent die was getraind tegen gescripte voetgangers (65% doelen, 20% botsingen).
Analyse van Onzekerheid: De snelheidsdifferentiemeter onthulde dat de SDC in de buurt van wildoverstekers (0–3 m) 2,65 m/s sneller reed (8,08 m/s) dan in de buurt van zebrapadgebruikers (5,43 m/s), wat wijst op een gebrek aan anticipatie op wild oversteken.
Toedeling van Botsingen: Hoewel wild oversteken slechts 13% van de oversteekgebeurtenissen vertegenwoordigde, was het verantwoordelijk voor 62% van alle botsingen.
Voordelen van Gezamenlijke Training: Gezamenlijke training verlaagde botsingen met 30% ten opzichte van versterkend leren met een enkele agent (van 20% naar 14%). Bovendien generaliseerde de gezamenlijk getrainde SDC goed naar gescripte voetgangers (76% doelen), en zelfs een SDC met een enkele agent gekoppeld aan met MARL getrainde voetgangers zag zijn botsingspercentage dalen van 20% naar 16%.
Ablatiestudie: De prestaties degradeerden op een vloeiende manier naarmate de frequentie van wild oversteken toenam van 0% naar 30%, maar degradeerde scherp wanneer wild oversteken 50% bereikte, wat suggereert dat het systeem realistische niveaus van onzekerheid tolereert maar worstelt wanneer onvoorspelbaarheid dominant wordt.

Betekenis en Beweringen
Het artikel beweert dat de primaire bijdrage ligt in het genereren van rijkder gedrag van voetgangers tijdens de training en evaluatie van SDC's zonder expliciete programmering van samenwerkend wachten. De auteurs betogen dat de realisme van het voetgangersmodel de veiligheidsbeoordeling van een SDC direct vormgeeft; gescripte modellen onderschatten het verrassingselement van wild oversteken. Door SDC's via eigenschap-gedreven gezamenlijke training bloot te stellen aan situaties met latente intentie, levert het raamwerk een strengere veiligheidsbeoordeling op. De voorgestelde snelheidsdifferentiemeter biedt een kwantitatief hulpmiddel om te beoordelen hoe goed een SDC-beleid omgaat met onzekerheid, wat de op menselijke perceptie gebaseerde beoordelingen aanvult. Het werk suggereert dat MARL-gezamenlijke training een haalbare weg is om SDC's bloot te stellen aan de complexe, heterogene gedragingen die in echte stedelijke omgevingen voorkomen.