⚡ electrical engineering

Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

Dit artikel stelt MA2B-DDQN voor, een mensgericht multi-agent deep reinforcement learning-framework dat een action-branching-architectuur gebruikt om verkeerslichtregeling te deconstrueren en de gelijkheid op reizigersniveau te optimaliseren, waarbij significante reducties van vertraagde individuen over diverse stedelijke scenario's in Melbourne worden aangetoond.

Oorspronkelijke auteurs: Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een drukke stadsstraat voor als een gigantische, complexe dansvloer. Op dit moment zijn de verkeerslichten als een DJ die een rigide, vooraf opgenomen afspeellijst afspeelt. Ze schakelen op basis van een timer, ongeacht of de dansvloer vol mensen staat of grotendeels leeg is. Dit leidt vaak tot chaos: auto's staan te wachten terwijl lege banen onbenut blijven, en voetgangers blijven aan de stoeprand stranden.

Het artikel dat je hebt gedeeld, introduceert een nieuwe, slimmere DJ genaamd MA2B-DDQN. In plaats van een vaste timer te volgen, luistert deze DJ in realtime naar de ruimte en bepaalt hij de muziek (de verkeerssignalen) op basis van wie er daadwerkelijk aanwezig is en hoe lang zij al wachten.

Hier is een overzicht van hoe dit nieuwe systeem werkt, met behulp van eenvoudige analogieën:

1. Het Doel: Eerlijkheid voor Iedereen, Niet Alleen voor Auto's

De meeste verkeerssystemen zijn als een feestje waar alleen de VIP's (auto's) aandacht krijgen. Als een auto vaststaat, verandert het licht. Als een voetganger wacht, wordt hij vaak genegeerd.

Dit nieuwe systeem is als een eerlijke gastheer. Het telt iedereen in de ruimte: de mensen in auto's, de mensen in bussen, de fietsers en de mensen die lopen. Als een bus met 50 mensen wacht, behandelt het systeem dit als een grotere "vertraging" dan een enkele auto met één bestuurder. Het doel is niet alleen om auto's snel te laten rijden; het doel is om ervoor te zorgen dat het totaal aantal mensen dat wacht, zo laag mogelijk is.

2. Het Probleem: Te Veel Keuzes

Het besturen van verkeerslichten is moeilijk omdat er te veel beslissingen tegelijkertijd genomen moeten worden.

De Oude Manier: Stel je voor dat je tegelijkertijd 3 verschillende kruispunten probeert te besturen. Voor elk kruispunt moet je beslissen: "Moet het licht rood of groen zijn?" en "Hoe lang moet het groen blijven?". Als je probeert al deze beslissingen tegelijk te nemen, is het alsof je een Rubiks kubus probeert op te lossen terwijl je jongleert. De computer raakt overweldigd en maakt fouten.

3. De Oplossing: De "Branching" Strategie

De auteurs hebben een slimme truc uitgevonden genaamd Action Branching. Denk hierbij aan een Generaal en zijn luitenanten.

De Globale Actie (De Generaal): Er is één "Generaal" die de totale duur van de volgende twee fasen bepaalt (bijv. "De volgende twee lichten zullen in totaal 60 seconden duren"). Dit is één grote beslissing die voor iedereen geldt.
De Lokale Acties (De Luitenanten): Zodra de Generaal de totale tijd heeft ingesteld, beslissen de "Luitenanten" (de agenten bij elk specifiek kruispunt) hoe ze die tijd verdelen. Bijvoorbeeld: Kruispunt A krijgt misschien 40 seconden voor auto's en 20 seconden voor voetgangers, terwijl Kruispunt B 30 en 30 krijgt.

Door de beslissing op te splitsen in "Hoe lang is het hele blok?" en "Hoe verdelen we die tijd?", voorkomt het systeem dat het overweldigd raakt. Het maakt de complexe wiskunde beheersbaar, waardoor de AI sneller leert en betere beslissingen neemt.

4. De Training: Leren door Vallen en Opstaan

Het systeem maakt gebruik van een methode genaamd Deep Reinforcement Learning. Stel je een student voor die leert een videogame spelen.

In het begin maakt de student (de AI) willekeurige zetten.
Als ze in de file komen te staan, krijgen ze een "negatieve score" (een straf).
Als ze het verkeer soepel laten doorstromen, krijgen ze een "positieve score" (een beloning).
Over duizenden pogingen heen leert de student de beste zetten te maken om straffen te vermijden.

In dit artikel is de "score" gebaseerd op menselijke vertraging. De AI krijgt een zware straf als een enkel persoon (of dat nu in een auto of te voet is) te lang moet wachten.

5. De Resultaten: Een Soepeler Verloop

De onderzoekers hebben dit nieuwe "Generaal en Luitenanten"-systeem getest in zeven verschillende verkeersscenario's in Melbourne, Australië. Deze scenario's varieerden van rustige daluren tot de spits, het wegbrengen van kinderen naar school en zelfs situaties nabij verkeersopstoppingen.

Ze vergeleken hun nieuwe systeem met:

Vaste Timers: De ouderwetse lichten die nooit veranderen.
Andere AI-Systemen: Andere slimme verkeerssystemen die de "branching"-truc niet gebruiken of zich niet richten op eerlijkheid.

De Bevindingen:

De Winnaar: MA2B-DDQN (het nieuwe systeem) had consequent de laagste totale vertraging voor mensen. Het verplaatste meer mensen sneller door het kruispunt dan welke andere methode dan ook.
Stabiliteit: Het was ook de meest betrouwbare methode. Terwijl andere AI-systemen soms enorme pieken in verkeersopstoppingen hadden (zoals een achtbaan), hield dit systeem de verkeersstroom constant en soepel.
De "Double" Boost: De onderzoekers ontdekten dat het toevoegen van een specifieke "Double Q-Network" feature (een manier om de eigen berekeningen dubbel te checken) het systeem nog beter maakte, waardoor fouten werden verminderd en de prestaties met wel 16% verbeterden vergeleken met soortgelijke systemen.

Samenvatting

Dit artikel presenteert een nieuwe manier om verkeerslichten te besturen die elke reiziger — of ze nu in een auto, een bus of te voet zijn — als even belangrijk beschouwt. Door de complexe taak van het besturen van meerdere kruispunten op te splitsen in een "Generaal" (die de totale tijd instelt) en "Luitenanten" (die de tijd verdelen), kan het systeem het verkeer veel efficiënter beheren. Het resultaat is een eerlijkere, soepelere en minder frustrerende reis voor iedereen op de weg.

Technische Samenvatting: Mensgerichte Verkeerslichtregeling voor Gelijkheid

Probleemstelling
Het coördineren van verkeerslichten langs multimodale corridors brengt aanzienlijke uitdagingen met zich mee. Bestaande Multi-Agent Deep Reinforcement Learning (DRL) benaderingen zijn overwegend voertuiggericht en verwaarlozen vaak voetgangers, fietsers en passagiers in het openbaar vervoer. Bovendien hebben deze methoden moeite met de hoogdimensionale discrete actieruimtes die inherent zijn aan coördinatie tussen meerdere kruispunten. Traditionele adaptieve systemen (bijv. SCATS, SCOOT) vereisen vaak handmatige afstemming en slagen er niet in om niet-gemotoriseerde gebruikers adequaat te faciliteren. Het kernprobleem dat wordt geadresseerd is het gebrek aan een schaalbaar, mensgericht framework dat expliciet optimaliseert voor gelijkheid op reizigersniveau (eerlijkheid tussen alle transportmodi), terwijl het tegelijkertijd de complexiteit van discrete actieruimtes in een multi-agent omgeving effectief beheert.

Methodologie: MA2B-DDQN
De auteurs stellen MA2B-DDQN (Multi-Agent Action-Branching Double Deep Q-Network) voor, een coöperatief multi-agent DRL-framework ontworpen voor middelgrote corridornetwerken. De methodologie is gebouwd op vijf kerncomponenten:

Omgeving en Toestandsrepresentatie:
- De simulatie maakt gebruik van PTV VISSIM die een realistische corridor in Melbourne, Australië, modelleert, met drie kruispunten en gemengd verkeer (auto's, bussen, voetgangers).
- De toestandsvector $S_t$ combineert drie elementen: verkeerscondities (voertuigbezetting, snelheid, acceleratie en passagiersaantallen per rijstrookcel), voetgangersinformatie (wachtaantallen per zone) en de huidige verkeerslichtfasen (one-hot gecodeerd).
Action Branching Architectuur:
- Om de "vloek van dimensionaliteit" in discrete multi-agent ruimtes aan te pakken, wordt de actieruimte gedecomposeerd in $n+1$ dimensies (waarbij $n$ het aantal kruispunten is).
- Lokale Acties ( $n$ dimensies): Elke agent bepaalt onafhankelijk de verdeling van de groentijdratio ( $p_{i,1}$ ) tussen de volgende twee fasen.
- Globale Actie (1 dimensie): Een enkele globale actie selecteert de totale duur ( $C$ ) van de komende twee fasen voor de gehele corridor.
- Deze decompositie stelt het model in staat om discrete beslissingen (faseselectie en duur) efficiënter te verwerken dan standaard joint-action DRL.
Mensgericht Beloningsmechanisme:
- In tegen tegenover traditionele beloningen gebaseerd op voertuigwachtrijlengte of doorstroom, straft de beloningsfunctie het totaal aantal vertraagde individuen af.
- Het aggregeert vertragingen voor voetgangers, voertuigbezetters en passagiers in het openbaar vervoer. Een vertraging wordt getriggerd wanneer de voertuigsnelheid onder een drempelwaarde valt (5 km/u) of wanneer voetgangers bij oversteekzones wachten.
- De beloning wordt geformuleerd als $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$ , waarbij de nadruk ligt op het verminderen van het aantal getroffen reizigers in plaats van alleen de voertuigdoorstroom.
Netwerkarchitectuur:
- Het model maakt gebruik van een Double DQN (DDQN) framework om Q-waarde overschatting te beperken.
- Het netwerk gebruikt een gedeelde feature extractor (twee dense lagen met ReLU en Layer Normalization) die naar $n+1$ parallelle output heads leidt (één per actiedimensie).
- Acties worden geselecteerd via $\arg\max$ over de Q-waarden van elke branch.
Leeralgoritme:
- Het systeem gebruikt Centralized Training with Decentralized Execution (CTDE). Agents delen globale informatie tijdens de training om beleid bij te werken, maar voeren acties lokaal uit.
- De verliesfunctie is het gemiddelde van de verliezen over alle $n+1$ actiedimensies, geoptimaliseerd met de Adam-optimizer.

Belangrijkste Bijdragen

Mensgerichte Gelijkheid: De studie introduceert een vooruitziende TSC-benadering die alle deelnemers aan het transportnetwerk (passagiers in privévoertuigen, passagiers in het openbaar vervoer, fietsers en voetgangers) gelijk behandelt en expliciet optimaliseert voor de vermindering van vertraagde individuen.
Coöperatief Multi-Agent Framework: De auteurs presenteren een framework dat adaptief een globale actie (totale fase-duur) bepaalt met behulp van gedeelde informatie, terwijl het tegelijkertijd lokale verkeerslichtinstellingen (groentijdverdelingen) optimaliseert via individuele agents.
Action Branching voor Multi-Agent DRL: Dit is de eerste toepassing van een action-branching architectuur op multi-agent TSC. Het beheert de discrete actieruimte en de multi-agent setting effectief door het controleprobleem te decomponeren, waardoor de complexiteit van gezamenlijke besluitvorming wordt verminderd.

Experimentele Resultaten
Het model werd geëvalueerd over zeven realistische verkeersscenario's in Melbourne, variërend van daluren en spitsuren tot schoolperiodes en verzadigingscondities. Het werd afgezet tegen negen baselines, waaronder vaste tijdsignalen (Webster's Formule, Green Wave) en diverse DRL-modellen (MADQN, MADDQN, MADDPG, CMRM, MASAC, MAA2C, MA2B-DQN).

Prestaties: MA2B-DDQN behaalde consistent de laagste Aggregate Individual Delay (AID) en Per Capita Delay (PCD) in alle scenario's.
- In Scenario 1 (daluren) verminderde het de AID met 36,75% vergeleken met de beste vaste signaal-baseline en met 11,94% vergeleken met de beste DRL-baseline (MAA2C).
- In Scenario 2 (spitsuur) verbeterde het de prestaties met 11,73% ten opzichte van het op één na beste DRL-model.
- In Scenario 4 (middagschoolperiode) bereikte het een verbetering van 35,24% ten opzichte van MASAC.
Robuustheid: Het model vertoonde de laagste standaarddeviatie in prestatie-indicatoren over herhaalde proeven, wat wijst op een hoge stabiliteit vergeleken met baselines zoals MADDPG, die een hoge variantie vertoonden.
Ablatie-studies:
- Het verwijderen van het action branching mechanisme verslechterde de prestaties aanzienlijk (bijv. een toename van 16,09% in AID in Scenario 1), wat bevestigt dat het een cruciale rol speelt in leer-efficiëntie.
- Het integreren van de Double DQN (DDQN) architectuur verbeterde de prestaties met 2,93% tot 16,40% vergeleken met standaard DQN, afhankelijk van het scenario, wat de mitigatie van overschatting valideert.
Trade-offs: Hoewel MA2B-DDQN uitblonk in algemene gelijkheid en voertuigdoorstroom, behaalden sommige baselines (bijv. CMRM, MASAC) incidenteel lagere voetgangers-specifieke vertragingen (APDS/AWTP) ten koste van aanzienlijk hogere voertuigvertragingen. MA2B-DDQN handhaafde een meer gebalanceerde optimalisatie over de verschillende modi.

Betekenis en Claims
Het artikel claimt dat MA2B-DDQN een schaalbare, robuuste oplossing biedt voor multimodale verkeerslichtregeling die expliciet aandacht besteedt aan gelijkheid. De betekenis ligt in:

De verschuiving van het paradigma van voertuiggerichte optimalisatie naar gelijkheid op individueel niveau, wat zorgt voor eerlijke toegang voor alle weggebruikers, ongeacht hun transportmodus.
Het aantonen dat action branching een levensvatbare en effectieve strategie is voor het afhandelen van hoogdimensionale discrete actieruimtes in multi-agent omgevingen, waarbij het zowel traditionele vaste-tijd controles als andere state-of-the-art DRL-methoden overtreft.
Het bieden van een praktisch framework dat aanpasbaar is aan uiteenlopende stedelijke condities, gevalideerd op een realistische corridor met realistische multimodale verkeersgegevens.

De auteurs concluderen dat hoewel DRL over het algemeen beter presteert dan vaste-tijd methoden, de specifieke combinatie van action branching, DDQN en mensgerichte beloningen noodzakelijk is om zowel een hoge efficiëntie als eerlijkheid in complexe, multimodale netwerken te bereiken. Zij merken op dat in situaties nabij verzadiging, de fysieke rijstrookcapaciteit de limiterende factor wordt, maar dat hun methode nog steeds een superieure prestatie handhaaft ten opzichte van de baselines.