⚡ electrical engineering

Adaptive traffic signal control optimization using a novel road partition and multi-channel state representation method

Dit onderzoek presenteert een geavanceerde methode voor adaptief verkeerslichtbeheer die Deep Q-Networks en Proximal Policy Optimization combineert met een innovatieve wegindeling en multi-kanaals staterepresentatie om de doorstroming, snelheid en brandstofverbruik effectiever te optimaliseren dan bestaande vaste celmethodes.

Oorspronkelijke auteurs: Maojiang Deng, Shoufeng Lu, Jiazhao Shi, Wen Zhang

Gepubliceerd 2026-02-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maojiang Deng, Shoufeng Lu, Jiazhao Shi, Wen Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een verkeersknooppunt een enorm drukke kruising is in een stad, waar auto's als een stroom van water proberen door te komen. Vaak staan de verkeerslichten op een vast ritme, alsof ze een ouderwetse klok volgen, ongeacht of er nu een lege weg is of een file tot aan de horizon. Dit zorgt voor onnodige files, stress en uitlaatgassen.

De auteurs van dit artikel, Maojiang Deng en zijn team, hebben een slimme nieuwe manier bedacht om deze verkeerslichten "slimmer" te maken. Ze gebruiken kunstmatige intelligentie (AI) om de lichten in real-time te laten reageren op het verkeer. Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. De "Slimme Liniaal" (Variabele Cellen)

Stel je voor dat je de weg voor een kruising moet indelen in stukjes, zodat de computer kan zien waar de auto's staan.

De oude manier: Je deelt de weg in gelijke stukken, bijvoorbeeld allemaal 50 meter lang. Dit is als een liniaal met vaste streepjes. Het probleem is dat de sensoren (de "ogen" van de lichten) soms korter of langer kunnen kijken. Als de sensor maar 100 meter ziet, maar je liniaal is voor 500 meter, krijg je een rommeltje.
De nieuwe manier: De auteurs hebben een "magische liniaal" bedacht. Deze liniaal past zich automatisch aan!
- Dicht bij de stoplijn (waar het belangrijkst is) zijn de stukjes heel klein en fijn, zodat je elk autootje ziet.
- Hoe verder je van de kruising af komt, hoe groter de stukjes worden.
- De analogie: Het is alsof je een foto maakt met een zoomlens. Dichtbij zoom je in (veel detail, kleine stukjes), en verderop zoom je uit (minder detail, grotere stukjes).
- Het voordeel: Of de sensor nu 150 meter of 500 meter kan zien, de computer krijgt altijd precies hetzelfde aantal "vakjes" (bijvoorbeeld 10 stuks) gepresenteerd. Hierdoor kan de AI die op de ene kruising is getraind, direct worden gebruikt op een andere kruising zonder opnieuw te hoeven leren. Het is alsof je een vaardigheid leert die werkt op elke maat schoen, niet alleen op maat 42.

2. De "Drie-Kleuren Foto" (Multi-kanaals Toestand)

Om te beslissen wat het licht moet doen, kijkt de AI niet alleen naar één ding. Ze maakt een soort "driedimensionale foto" van het verkeer in elk van die vakjes.

Kanaal 1: Hoeveelheid. Hoeveel auto's zitten er? (De drukte).
Kanaal 2: Snelheid. Hoe hard rijden ze? (Staan ze stil of vliegen ze?).
Kanaal 3: Ruimte. Hoe vol is de weg? (Zit er nog ruimte voor een auto of staat het propvol?).
De analogie: Het is alsof je niet alleen naar een menigte kijkt, maar ook ziet of ze rennen of staan, en hoe dicht op elkaar ze staan. Dit geeft de AI een veel vollediger beeld dan alleen tellen.

3. De "Oefenmeester" (Beloningssysteem)

De AI moet leren wat de beste beslissing is. Ze krijgt een score (een beloning) gebaseerd op drie dingen:

Wachttijd: Hoe minder mensen wachten, hoe hoger de score.
Snelheid: Hoe sneller de auto's kunnen doorrijden, hoe hoger de score.
Brandstof: Hoe minder ze moeten stoppen en starten (wat benzine kost), hoe hoger de score.
De analogie: Het is als een spelletje waarbij je punten verdient als je de auto's snel en soepel laat rijden. Als je een verkeerde beslissing neemt (bijvoorbeeld een groen licht geven terwijl er niemand is), krijg je strafpunten.

4. Twee Slimme Studenten (DQN en PPO)

De auteurs hebben twee verschillende soorten AI-algoritmes getest om te zien wie de beste leraar is:

DQN: Een sterke student die veel probeert en fouten maakt, maar langzaam leert.
PPO: Een nog slimmere student die zijn strategie stap voor stap verfijnt zonder grote, riskante sprongen te maken.
Het resultaat: De "PPO-student" deed het het beste. Hij leerde sneller en maakte minder fouten. Hij kon de verkeerslichten zo instellen dat de wachttijden en files het sterkst afnamen.

5. De "Reis" (Overdraagbaarheid)

Het coolste deel van dit onderzoek is dat ze de AI hebben getest op een kruising met een sensor die 300 meter ziet, en hem vervolgens direct hebben gestuurd naar een kruising waar de sensor 500 meter ziet.

Het resultaat: Omdat hun "magische liniaal" (variabele cellen) de weg altijd in hetzelfde aantal stukjes verdeelde, werkte de AI daar direct perfect. Hij hoefde niet opnieuw te leren.
De analogie: Het is alsof je een piloot traint om te vliegen in een klein vliegtuigje, en hij daarna direct in een groot vliegtuig kan vliegen zonder extra lessen, omdat hij de basisprincipes van "vliegen" heeft begrepen, niet alleen de afmetingen van het ene vliegtuig.

Conclusie

Kortom, deze onderzoekers hebben een systeem bedacht dat verkeerslichten laat "zien" met een slimme, aanpasbare lens. Hierdoor kunnen ze beter beslissen dan de oude, starre systemen. Het resultaat is minder files, minder uitlaatgassen en minder stress voor automobilisten. Het is een stap in de richting van steden waar het verkeer als een soepele stroom loopt, geleid door een slimme, digitale verkeersregelaar.

Probleemstelling

Stedelijke verkeerscongestie vormt een grote uitdaging voor reistijd, energieconsumptie en emissies. Traditionele verkeerslichtregelingen (zoals vaste tijden of geautomatiseerde systemen) zijn vaak star en reageren niet optimaal op dynamische verkeersstromen. Hoewel kunstmatige intelligentie (AI) en versterkend leren (Reinforcement Learning - RL) veelbelovend zijn, bestaan er twee belangrijke beperkingen in de huidige toepassing:

Onderscheidende sensorbereiken: Bestaande methoden voor het partitioneren van wegen (indelen in cellen) gebruiken vaak vaste lengtes. Dit creëert een mismatch tussen de input van getrainde AI-modellen en de werkelijke detectiebereiken van sensoren in de praktijk (die variëren van 150m tot 500m bij radar-video sensoren).
Slechte generalisatie: RL-modellen voor verkeerslichten vereisen vaak specifieke training voor elk kruispunt, waardoor ze moeilijk overdraagbaar zijn naar andere locaties met verschillende fysieke kenmerken.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat Deep Q-Networks (DQN) en Proximal Policy Optimization (PPO) combineert met twee kerninnovaties: een variabele celverdelingsmethode en een multi-kanaals staterepresentatie.

1. Variabele Celverdeling (Road Partition)

In plaats van wegen in gelijke stukken te verdelen, wordt een nieuwe formule voorgesteld die cellen van variabele lengte genereert:

Principe: Cellen dichter bij de stoplijn zijn korter (voor fijnere granulariteit, aangezien deze voertuigen meer impact hebben op het signaal), en cellen verder weg worden langer.
Formule: De lengte van een cel $f(x)$ wordt berekend als de som van een logaritmische en een lineaire functie:
$f(x) = a \ln(x + 1) + bx$
waarbij $x$ de celindex is en $a, b$ coëfficiënten zijn die worden bepaald op basis van het totale detectiebereik ( $d$ ) en het gewenste aantal cellen ( $n$ ).
Voordeel: Deze methode zorgt ervoor dat, ongeacht het fysieke detectiebereik van de sensor, het model altijd werkt met hetzelfde aantal cellen ( $n$ ). Dit maakt het mogelijk om een model dat is getraind op een kruispunt met een 300m-bereik direct toe te passen op een kruispunt met een 500m-bereik, zonder hertraining.

2. Multi-kanaals Staterepresentatie

De toestand van het verkeer wordt weergegeven als een 3D-tensor (analoog aan een afbeelding in beeldverwerking) met de volgende dimensies:

Aantal rijstroken $\times$ Aantal cellen $\times$ 3 kanalen.
De drie kanalen bevatten per cel:
1. Het aantal voertuigen.
2. De gemiddelde snelheid.
3. De ruimtelijke bezetting (space occupancy: verhouding tussen totale voertuiglengte en celgrootte).
De data wordt genormaliseerd met historische maximumwaarden om convergentie te bevorderen.

3. Actie- en Beloningsruimte

Actieruimte: 8 discrete fasen (bijv. oost-west recht, oost-west links, etc.). De geselecteerde fase krijgt een vaste groene tijd (15 seconden).
Beloningsfunctie: Een gewogen som van drie gemeten variabelen:
$r(t) = -0.7 \times \text{wachttijd} + 0.2 \times \text{snelheid} - 0.1 \times \text{brandstofverbruik}$
Wachttijd en brandstofverbruik worden bestraft (negatief gewicht), terwijl snelheid wordt beloond (positief gewicht).

Kernbijdragen

Novel Road Partition Formula: Een adaptieve verdelingsformule die onafhankelijk is van het fysieke sensorbereik, waardoor de inputstructuur voor het AI-model consistent blijft.
Multi-channel State Representation: Een gedetailleerde weergave van de verkeerssituatie die niet alleen het aantal voertuigen, maar ook snelheid en bezetting per cel integreert, wat leidt tot een completer beeld voor de agent.
Cross-range Transferability: Het bewijs dat een model getraind op één detectiebereik (bijv. 300m) direct en effectief kan worden toegepast op een ander bereik (bijv. 500m) zonder fine-tuning, dankzij de variabele celverdeling.

Resultaten

De simulaties zijn uitgevoerd in SUMO met TensorFlow en Python, waarbij DQN en PPO werden vergeleken met vaste tijden en geautomatiseerde regelingen.

PPO vs. DQN: De PPO-algoritme presteerde over het algemeen beter dan DQN, voornamelijk vanwege de stabiliteit en de directe optimalisatie van het beleid, wat robuuster is tegenover ruis in beloningssignalen.
VCL vs. FCL (Variabele vs. Vaste Cel): Het model met variabele celverdeling (VCL) en multi-kanaals input (VCL-PPO) presteerde significant beter dan modellen met vaste celverdeling (FCL) of zonder cel-discretisatie.
- Kernmetrics: VCL-PPO resulteerde in de laagste cumulatieve wachttijden en de kortste rijstroken over verschillende verkeersintensiteiten (500 tot 3000 voertuigen/uur).
Transferability: Bij de overdracht van een model getraind op 300m naar een scenario van 500m behield het model zijn superieure prestaties ten opzichte van traditionele vaste tijden, wat de generalisatiekracht bevestigt.
Stochastisch Verkeer: Bij wisselende verkeersstromen was de convergentie trager en oscillerender dan bij constante stromen, wat aangeeft dat meer trainingsepisodes nodig zijn voor complexe scenario's.

Significantie

Dit onderzoek biedt een praktische oplossing voor de implementatie van AI-gedreven verkeerslichtregeling in de echte wereld. Door de afhankelijkheid van specifieke sensorafstanden te doorbreken, verlaagt het de drempel voor de implementatie van slimme verkeerssystemen. De methode maakt het mogelijk om één model te trainen en dit vervolgens op diverse kruispunten met verschillende sensoren te deployen, wat de kosten en de tijd voor implementatie aanzienlijk verlaagt. De combinatie van variabele celverdeling en gedetailleerde staterepresentatie vormt een robuuste basis voor toekomstige, schaalbare slimme verkeersnetwerken.