LightSim: A Lightweight Cell Transmission Model Simulator for Traffic Signal Control Research

Probleemstelling

Het onderzoek naar verlichtingsregeling met behulp van Reinforcement Learning (RL) wordt momenteel beperkt door de afhankelijkheid van microscopische verkeerssimulators zoals SUMO en CityFlow. Hoewel deze tools hoge fideliteit bieden op voertuigniveau, introduceren ze aanzienlijke inefficiënties voor RL-onderzoek:

• Installatiecomplexiteit: Vereisen platform-specifieke binaries, C++ compilatie of complexe omgevingsvariabelen; ze zijn niet eenvoudig via pip te installeren.
• Configuratie- overhead: Vereisen complexe XML-bestanden voor netwerken, routes en detectoren, wat een hoge drempel vormt voor onderzoekers zonder verkeerstechnische achtergrond.
• Snelheidsbottleneck: De communicatie tussen de Python-RL-code en de externe simulator (via IPC) vertraagt het trainingsproces aanzienlijk, vooral voor on-policy algoritmen die veel interacties nodig hebben.
• Reproduceerbaarheid: Verschillen in versies, bestandsformaten en platformgedrag maken het moeilijk om resultaten exact te reproduceren.

Voor het specifieke probleem van optimalisatie van verkeerslichten is de microscopische detailniveaus (zoals individuele voertuigversnelling of rijstrookwisselingen) echter vaak overbodig. De dominante dynamiek die regelaars moeten beheersen, is de vorming en afvoer van wachtlijnen (queues) tijdens rode en groene fases.

Methodologie: LightSim

De auteurs introduceren LightSim, een lichtgewicht, puur-Python verkeerssimulator gebaseerd op het Cell Transmission Model (CTM).

1. Kernmodel (CTM):

   • LightSim modelleert verkeer als een macroscopische vloeistof in plaats van individuele voertuigen.
   • Wegen worden gediscretiseerd in cellen met een lengte $\Delta x = v_f \cdot \Delta t$.
   • De dynamiek wordt bepaald door een driehoekig fundamenteel diagram dat de relatie tussen dichtheid en stroom beschrijft.
   • De stroom tussen cellen wordt berekend via verzend- en ontvangfuncties ($S_i$ en $R_i$), waarbij de werkelijke stroom het minimum is van de aanvoerende en ontvangende capaciteit.
   • Bij kruispunten worden stromen gemoduleerd door een binaire signaalmasker ($\sigma_m$) die de groene fasen regelt.

2. Architectuur en API:

   • Pure Python: Gebouwd op geoptimaliseerde NumPy-matrixbewerkingen, zonder externe dependencies.
   • Interfaces: Biedt standaard interfaces via Gymnasium (voor single-agent) en PettingZoo (voor multi-agent settings).
   • Netwerkgeneratie: Bevat generators voor roosters, arteriële corridors en import uit OpenStreetMap (OSM). Er zijn 16 vooraf gedefinieerde stadsnetwerken beschikbaar.
   • Mesoscopische extensies: Om de kloof met microscopische simulators te dichten, zijn twee extensies toegevoegd (standaard uitgeschakeld voor snelheid, maar optioneel):
     • Start-up verloren tijd: Simuleert de vertraging bij het opstarten van een groene fase.
     • Stochastische vraag: Voert aankomsten in via een Poisson-verdeling in plaats van deterministisch.

3. Regelaars:
   LightSim bevat zeven ingebouwde regelaars, variërend van klassiek (FixedTime, Webster, SOTL, MaxPressure) tot geavanceerde varianten (LT-Aware MaxPressure, GreenWave) en RL-baselines.

Belangrijkste Bijdragen

1. Snelheid: LightSim bereikt een snelheid van 21.000 stappen per seconde voor een enkel kruispunt en blijft snel (800+ stappen/s) bij grotere netwerken (64 kruispunten). Dit vertaalt zich in een 800x tot 21.000x versnelling ten opzichte van real-time.
2. Eenvoudige Implementatie: Het is volledig pip-installable (pip install lightsim) en vereist slechts drie regels code om een omgeving te starten.
3. Fideliteit en Ranking: Ondanks het macroscopische model, behoudt LightSim de relative prestatie-rangschikking van regelaars (zowel klassiek als RL) die ook in SUMO worden gevonden.
4. Open Benchmark: Het wordt vrijgegeven als een open-source benchmark met 19 scenario's, 7 baselines, een webvisualisatie-dashboard en volledige RL-pipelines.

Resultaten

De auteurs hebben LightSim uitgebreid getest tegen SUMO en interne benchmarks:

• Snelheidsvergelijking: LightSim is 3x tot 7x sneller dan SUMO voor RL-trainingstaken. Het trainen van een PPO-agent voor 100.000 stappen duurt minder dan 5 minuten in LightSim, tegenover 15-30 minuten in SUMO.
• Fideliteit Validatie:
  • De CTM-implementatie reproduceert het theoretische driehoekige fundamentele diagram exact ($R^2 = 1.0$).
  • Cross-simulator validatie: Op zowel enkelvoudige kruispunten als roosternetwerken (4x4) en arteriële corridors, geven LightSim en SUMO dezelfde kwalitatieve rangschikkingen voor regelaars (bijv. adaptieve regelaars zoals MaxPressure presteren beter dan FixedTime).
  • RL Transfer: RL-agenten (DQN, PPO) getraind in LightSim behalen betere resultaten dan klassieke baselines. Wanneer de getrainde strategieën in SUMO worden toegepast, resulteert dit in een significante reductie van vertraging (bijv. 4.9x lagere gemiddelde vertraging) ten opzichte van vaste tijden.
• Mesoscopische Effecten: Wanneer start-up verloren tijd en stochastische vraag worden ingeschakeld, corrigeert LightSim de kunstmatige voordelen die sommige regelaars (zoals MaxPressure met korte groene tijden) hebben in een deterministisch model. De rangschikkingen blijven consistent met SUMO.
• Multi-agent: LightSim ondersteunt succesvol multi-agent RL via PettingZoo, waarbij gedeelde beleidsnetwerken effectieve coördinatie leren op roosternetwerken.

Betekenis en Toekomstperspectief

LightSim lost een fundamenteel probleem op in het onderzoek naar verkeerslichtenregeling: de iteratiesnelheid.

• Prototyping: Onderzoekers kunnen nu algoritmen en beloningssystemen in minuten testen in plaats van dagen, wat snellere innovatie mogelijk maakt.
• Reproduceerbaarheid: Door het verwijderen van platform-specifieke installatiehobbels en XML-configuratie, wordt het makkelijker om resultaten te reproduceren en te vergelijken.
• Beperkingen: LightSim is geen vervanging voor microscopische simulators wanneer gedetailleerde voertuigdynamiek (zoals rijstrookwisselingen, brandstofverbruik of veiligheidstests) nodig is. Het is echter een krachtig prototyping-tool dat de beste algoritmen identificeert voor verdere evaluatie in hogere fideliteit omgevingen.

Samenvattend verlaagt LightSim de drempel voor verkeerssignalenonderzoek aanzienlijk, van "dagen" naar "minuten", terwijl het de wetenschappelijke validiteit van de resultaten behoudt.