VissimRL: A Multi-Agent Reinforcement Learning Framework for Traffic Signal Control Based on Vissim

Technische Samenvatting: VissimRL: Een Multi-Agent Reinforcement Learning Framework voor Verkeerslichtregeling gebaseerd op Vissim

Probleemstelling
Verkeerscongestie vormt aanzienlijke economische en milieutechnische uitdagingen, wat de noodzaak voor effectieve verkeerslichtregeling (Traffic Signal Control, TSC) onderstreept. Hoewel Reinforcement Learning (RL) potentieel heeft getoond in adaptieve TSC, blijft de toepassing ervan in hoogwaardige industriële simulators beperkt. Bestaand onderzoek maakt voornamelijk gebruik van open-source simulators zoals SUMO en CityFlow vanwege hun toegankelijkheid en gestandaardiseerde RL-frameworks (bijv. SUMO-RL). Deze tools vertrouwen echter vaak op regelgebaseerde modellen voor rijgedrag die de verkeersdynamiek te veel versimpelen, wat hun relevantie voor de industrie en beleidsvorming beperkt. Daarentegen wordt Vissim, een commerciële simulator die breed wordt geadopteerd door instanties in de transportsector vanwege de hoogwaardige modellering van rijgedrag en 3D-visualisatie, onderbenut in RL-onderzoek. Deze kloof komt voort uit de complexe Component Object Model (COM) interface van Vissim en het ontbreken van gestandaardiseerde, open-source frameworks voor naadloze RL-integratie.

Methodologie
Het artikel stelt VissimRL voor, een modulair RL-framework dat ontworpen is om de kloof tussen de hoogwaardige simulatiecapaciteiten van Vissim en moderne RL-algoritmen te overbruggen. De architectuur bestaat uit twee primaire componenten:

1. Vissim Wrapper: Een Python-gebaseerde inkapseling van de COM-interface van Vissim. Deze module abstraheert de complexiteit van de onderliggende COM API (die duizenden attributen en objecttypen bevat) naar een gebruiksvriendelijke, hoogwaardige API. Het verzorgt de simulatiecontrole, signaaloperaties en prestatie-evaluatie. Cruciaal is dat de wrapper gebruikmaakt van prestatiegerichte mechanismen zoals batching en caching van herhaalde queries om de overhead van COM-aanroepen te minimaliseren, waardoor de runtime-efficiëntie vergelijkbaar met of zelfs beter dan direct COM-gebruik blijft.
2. RL Environment Framework: Deze component implementeert gestandaardiseerde interfaces die compatibel zijn met Gymnasium (voor single-agent) en PettingZoo (voor multi-agent) API's. Het faciliteert de integratie van mainstream RL-libraries (bijv. Stable-Baselines3, RLlib). Het framework hanteert een modulair ontwerp voor de kerncomponenten van RL:
   • Observatie: Ondersteunt zowel lokale (enkele kruising) als globale (meerdere kruisingen) staatrepresentaties, inclus\nuit kenmerken zoals wachtrijlengte, fase-status, dichtheid en wachttijden.
   • Actie: Breidt de bestaande mogelijkheden uit door drie verschillende typen acties te ondersteunen: Kies volgende fase, Schakel naar volgende of niet en Stel fase-duur in.
   • Beloning: Berekent multi-objectieve gewogen beloningen op basis van metrieken zoals interne/grenswaartjes, vertraging, doorstroming en reistijd.

Het framework ondersteunt zowel single-agent als multi-agent training, waardoor agenten gecoördineerde strategieën kunnen leren in complexe, hoogwaardige omgevingen zonder dat er extra "glue code" nodig is.

Belangrijkste Bijdragen

• Eerste Multi-Agent RL Framework voor Vissim: VissimRL wordt gepresenteerd als het eerste framework dat specifiek voor Vissim is ontworpen en multi-agent RL ondersteunt, wat onderzoek in hoogwaardige verkeerssimulatieomgevingen mogelijk maakt die voorheen ontoegankelijk waren voor de RL-gemeenschap.
• Gestandaardiseerde en Modulaire Architectuur: Het framework biedt gestandaardiseerde overervingsinterfaces voor staten, acties en beloningen, wat de drempel voor onderzoekers aanzienlijk verlaagt. Het breidt de ondersteunde prestatie-metrieken uit van zes (in SUMO-RL) naar elf en introduceert drie verschillende typen acties.
• Efficiëntie-optimalisatie: Door batching en caching te implementeren binnen de Vissim Wrapper, vermindert het framework het aantal COM API-aanroepen met tot wel 21% bij complexe workloads, wat resulteert in lagere latentie en hogere doorvoer vergeleken met ruwe COM-implementaties.
• Ontwikkelingsefficiëntie: De wrapper vermindert de inspanning die nodig is voor het implementeren van equivalente controletaken met ongeveer 84,5% (een reductie van 207 naar 32 regels code) vergeleken met handmatige COM-implementatie.

Experimentele Resultaten
De auteurs hebben VissimRL geëvalueerd via twee niveaus van beoordeling:

1. Wrapper Prestaties: Benchmarks die de Wrapper vergelijken met Raw COM over drie workloads (Step-only, Step+Signal Control, Step+Signal+Evaluation) toonden aan dat de Wrapper een verwaarloosbare overhead introduceert (4% toename) in eenvoudige stap-taken, maar de prestaties daadwerkelijk verbetert (6,8% tot 12,3% lagere latentie) in interactieve taken door de verminderde frequentie van API-aanroepen.
2. RL Effectiviteit: Experimenten werden uitgevoerd op synthetische netwerken (Single-Intersection en Arterial-3) en een real-world scenario (Dayuan Interchange in Taoyuan, Taiwan) met behulp van het Proximal Policy Optimization (PPO) algoritme.
   • Convergentie: Alle drie de actie-ontwerpen vertoonden consistente convergentie en snelle verbetering in vertraging, reistijd en wachttijd in zowel single- als multi-intersection scenario's.
   • Emergente Coördinatie: In het Arterial-3 multi-agent scenario leerde het systeem succesvol een "Green Wave"-fenomeen, waarbij agenten de signaaloffsets coördineerden om voertuigen door meerdere kruisingen te laten rijden zonder te stoppen. De geleerde offsets en fase-duur kwamen nauw overeen met de theoretische optima.
   • Real-World Toepassing: In de Dayuan Interchange casestudy reduceerde de PPO-gebaseerde controle de gemiddelde vertraging met 63% (van 559,7s naar 209,0s), de reistijd met 56% en de wachttijd met 38% vergeleken met fixed-time controle.

Betekenis en Claims
Het artikel claimt dat VissimRL dient als een cruciale brug tussen academisch RL-onderzoek en praktische, industrie-grade verkeerssimulatie. Door de complexiteit van de Vissim COM-interface te encapsuleren terwijl de hoge runtime-efficiëntie behouden blijft, maakt het framework de toepassing van RL in hoogwaardige omgevingen mogelijk die de werkelijke verkeersdynamiek beter reflecteren. De auteurs stellen dat het framework de haalbaarheid aantoont van het toepassen van RL in dergelijke simulaties en consistente verbeteringen in verkeersprestaties en emergente multi-agent coördinatie ondersteunt. Het werk wordt gepositioneerd als een uitgebreide versie van eerder onderzoek, waarbij de implementatie publiekelijk beschikbaar is gesteld om reproduceerbaarheid en verdere ontwikkeling te bevorderen.