Traffic Co-Simulation Framework Empowered by Infrastructure Camera Sensing and Reinforcement Learning

Technische Samenvatting: Co-simulatieframework voor Verkeer, Ondersteund door Infrastructuurcamera-sensoren en Reinforcement Learning

Probleemstelling
Verkeerscongestie blijft een kritieke stedelijke uitdaging, wat geavanceerde strategieën voor verkeerslichtregeling (Traffic Signal Control - TSC) vereist die verder gaan dan traditionele vaste tijdsintervallen of geactiveerde systemen. Hoewel Multi-Agent Reinforcement Learning (MARL) veelbelovend potentieel biedt voor adaptieve signaalregeling, vertrouwen bestaande simulatiestudies vaak op "perfecte" voertuigdetectiedata, waarbij de beperkingen van de echte wereld zoals sensorbetrouwbaarheid, beschikbaarheid van infrastructuur en de ruis inherent aan computervisie worden genegeerd. Standaard verkeerssimulatoren zoals SUMO missen bovendien de hoogwaardige synthetische sensordata die nodig zijn om visuele controlestrategieën realistisch te testen. Er is een gat in frameworks die realistische, grondgebonden cameradetectie integreren met grootschalige netwerkverkeerssimulatie om de robuustheid van MARL-agenten onder imperfecte sensorcondities te evalueren.

Methodologie
De studie stelt een co-simulatieframework voor dat CARLA (voor een hoogwaardige 3D-omgeving en sensorsimulatie) integreert met SUMO (voor microscopische verkeersdoorstroming en signaalregeling).

1. Framework Architectuur:

   • Omgeving: Het framework maakt gebruik van de "Town04" kaart van CARLA, die een binnenstadraster met 12 kruispunten bevat.
   • Sensing: Virtuele RGB-camera's worden programmatisch gespawned op verkeerslichtpalen binnen CARLA. Het systeem berekent automatisch de yaw- en pitch-hoeken van de camera op basis van de coördinaten van de stoplijnen in SUMO om een correcte uitlijning te garanderen.
   • Detectie: Een YOLO-gebaseerd computervisionsysteem (specifiek YOLOv5 en YOLOv8) verwerkt camerabeelden om voertuigen in naderende rijstroken te detecteren en te tellen. Om de computationele belasting te beheersen, verwerkt het systeem beelden in batches elke 5 seconden (elke 100 simulatie-ticks).
   • State Translatie: Een aangepaste module vertaalt ruwe visuele detectiedata (voertuigtellingen) naar de gestructureerde state-vectoren (rijstrookbezetting en wachtrijlengte) die vereist zijn door de MARL-agenten. Dit overbrugt de kloof tussen ruwe beelddata en het Q-learning inputformaat.

2. Reinforcement Learning:

   • Agenten: Multi-Agent Q-learning agenten worden getraind om individuele verkeerslichten aan te sturen. Elke agent opereert onafhankelijk zonder communicatie tussen agenten.
   • State Space: Gedefinieerd door de huidige fase-index, de status van de minimale groentijd en vectoren voor rijstrookbezetting en wachtrijlengte.
   • Action Space: De selectie van de volgende groene fase-index.
   • Reward Functies: Vier verschillende reward-structuren werden getest om de agenten te trainen:
     1. Verschil in wachttijden.
     2. Gemiddelde snelheid van voertuigen nabij het kruispunt.
     3. Negatieve wachtrijlengte.
     4. Druk (verschil tussen vertrekkende en naderende voertuigen).

3. Experimentele Opstelling:

   • Agenten werden getraind in SUMO met ground-truth data en werden vervolgens ingezet in de CARLA-SUMO co-simulatie.
   • Experimenten werden uitgevoerd onder scenario's met gemiddelde en zware verkeersvraag.
   • Prestaties werden geëvalueerd door de MARL-agenten met camera-gebaseerde detectie te vergelijken met statische timing, geactiveerde regeling en agenten die gebruikmaken van ground-truth observaties.

Belangrijkste Bijdragen

• Nieuw Co-Simulatieframework: De studie presenteert het eerste framework dat expliciet een netwerk van op infrastructuur gemonteerde camera's voor MARL-gebaseerde TSC modelleert en evalueert, door hoogwaardige 3D-rendering (CARLA) te integreren met grootschalige verkeersdoorstroming (SUMO).
• Geautomatiseerde Camera-implementatie: Een technische bijdrage betreft het geautomatiseerd spawnen van virtuele camera's op verkeerspalen en de berekening van hun oriëntatie (yaw/pitch) op basis van de coördinaten van de stoplijnen van de rijstroken, wat een schaalbare implementatie in complexe netwerken mogelijk maakt zonder handmatige configuratie.
• Evaluatie van Robuustheid: Het framework test expliciet de robuustheid van MARL tegen imperfecte sensing. Het vergelijkt de prestaties van YOLOv5 en YOLOv8 en analyseert hoe detectiefouten (false positives/negatives) de prestaties van agenten met verschillende reward-functies beïnvloeden.
• Vision-to-State Translatie: De ontwikkeling van een translatie-module die ruwe visuele detectietellingen omzet in de specifieke bezettings- en wachtrijmetrieken die vereist zijn voor vooraf getrainde Q-learning agenten.

Resultaten

• Prestatieverbetering: MARL-agenten presteerden significant beter dan statische timing en geactiveerde regeling methoden in het verminderen van de totale reistijd en de gemiddelde wachttijden, met name wanneer de gemiddelde snelheid reward functie werd gebruikt.
• Impact van Detectienauwkeurigheid: Hoewel een hogere detectienauwkeurigheid (YOLOv8 vs. YOLOv5) de systeemprestaties verbeterde, stelde de studie vast dat MARL-agenten nog steeds significante verbeteringen konden bereiken, zelfs met imperfecte detectie.
• Gevoeligheid van de Reward Functie:
  • Agenten getraind met gemiddelde snelheid rewards vertoonden de hoogste robuustheid tegen de ruis van de sensoren, met minder dan 10% prestatieverlies vergeleken met ground-truth scenario's in gemiddeld verkeer.
  • Agenten getraind met wachtrijlengte en druk rewards waren zeer gevoelig voor detectiefouten. In zwaar verkeer slaagde de wachtrijlengte-agent er niet in effectief te leren, omdat deze consistent "volle wachtrijen" observeerde door spillback buiten het gezichtsveld van de camera, wat leidde tot suboptimale fase-selectie.
• Computationele Trade-offs: Hoewel YOLOv8 betere nauwkeurigheid (lagere Mean Absolute Error) bood, verdubbelde het de simulatie-wandkloktijd ten opzichte van real-time, wat wijst op een afweging tussen detectiefidelity en simulatiesnelheid.

Betekenis en Claims
Het artikel claimt dat dit werk een cruciale stap is naar de praktische implementatie van infrastructuur-ondersteunde reinforcement learning voor autonome voertuigen. Door aan te tonen dat visuele regeling effectief blijft ondanks imperfecte sensing, adresseert de studie een belangrijke barrière voor real-world implementatie. Het framework dient als een virtuele testomgeving voor het evalueren van controle-strategieën onder realistische condities (weer, lichtinval, sensorruis) die moeilijk te repliceren zijn in single-simulator omgevingen.

De auteurs positioneren deze co-simulatiebenadering als een fundamentele stap richting Digital Twin technologieën voor stedelijk verkeer. Ze stellen dat dergelijke frameworks essentieel zijn voor het trainen van robuuste algoritmen die om kunnen gaan met ruisige data en variabiliteit in infrastructuur voordat ze worden ingezet. De studie concludeert dat hoewel detectienauwkeurigheid gunstig is, de keuze van de reward functie doorslaggevend is voor het waarborgen van systeemrobuustheid in het licht van de beperkingen van real-world sensing.