Technische Samenvatting: Active Inference voor Adaptieve Verkeerslichtregeling in Ruisende, Niet-stationaire IoT-omgevingen

1. Probleemstelling

De regeling van stedelijke verkeerslichten staat voor aanzienlijke uitdagingen bij implementaties in de echte wereld, waar sensordata vaak incompleet, ruisend en onderhevig aan niet-stationaire vraagpatronen zijn. Traditionele regelgebaseerde controllers missen de flexibiliteit onder onvoorspelbare omstandigheden, terwijl Deep Reinforcement Learning (DRL)-benaderingen, hoewel krachtig, uitgebreide trainingsdata vereisen en lijden onder "black-box"-interpreteerbaarheidsproblemen, wat ze moeilijk controleerbaar maakt. Bovendien wordt IoT-sensoring in kruispunten in de echte wereld gecompromitteerd door sensor-occlusie (bijv. door zware voertuigen), attenuatie door extreem weer en stochastische infrastructurele verstoringen (bijv. ongelukken). Dit artikel adresseert de behoefte aan een verkeerslichtcontroller die effectief blijft onder deze ruisende, gedeeltelijk observeerbare omstandigheden en tegelijkertijd een traceerbaar besluitvormingsproces biedt.

2. Methodologie

De auteurs stellen een Active Inference (AIF) controller voor voor een kruispunt met vier armen. In tegenstelling tot standaard controleparadigma's die perceptie en actie scheiden, frameert AIF beide als een verenigd proces van het minimaliseren van Expected Free Energy (EFE).

Kernframework

De agent opereert op discrete tijdstappen $t$ en behoudt benaderende posterieure overtuigingen (beliefs) $q(s_t)$ over verborgen toestanden $s_t$ (verkeerscongestieniveaus) op basis van observaties $o_t$. De policy $\pi$ selecteert acties (fasen: Noord-Zuid of Oost-West groen) om EFE te minimaliseren, gedefinieerd als:
$$G(\pi) \triangleq -[PV(\pi) + \lambda EV(\pi)]$$
Waar:

• Pragmatische Waarde ($PV$): Beloningen voor observaties die overeenkomen met voorkeuren (bijv. lage congestie, lage emissies).
• Epistemische Waarde ($EV$): Beloningen voor observaties die de onzekerheid over de verborgen toestanden verminderen (exploratie).
• $\lambda$: Een weegconstante die de twee waarden balanceert.

Systeeminstantiatie

• Toestandsruimte: Verborgen toestanden zijn gediscretiseerd in zes congestieniveaus (van "zeer laag" tot "file") voor elke richting (NS en EW).
• Observaties: Vectoren die ruisende voertuigtellingen, cumulatieve CO2-emissies en busaantallen bevatten. Het observatiemodel is een toestand-conditionele multivariate Gaussische verdeling.
• Transitiemodellen: Twee handmatig gespecificeerde transitie-matrices ($T_{red}$ en $T_{green}$) coderen de intuïtie dat groene fasen congestie verminderen terwijl rode fasen het verhogen.
• Ruismodellering: De experimentele omgeving simuleert realistische IoT-fouten, waaronder:
  • Sensor-occlusie: Zware voertuigen die detectie blokkeren.
  • Weather Attenuation: Verminderde detectiekans tijdens ongunstig weer.
  • Stochastische Ongelukken: Willekeurige blokkades die de verkeersdoorstroming bevriezen.

Vergelijkingsbaselines

De AIF-controller wordt getoetst tegen:

1. Regelgebaseerde Heuristiek: Een prioriteits-score systeem met vaste bonussen voor bussen en een bias voor hoofdwegen.
2. Deep Q-Network (DQN): Een standaard DRL-agent getraind met experience replay en $\epsilon$-greedy exploratie, geoptimaliseerd voor dezelfde beloningsfunctie (minimaliseren van stilstand, emissies en busbelasting).

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Simulatieomgeving: Ontwerp van een SUMO-gebaseerde simulatieomgeving die ruisende, niet-stationaire IoT-sensoringcondities modelleert, inclusief sensor-occlusie, weer-attenuatie en stochastische ongelukken.
2. AIF Controller Ontwikkeling: Implementatie van een AIF-controller die dynamisch verkeersfasen selecteert door EFE te minimaliseren over Gaussische overtuigingen met betrekking tot congestie, emissies en de aanwezigheid van openbaar vervoer.
3. Uitgebreide Evaluatie: Een rigoureuze vergelijking over vier scenario's van toenemende omgevingsverstoring (van schone data tot volledige ruis/ongelukken) en 100 onafhankelijke willekeurige seeds, waarbij de trade-offs tussen efficiëntie, emissies en beleidsstabiliteit worden geanalyseerd.

4. Experimentele Resultaten

Experimenten werden uitgevoerd over 3.600 seconden simulatietijd per scenario. Belangrijkste bevindingen zijn:

• Prestaties in Hoge Verstoring (Scenario 4):

  • Stilstandtijd: AIF bereikte de laagste cumulatieve stilstandtijd (56.977 s) vergeleken met DQN (71.741 s) en de regelgebaseerde baseline (72.247 s).
  • Emissies: AIF produceerde de laagste totale CO2-emissies (29,12 kg) versus DQN (30,56 kg) en de regelgebaseerde aanpak (31,53 kg).
  • Robuustheid: AIF behield een lagere gemiddelde stilstandtijd dan DQN, zelfs in het meest ruisende scenario, terwijl de prestaties van DQN aanzienlijk verslechterden onder volledige verstoring.

• Prestaties in Lage Verstoring (Scenario's 1–3):

  • DQN presteerde over het algemeen beter dan AIF in Scenario 1 en 3 (bijv. 5.305 s versus 7.287 s stilstandtijd in Scenario 3), waarschijnlijk door scenario-specifieke pretraining.
  • AIF presteerde beter dan DQN in Scenario 2 (7.341 s versus 8.385 s).
  • In alle scenario's presteerden zowel AIF als DQN aanzienlijk beter dan de regelgebaseerde baseline (ongeveer de helft van de cumulatieve stilstandtijd).

• Trade-offs:

  • Busprioriteit: AIF had een lagere servicegraad voor busprioriteit (80,5–82,0%) vergeleken met DQN (84,6–89,7%) en het regelgebaseerde systeem. Dit wordt toegeschreven aan de pragmatische waardefunctie die de algemene congestiereductie prioriteert boven specifieke voertuigtypen, aangezien bussen een klein deel van het totale verkeer uitmaken.
  • Fase-wisseling: AIF wisselde fasen vaker (261–278 wisselingen) dan DQN (177–266) of het regelgebaseerde systeem, wat wijst op een meer dynamische reactie op onzekerheid.

• Stabiliteit: AIF vertoonde een lagere variantie (standaarddeviatie) in stilstandtijd over de seeds in Scenario 1 en 2, terwijl DQN een nauwere distributie liet zien in Scenario 3 en 4.

5. Betekenis en Claims

Het artikel claimt dat Active Inference een geprincieerd alternatief biedt voor deep reinforcement learning voor adaptieve verkeersregeling, met name in omgevingen die gekenmerkt worden door gedeeltelijke observeerbaarheid en niet-stationariteit.

• Zero-Shot Generalisatie: In tegenstelling tot DQN, dat uitgebreide pretraining vereist voor specifieke scenario's, opereert de AIF-controller zonder een pretraining-fase. Het vermogen om de prestaties van DQN te evenaren of te overtreffen in ruisende omgevingen zonder scenario-specifieke training, suggereert dat de epistemische waardeterm in de EFE-doelstelling een structureel voordeel biedt voor het omgaan met onzekerheid.
• Auditabiliteit: Een significant voordeel dat wordt benadrukt, is de traceerbaarheid van de AIF-pipeline. Elke fase—van posterieure overtuigingen tot de specifieke componenten van de EFE (pragmatisch versus epistemisch)—is expliciet en inspecteerbaar. Dit adresseert de "black-box"-verificatieproblemen geassocieerd met DRL, waardoor operators kunnen begrijpen waarom een specifieke fase werd gekozen.
• Levensvatbaarheid: De resultaten suggereren dat AIF een levensvatbaar alternatief is voor reinforcement learning voor adaptieve verkeersregeling, in staat om meerdere doelstellingen (vertraging, emissies, openbaar vervoer) te balanceren terwijl het robuust blijft tegen sensordegradatie en stochastische verstoringen.

De auteurs concluderen dat hoewel AIF een deel van de busprioriteit opoffert en de frequentie van fase-wisselingen verhoogt, de robuustheid in ruisende, niet-stationaire IoT-omgevingen en de interpreteerbaarheid het een veelbelovende aanpak maken voor de volgende generatie intelligente verkeerssystemen. Toekomstig werk wordt voorgesteld om het framework uit te breiden naar multi-kruispunt netwerken en hardware-in-the-loop implementaties.