Technische Samenvatting: Een Grafiekgebaseerde Controle-interface voor Verkeerslichten op Heterogene Wegennetwerken

Probleemstelling

De verkeerslichtregeling staat voor een fundamentele uitdaging op het gebied van generalisatie: de actieruimtes zijn inherent lokaal en heterogeen. Een driearm kruispunt, een standaard vierarmig kruispunt en een complex kruispunt met beschermde afslagbewegingen hebben verschillende aantallen fasen en een verschillende semantische betekenis voor die fasen. Daarom missen vaste output-neurale netwerkkoppen (bijv. "Fase 2") herbruikbare semantiek over verschillende wegennetwerken heen. Standaardbenaderingen die actieruimtes aanpassen naar een uniforme grootte, veranderen de dimensies van tensoren zonder een gedeelde betekenis te vestigen, terwijl bestaande geleerde methoden vaak moeite hebben met het ontkoppelen van de scoring van verkeersbewegingen van de constructie van kruispunt-specifieke actieruimtes.

Methodologie

Het artikel stelt een controle-interface voor die de geleerde scoring van verkeersbewegingen strikt scheidt van de deterministische constructie van lokale actieruimtes.

1. Controle-objecten en Representatie

• Bewegingen (Movements): Gedefinieerd als legale, gecontroleerde paden van een inkomende wegcorridor naar een uitgaande corridor (inclusief rechtdoor rijden en afslaan).
• LaneGroups: Achtereenvolgende gerichte wegsegmenten worden gegroepeerd in LaneGroups wanneer de ongecontroleerde voortzetting eenduidig is. Tegenovergestelde richtingen blijven gescheiden vanwege verschillen in wachtrijdynamiek en snelheid.
• Fasen (Phases): Een fase is een compatibele set bewegingen die gelijktijdig een groen signaal kunnen ontvangen. De controller selecteert één fase per kruispunt in plaats van individuele lampen aan te sturen.

2. Graph Neural Network (GNN) Architectuur

Het systeem maakt gebruik van een gedeeld, getypeerd Graph Neural Network dat opereert op een stad-niveau grafiek die bestaat uit LaneGroup- en Movement-nodes.

• Message Passing: De architectuur gebruikt getypeerde message passing met vier gerichte relaties: $L_{in} \to M$, $L_{out} \to M$, $M \to L_{in}$, en $M \to L_{out}$.
• Aggregatie: Het maakt gebruik van getypeerde gemiddelde aggregatie (in plaats van aandacht/attention) om embeddings te produceren.
• Scoring: Na twee message-passing blokken brengt een Multi-Layer Perceptron (MLP) de uiteindelijke beweging-embedding ($h^{(2)}_m$) in kaart naar een enkele scalaire score ($s_m$).
• Parameterdeling: De parameter-vormen hangen alleen af van de feature- en verborgen dimensies, waardoor ze onafhankelijk zijn van de grafiekgrootte of het aantal acties.

3. Deterministische Constructie van de Actieruimte

De interface dwingt een "smalle grens" af waar het leren stopt bij de scoring van bewegingen, en deterministische code de rest afhandelt:

• Incidentiematrix ($A_j$): Voor elk kruispunt $j$ wordt een vooraf berekende, deterministische incidentiematrix de bewegingsscores in kaart brengt naar fase-logits. De matrix $A_j \in \{0, 1\}^{|P_j| \times |M_j|}$ geeft aan welke bewegingen worden mogelijk gemaakt door welke fasen.
• Fase-logits: Het logit voor een fase $p$ wordt berekend als de som van de scores van de bewegingen die erdoor worden mogelijk gemaakt: $\ell_{j,p} = \sum_{m \in M_j} A_{j,p,m} s_m$.
• Offline Constructie: Fasen worden offline gegenereerd met behulp van Bron–Kerbosch enumeratie om maximale compatibele bewegingssets te vinden op basis van SUMO-conflictgegevens.
• Online Executie: Tijdens runtime dwingt een beschikbaarheidsmasker minimale groentijden af, en een categorische sample selecteert een fase op basis van de logits.

4. Trainingsprotocol

• Algoritme: Proximal Policy Optimization (PPO) wordt gebruikt om het volledige beleid te optimaliseren.
• Beloningsfunctie: Een lokale, dimensieloze beloning wordt per kruispunt toegewezen, waarbij termen voor progressie (snelheid-genormaliseerde dichtheid), afvoer (voertuigen die het kruispunt verlaten), remmen (vertraging) en gridlock (snelheidsdeficit) worden gecombineerd.
• Executie: Het beleid opereert op variabel-grootte toestandsgrafieken. Voor batching worden kruispunten met overeenkomende lokale dimensies gegroepeerd, waardoor padding naar een universele grafiekgrootte wordt vermeden.

Belangrijkste Bijdragen

1. Structurele Ontkoppeling: De primaire bijdrage is de architecturale interface die een herbruikbare, gedeelde GNN voor bewegingsscoring scheidt van de deterministische, kruispunt-specifieke constructie van actieruimtes. Dit maakt het systeem in staat om variabele grafiekgroottes en variabele aantallen acties te verwerken zonder hertraining of het wijzigen van de netwerktopologie.
2. Haalbaarheidsevaluatie: Het artikel levert empirisch bewijs van het vermogen van deze interface om te opereren over heterogene wegennetwerken, inclus\nclusief ongeziene synthetische rastergeometrieën en vijf verschillende stadsgrafieken (Karlsruhe, Mannheim, Stuttgart, Heidelberg, Freiburg).
3. Transparante Grens: In tegenstelling tot eerder werk (bijv. TransferLight) dat complexe hiërarchieën of fase-semantiek leert, behoudt deze aanpak een transparante grens waar fase-lidmaatschap en timing deterministisch blijven, en de geleerde actor alleen een scalaire waarde per beweging produceert.

Experimentele Resultaten

De evaluatie behandelt drie onderzoeksvragen (RQs):

• RQ1 (Transfer binnen Synthetische Familie): Op ongeziene rastergroottes (bijv. $6 \times 6$) en aspectratio's gegenereerd door dezelfde synthetische generator, presteerde het gesamplede geleerde beleid beter dan de Max-Pressure baseline in zowel doorvoersnelheid als voltooiingspercentages over alle vraagniveaus (0,6, 0,7, 0,8).
• RQ2 (Distributieverschuiving): Wanneer de signaaldekking werd verminderd (50% en 25%), vertoonde het beleid dat getraind was op volledige dekking een significante verslechtering van de prestaties vergeleken met Max-Pressure. Dit duidt op gevoeligheid voor distributieverschuivingen in signaaldekking, ondanks dat de architectuur structureel uitvoerbaar blijft.
• RQ3 (Stedelijke Haalbaarheid): Een enkel getraind beleidsvoorbeeld werd uitgevoerd over vijf heterogene stadsgrafieken. De resultaten waren gemengd:
  • Karlsruhe & Stuttgart: Het geleerde beleid presteerde beter dan alle niet-geleerde baselines (Max-Pressure, Queue, Fixed Time) in doorvoer en voltooiing.
  • Mannheim: Het bleef achter bij de Queue-baseline.
  • Heidelberg: Het presteerde vergelijkbaar met Fixed Time.
  • Freiburg: Het bereikte een hogere doorvoer en voltooiing dan Fixed Time, maar ten koste van een hogere wachtrijdichtheid.
  • Opmerking: Stuttgart diende als de enige echte generalisatietest (geen training-rollouts), terwijl de andere de uitvoering over heterogene trainingsdomeinen demonstreerden.

Betekenis en Claims

Het artikel kadert zijn bijdrage expliciet als bewijs van haalbaarheid in plaats van een algemene garantie voor transfer naar willekeurige wegennetwerken.

• Beperkte Omvang: De auteurs stellen dat hun resultaten geen algemene transfer naar willekeurige wegennetwerken vaststellen. De evaluatie is begrensd tot specifieke synthetische en stedelijke simulatiefamilies.
• Structureel vs. Empirisch: Het artikel maakt onderscheid tussen de structurele eigenschap (het vermogen om op variabele grafieken te opereren, wat door constructie bewezen is) en de empirische robuustheid (die wordt aangetoond gevoelig te zijn voor distributieverschuivingen zoals veranderingen in signaaldekking).
• Implementatie Focus: Het werk evalueert een implementatie en architecturale interface in plaats van een nieuw reinforcement learning algoritme voor te stellen. Het benadrukt dat hoewel de interface variabele dimensies ondersteunt, de geleerde prestaties niet invariant zijn aan veranderingen in de distributie van de controller of de onderliggende netwerktopologie.

Concluderend demonstreert het artikel dat een grafiekgebaseerde interface succesvol de geleerde bewegingsscoring kan ontkoppelen van de lokale signaallogica, wat uitvoering mogelijk maakt over diverse en ongeziene netwerkgeometrieën. Het onthult echter ook dat structurele uitvoerbaarheid niet automatisch zorgt voor robuuste prestaties onder distributieverschuivingen of over alle heterogene stedelijke omgevingen zonder verdere afstemming of adaptatie.