Technische Samenvatting: Spatiotemporele Decision Transformer voor Multi-Agent Verkeerscoördinatie (MADT)

1. Probleemstelling

Verkeerslichtregeling is een cruciale uitdaging in stedelijk transport, waarbij de coördinatie van meerdere kruispunten vereist is om de netwerkbrede doorstroming te optimaliseren. Hoewel Deep Reinforcement Learning (DRL) veelbelovend is gebleken, kampen bestaande methoden met drie fundamentele beperkingen bij het opschalen naar netwerken op stadsniveau:

1. Coördinatiecomplexiteit: Naïeve multi-agent formuleringen worstelen met de exponentiële groei van de gezamenlijke actieruimte en missen effectieve mechanismen voor informatieoverdracht tussen kruispunten (bijv. "groene golven" en het voorkomen van opstoppingen/spillback).
2. Sample-efficiëntie: Online RL-methoden vereisen miljoenen interacties met een simulator, wat praktische implementatie beperkt en exploratierisico's introduceert.
3. Structurele mismatch: Bestaande sequentiemodellering-benaderingen (zoals de Decision Transformer) zijn ontworpen voor single-agent settings en laten zich niet van nature vertalen naar multi-agent coördinatie waar de spatiale topologie (wegennetwerken) de interactiepatronen dicteert.

Het artikel stelt dat het herformuleren van multi-agent verkeerslichtregeling als een conditioneel sequentiemodelleringsprobleem deze problemen kan aanpakken door gebruik te maken van historische offline data, expliciete spatiale modellering en doelgerichte conditionering.

2. Methodologie: MADT Architectuur

De auteurs introduceren MADT (Multi-Agent Decision Transformer), die het Decision Transformer-paradigma uitbreidt naar multi-agent settings door drie kerncomponenten te integreren:

A. Probleemformulering

De taak wordt gemodelleerd als een Decentralized Partially Observable Markov Decision Process (Dec-POMDP).

• Observaties: Omvatten wachtrijlengtes, gemiddelde wacjes, huidige verkeersfasen, tijd sinds de laatste faseverandering en informatie over wachtrijen van buren.
• Acties: Selectie van verkeerslichtfasen (bijv. 4-fase of 8-fase configuraties).
• Beloning: Een gedeelde beloning gebaseerd op de negatieve gemiddelde wachttijd over het hele netwerk, wat zowel lokale efficiëntie als globale doorvoer vangt.

B. Architecturale Componenten

MADT verwerkt een geïnterleavde sequentie van return-to-go targets, observaties en acties met behulp van een verenigde architectuur:

1. Observatie-encoding: Verkeersobservaties voor elke agent worden gecodeerd via MLPs en aangevuld met leerbare agent-embeddings en positionele encodings.
2. Spatial Graph Attention: In tegenstelling tot voorgaande werken die agenten symmetrisch behandelen of een willekeurige ordening gebruiken, maakt MADT gebruik van Graph Attention Networks (GAT). Dit mechanisme modelleert de topologie van het wegennet expliciet, waardoor elke kruispunt kan aandacht te schenken aan zijn ruimtelijke buren met geleerde gewichten. Dit zorgt voor permutatie-equivariantie, wat betekent dat coördinatiepatronen voortkomen uit de wegconnectiviteit in plaats van een willekeurige agent-indexering.
3. Temporal Transformer Encoding: Een causale Transformer-encoder verwerkt de sequentie van staten, acties en returns, en legt langetermijn-temporele afhankelijkheden vast (bijv. verkeersprogressie over meerdere verkeerscycli).
4. Return-to-Go Conditioning: Het model is geconditioneerd op een target "return-to-go" ($\hat{R}_t$), die de gewenste cumulatieve toekomstige beloning vertegenwoordigt. Dit maakt het mogelijk om het model tijdens de testfase te sturen naar specifieke prestatiedoelen (bijv. het minimaliseren van reistijd) zonder hertraining.
5. Parallelle Actiegeneratie: In tegenstelling tot autoregressieve multi-agent transformers die acties in een vaste volgorde genereren, genereert MADT gezamenlijke acties voor alle kruispunten parallel na spatiale berichtoverdracht (message passing), wat zorgt voor computationele efficiëntie en structurele consistentie.

C. Training en Inferentie

• Offline Learning: Het model wordt getraind via supervised learning op offline trajecten verzameld uit een verkeerssimulator (CityFlow) met behulp van een MaxPressure-beleid. Er is geen online interactie met de omgeving vereist tijdens de training.
• Inferentie: Tijdens de testfase wordt een target return gespecificeerd. Het model voorspelt autoregressief acties geconditioneerd op de huidige staat en de target return, waarbij de return-to-go wordt bijgewerkt op basis van geobserveerde beloningen.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Graph-gestructureerde Spatial Attention: De introductie van expliciete graph attention-lagen om de topologie van het wegennet te modelleren, waardoor kruispunten kunnen coördineren op basis van ruimtelijke nabijheid in plaats van willekeurige indexering.
2. Verenigde Spatiotemporele Architectuur: Een nieuwe integratie van graph attention networks binnen het Decision Transformer-framework, die zowel spatiale afhankelijkheden (wie coördineert met wie) als temporele dynamiek (wanneer fasen te wijzigen) gezamenlijk vastlegt.
3. Return-to-Go Conditioning voor Netwerkoptimalisatie: Een mechanisme om gewenste prestatiedoelen op netwerkniveau te specificeren tijdens de testfase, wat flexibele afwegingen tussen efficiëntie en andere doelstellingen mogelijk maakt.
4. Uitgebreide Evaluatie: Uitgebreide validatie op synthetische grid-netwerken en real-world scenario's (Atlanta, GA en Boston, MA), waarbij de state-of-the-art prestaties en robuuste ablatie-studies worden aangetoond.

4. Experimentele Resultaten

Experimenten werden uitgevoerd in vier omgevingen: Grid 3×3, Grid 4×4, Atlanta (16 kruispunten) en Boston (15 kruispunten). MADT werd vergeleken met traditionele methoden (FixedTime, MaxPressure), online RL-baselines (FRAP, MPLight, MAPPO, CoLight) en sequentiemodellering-baselines (MAT, IndependentDT).

Prestatie-indicatoren

• Gemiddelde Reistijd (Average Travel Time - ATT): MADT behaalde de laagste ATT in alle omgevingen, waarbij de reistijd met 5,3% tot 5,9% werd verminderd ten opzichte van de sterkste baseline (CoLight).
  • Voorbeeld: Op het Atlanta-netwerk daalde de ATT van 478,5s (CoLight) naar 452,1s (MADT).
• Doorvoer (Throughput): MADT verhoogde de netwerkdoorvoer met 5,5% tot 6,2% vergeleken met CoLight.
• Coördinatie-index: MADT behaalde een coördinatie-index van 0,78 (vs. 0,52 voor CoLight), een relatieve verbetering van 50%, wat duidt op superieure fase-synchronisatie tussen aangrenzende kruispunten.
• Offline Leer-efficiëntie: MADT presteerde aanzienlijk beter dan het MaxPressure-beleid dat werd gebruikt om de trainingsdata te verzamelen (bijv. 14,8% verbetering op Grid 3×3), wat het vermogen aantoont om betere policies te extraheren uit suboptimale demonstraties.

Ablatie-studies

• Graph Attention: Het verwijderen van graph attention verhoogde de ATT met gemiddeld 8,4%, wat de cruciale rol ervan bij spatiale coördinatie bevestigt.
• Return Conditioning: Het verwijderen van return-to-go conditioning verhoogde de ATT met 5,2%, wat het voordeel van doelgerichte controle valideert.
• Gecombineerd Effect: Het verwijderen van beide componenten resulteerde in een prestatiedaling van 13,4%, wat suggereert dat er een super-additieve relatie is waarbij spatiale coördinatie en doelgerichtheid complementair zijn.

Robuustheid en Schaalbaarheid

• Gevoeligheid voor Congestie: De verbeteringen waren het meest uitgesproken onder hoge vraag (8,1% verbetering bij 400 veh/h/lane), wat aangeeft dat de methode het meest waardevol is wanneer coördinatie cruciaal is.
• Inference Latency: De inferentietijd was <50ms, ruim binnen de vereisten voor real-time controle (<1 seconde).
• Datakwaliteit: Het model presteerde minder goed wanneer het werd getraind op lagere kwaliteit (willekeurige) data, maar behield nog steeds redelijke prestaties.

5. Betekenis en Claims

Het artikel claimt dat MADT een significante vooruitgang vormt in multi-agent verkeersbeheer door succesvol de kloof tussen sequentiemodellering en spatiale coördinatie te overbruggen.

• Paradigmaverschuiving: Het demonstreert dat multi-agent coördinatie effectief kan worden gepresenteerd als een supervised sequentiemodelleringsprobleem, waarbij het de stabiliteit van supervised learning erft terwijl het de sample-inefficiëntie en exploratierisico's van online RL vermijdt.
• Structurele Integriteit: Door de topologie van het wegennet te respecteren via graph attention, overwint MADT de beperkingen van methoden die agenten als onafhankelijk of willekeurig geordend behandelen, en bewijst het dat de spatiale structuur essentieel is voor effectieve verkeerscoördinatie.
• Praktische Leefbaarheid: Het vermogen om te leren van historische offline data (zonder simulatorinteractie) en het bereiken van real-time inferentie maakt de aanpak levensvatbaar voor implementatie in bestaande verkeersmanagementsystemen.
• Emergente Gedragingen: De analyse laat zien dat MADT interpreteerbare verkeerskundige strategieën leert—zoals de vorming van "groene golven", het voorkomen van spillback en vraaggestuurde timing—zonder expliciete programmering, wat suggereert dat het model betekenisvolle coördinatiestrategieën direct uit data ontdekt.

De auteurs concluderen dat hoewel er uitdagingen blijven met betrekking tot de schaalbaarheid naar honderden kruispunten en distributieverschuivingen bij real-world deployment, MADT een robuuste basis biedt voor toekomstig onderzoek op het snijvlak van sequentiemodellering en multi-agent reinforcement learning.