Technische Samenvatting: STAGformer voor de vraagvoorspelling van micro-mobiliteit

1. Probleemstelling

Nauwkeurige station-niveau vraagvoorspelling is cruciaal voor de efficiënte exploitatie van deelprogramma's voor fietsen, met name voor voertuigherbalancering en operationele optimalisatie. Deze taak staat echter voor twee primaire uitdagingen in grootschalige stedelijke netwerken:

1. Complexe ruimtelijke-temporele afhankelijkheden: De vraag wordt beïnvloed door periodieke schommelingen, wegnetwerkstructuren, Points of Interest (POIs) en realtime weer, wat complexe lokale en globale interacties creëert.
2. Computationele schaalbaarheid: Bestaande deep learning-benaderingen, met name die gebruikmaken van standaard self-attention mechanismen (Transformers), lijden onder een kwadratische computationele complexiteit $O((NT)^2)$ ten opzichte van het aantal stations ($N$) en tijdstappen ($T$). Dit maakt ze onpraktisch voor stad-omvang systemen. Bovendien slagen veel modellen er niet in om multi-bron externe factoren (bijv. weer, POIs) effectief te integreren, wat de voorspellingsnauwkeurigheid beperkt.

2. Methodologie: STAGformer

Het artikel stelt STAGformer voor (Spatio-Temporal Agent Graph Transformer), een model dat is ontworpen om efficiënte globale modellering te bereiken met lineaire computationele complexiteit terwijl een hoge voorspellingsnauwkeurigheid behouden blijft. De architectuur integreert vier kernmodules:

A. Spatio-Temporele Feature Encoder

Deze module fuseert dynamische node-features (historische huur-/retouraantallen) met globale externe factoren (weer, tijd, POIs). Het maakt gebruik van lineaire projecties om inputs naar een verborgen dimensie te mappen, concateneert deze, en injecteert leerbare temporele en ruimtelijke positionele encodings om volgorde-informatie te bewaren.

B. Graph Propagation Module

Om lokale ruimtelijke afhankelijkheden expliciet te modelleren, aggregeert deze module informatie van ruimtelijke buren. Het maakt gebruik van een externe adjacency matrix (gebaseerd op wegnetwerkafstanden) of een adaptief geleerde graafstructuur. Door middel van $K$-staps propagatie legt het hogere-orde ruimtelijke invloeden vast en fuseert deze via leerbare gewichten.

C. Temporal Convolution Module

Deze lichtgewicht module legt lokale temporele patronen voor elk station vast. Het past 1D-convoluties toe (mogelijk depthwise separable) langs de tijdsdimensie, versterkt door residual connections, batch normalisatie en GELU-activatie, om korte-termijn variatiepatronen te extraheren vóór de globale modellering.

D. Agent Attention Module (Kerninnovatie)

Om de kwadratische complexiteit van standaard self-attention aan te pakken, introduceert STAGformer een twee-staps agent attention mechanisme met aparte ruimtelijke en temporele takken:

1. Agent Tokens: Een kleine set leerbare "agent" tokens ($n_s$ voor ruimtelijk, $n_t$ voor temporeel, waarbij $n \ll N, T$) wordt geïntroduceerd.
2. Aggregatie: Agent tokens fungeren als queries om globale informatie van alle nodes/tijdstappen te aggregeren in een gecomprimeerde context.
3. Broadcasting: De originele nodes letten op deze agent tokens om de geaggregeerde globale context te ontvangen.
4. Residual Diversity: Een Depthwise Convolution (DWC) tak wordt toegevoegd aan de ruimtelijke attention output om de feature-diversiteit te herstellen die mogelijk verloren is gegaan tijdens de compressiestap.

Dit mechanisme reduceert de computationele complexiteit van $O((NT)^2)$ naar $O(NT)$, wat het mogelijk maakt om langetermijn ruimtelijke-temporele afhankelijkheden te modelleren zonder de prohibitieve kosten van standaard attention.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie belangrijke bijdragen:

1. Nieuw Encoding Schema: Een ontwerp dat dynamische node-features fuseert met globale externe factoren, waardoor zowel globale als lokale patroonextractie wordt verbeterd door middel van graaf-propagatie en temporele convolutie.
2. STAGformer Architectuur: De introductie van het agent attention mechanisme bij de vraagvoorspelling van deelfietsen, waarbij een lineaire computationele complexiteit wordt bereikt terwijl de globale modelleringsmogelijkheden behouden blijven.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat STAGformer de state-of-the-art baselines overtreft in nauwkeurigheid (RMSE en MAE) en een superieure computationele efficiëntie biedt.

4. Experimentele Resultaten

Het model werd geëvalueerd op twee real-world datasets: NYC Citi-Bike en Chicago Divvy-Bike.

• Prestaties: STAGformer presteerde consistent beter dan negen baseline methoden, waaronder Lineaire Regressie, GRU, Transformer, GAT en gespecialiseerde modellen zoals BikeMAN en STAEformer. Het behaalde de laagste RMSE en MAE over meerdere voorspellingshorizonten (bijv. op NYC-data, een RMSE van 0,4874 versus 0,5106 voor de op één na beste methode).
• Ablatie-studies: Het verwijderen van een kernmodule leidde tot een verslechtering van de prestaties.
  • Het verwijderen van Agent Attention veroorzaakte de meest significante daling (bijv. +37,9% RMSE op NYC), wat de noodzaak ervan bevestigt voor het modelleren van globale afhankelijkheden.
  • Het verwijderen van Externe Features leidde tot substantiële fouten, wat het belang van weer- en POI-data benadrukt.
  • Het verwijderen van Graph Propagation en Temporal Convolution resulteerde ook in meetbare prestatievermindering, wat de noodzaak van expliciete lokale ruimtelijke en temporele modellering valideert.
• Efficiëntie: Het model vertoonde een lineaire schaling met betrekking tot $N$ en $T$, waardoor het geschikt is voor grootschalige implementatie waar standaard Transformers computationeel onhaalbaar zijn.
• Casestudies: Visualisaties van de NYC-vraagpatronen bevestigden het vermogen van het model om getijdenstromen (pendelpatronen tussen woon- en zakendistricten), ruimtelijke onbalans en langetermijncorrelaties tussen verre stations te vangen.

5. Betekenis en Claims

Het artikel claimt dat STAGformer een schaalbare en nauwkeurige oplossing biedt voor de vraagvoorspelling van micro-mobiliteit in grootschalige stedelijke systemen. De betekenis ligt in het succesvol overbruggen van de kloof tussen de expressieve kracht van Softmax attention en de lineaire efficiëntie die vereist is voor stad-omvang netwerken. Door grafische lokale modellering te combineren met agent-gebaseerde globale modellering, biedt het een robuust framework dat de voorspellingsnauwkeurigheid niet opoffert voor computationele snelheid.

De auteurs erkennen beperkingen, waarbij zij wijzen op de huidige afhankelijkheid van vaste graafstructuren en de noodzaak van empirische afstemming van het aantal agent tokens. Toekomstig werk suggereert het verkennen van dynamische graaf-lering, adaptieve agent-selectie en toepassing op andere micro-mobiliteitssystemen (bijv. elektrische steps).