Sintesi Tecnica: STAGformer per la previsione della domanda di micro-mobilità

1. Definizione del problema

La previsione accurata della domanda a livello di stazione è fondamentale per l'efficiente gestione operativa dei sistemi di bike-sharing, in particolare per il riequilibrio dei veicoli e l'ottimizzazione operativa. Tuttavia, questo compito affronta due sfide primarie nei sistemi urbani su larga scala:

1. Dipendenze Spazio-Temporali Complesse: La domanda è influenzata da fluttuazioni periodiche, strutture della rete stradale, Punti di Interesse (POI) e condizioni meteorologiche in tempo reale, creando intricate interazioni locali e globali.
2. Scalabilità Computazionale: Gli approcci esistenti di deep learning, in particolare quelli che utilizzano i meccanismi di auto-attenzione standard (Transformer), soffrono di una complessità computazionale quadratica $O((NT)^2)$ rispetto al numero di stazioni ($N$) e ai passi temporali ($T$). Ciò li rende impraticabili per sistemi su scala cittadina. Inoltre, molti modelli non riescono a integrare efficacemente fattori esterni multi-fonte (es. meteo, POI), limitando l'accuratezza predittiva.

2. Metodologia: STAGformer

Il documento propone STAGformer (Spatio-Temporal Agent Graph Transformer), un modello progettato per ottenere una modellazione globale efficiente con complessità computazionale lineare, mantenendo al contempo un'elevata accuratezza predittiva. L'architettura integra quattro moduli core:

A. Codificatore di Caratteristiche Spazio-Temporali

Questo modulo fonde le caratteristiche dinamiche dei nodi (conteggi storici di noleggi/ritorni) con i fattori esterni globali (meteo, tempo, POI). Utilizza proiezioni lineari per mappare gli input in una dimensione nascosta, li concatena e inietta codifiche posizionali temporali e spaziali apprendibili per preservare l'informazione sull'ordine.

B. Modulo di Propagazione del Grafo

Per modellare esplicitamente le dipendenze spaziali locali, questo modulo aggrega informazioni dai vicini spaziali. Utilizza una matrice di adiacenza esterna (basata sulle distanze della rete stradale) o una struttura a grafo appresa in modo adattivo. Attraverso una propagazione a $K$-step, cattura le influenze spaziali di ordine superiore, fondendole tramite pesi apprendibili.

C. Modulo di Convoluzione Temporale

Questo modulo leggero cattura i pattern temporali locali per ogni stazione. Applica convoluzioni 1D (potenzialmente depthwise separable) lungo la dimensione temporale, potenziate da connessioni residue, batch normalization e attivazione GELU, per estrarre pattern di variazione a breve termine prima della modellazione globale.

D. Modulo di Agent Attention (Innovazione Core)

Per affrontare la complessità quadratica della standard self-attention, STAGformer introduce un meccanismo di agent attention a due fasi con rami spaziali e temporali separati:

1. Agent Tokens: Viene introdotto un piccolo set di "agent" tokens apprendibili ($n_s$ per lo spazio, $n_t$ per il tempo, dove $n \ll N, T$).
2. Aggregazione: Gli agent tokens agiscono come query per aggregare l'informazione globale da tutti i nodi/passi temporali in un contesto compresso.
3. Broadcasting: I nodi originali effettuano l'attenzione verso questi agent tokens per ricevere il contesto globale aggregato.
4. Diversità Residua: Un ramo di Convoluzione Depthwise (DWC) viene aggiunto all'output dell'attenzione spaziale per recuperare la diversità delle caratteristiche potenzialmente persa durante la fase di compressione.

Questo meccanismo riduce la complessità computazionale da $O((NT)^2)$ a $O(NT)$, consentendo la modellazione di dipendenze spazio-temporali a lungo raggio senza il costo proibitivo della standard attention.

3. Contributi Principali

Il documento delinea tre contributi principali:

1. Nuovo Schema di Codifica: Un design che fonde le caratteristiche dinamiche dei nodi con i fattori esterni globali, migliorando l'estrazione di pattern sia globali che locali attraverso la propagazione del grafo e la convoluzione temporale.
2. Architettura STAGformer: L'introduzione del meccanismo di agent attention nella previsione della domanda di bike-sharing, raggiungendo una complessità computazionale lineare pur preservando le capacità di modellazione globale.
3. Validazione Empirica: Esperimenti estesi che dimostrano come STAGformer superi i baseline allo stato dell'arte in termini di accuratezza (RMSE e MAE) e offra una superiore efficienza computazionale.

4. Risultati Sperimentali

Il modello è stato valutato su due dataset del mondo reale: NYC Citi-Bike e Chicago Divity-Bike.

• Performance: STAGformer ha costantemente superato nove metodi baseline, inclusi Linear Regression, GRU, Transformer, GAT e modelli specializzati come BikeMAN e STAEformer. Ha raggiunto l'RMSE e il MAE più bassi su molteplici orizzonti di previsione (es. su dati NYC, RMSE di 0.4874 rispetto a 0.5106 del miglior modello successivo).
• Studi di Ablazione: La rimozione di qualsiasi modulo core ha degradato le prestazioni.
  • La rimozione di Agent Attention ha causato il calo più significativo (es. +37.9% RMSE su NYC), confermando la sua necessità per la modellazione delle dipendenze globali.
  • La rimozione di External Features ha portato a errori sostanziali, evidenziando l'importanza dei dati meteo e dei POI.
  • La rimozione di Graph Propagation e Temporal Convolution ha inoltre prodotto declini misurabili nelle prestazioni, validando la necessità di una modellazione esplicita spaziale e temporale locale.
• Efficienza: Il modello ha dimostrato una scalabilità lineare rispetto a $N$ e $T$, rendendolo fattibile per il deployment su larga scala dove i Transformer standard sarebbero computazionalmente impraticabili.
• Case Studies: Le visualizzazioni dei pattern di domanda di NYC hanno confermato la capacità del modello di catturare i flussi di marea (pattern pendolari tra distretti residenziali e commerciali), gli squilibri spaziali e le correlazioni a lungo raggio tra stazioni distanti.

5. Significato e Rivendicazioni

Il documento afferma che STAGformer fornisce una soluzione scalabile e accurata per la previsione della domanda di micro-mobilità in sistemi urbani su larga scala. La sua importanza risiede nel colmare con successo il divario tra la capacità espressiva della Softmax attention e l'efficienza lineare richiesta per le reti su scala cittadina. Combinando la modellazione locale basata su grafi con la modellazione globale basata su agenti, offre un framework robusto che non sacrifica l'accuratezza predittiva per la velocità computazionale.

Gli autori riconoscono i limiti, notando l'attuale dipendenza da strutture di grafo fisse e la necessità di una sintonizzazione empirica del numero di agent token. Il lavoro futuro suggerisce di esplorare l'apprendimento di grafi dinamici, la selezione adattiva degli agenti e l'applicazione ad altri sistemi di micro-mobilità (es. e-scooter).