MoE Enhanced Federated Learning for Spatiotemporal Prediction

Sintesi Tecnica: MoE-FedTP per la Previsione Spaziotemporale

Definizione del Problema
La previsione del traffico è fondamentale per i sistemi di trasporto intelligenti, eppure molte città soffrono della scarsità di dati a causa del dispiegamento limitato di sensori e di uno sviluppo urbano disomogeneo. Sebbene il trasferimento di conoscenza tra città offra una soluzione, gli approcci esistenti affrontano due ostacoli primari:

1. Preoccupazioni sulla Privacy: I metodi centralizzati richiedono la condivisione di dati grezzi, ponendo significativi rischi per la privacy.
2. Eterogeneità Spaziotemporale: Le città presentano pattern di evoluzione del traffico, distribuzioni delle aree funzionali e comportamenti di viaggio distinti. I metodi esistenti di Federated Learning (FL) e di Personalized FL (PFL) spesso si affidano a strategie di previsione unificate che faticano ad accomodare queste differenze intrinseche, portando al model drift e a prestazioni subottimali nelle città target con scarsità di dati.

Metodologia: MoE-FedTP
Gli autori propongono MoE-FedTP, un framework di previsione spaziotemporale federata cross-city personalizzata basato su reti Mixture-of-Experts (MoE) leggere. Il framework opera in due fasi:

1. Apprendimento della Città Sorgente (Addestramento Locale):

   • Ogni città sorgente agisce come un client indipendente che addestra una rete neurale spaziotemporale locale.
   • L'architettura della rete integra Graph Convolutional Networks (GCN), Graph Attention Networks (GAT) e moduli di Attention per modellare le dipendenze spaziali e le dinamiche temporali.
   • Le caratteristiche vengono estratte tramite Gated Recurrent Units (GRU) per le sequenze temporali, aggregate (pooling) e fuse con gli embedding spaziali provenienti dai livelli GCN/GAT.
   • Un Multi-Layer Perceptron (MLP) genera la previsione finale, ottimizzata tramite Mean Squared Error (MSE).

2. Adattamento della Città Target (Personalizzazione Federata):

   • Costruzione degli Esperti: I parametri critici dalle teste di previsione pre-addestrate di molteplici città sorgente vengono condivisi e conservati come "reti esperte". Ogni esperto codifica i pattern spaziotemporali unici della rispettiva città sorgente.
   • Meccanismo di Gating: Una rete di gating calcola dinamicamente i pesi di importanza per ogni esperto in base alle caratteristiche di input della città target.
   • Selezione Top-k: Per garantire l'efficienza computazionale, il sistema attiva solo i top-$k$ esperti con i punteggi di gating più elevati.
   • Fusione della Previsione: La previsione finale è una somma ponderata degli output degli esperti selezionati. La città target minimizza la propria perdita di previsione utilizzando i propri dati locali limitati, preservando la privacy pur sfruttando la conoscenza esterna.

Contributi Chiave

• Design del Framework: Introduzione di MoE-FedTP, un framework federato personalizzato che utilizza una struttura MoE leggera per affrontare specificamente l'eterogeneità spaziotemporale cross-city.
• Meccanismo di Condivisione dei Parametri: Una nuova strategia di condivisione dei parametri cross-city che riassume i pattern spaziotemporali delle città sorgenti in reti esperte e li trasferisce dinamicamente alle città target, migliorando le prestazioni negli scenari di scarsità di dati.
• Validazione Empirica: Esperimenti estesi che dimostrano come il metodo proposto superi i baseline allo stato dell'arte sia in termini di accuratezza che di generalizzazione.

Risultati Sperimentali
Il metodo è stato valutato su quattro dataset reali: PEMS-BAY, METR-LA, DiDi-Chengdu e DiDi-Shenzhen. L'impostazione sperimentale ha simulato una città target con scarsità di dati utilizzando solo tre giorni di dati, mentre altri tre dataset sono serviti come città sorgente ricche di dati per il pre-addestramento.

• Prestazioni: MoE-FedTP ha superato costantemente i baseline, inclusi STGCN (spatiotemporal GNN), ST-GFSL (few-shot learning) e pFedCTP (adaptive interpolation PFL).
  • Su METR-LA, il modello ha ottenuto un miglioramento del 6,23% nel MAE e del 5,20% nel RMSE rispetto ai baseline.
  • Su DiDi-Shenzhen, è stato osservato un guadagno di prestazioni medio del 4,68%.
• Studi di Ablazione:
  • La rimozione del modulo MoE ha causato una significativa degradazione delle prestazioni (ad esempio, un aumento del 7,4% del MAE su DiDi-Chengdu), confermando la necessità della struttura della rete esperta.
  • Sensibilità Top-k: Il numero ottimale di esperti attivi ($k$) variava a seconda del dataset. Le città con pattern complessi e diversificati (PEMS-BAY, METR-LA) hanno ottenuto i migliori risultati con $k=2$, mentre le città con pattern distintivi (DiDi-Chengdu, DiDi-Shenzhen) hanno raggiunto risultati ottimali con $k=1$. Ciò suggerisce che l'attivazione di troppi esperti può introdurre rumore per specifici tipi di città.

Significato e Rivendicazioni
L'articolo sostiene che MoE-FedTP fornisca una soluzione efficiente e che preservi la privacy per la previsione del traffico cross-city. Combinando i benefici della privacy del federated learning con le capacità di modellazione fine di MoE, il framework mitiga con successo le sfide dell'eterogeneità spaziotemporale. Consente alle città con scarsità di dati di sfruttare la conoscenza delle controparti ricche di dati senza compromettere la sicurezza dei dati o ignorare le dinamiche del traffico locale. Gli autori pongono questo lavoro come una direzione promettente per il transfer learning federato in compiti più ampi di urban computing e previsione spaziotemporale.

Limitazioni e Lavoro Futuro
Gli autori riconoscono che l'attuale meccanismo di condivisione parziale dei parametri potrebbe essere insufficiente per città con eterogeneità estrema o quando il numero di città sorgenti è limitato. Inoltre, la strategia di selezione top-$k$ fissa potrebbe non adattarsi in modo ottimale agli scenari di traffico dinamici. Il lavoro futuro mira a esplorare strategie di selezione degli esperti adattive (ad esempio, reinforcement learning o gating consapevole dell'incertezza) e integrare dati urbani multi-modali per migliorare ulteriormente robustezza e scalabilità.