MoE Enhanced Federated Learning for Spatiotemporal Prediction

Technische Samenvatting: MoE-FedTP voor Spatiotemporele Voorspelling

Probleemstelling
Verkeersvoorspelling is cruciaal voor intelligente transportstelsels, maar veel steden kampen met dataschaarste door beperkte sensorplaatsing en ongelijke stedelijke ontwikkeling. Hoewel kennisoverdracht tussen steden een oplossing biedt, worden bestaande benaderingen geconfronteerd met twee primaire hindernissen:

1. Privacyzorgen: Gecentraliseerde methoden vereisen het delen van ruwe data, wat aanzienlijke privacyrisico's met zich meebrengt.
2. Spatiotemporele Heterogeniteit: Steden vertonen onderscheidende verkeersevolutiepatronen, distributies van functionele gebieden en reisgedragingen. Bestaande Federated Learning (FL) en Personalized FL (PFL) methoden vertrouwen vaak op verenigde voorspellingsstrategieën die moeite hebben om deze inherente verschillen te accommoderen, wat leidt tot modeldrift en suboptimale prestaties in dataschaarse doelsteden.

Methodologie: MoE-FedTP
De auteurs stellen MoE-FedTP voor, een gepersonaliseerd federated cross-city spatiotemporeel voorspellingsframework gebaseerd op lichtgewicht Mixture-of-Experts (MoE) netwerken. Het framework werkt in twee stadia:

1. Source City Learning (Lokale Training):

   • Elke bronstad fungeert als een onafhankelijke client die een lokale spatiotemporele neurale netwerk traint.
   • De netwerkarchitectuur integreert Graph Convolutional Networks (GCN), Graph Attention Networks (GAT) en Attention-modules om ruimtelijke afhankelijkheden en temporele dynamiek te modelleren.
   • Kenmerken worden geëxtraheerd via Gated Recurrent Units (GRU) voor temporele sequenties, gepoold en gefuseerd met ruimtelijke embeddings van de GCN/GAT-lagen.
   • Een Multi-Layer Perceptron (MLP) genereert de uiteindelijke voorspelling, geoptimaliseerd met behulp van Mean Squared Error (MSE).

2. Target City Adaptation (Federated Personalisatie):

   • Expert Constructie: Kritieke parameters van de getrainde voorspellingskoppen van meerdere bronsteden worden gedeeld en behouden als "expert netwerken". Elke expert codeert de unieke spatiotemporele patronen van zijn respectieve bronstad.
   • Gating Mechanisme: Een gating netwerk berekent dynamisch de belangweights voor elke expert op basis van de kenmerken van de doelstad.
   • Top-k Selectie: Om computationele efficiëntie te waarborgen, activeert het systeem alleen de top-$k$ experts met de hoogste gating scores.
   • Voorspellingsfusie: De uiteindelijke voorspelling is een gewogen som van de outputs van de geselecteerde experts. De doelstad minimaliseert zijn eigen voorspellingsverlies met behulp van zijn beperkte lokale data, waardoor privacy wordt gewaarborgd terwijl externe kennis wordt benut.

Belangrijkste Bijdragen

• Framework Design: Introductie van MoE-FedTP, een gepersonaliseerd federated framework dat gebruikmaakt van een lichtgewicht MoE-structuur om specifiek spatiotemporele heterogeniteit tussen steden aan te pakken.
• Parameter Sharing Mechanisme: Een nieuwe cross-city parameter deelstrategie die spatiotemporele patronen uit bronsteden samenvat in expert netwerken en deze dynamisch overdraagt naar doelsteden, wat de prestaties in dataschaarse scenario's verbetert.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat de voorgestelde methode de state-of-the-art baselines overtreft in zowel nauwkeurigheid als generalisatie.

Experimentele Resultaten
De methode werd geëvalueerd op vier real-world datasets: PEMS-BAY, METR-LA, DiDi-Chengdu en DiDi-Shenzhen. De experimentele opzet simuleerde een dataschaarse doelstad met slechts drie dagen aan data, terwijl drie andere datasets dienden als data-rijke bronsteden voor pre-training.

• Prestaties: MoE-FedTP presteerde consistent beter dan baselines inclusief STGCN (spatiotemporele GNN), ST-GFSL (few-shot learning) en pFedCTP (adaptive interpolation PFL).
  • Op METR-LA bereikte het model een verbetering van 6,23% in MAE en 5,20% in RMSE vergeleken met de baselines.
  • Op DiDi-Shenzhen werd een gemiddelde prestatiewinst van 4,68% waargenomen.
• Ablatie Studies:
  • Het verwijderen van de MoE-module resulteerde in significante prestatieverslechtering (bijv. een 7,4% toename in MAE op DiDi-Chengdu), wat de noodzaak van de expert netwerkstructuur bevestigt.
  • Top-k Sensitiviteit: Het optimale aantal actieve experts ($k$) varieerde per dataset. Steden met complexe, diverse patronen (PEMS-BAY, METR-LA) presteerden het best met $k=2$, terwijl steden met onderscheidende patronen (DiDi-Chengdu, DiDi-Shenzhen) optimale resultaten behaalden met $k=1$. Dit suggereert dat het activeren van te veel experts ruis kan introduceren voor specifieke typen steden.

Betekenis en Claims
Het artikel beweert dat MoE-FedTP een efficiënte, privacy-bewarende oplossing biedt voor cross-city verkeersvoorspelling. Door de privacyvoordelen van federated learning te combineren met de fijnmazige modelleringsmogelijkheden van MoE, slaagt het framework erin de uitdagingen van spatiotemporele heterogeniteit te mitigeren. Het stelt dataschaarse steden in staat om kennis te benutten van data-rijke tegenhangers zonder de datasecurity in gevaar te brengen of lokale verkeersdynamiek te negeren. De auteurs positioneren dit werk als een veelbelovende richting voor federated transfer learning in bredere urban computing en spatiotemporele forecasting taken.

Beperkingen en Toekomstig Werk
De auteurs erkennen dat het huidige mechanisme voor gedeeltelijke parameterdeling mogelijk onvoldoende is voor steden met extreme heterogeniteit of wanneer het aantal bronsteden beperkt is. Daarnaast kan de vaste top-$k$ selectiestrategie mogelijk niet optimaal adapteren aan dynamische verkeersscenario's. Toekomstig werk beoogt adaptieve expert selectiestrategieën te verkennen (bijv. reinforcement learning of uncertainty-aware gating) en multi-modale stedelijke data te integreren om robuustheid en schaalbaarheid verder te verbeteren.