Fed-GAME: Personalized Federated Learning with Graph Attention Mixture-of-Experts For Time-Series Forecasting

Fed-GAME is een gepersonaliseerd federatief leerframework voor tijdreeksvoorspelling dat client-heterogeniteit aanpakt door een dynamisch impliciet graaf te modelleren en een Graph Attention Mixture-of-Experts aggregator te gebruiken voor verfijnde personalisatie via gescheiden parameterupdates.

De kern

Stel je voor dat je een groep vrienden hebt die allemaal hun eigen elektrische auto opladen, maar op heel verschillende manieren. De ene laadt 's nachts op, de ander overdag, en weer een ander heeft een heel onregelmatig patroon.

In de wereld van kunstmatige intelligentie willen we een slim systeem bouwen dat kan voorspellen wanneer en hoeveel stroom er nodig is. Maar er is een probleem: we mogen de privé-gegevens van deze vrienden niet delen (dat is illegaal of onwenselijk). Dit noemen we Federated Learning: iedereen traint een model op hun eigen computer, en alleen de "leerresultaten" worden gedeeld, niet de data zelf.

Het probleem is echter dat de meeste bestaande systemen te star zijn. Ze doen alsof iedereen hetzelfde is, of ze gebruiken een vaste kaart (bijvoorbeeld: "wie dichtbij woont, is een vriend"). Maar in werkelijkheid is een persoon die 's nachts laadt misschien meer verwant aan iemand die ook 's nachts laadt, zelfs als ze aan de andere kant van het land wonen.

Hier komt Fed-GAME om de hoek kijken. Het is een slimme nieuwe manier om deze groep te laten samenwerken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Verschil-Report" (In plaats van het hele boek)

Stel je voor dat elke vriend een eigen dagboek (hun model) heeft. In plaats van dat ze het hele dagboek naar de meester (de server) sturen – wat veel te veel papier zou kosten – sturen ze alleen een samenvatting van wat ze hebben veranderd.
Ze zeggen: "Hier is wat ik heb geleerd dat anders is dan wat de meester al wist." Dit is veel efficiënter.

2. De Meester met twee oren

De meester op het centrale punt (de server) doet nu twee dingen tegelijk met deze samenvattingen:

• Oor 1 (De Gemiddelde): Hij kijkt naar alle samenvattingen en maakt een nieuwe, algemene "wereldwijze" versie. Dit zorgt ervoor dat iedereen op de hoogte blijft van de basisregels.
• Oor 2 (De Slimme Mix): Hier wordt het magisch. De meester gebruikt een nieuw systeem genaamd GAME.

3. Wat is GAME? (De "Expert-Panel" met een slimme gids)

Stel je voor dat de meester een panel heeft van 5 experts (zoals een jury).

• De Experts: Elke expert kijkt naar de samenvattingen van de vrienden en zegt: "Ik denk dat vriend A veel te maken heeft met vriend B, omdat ze allebei 's nachts laden."
• De Gids (De Poortwachter): Voor elke vriend is er een persoonlijke gids. Deze gids kijkt naar de experts en zegt: "Vriend A, luister vooral naar Expert 2 en Expert 4, want die begrijpen jouw situatie het beste. Expert 1 heeft het mis."

Dit is het Graph Attention Mixture-of-Experts. In plaats van dat iedereen naar iedereen luistert (of alleen naar de buren), leert het systeem dynamisch: "Wie is op dit moment de beste mentor voor jou?" Het maakt een onzichtbaar netwerk van vriendschappen op basis van gedrag, niet op basis van locatie.

4. Het Resultaat: Een persoonlijke coach

Elke vriend krijgt nu een update die perfect op maat is gemaakt.

• Ze krijgen de algemene kennis van de groep (zodat ze niet alles opnieuw hoeven te leren).
• Maar ze krijgen ook de specifieke tips van de "mentoren" die het meest lijken op hen.

Waarom is dit zo goed?

In de proeven met elektrische auto's in Palo Alto en Shenzhen (een grote stad in China), bleek dit systeem veel beter te werken dan de oude methoden.

• Beter voorspellen: Het kon veel nauwkeuriger zeggen hoeveel stroom er nodig zou zijn.
• Minder data: Omdat ze alleen de "verschillen" sturen en niet het hele model, is het heel snel en goedkoop.
• Slimme aanpassing: Het systeem merkte zelfs dat mensen die ver uit elkaar wonen, soms hetzelfde laadgedrag hebben, en liet hen met elkaar samenwerken.

Kortom: Fed-GAME is als een slimme coach die niet iedereen hetzelfde vertelt, maar voor elke persoon een uniek team van mentors samenstelt die het beste bij hen passen, zonder dat je je privé-dagboeken hoeft in te leveren.

Technische samenvatting

Probleemstelling

Federated Learning (FL) biedt mogelijkheden voor collaboratief trainen op gedecentraliseerde data, maar presteert vaak slecht bij statistische heterogeniteit (non-IID data). Dit is vooral een uitdaging bij gedistribueerde tijdreeksvoorspelling, zoals het voorspellen van laadbehoefte voor elektrische voertuigen (EV's), waarbij elke client unieke tijdspatronen en seizoensinvloeden heeft.

Bestaande methoden kampen met twee fundamentele beperkingen:

1. Onnauwkeurige Client-Graphs: Bestaande Federated Graph Learning (FGL) methoden vertrouwen vaak op statische, vooraf gedefinieerde grafieken (bijv. op basis van geografie) die de werkelijke taakspecifieke relaties tussen clients niet vastleggen. Dynamische grafieken die op volledige modelupdates zijn gebaseerd, vereisen vaak te veel communicatiebandbreedte of gebruiken te grove gelijkaardigheidsmaten.
2. Suboptimale Aggregatie van Gemengde Updates: In traditionele Personalized FL (PFL) frameworks wordt vaak één updatevector uitgewisseld die globale consensus en client-specifieke personalisatie door elkaar haalt. Dit verzwakt de algemene kennis en verbergt gepersonaliseerde signalen. Bestaande decompositietechnieken negeren vaak de rijke inter-client relaties die essentieel zijn voor effectieve personalisatie.

Methodologie: Het Fed-GAME Framework

Het auteurs stellen Fed-GAME voor, een framework dat personalisatie modelleert als berichtuitwisseling over een leerbare, dynamische, impliciete grafiek. De kern bestaat uit een ontkoppelde updateprotocol en een server-side aggregator.

1. Client-zijde: Ontkoppelde Parameterupdates

In plaats van het volledige model te delen, berekent elke client $i$ het verschil in parameters ($\Delta_i$) tussen hun fijngefineerde private model ($M_A$) en het gedeelde globale model ($M_B$):
$$\Delta_i = w_{A,i} - w_B$$
Dit verschil wordt naar de server gestuurd. Dit ontwerp zorgt voor fijne personalisatie terwijl een robuuste globale consensus wordt behouden.

2. Server-zijde: GAME Aggregator

Op de server worden de ontvangen verschillen in twee stromen verdeeld:

• Globale Consensus: Het gemiddelde van alle $\Delta_i$ wordt gebruikt om het globale model $M_B$ bij te werken.
• Gepersonaliseerde Aggregatie (GAME): Voor personalisatie worden alleen selectieve componenten van de updates (meestal de laatste MLP-lagen) gebruikt. Deze worden geëncodeerd naar lage-dimensionale embeddings en verwerkt door een Graph Attention Mixture-of-Experts (GAME) aggregator.

De GAME aggregator bestaat uit twee componenten:

• Gedeelde Scoring Experts: Een set gedeelde experts ($E_k$) evalueert de relevantie van de boodschap van client $j$ voor client $i$. Dit levert een scalar score op.
• Gepersonaliseerde Noisy Top-k Gating: Elke client heeft een eigen "gate" die een gewicht toekent aan de output van de experts. Deze gate gebruikt een Top-k selectie met ruis (Gaussian noise) voor exploratie, gevolgd door een softmax-functie. Dit resulteert in een dynamische, client-specifieke grafiek waar de randgewichten ($w_{ij}$) de aggregatie bepalen.

De gepersonaliseerde update voor client $i$ wordt berekend als een combinatie van de eigen lokale update en de geaggregeerde kennis van peers:
$$\Delta_{pers, i} = w_{self} \cdot \Delta_{u,i} + (1 - w_{self}) \sum_{j \neq i} w_{ij} \cdot \Delta_{u,j}$$

3. Trainingsdoelstellingen

• Client-zijde: Minimalisatie van de voorspellingsfout op lokale data, geregulariseerd door een proximal term (FedProx) om te voorkomen dat het lokale model te ver afdrijft van het globale model.
• Server-zijde: Training van de Encoder en MoE-module via een meta-loss ($L_{meta}$). Deze loss is een combinatie van MSE en cosine dissimilariteit, die de gepersonaliseerde updates ($\Delta_{pers}$) in lijn brengt met de oorspronkelijke client-uitdrukkingsverschillen ($\Delta_u$), zonder dat de server toegang heeft tot de ruwe client-data.

Belangrijkste Bijdragen

1. Decoupling van Consensus en Personalisatie: Door alleen parameterverschillen te delen, worden globale kennis en lokale personalisatie effectief gescheiden.
2. GAME Aggregator: Een innovatieve server-side aggregator die dynamische, client-specifieke aggregatiestrategieën leert via een MoE-architectuur met gedeelde experts en gepersonaliseerde routers. Dit elimineert de afhankelijkheid van statische grafieken.
3. Meta-Loss voor Server-training: Een similarity-based meta-loss die het mogelijk maakt om de aggregator te trainen zonder directe toegang tot client-data.
4. Efficiëntie: Het framework voegt slechts een verwaarloosbare communicatie-overhead toe (ongeveer 0,1% - 0,2%) door alleen de laatste lagen van het model te delen voor personalisatie.

Experimentele Resultaten

De methode is getest op twee real-world datasets voor EV-laadbehoefte: Palo Alto (8 stations) en Shenzhen (247 stations).

• Prestatie: Fed-GAME presteerde superieur ten opzichte van state-of-the-art baselines (FedAvg, FedProx, pFedMe, PAG-FedAvg, GCRN-FedAvg) op de belangrijkste metrieken: Quantile Score (QS), Interval Coverage Percentage (ICP) en Mean Interval Length (MIL).
  • Op de Shenzhen dataset verbeterde Fed-GAME de prestaties met 54,23% (QS) en 43,87% (ICP) ten opzichte van "No FL" (lokaal trainen zonder communicatie) voor een voorspellingstijdstip van 6 stappen.
• Ablatie-studie: Vergelijking met GraphSAGE (vaste aggregatie) en GAT (lerende attention) toonde aan dat de GAME aggregator aanzienlijk beter presteert. De combinatie van multi-perspectief experts en een adaptieve router zorgt voor een betere voorspelling.
• Communicatiekosten: De overhead is minimaal omdat slechts een klein percentage van de parameters (de "head") wordt uitgewisseld voor de gepersonaliseerde aggregatie, terwijl de meeste communicatie beperkt blijft tot het globale model.

Significantie

Fed-GAME biedt een krachtige oplossing voor het probleem van heterogene data in Federated Learning voor tijdreeksvoorspelling. Door de afhankelijkheid van vooraf gedefinieerde grafieken te doorbreken en in plaats daarvan content-aware, dynamische grafieken te leren via een Mixture-of-Experts mechanisme, kan het framework complexe, niet-lineaire relaties tussen clients vastleggen. Dit resulteert in zowel hogere voorspellingnauwkeurigheid als betere generalisatie in real-world scenario's met non-IID data, terwijl de communicatie-efficiëntie behouden blijft. De aanpak is vooral relevant voor toepassingen zoals slimme netwerken en energievoorziening, waar lokale patronen sterk variëren maar samenwerking essentieel is.