Fed-GAME: Personalized Federated Learning with Graph Attention Mixture-of-Experts For Time-Series Forecasting

Il paper propone Fed-GAME, un framework di apprendimento federato personalizzato che utilizza un grafo implicito dinamico e un aggregatore Mixture-of-Experts con attenzione grafica per migliorare le previsioni delle serie temporali in ambienti eterogenei, superando i limiti delle topologie statiche.

L'essenziale

Immagina di avere un gruppo di amici sparsi per il mondo, ognuno con la sua auto elettrica e la propria abitudine di ricarica. Ognuno di loro ha un "cervello" (un modello di intelligenza artificiale) che cerca di prevedere quando la sua auto avrà bisogno di energia.

Il problema è che ogni amico ha abitudini diverse: uno ricarica di notte, un altro di giorno, uno vive in città, l'altro in campagna. Se tutti provassero a imparare da un unico "cervello maestro" centrale, nessuno sarebbe davvero bravo, perché le abitudini sono troppo diverse.

Ecco dove entra in gioco Fed-GAME, la soluzione proposta in questo articolo. Possiamo immaginarla come un sistema di "scambio di consigli intelligenti" tra amici, senza che nessuno debba rivelare i propri dati privati (come la sua posizione esatta o la sua bolletta).

Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: La "Festa delle Abitudini Diverse"

In passato, i sistemi di apprendimento federato (dove le macchine imparano insieme senza condividere i dati) facevano due cose sbagliate:

• Mappe statiche: Pensavano che gli amici vicini geograficamente avessero le stesse abitudini. Ma non è vero! Un amico in centro e uno in periferia potrebbero avere routine di ricarica completamente diverse.
• Mescolanza confusa: Quando gli amici si scambiavano i consigli, mescolavano tutto in un'unica "zuppa". I consigli generali venivano confusi con quelli specifici per ognuno, rendendo il risultato mediocre per tutti.

2. La Soluzione: Fed-GAME (Il "Cervello a Scacchiera")

Fed-GAME risolve il problema separando le cose e creando una mappa dinamica delle relazioni.

A. La Separazione: "Cosa ho imparato io" vs "Cosa sappiamo tutti"

Immagina che ogni amico abbia due quaderni:

1. Il Quaderno Globale: Contiene le regole generali che tutti condividono (es. "le auto consumano di più d'inverno").
2. Il Quaderno Privato: Contiene le regole specifiche solo per quell'amico (es. "io carico sempre alle 18:00").

Invece di inviare tutto il quaderno privato al centro (che sarebbe troppo pesante e rivelerebbe troppi segreti), gli amici inviano solo la differenza tra il loro quaderno privato e quello globale. È come inviare solo una lista di "correzioni" o "aggiunte" specifiche, invece dell'intero libro.

B. Il Server: Il "Chef di un Ristorante con Molti Cuochi" (MoE)

Qui arriva la parte magica. Il server centrale non è un semplice calcolatore, ma un ristorante con un team di esperti (Mixture-of-Experts).

• Quando arrivano le "correzioni" dagli amici, il server non le mescola a caso.
• Usa un sistema di attenzione a grafo (come una mappa che si disegna da sola in tempo reale).
• Immagina che il server abbia diversi "esperti" (Cuochi). Ogni esperto è bravo a capire un tipo di relazione:
  • Esperto A: "Questi due amici hanno abitudini simili perché lavorano entrambi in ufficio."
  • Esperto B: "Questi due sono simili perché hanno auto elettriche vecchie."
• Un Portiere Intelligente (Gating) decide, per ogni amico, quali esperti ascoltare e quanto pesare i loro consigli. Se l'amico "Mario" ha abitudini simili all'amico "Luigi" (anche se vivono lontani), il portiere dirà: "Ascolta molto Luigi, ignora gli altri".

3. Il Risultato: Previsioni Perfette

Grazie a questo sistema:

• Nessuno condivide i dati privati: Si scambiano solo piccoli pezzi di matematica (le differenze).
• La mappa è viva: Il sistema impara chi è simile a chi basandosi sui dati reali, non sulla posizione geografica.
• Personalizzazione: Ogni amico riceve un consiglio su misura, che combina la saggezza del gruppo con le sue esigenze specifiche.

In Sintesi

Fed-GAME è come avere un gruppo di amici che, invece di leggere tutti lo stesso manuale di istruzioni, si scambiano solo le note a margine che hanno scritto. Un "super-intelligente" al centro legge queste note, capisce chi ha scritto cosa e a chi assomiglia, e poi ridistribuisce le note migliori a ciascuno, creando un manuale perfetto per ogni singola persona.

I test fatti su dati reali (stazioni di ricarica per auto elettriche a Palo Alto e Shenzhen) hanno dimostrato che questo metodo funziona molto meglio dei metodi attuali: prevede meglio quando le auto avranno bisogno di energia, anche quando le abitudini sono molto diverse tra loro.

Sommario tecnico

1. Il Problema

L'apprendimento federato (Federated Learning - FL) su grafi offre promettenti possibilità per la previsione distribuita di serie temporali, ma le metodologie esistenti affrontano due sfide fondamentali:

• Eterogeneità dei Clienti e Topologie Statiche: I metodi attuali spesso si basano su grafi predefiniti e statici (es. basati sulla vicinanza geografica) che non catturano le vere relazioni specifiche del compito tra i client. Inoltre, l'eterogeneità statistica nei dati (tipica nelle previsioni della domanda di ricarica dei veicoli elettrici) degrada le prestazioni dei modelli globali.
• Aggregazione Subottimale degli Aggiornamenti: Nei framework PFL (Personalized FL) convenzionali, i client scambiano un singolo vettore di aggiornamento che mescola la conoscenza globale con la personalizzazione locale. Questo "confluenza" indebolisce la conoscenza generale e oscura i segnali personalizzati. Le tecniche di decomposizione parametrica esistenti spesso ignorano le relazioni inter-cliente ricche necessarie per una personalizzazione efficace.

2. Metodologia: Il Framework Fed-GAME

Il paper propone Fed-GAME, un framework di FL personalizzato che modella l'aggregazione come passaggio di messaggi su un grafo implicito dinamico e apprendibile. L'architettura si basa su un protocollo di aggiornamento decoupled (disaccoppiato) e su un aggregatore innovativo.

A. Protocollo di Aggiornamento Disaccoppiato

Invece di inviare l'intero modello, ogni client invia solo le differenze parametriche ($\Delta$) tra il proprio modello privato fine-tunato ($M_A$) e il modello globale condiviso ($M_B$).

1. Aggiornamento del Consenso Globale: La server calcola la media delle differenze per aggiornare il modello globale, mantenendo una base di conoscenza condivisa.
2. Aggregazione Personalizzata: Solo componenti selettive delle differenze (specificamente gli strati finali MLP, che catturano caratteristiche trasferibili di alto livello) vengono inviate per l'aggregazione personalizzata.

B. Aggregatore GAME (Graph Attention Mixture-of-Experts)

Il cuore del server è l'aggregatore GAME, che apprende strategie di aggregazione specifiche per ogni client senza accedere ai dati locali:

• Codifica: Le differenze selettive vengono codificate in embedding a bassa dimensionalità.
• Esperti di Punteggio Condivisi (Shared Scoring Experts): Un insieme di esperti (reti lineari) valuta la rilevanza tra le coppie di client, generando punteggi di similarità basati sui contenuti degli aggiornamenti.
• Gating Personalizzato con Rumore Top-k: Ogni client possiede un "gate" personalizzato che combina i punteggi degli esperti. Utilizza una selezione Top-k rumorosa (con rumore gaussiano per l'esplorazione) per creare una strategia di aggregazione sparsa e adattiva.
• Passaggio di Messaggi: I pesi di attenzione risultanti definiscono un grafo dinamico dove i nodi sono i client e gli archi rappresentano la similarità negli aggiornamenti finali. Questo permette un passaggio di messaggi mirato e personalizzato.

C. Obiettivi di Addestramento

Il framework utilizza una strategia di ottimizzazione a due livelli:

• Lato Client: Minimizzazione della funzione di perdita locale (previsione) regolarizzata da un termine proximal (FedProx) per evitare la deriva dal modello globale.
• Lato Server: Addestramento dell'aggregatore (Encoder e MoE) tramite una Meta-Loss basata sulla similarità. Questa loss combina un errore quadratico medio (MSE) e una perdita di dissimilarità coseno, incoraggiando l'aggregatore a generare aggiornamenti personalizzati che rimangono allineati con le differenze parametriche grezze del client, bilanciando personalizzazione e coerenza globale.

3. Contributi Chiave

1. Separazione Consenso/Personalizzazione: Trasmissione esclusiva delle differenze parametriche tra modello privato e globale, permettendo aggiornamenti personalizzati fini mantenendo un consenso globale robusto.
2. Aggregatore GAME Dinamico: Introduzione di un aggregatore basato su Mixture-of-Experts (MoE) che apprende un grafo implicito e specifico per il compito, superando la dipendenza da topologie statiche.
3. Meta-Loss per Aggregazione: Progettazione di una funzione di perdita per addestrare l'aggregatore sul server senza accesso ai dati dei client, garantendo che le strategie di aggregazione siano efficaci.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset reali di ricarica di veicoli elettrici (EV): Palo Alto (8 stazioni) e Shenzhen (247 stazioni), caratterizzati da pattern spaziali e temporali non-IID.

• Prestazioni di Previsione: Fed-GAME ha superato gli stati dell'arte (SOTA) tra cui FedAvg, FedProx, pFedMe, PAG-FedAvg e GCRN-FedAvg.
  • Su Shenzhen, Fed-GAME ha migliorato le prestazioni (Quantile Score - QS) del 54,23% rispetto all'approccio "No FL" (senza federazione) per la previsione a 6 passi, e del 45,14% per 12 passi.
  • Ha ottenuto i migliori punteggi medi di QS e ICP (Interval Coverage Percentage) su entrambi i dataset.
• Validazione dell'Aggregatore: Un'analisi di ablazione ha mostrato che GAME supera significativamente aggregatori basati su grafi fissi (GraphSAGE) e attention statica (GAT), dimostrando che la modellazione multi-perspettiva delle relazioni tramite esperti condivisi e gating personalizzato è superiore.
• Efficienza Comunicativa: Nonostante l'aggiunta di un "capo" personalizzato, l'overhead di comunicazione è trascurabile (circa 0,115% - 0,235% in più rispetto ai metodi baselines che scambiano parametri completi), poiché vengono trasmessi solo i parametri degli strati finali.

5. Significato e Implicazioni

Il lavoro di Fed-GAME rappresenta un avanzamento significativo nell'apprendimento federato per serie temporali:

• Superamento delle Limitazioni Geografiche: Dimostra che le relazioni tra client per la personalizzazione non devono essere basate su metriche fisiche (come la distanza), ma possono essere apprese dinamicamente dai dati di aggiornamento del modello.
• Efficienza e Scalabilità: La capacità di ottenere una forte personalizzazione con un costo di comunicazione minimo rende il framework adatto per scenari reali con dispositivi IoT e larghezza di banda limitata.
• Robustezza all'Eterogeneità: La capacità di gestire dati non-IID complessi (come le diverse stagionalità e pattern di ricarica) lo rende ideale per applicazioni critiche come la gestione della rete elettrica e la previsione della domanda di energia.

In conclusione, Fed-GAME stabilisce un nuovo standard per l'aggregazione personalizzata nel FL, combinando la flessibilità dei grafi dinamici con la potenza dei Mixture-of-Experts per migliorare sia l'accuratezza che la generalizzazione nelle previsioni di serie temporali distribuite.