Riepilogo Tecnico: Ogni Cliente è un Ambiente: De-confounding Federato per la Previsione Spazio-Temporale

1. Definizione del Problema

La previsione spazio-temporale (STF) è fondamentale per le applicazioni di calcolo urbano, come la previsione del traffico e il monitoraggio della qualità dell'aria. Sebbene i modelli di deep learning abbiano raggiunto prestazioni elevate, essi richiedono tipicamente la raccolta centralizzata dei dati, il che è spesso impraticabile a causa delle normative sulla privacy, dei vincoli di comunicazione e delle questioni di proprietà dei dati. L'Apprendimento Federato (FL) offre una soluzione, addestrando modelli su client distribuiti senza condividere i dati grezzi.

Tuttavia, gli esistenti metodi di STF federata trattano principalmente l'eterogeneità tra i client come una sfida di ottimizzazione da mitigare attraverso modelli personalizzati. Gli autori sostengono che questa prospettiva sia errata perché l'eterogeneità deriva fondamentalmente da condizioni ambientali diverse (ad esempio, meteo, eventi speciali, pattern delle ore di punta) specifiche per la posizione di ogni client. Di conseguenza, i modelli locali catturano pattern di previsione specifici dell'ambiente che sono intrecciati con effetti di confondimento specifici del client. Questi modelli non riescono a generalizzare quando le condizioni ambientali cambiano tra le diverse località. Inoltre, i metodi esistenti di inferenza causale per la STF faticano in contesti federati perché mancano dell'accesso ai dati grezzi centralizzati necessari per disaggregare i confonditori ambientali.

2. Metodologia: Il Framework Atlas

Il paper propone Atlas, un nuovo framework di de-confounding federato. L'intuizione centrale è trattare ogni client federato non come un disturbo, ma come un distinto ambiente causale che fornisce osservazioni complementari dello stesso sistema spazio-temporale sottostante.

2.1 Formulazione Causale

Gli autori formulano un Modello Causale Strutturale (SCM) per la STF federata:

• Variabili: Osservazioni storiche ($X_k$), orizzonti futuri ($Y_k$) e condizioni ambientali specifiche del client ($E_k$).
• Confondimento: $E_k$ introduce correlazioni spurie tramite il percorso back-door $X_k \leftarrow E_k \rightarrow Y_k$.
• Il Limite della Regolazione Locale: Per eliminare il confondimento tramite l'aggiustamento back-door, è necessario stimare $P(Y|do(X)) = \sum P(Y|X, E=e)P(E=e)$. In un contesto federato, i singoli client osservano solo un sottoinsieme distorto degli strati ambientali ($P_k(E)$) e mancano della distribuzione marginale globale $P(E)$. Ciò porta a due bias specifici:
  1. Strati Mancanti: I client perdono i regimi ambientali non presenti nei loro dati locali.
  2. Pesi Distorti: Le stime locali sono pesate dalle distribuzioni locali piuttosto che dalla distribuzione globale.

2.2 Il Meccanismo Atlas

Atlas affronta questi problemi sfruttando l'aggregazione federata come un aggiustamento back-door implicito.

1. Codifica dei Prototipi (Prototype Codebook): Il framework apprende un codice di prototipi globale condiviso $Q = [q_1, \dots, q_I]$, dove ogni prototipo $q_i$ corrisponde a uno strato ambientale latente.
2. Codifica Locale: Ogni client $k$ codifica il proprio input $X_k$ in una rappresentazione latente $z_k$ utilizzando un backbone personalizzato. Successivamente, mappa $z_k$ nel codifica tramite un meccanismo di assegnazione "soft" (Eq. 5), producendo una rappresentazione condizionata dall'ambiente $\hat{z}_k$. Questo funge da approssimazione a livello di parametro dell'aggiustamento back-door locale.
3. Allineamento e Aggregazione: Poiché gli slot dei prototipi sono scambiabili (ad esempio, lo slot $i$ nel Client A potrebbe corrispondere a un regime diverso rispetto allo slot $i$ nel Client B), il server esegue un allineamento dei prototipi prima dell'aggregazione.
   • Il server calcola una matrice di costo basata sulle distanze del coseno tra i prototipi del client e i prototipi ancora globali.
   • Risolve un problema di assegnazione lineare (usando l'algoritmo di Hungarian) per trovare la permutazione ottimale $\Pi_k$ che allinea gli slot del client agli slot ancora globali.
   • Il server aggrega i codici allineati: $Q \leftarrow \sum w_k \Pi_k Q_k$.
4. Garanzia Teorica: Gli autori derivano un limite di de-confounding federato, dimostrando che l'errore è controllato linearmente dalla forza media del confondimento tra i client, piuttosto che dalla forza di un singolo client. Ciò implica che i diversi ambienti dei client si annullano a vicenda i bias specifici quando vengono aggregati.

2.3 Implementazione

• Architettura: I client utilizzano un encoder locale (convoluzione a livello di finestra + ResMLP) e un decoder. Viene scambiato solo il leggero codice di prototipi ($I \times D$ parametri), non i pesi completi del modello.
• Addestramento: In ogni round, i client aggiornano i propri encoder locali, decoder e codici locali. Caricano il codice aggiornato al server, che lo allinea e lo aggrega per formare il nuovo codice globale.

3. Contributi Chiave

1. Un Framework di De-confounding Federato: Il paper introduce una prospettiva causale che tratta i client come ambienti causali distribuiti. Atlas apprende gli effetti di confondimento ambientale condivisi tra client eterogenei per migliorare la generalizzazione.
2. La Federazione come Aggiustamento Back-door Implicito: Teoricamente, il paper rivela che l'aggregazione dei codici di prototipi stabilisce le condizioni per mitigare il confondimento ambientale. Deriva un limite che mostra come l'errore di de-confounding dipenda dal confondimento medio, non dal bias del singolo client.
3. Validazione Empirica: Esperimenti estesi su cinque dataset reali (METR-LA, PEMS-BAY, PEMS03, PEMS04, KnowAir) dimostrano che Atlas supera le basi federate e centralizzate esistenti. Il framework si dimostra trasferibile, interpretabile ed efficiente dal punto di vista della comunicazione.

4. Risultati Sperimentali

4.1 Prestazioni di Previsione

Atlas supera costantemente tutti i baselines federati (inclusi FedAvg, FedProx, FedPer, FedGRU, FedGTP e metodi specializzati come Fuels e FedDis) in tutti i cinque dataset.

• Su METR-LA, Atlas riduce l'MAE a 3.30 rispetto al miglior baseline federato (FedGTP a 3.54) e si avvicina ai metodi centralizzati (DCRNN a 3.05) con un divario del 4.9%–6.7%.
• Su PEMS-BAY, Atlas raggiunge un MAE di 1.68, superando il miglior baseline federato (FedGTP a 1.73).

4.2 Studi di Ablazione

• Aggregazione Federata: Rimuovere l'aggregazione (addestramento puramente locale) causa un drastico calo delle prestazioni (l'MAE aumenta del 77% su METR-LA), confermando che i singoli client non possono catturare regimi ambientali stabili.
• Architettura Condivisa: Imporre un encoder/decoder unificato tra i client (A.2, A.3) degrada le prestazioni, indicando che la modellazione temporale specifica del client deve essere preservata.
• Allineamento: Rimuovere il passaggio di allineamento dei prototipi (A.4) porta a cali costanti delle prestazioni, provando la necessità di allineare la semantica ambientale prima dell'aggregazione.
• Soft Assignment: Sostituire la "soft assignment" con la "hard assignment" (A.5) degrada le prestazioni, evidenziando la necessità di modellare transizioni fluide tra i regimi.

4.3 Trasferibilità ed Efficienza

• Trasferibilità: Il codice appreso si trasferisce efficacemente a client non visti. Quando pre-addestrato su solo il 5% dei client, il codice congelato performa in modo comparabile a un modello addestrato da zero sullo stesso subset, e significativamente meglio di un'inizializzazione casuale.
• Efficienza: Atlas raggiunge un favorevole compromesso tra computazione e comunicazione. I client caricano solo il codice di prototipi (ad esempio, 640 parametri), che è due ordini di grandezza più piccolo di metodi come FedAvg o FedGRU che caricano i pesi completi del modello.
• Robustezza: Il codice è robusto al rumore Gaussiano e Rademacher, con una degradazione minima delle prestazioni, suggerendo che cattura semantiche ambientali stabili.

4.4 Interpretabilità

La visualizzazione sul dataset KnowAir mostra che l'assegnazione dei prototipi correla con distinti regimi ambientali (ad esempio, periodi puliti vs inquinati) e condizioni meteorologiche (temperatura, pressione, umidità), non solo con la variabile target (PM2.5). Ciò conferma che il codice cattura contesti ambientali latenti.

5. Significato e Rivendicazioni

Il paper sostiene che Atlas rappresenti un cambio di paradigma nella STF federata:

• Da Disturbo a Risorsa: Invece di sopprimere l'eterogeneità tra i client come un ostacolo all'ottimizzazione, Atlas la sfrutta come evidenza distribuita dei regimi ambientali.
• Generalizzazione Causale: Inquadrando teoricamente la federazione come un meccanismo di aggiustamento back-door, il metodo consente ai modelli di generalizzare sotto cambiamenti ambientali dove i tradizionali metodi di FL personalizzati falliscono.
• Viabilità Pratica: Il framework offre una soluzione pratica per la previsione spazio-temporale sensibile alla privacy, fornendo alte prestazioni con un overhead di comunicazione minimo e rappresentazioni ambientali interpretabili.

Gli autori riconoscono i limiti, notando che i prototipi discreti potrebbero avere difficoltà con spostamenti continui o estremamente ad alta dimensionalità, e che la complessità di allineamento $O(I^3)$ potrebbe essere un collo di bottiglia per scale di prototipi molto grandi. Il lavoro futuro mira a esplorare strategie di allineamento scalabili e codici dinamici.