Sintesi Tecnica: FedCausal-Dyn

Definizione del Problema

Il documento affronta la sfida critica del drift dinamico delle caratteristiche (dynamic feature drift) nel Federated Learning (FL). A differenza degli scenari di FL tradizionali che spesso assumono distribuzioni di dati statiche o si concentrano esclusivamente sulla skew della distribuzione delle etichette (non-IID delle etichette), questo lavoro mira ad ambienti in cui la distribuzione condizionale delle caratteristiche date un'etichetta, $P(x|y)$, evolve sia tra diversi client che nel tempo. Tale scenario è prevalente nelle applicazioni del mondo reale come la tecnologia finanziaria, dove le condizioni di mercato, le regolamentazioni e i comportamenti degli utenti creano flussi di dati non stazionari.

Gli approcci esistenti per mitigare il drift delle caratteristiche spesso si basano su assunzioni statiche, l'allineamento delle caratteristiche o la condivisione di dati sintetici. Questi metodi soffrono frequentemente di:

1. Soppressione delle caratteristiche causalmente predittive durante il tentativo di allineare le distribuzioni.
2. Mancanza di robustezza contro aggiornamenti dei client inaffidabili o rumorosi.
3. Potenziali rischi per la privacy associati alla condivisione di caratteristiche grezze o dati sintetici.
4. Incapacità di adattarsi all'evoluzione temporale delle distribuzioni dei dati.

Metodologia: FedCausal-Dyn

Gli autori propongono FedCausal-Dyn, un framework costruito su un paradigma causale-dinamico. La filosofia centrale è quella di disaggregare le caratteristiche causali invarianti dal dominio dalle variazioni spurie e specifiche del dominio, e di aggregare la conoscenza in base all'affidabilità degli aggiornamenti locali. Il framework opera su $T$ round di comunicazione con $N$ client e consiste in tre innovazioni primarie:

1. Separazione delle Caratteristiche Causal-Dominio

Ispirato all'inferenza causale, il framework postula che le rappresentazioni delle caratteristiche $z$ siano un insieme di caratteristiche causali ($z_c$) e caratteristiche spurie ($z_s$). Per separarle, il modello locale impiega un encoder condiviso $G(\cdot)$ seguito da due teste di proiezione leggere:

• Estrattore di Caratteristiche Causali ($C$): Estrae caratteristiche invarianti dal dominio che predicono l'etichetta $y$.
• Estrattore di Caratteristiche Spurie ($S$): Cattura l'informazione residua specifica del dominio.

L'addestramento prevede un gioco avversario a tre obiettivi:

• Predizione Causale: Assicura che $z_c$ predica accuratamente $y$ tramite la perdita di cross-entropy.
• Invarianza del Dominio: Utilizza un Layer di Inversione del Gradiente (GRL) e un discriminatore di dominio $D_d$ per forzare $z_c$ a essere indistinguibile tra i client (rimuovendo l'informazione sull'identità del client).
• Cattura del Dominio: Addestra $z_s$ per catturare esplicitamente le variazioni specifiche del dominio tramite un classificatore separato $D_s$.

2. Aggregazione dei Prototipi Affidabile e Dinamica

Inveve di mediare ingenuamente i prototipi locali in base al numero di campioni, FedCausal-Dyn introduce uno schema di pesatura consapevole dell'affidabilità (reliability-aware weighting scheme).

• I prototipi locali $c_{n,k}^t$ sono calcolati come la media delle caratteristiche causali per la classe $k$ sul client $n$.
• A ogni prototipo viene assegnato un peso di affidabilità $\omega_{n,k}^t \in [0, 1]$, derivato dall'accuratezza di validazione locale del client o dalla coerenza delle caratteristiche intra-classe.
• Il protipo globale $g_k^t$ è aggiornato come una somma pesata dei prototipi locali. Questo meccanismo dà priorità agli aggiornamenti di alta qualità, filtrando il rumore proveniente da client volatili o inaffidabili, il che è particolarmente cruciale in ambienti dinamici come la finanza.

3. Regolarizzazione Collaborativa Guidata dalle Caratteristiche Causali

Per unificare l'allineamento inter-client con l'invarianza del dominio, il framework introduce un termine di regolarizzazione $L_{Reg}$ che comprende:

• Allineamento Contrastivo dei Prototipi ($L_{Align}$): Una perdita InfoNCE generalizzata che avvicina le caratteristiche causali locali $z_c$ ai prototipi globali affidabili $g_y^t$ aggiornati dinamicamente, allontanandole al contempo dai prototipi di altre classi.
• Invarianza del Dominio ($L_{Inv}$): La componente di perdita avversaria che assicura che $z_c$ rimanga invariante tra i domini.

4. Mixup delle Caratteristiche Potenziato per la Privacy

Per addestrare il classificatore globale $C_g$ senza esporre i dati grezzi, i client caricano caratteristiche miscelate (mixed features). Una maschera binaria $m$ viene generata per miscelare la caratteristica causale locale $z_c$ con il prototipo globale $g_y^t$. La maschera è ottimizzata tramite un obiettivo mini-max per massimizzare l'incertezza di un discriminatore di dominio (proteggendo l'identità del client) pur mantenendo la somiglianza semantica con la caratteristica originale.

Contributi Chiave

1. Nuovo Paradigma: Il documento introduce una prospettiva causale-dinamica nel FL, modellando esplicitamente le distribuzioni dei dati come in evoluzione nel tempo anziché assumere un drift statico.
2. Disaggregazione delle Caratteristiche: Propone un meccanismo strutturato per separare le caratteristiche causali invarianti dalle variazioni spurie, evitando la soppressione dei segnali predittivi durante l'allineamento.
3. Aggregazione Consapevole dell'Affidabilità: Sostituisce la media standard con uno schema di pesatura dinamica basato sull'affidabilità del modello locale, migliorando la robustezza contro gli aggiornamenti rumorosi.
4. Regolarizzazione Unificata: Combina l'allineamento contrastivo dei prototipi e l'invarianza del dominio in una funzione obiettivo coesa.
5. Preservazione della Privacy: Integra un meccanismo di mixup potenziato per la privacy che consente l'addestramento del classificatore globale senza trasmettere caratteristiche grezze o dati sintetici che potrebbero trapelare informazioni.

Risultati Sperimentali

Il framework è stato valutato su tre benchmark standard di generalizzazione del dominio federato: Office-10, Digits e PACS.

• Performance: FedCausal-Dyn ha raggiunto prestazioni State-of-the-Art (SOTA) su tutti i dataset, superando solidi baseline inclusi FedAvg, FedBN, FedProto, ADCOL e FedPall.
  • Office-10: 68,95% di accuratezza media (rispetto al 64,51% del precedente migliore, ADCOL).
  • Digits: 89,34% di accuratezza media (rispetto all'88,74% di FedPall).
  • PACS: 61,26% di accuratezza media (rispetto al 60,56% di FedPall).
• Stabilità: Il metodo ha mostrato la deviazione standard media più bassa (1,15) tra le prove, indicando una consistenza e una robustezza superiori rispetto ad altri metodi.
• Studi di Ablazione:
  • La Regolarizzazione Collaborativa Guidata dalle Caratteristiche Causali (G) è stata identificata come la componente più critica, fornendo i maggiori guadagni di performance.
  • La Separazione delle Caratteristiche (C) era essenziale; la sua rimozione ha causato cali significativi delle prestazioni, confermando che le caratteristiche aggregate degradano l'allineamento.
  • L'Aggregazione Affidabile (R) e il Mixup per la Privacy (P) hanno fornito benefici complementari, migliorando rispettivamente robustezza e privacy.
• Convergenza: Le curve di addestramento hanno dimostrato una convergenza più rapida e meno oscillazioni rispetto ai baseline, grazie al filtraggio degli aggiornamenti rumorosi e a segnali di regolarizzazione stabili.

Significato e Rivendicazioni

Il documento afferma che FedCausal-Dyn fornisce una soluzione robusta e fondata per il federated learning in ambienti dinamici ed eterogenei. Affrontando esplicitamente l'evoluzione temporale delle distribuzioni delle caratteristiche e separando i fattori causali da quelli spurii, il framework supera i limiti dei metodi di allineamento statico.

Gli autori sottolineano che il loro approccio è particolarmente adatto ad applicazioni come la tecnologia finanziaria, dove i flussi di dati non stazionari e le strutture relazionali mutevoli (ad esempio, nel rilevamento delle frodi) rendono inefficaci i modelli statici tradizionali. Il lavoro estende i paradigmi esistenti di FL integrando l'inferenza causale con la stima della affidabilità dinamica, offrendo una via verso modelli più stabili e generalizzabili in contesti reali non stazionari.

Il documento riconosce i limiti, tra cui l'overhead computazionale del modulo di separazione e la necessità di dati di validazione tenuti da parte per calcolare i pesi di affidabilità, suggerendo questi come aree per l'ottimizzazione futura.