FoggyTrust: Robust Federated Learning with Hierarchical Trust Networks

Riepilogo Tecnico: FoggyTrust

Definizione del Problema

L'Apprendimento Federato (FL) consente l'addestramento di modelli distribuiti senza esporre i dati dei client, ma questa preservazione della privacy crea una vulnerabilità agli attacchi bizantini. Client malevoli possono avvelenare i dati locali o manipolare gli aggiornamenti del modello per degradare le prestazioni del modello globale. Sebbene esistano metodi di aggregazione robusti come Krum e Trimmed Mean, essi si affidano a tecniche statistiche che sono suscettibili ad attacchi accuratamente progettati (ad esempio, l'attacco Krum, l'attacco Trim) che sfruttano tali proprietà statistiche.

Una specifica limitazione identificata nello stato dell'arte della difesa, FLTrust, è la sua dipendenza da un singolo dataset di radice globale lato server per calcolare i punteggi di fiducia (trust scores). FLTrust assume che i dati dei client siano relativamente indipendenti e identicamente distribuiti (IID). Tuttavia, le applicazioni FL del mondo reale coinvolgono spesso distribuzioni di dati altamente eterogenee (non-IID). In tali scenari, un dataset di radice globale può non essere rappresentativo di tutti i gruppi di client, portando a punteggi di fiducia fragili. Ciò può causare a FLTrust di penalizzare erroneamente gli aggiornamenti benigni provenienti da client con distribuzioni di dati distinte, pur fallendo nel rilevare aggiornamenti malevoli che casualmente si allineano con il dataset di radice non rappresentativo. Inoltre, i metodi FL standard faticano con il "client drift" negli scenari non-IID, dove gli aggiornamenti locali deviano dall'obiettivo globale.

Metodologia: FoggyTrust

Gli autori propongono FoggyTrust, un'estensione gerarchica di FLTrust progettata per gestire ambienti globalmente eterogenei sfruttando l'omogeneità locale. Il framework introduce un'architettura a due livelli:

1. Livello Locale (Nodi Fog): Invece di un singolo server globale che gestisce tutti i client, il sistema utilizza nodi intermedi denominati "fog nodes". I client sono raggruppati in cluster basati sull'omogeneità locale (ad esempio, posizione geografica o distribuzioni di dati simili). Ogni nodo fog mantiene il proprio piccolo dataset di radice rappresentativo.

   • I client inviano gli aggiornamenti locali al rispettivo nodo fog.
   • Il nodo fog calcola i punteggi di fiducia per questi aggiornamenti utilizzando il proprio dataset di radice locale (tramite la similitudine del coseno, similmente a FLTrust).
   • Gli aggiornamenti vengono sottoposti a clipping ReLU e normalizzazione in base a questi punteggi di fiducia locali, per poi essere aggregati in un singolo "aggiornamento del nodo fog".

2. Livello Globale (Server): Il server globale riceve gli aggiornamenti aggregati dai nodi fog.

   • A differenza del livello locale, il server globale non calcola i punteggi di fiducia basandosi su un dataset di radice.
   • Aggrega gli aggiornamenti dei nodi fog utilizzando regole di aggregazione federata avanzate progettate per gestire l'eterogeneità e il client drift, come FedAvg, FedAdam o SCAFFOLD.

Questo approccio gerarchico decoppia la stima della fiducia dall'aggregazione globale. La fiducia viene calcolata localmente dove i dati sono omogenei, garantendo una valutazione accurata, mentre lo strato globale si concentra sull'ottimizzazione della convergenza tra gruppi eterogenei.

Contributi Chiave

Il documento delinea tre contributi primari rispetto al metodo baseline FLTrust:

1. Calcolo della Fiducia Localizzato: Gli autori impiegano dataset di radice attraverso molteplici nodi fog anziché un singolo server globale. Questo localizza i punteggi di fiducia ai gruppi di client che sono più omogenei, assicurando che i dati di riferimento siano rappresentativi del gruppo specifico che viene aggregato.
2. Aggregazione Gerarchica con Ottimizzatori Robusti: Il framework introduce una struttura gerarchica che consente all'aggregatore di secondo livello (tra i nodi fog e il server globale) di essere sostituito con ottimizzatori consapevoli dell'eterogeneità come SCAFFOLD (per mitigare il client drift) e FedAdam (per migliorare l'adattività), affrontando le debolezze del comune FedAvg.
3. Validazione nel Mondo Reale: Il metodo è valutato non solo su benchmark standard, ma anche su Snapshot Safari, un dataset del mondo reale che riguarda il monitoraggio della fauna selvatica attraverso diversi biomi, dimostrando l'applicabilità del framework in contesti critici per la sicurezza e con impatto sociale.

Risultati Sperimentali

Gli autori hanno valutato FoggyTrust rispetto a FLTrust e ad altri baseline (Krum, Trimmed Mean, Median) su quattro dataset: MNIST, Fashion-MNIST, CIFAR-10 e Snapshot Safari, sotto vari attacchi (Label Flipping, Krum, Trim e Scaling).

• CIFAR-10 (Alta Eterogeneità): FoggyTrust ha dimostrato i suoi maggiori guadagni di performance qui. Sotto attacchi Krum e Trim, FoggyTrust ha ottenuto un miglioramento dell'accuratezza superiore al 50% rispetto a FLTrust. Nello specifico, FoggyTrust con SCAFFOLD ha mostrato guadagni costanti in scenari no-attack, Trim e Scaling, mentre FoggyTrust con FedAdam ha performato meglio sotto attacchi Krum.
• MNIST e Fashion-MNIST: FoggyTrust ha generalmente superato i baseline sotto attacchi Trim e Scaling. Tuttavia, FLTrust è rimasto competitivo o superiore negli scenari di attacco Label Flipping e Krum su MNIST, e sotto Label Flipping su Fashion-MNIST.
• Snapshot Safari: In questo scenario eterogeneo del mondo reale, il metodo più semplice (FedAvg) è stato il migliore in assoluto. Tuttavia, FoggyTrust ha colmato con successo il divario di performance tra FedAvg e FLTrust. In particolare, sotto l'attacco Trim, FoggyTrust ha mostrato un calo di accuratezza più graduale (da 0.6455 a 0.6029) rispetto a FLTrust (da 0.6383 a 0.4297).
• Limitazioni: Il documento nota che FoggyTrust non migliora significativamente le prestazioni contro gli attacchi di Label Flipping (Data Poisoning). Gli autori attribuiscono ciò alla natura "silenziosa" di questi attacchi, dove i gradienti rimangono matematicamente plausibili, e al numero ridotto di client per ogni nodo fog (10 rispetto a 100 in FLTrust globale), che limita lo spazio statistico per l'errore nella stima della fiducia.

Significato e Rivendicazioni

Il documento sostiene che FoggyTrust sia il primo metodo di aggregazione resistente ai difetti (Byzantine-robust) specificamente specializzato per applicazioni eterogenee. La sua importanza risiede in:

• Affidabilità nell'Eterogeneità: Localizzando il calcolo della fiducia, il metodo mitiga il disallineamento della distribuzione tra il dataset di riferimento e i dati dei client che degrada FLTrust in scenari non-IID.
• Modularità: Il design a due livelli consente l'integrazione di diverse strategie di aggregazione al livello globale per affrontare problemi specifici come il client drift, combinando meccanismi di robustezza con l'ottimizzazione consapevole dell'eterogeneità.
• Applicabilità Pratica: La valutazione su Snapshot Safari suggerisce che le reti di fiducia gerarchiche sono promettenti per sistemi distribuiti e critici per la sicurezza (come il monitoraggio della fauna selvatica) dove i dati sono intrinsecamente strutturati per geografia o ambiente, anche se l'overhead della stima della fiducia deve essere pesato rispetto ai benefici in contesti ad alta variabilità intra-gruppo.

Gli autori concludono che, sebbene FoggyTrust introduca complessità di sistema, il disaccoppiamento della stima locale della fiducia dall'aggregazione globale produce benefici sostanziali in ambienti avversari ed eterogenei, fornendo un framework rigoroso per gestire l'eterogeneità dei dati strutturati.