Riepilogo Tecnico: Apprendimento Federato Robusto ai Bizantini con Pesi di Aggregazione Apprendibili

Enunciato del Problema

L'Apprendimento Federato (FL) consente a più client di addestrare collaborativamente un modello globale senza condividere dati privati. Tuttavia, il sistema è vulnerabile a client bizantini: attori malintenzionati che inviano aggiornamenti del modello arbitrari o corrotti per compromettere il modello globale. Questa sfida è esacerbata in ambienti eterogenei dove le distribuzioni dei dati variano significativamente tra i client. In tali scenari, distinguere tra aggiornamenti benigni (influenzati dall'eterogeneità dei dati) e aggiornamenti maliziosi è difficile.

I metodi FL esistenti robusti ai bizantini seguono tipicamente un processo in due fasi: prima identificano ed eliminano i client maliziosi, e successivamente assegnano pesi di aggregazione uniformi ai client benigni rimanenti. Gli autori sostengono che questo approccio di pesatura uniforme sia subottimale in ambienti eterogenei. Dopo aver rimosso i client maliziosi, i client benigni rimanenti possono ancora presentare distribuzioni di dati sbilanciate (ad esempio, assenza di determinate etichette). Assegnare pesi uniformi non riesce ad adattarsi a questo squilibrio, potenzialmente degradando l'accuratezza del modello non dando priorità adeguata alle classi sottorappresentate.

Metodologia

Il documento propone FedLAW (Apprendimento Federato con Pesi di Aggregazione Apprendibili), un nuovo framework che tratta i pesi di aggregazione come parametri apprendibili piuttosto che come valori fissi o assegnazioni semplici post-filtraggio.

1. Formulazione del Problema

Gli autori formulano l'obiettivo FL come un problema di ottimizzazione congiunta sia sui parametri del modello globale $\theta$ che sui pesi di aggregazione $w$:
$$\min_{\theta \in \mathbb{R}^d, w \in \Delta^+_{t,\ell_0}} \sum_{i=1}^n w_i f_i(\theta)$$
dove $f_i(\theta)$ è la funzione di perdita del client $i$. Il vettore dei pesi $w$ è vincolato a un simplex unitario capato sparso $\Delta^+_{t,\ell_0}$, definito da:

• $\sum w_i = 1$ e $w_i \geq 0$ (vincoli standard del simplex).
• $w_i \leq t$ (limitazione dell'influenza del singolo client).
• $\|w\|_0 \leq s$ (vincolo di sparsità, limitando il numero di pesi non nulli).

Impostando $t = 1/(n - b_f)$ e $s = n - b_f$ (dove $b_f$ è il numero di client bizantini), la regione ammissibile forza l'esclusione di fino a $b_f$ client (impostando i loro pesi a zero) distribuendo il peso rimanente equamente tra i $n - b_f$ client selezionati. Questo trasforma il problema binario di "rilevamento ed eliminazione" in un problema di ottimizzazione continua.

2. Algoritmo Proposto

Per risolvere questa ottimizzazione congiunta non convessa, gli autori sviluppano un algoritmo di minimizzazione alternata (Algoritmo 2) basato su una struttura di ottimizzazione nidificata:

1. Passo Interno (Aggiornamento del Modello): Per pesi $w$ fissi, il server approssima le funzioni di perdita dei client con surrogate quadratiche e calcola un aggiornamento del modello $\theta_{k+1}(w) = \theta_k - \alpha G_k w$, dove $G_k$ contiene i gradienti dei client.
2. Passo Esterno (Aggiornamento dei Pesi): Per il modello aggiornato, l'algoritmo ottimizza i pesi $w$ per minimizzare l'obiettivo globale. Questo passo comporta la minimizzazione di un'approssimazione quadratica della funzione obiettivo rispetto a $w$, seguita da una proiezione sul simplex unitario capato sparso.

L'aggiornamento dei pesi sfrutta sia le informazioni sulla perdita (per rilevare l'avvelenamento dei dati) che l'allineamento dei gradienti (per rilevare l'avvelenamento del modello/attacchi con gradiente inverso). I client maliziosi, i cui gradienti si discostano dal cluster coerente dei client benigni, vengono naturalmente soppesati o esclusi dal vincolo di sparsità.

3. Protocollo di Comunicazione

L'algoritmo richiede due round di comunicazione per epoca di addestramento:

1. Il server trasmette $\theta_k$; i client restituiscono gradienti e perdite.
2. Il server calcola un aggiornamento provvisorio $\tilde{\theta}_{k+1}$, lo trasmette e i client restituiscono gradienti e perdite aggiornati per calcolare l'aggiornamento finale dei pesi e il successivo stato del modello.
   Gli autori notano che, sebbene ciò aggiunga un round, la convergenza accelerata del modello globale compensa spesso questo costo, risultando in un numero totale di round di comunicazione comparabile o inferiore per raggiungere un'accuratezza target.

Contributi Chiave

1. Nuova Formulazione di Ottimizzazione: Il documento introduce un framework di ottimizzazione congiunta in cui i pesi di aggregazione sono parametri apprendibili, integrando la difesa bizantina direttamente nell'obiettivo di apprendimento invece di trattarla come un passo di filtraggio separato.
2. Sviluppo dell'Algoritmo: Viene proposto un algoritmo di minimizzazione alternata con un operatore di proiezione specifico per il simplex unitario capato sparso, garantendo il calcolo efficiente di pesi robusti.
3. Garanzie Teoriche:
   • Resilienza Bizantina: Il Teorema 2 stabilisce che l'aggregatore proposto è $(\zeta, b_f)$-resiliente ai bizantini con alta probabilità, fornendo un limite di errore esplicito che si scompone in fonti come l'eterogeneità della perdita, l'eterogeneità del gradiente e il rumore di campionamento.
   • Convergenza: Il Teorema 3 dimostra che l'algoritmo converge a un intorno dell'ottimo sia per contesti non convessi che fortemente convessi, con il raggio di errore che scala con l'influenza dell'avversario.
4. Validazione Empirica: Esperimenti estensivi su MNIST e CIFAR-10 sotto cinque tipi di attacco (Inversione di Etichetta, Gradiente Inverso, Backdoor, Doppio Attacco e LIE) e vari livelli di eterogeneità dei dati dimostrano la superiorità del metodo.

Risultati Sperimentali

Gli autori hanno valutato FedLAW rispetto a baseline all'avanguardia (Krum, Trimmed Mean, Bulyan, CwMed, RFA, CClip, Huber Aggregator) in scenari diversificati:

• Prestazioni: FedLAW ha costantemente superato i metodi esistenti, in particolare in contesti ad alta eterogeneità ($q=0.9$) e ad alta frazione di maliziosi (fino al 40%). Ad esempio, sotto un attacco con gradiente inverso con il 40% di client maliziosi su MNIST, FedLAW ha raggiunto un'accuratezza di test superiore del 3,6% rispetto alla difesa successiva migliore.
• Stabilità: A differenza di altri metodi che divergevano o subivano bruschi cali di accuratezza sotto attacchi gravi (ad esempio, Doppio Attacco o alte frazioni LIE), FedLAW ha mantenuto prestazioni robuste con un degrado graduale.
• Dinamica dei Pesi: Le visualizzazioni hanno mostrato che i client benigni hanno rapidamente convergito verso pesi stabili e non banali, mentre i client maliziosi sono stati costantemente soppressi fino a pesi vicini allo zero entro le prime 20 epoche.
• Rilevamento: Il metodo ha dimostrato alta precisione e richiamo nell'identificare i client maliziosi, neutralizzando efficacemente sia gli attacchi di avvelenamento dei dati che quelli di avvelenamento del modello.

Significato e Affermazioni

Il documento afferma che FedLAW rappresenta un avanzamento significativo nell'apprendimento federato sicuro affrontando le limitazioni della pesatura uniforme in ambienti eterogenei. Integrando la pesatura adattiva nel processo di apprendimento, il metodo ottiene:

• Robustezza Potenziata: Neutralizza efficacemente i client maliziosi senza richiedere conoscenze preliminari sul numero di attaccanti o meccanismi complessi di pre-filtraggio.
• Equità e Adattabilità: Bilancia adattivamente i contributi dei client benigni, assicurando che l'eterogeneità dei dati non porti alla negligenza di specifiche distribuzioni di dati.
• Solidità Teorica: Il lavoro fornisce garanzie rigorose di convergenza e resilienza, collegando la resilienza statica dell'aggregatore alla stabilità dinamica dell'algoritmo di apprendimento.

Gli autori concludono che i loro risultati evidenziano i vantaggi dell'integrazione dell'aggregazione adattiva nel processo di apprendimento, aprendo la strada a implementazioni FL più sicure ed eque in scenari reali, eterogenei e avversari.