Dynamic Free-Rider Detection in Federated Learning via Simulated Attack Patterns

1. Il Problema: I "Free-Rider" Dinamici nel Federated Learning

Il Federated Learning (FL) permette a più client di collaborare all'addestramento di un modello globale senza condividere i dati privati. Tuttavia, il sistema è vulnerabile agli attacchi dei free-rider: client che non eseguono l'addestramento locale ma inviano parametri falsi per ottenere il modello globale senza contribuire.

Il problema principale affrontato in questo lavoro è la rilevazione di free-rider dinamici. A differenza dei free-rider statici (che non addestrano mai), questi client si comportano onestamente nelle prime fasi dell'addestramento per non essere sospettati e poi passano a inviare aggiornamenti falsi.
Le sfide specifiche sono:

• Attacchi di Mimicry del Modello Globale: Gli attaccanti usano strategie come l'attacco Delta Weight (DWA) o una nuova variante proposta dagli autori, l'Adaptive WEF-Camouflage Attack (AWCA), per generare aggiornamenti che imitano le differenze tra i modelli globali precedenti, rendendo difficile distinguerli da un addestramento onesto.
• Limitazioni delle Metodi Esistenti: Il metodo precedente più promettente, WEF-defense, si basa sulla frequenza di evoluzione dei pesi (WEF-matrix) ma fallisce contro i free-rider dinamici, specialmente quando questi adottano strategie di mimetizzazione avanzate. Inoltre, molti metodi esistenti richiedono dataset di proxy o pre-addestramento, che sono spesso impraticabili in scenari reali (es. cross-silo FL).

2. Metodologia: S2-WEF

Gli autori propongono S2-WEF (Submitted and Simulated-Weight Evolving Frequency), un metodo di rilevazione che non richiede dataset di proxy né pre-addestramento. Il cuore della metodologia risiede nella simulazione degli attacchi lato server.

Componenti Chiave:

1. Simulazione degli Attacchi (Server-side):

   • Il server utilizza i modelli globali precedentemente trasmessi ($w_g^T$ e $w_g^{T-1}$) per simulare il pattern di un attacco di tipo Delta Weight.
   • Il server calcola una WEF-matrix simulata ($F_g$) basandosi sulla differenza tra i modelli globali, moltiplicata per il numero di iterazioni locali. Questo rappresenta il "segnale" che un free-rider che imita il modello globale invierebbe.

2. Doppia Punteggiatura (Scoring):
   Per ogni client $i$, il server calcola due metriche:

   • Similarity Score ($\gamma_i$): Misura quanto la WEF-matrix inviata dal client ($F_i$) assomiglia alla WEF-matrix simulata ($F_g$). È calcolata come il rapporto tra la similarità coseno e la distanza L1: $\gamma_i = \frac{\text{Cosi}_{i,g}}{\|F_i - F_g\|_1}$. Un valore alto indica che il client sta probabilmente mimetizzando il suo attacco.
   • Deviation Score ($Dev_i$): Una metrica esistente (da WEF-defense) che misura quanto la WEF-matrix del client si discosta dalla distribuzione delle WEF-matrix degli altri client (basata su distanze euclidee e similarità coseno reciproche).

3. Clustering e Classificazione Ibrida:
   Per evitare falsi positivi e gestire diverse strategie di attacco, S2-WEF combina le due metriche:

   • Clustering Gerarchico: I client vengono mappati in uno spazio bidimensionale standardizzato (basato su mediana e MAD) usando i punteggi $(\gamma_i, Dev_i)$. Viene applicato un clustering gerarchico agglomerativo per identificare un "cluster sospetto".
   • Soglia per Punteggio: Vengono applicate soglie indipendenti su $\gamma$ e $Dev$.
   • Decisione a Voto di Maggioranza: Un client viene etichettato come free-rider solo se appartiene al cluster sospetto E la maggior parte dei client in quel cluster supera la soglia di almeno una delle due metriche. Questo meccanismo riduce drasticamente i falsi positivi.

3. Contributi Chiave

1. Dimostrazione Empirica dei Fallimenti di WEF-defense: Gli autori mostrano che WEF-defense non riesce a rilevare free-rider dinamici, specialmente sotto attacchi DWA e AWCA, spesso con punteggi F1 vicini a zero.
2. Nuovo Attacco (AWCA): Introduzione dell'Adaptive WEF-camouflage attack, un attacco più sofisticato che genera pesi contraffatti iterativamente ad ogni iterazione locale per imitare perfettamente la matrice WEF di un client onesto, rendendo gli attacchi basati su DWA standard ancora più difficili da rilevare.
3. Progettazione di S2-WEF: Un metodo di rilevazione round-wise che combina la simulazione degli attacchi e il confronto reciproco, funzionante senza dataset di proxy o pre-addestramento.
4. Validazione Estensiva: Test su tre dataset (MNIST, ADULT, CIFAR-10) e cinque tipi di attacchi, dimostrando una robustezza superiore rispetto agli stati dell'arte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su scenari cross-silo (N=10 client) con distribuzioni di dati IID e Non-IID.

• Performance di Rilevazione:

  • S2-WEF ha raggiunto punteggi F1 superiori a 0.99 (spesso 1.00) in quasi tutte le configurazioni, inclusi gli scenari più difficili con attacchi DWA e AWCA.
  • In confronto, i metodi baseline (WEF-defense senza accumulo e STD-DAGMM) hanno mostrato punteggi F1 molto bassi (spesso < 0.20 o 0.00) contro gli attacchi di mimetizzazione del modello globale.
  • S2-WEF ha mantenuto alte prestazioni sia quando i free-rider cambiavano comportamento dopo 2 round (Scenario 1) sia quando cambiavano comportamento in modo intermittente ogni round (Scenario 2).

• Impatto sull'Accuratezza del Modello Globale:

  • L'uso di S2-WEF ha avuto un impatto trascurabile sull'accuratezza del modello globale rispetto al FedAvg standard (senza difesa), confermando che la rimozione dei client malevoli non degrada le prestazioni del modello finale.

• Analisi di Ablazione:

  • L'aggiunta del termine L1 nel calcolo della similarità $\gamma$ ha migliorato significativamente la rilevazione (es. su ADULT da F1 0.06 a 0.76).
  • Il meccanismo di voto di maggioranza ha ridotto il tasso di falsi positivi (FPR) di circa il 50% in scenari senza attacchi.

5. Significato e Implicazioni

Questo lavoro è significativo perché risolve una lacuna critica nella sicurezza del Federated Learning: la capacità di rilevare client che cambiano comportamento dinamicamente.

• Praticità: S2-WEF è progettato per ambienti reali (cross-silo) dove non è possibile assumere la disponibilità di dataset di proxy o risorse per il pre-addestramento di modelli di rilevazione.
• Robustezza: Dimostra che la simulazione attiva degli attacchi da parte del server è una strategia efficace per neutralizzare le tecniche di mimetizzazione avanzate.
• Futuro: Il paper apre la strada a meccanismi di incentivazione più sofisticati e all'applicazione di queste tecniche in contesti eterogenei (diverse architetture di modelli) e per i Large Language Models (LLM) federati.

In sintesi, S2-WEF rappresenta un passo avanti fondamentale verso la sicurezza pratica del FL, trasformando la difesa da un approccio reattivo basato su anomalie statiche a un approccio proattivo basato sulla simulazione e sul confronto dinamico.