Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge

1. Problema e Contesto

Il lavoro si concentra sulla valutazione della robustezza del Federated Learning (FL) contro gli Attacchi di Inference di Membria (MIA) in scenari critici come la genomica. Sebbene il FL permetta di addestrare modelli senza condividere i dati grezzi, i modelli risultanti rimangono vulnerabili agli MIA, che permettono a un avversario di determinare se un record specifico è stato utilizzato per l'addestramento.

Lo studio utilizza l'ambiente controllato dell'NIST Genomics PPFL Red Teaming Event (2025), focalizzandosi su un dataset di varianti genetiche del soia per la previsione del colore del tegumento del seme.

• Modello di Minaccia: Un aggregatore centrale non attendibile (malizioso) che ha accesso ai modelli dei client tramite query "black-box" (solo probabilità di output). L'avversario possiede anche dataset ausiliari (record "rilevanti" e "esterni") e, in uno scenario realistico di peggior caso, collude con uno dei client (Client 4), conoscendo così la verità fondamentale (ground truth) per quel client specifico.
• Configurazioni di Privacy: I modelli target sono stati valutati in tre scenari:
  1. No DP: CNN standard senza rumore ($\epsilon = \infty$).
  2. Bassa Privacy: DP con $\epsilon = 200$.
  3. Alta Privacy: DP con $\epsilon = 10$.

2. Metodologia: Attacco di Inference a Stacking (Ensemble)

L'autore propone una strategia di attacco innovativa che supera i limiti dei metodi tradizionali basati su "shadow models", i quali non sono fattibili in questo contesto a causa della mancanza di accesso ai dati di addestramento privati dei client e della scarsità di dati ausiliari.

La metodologia si articola in tre fasi principali:

1. Modelli di Base (Base Estimators):
   Invece di un singolo modello, vengono addestrati sette diversi classificatori black-box (Neural Network, Random Forest, Decision Tree, Gradient Boosting, KNN, SVM, Logistic Regression) utilizzando l'Adversarial Robustness Toolbox (ART). Questi modelli prendono in input le probabilità di output del modello FL target e le etichette vere del task.

   • Nota critica: Poiché i dati ausiliari "rilevanti" contengono un mix di membri e non-membri (rumore di etichetta fino al 43% per alcuni client), i modelli di base non prendono decisioni finali, ma generano probabilità continue che fungono da segnali parziali.

2. Costruzione delle Feature Meta:
   Per ogni record di sfida, viene creato un vettore di feature a 8 dimensioni:
   $$X_{meta} = [p_{NN}, p_{RF}, p_{DT}, p_{GB}, p_{KNN}, p_{SVM}, p_{LR}, L_{CE}]$$
   Dove $p$ sono le probabilità di appartenenza stimate dai 7 modelli di base e $L_{CE}$ è la perdita di entropia incrociata calcolata direttamente sul modello target FL. Questo combina l'intuizione del "loss threshold" (Yeom et al.) con l'approccio basato sulla confidenza (Salem et al.).

3. Meta-Classifier e Adattamento di Dominio:
   Un classificatore finale basato su XGBoost viene addestrato per combinare questi segnali eterogenei.

   • Adattamento: Poiché la verità fondamentale è nota solo per il Client 4, il meta-classificatore viene addestrato su di esso. Per gli altri client (1, 2, 3), viene applicata una strategia di domain adaptation parziale: il modello viene affinato (fine-tuned) utilizzando i record "esterni" (garantiti come non-membri) per adattarsi alla distribuzione specifica di ciascun client.
   • Regola di Decisione: Un record viene assegnato a un client solo se supera una soglia di percentile (55°) specifica per quel client e se la sua probabilità è significativamente superiore (1.5x) alla media delle probabilità degli altri client.

3. Risultati Chiave

I risultati sono stati valutati su un benchmark indipendente di 73 record di sfida.

• No DP ($\epsilon = \infty$): L'attacco ensemble ha raggiunto un'accuratezza del 53,42%, superando di oltre il doppio i baseline (26-30%). Questo conferma che i modelli non protetti memorizzano i dati di addestramento in modo significativo.
• Bassa Privacy ($\epsilon = 200$): L'accuratezza scende al 38,36%. Sebbene inferiore rispetto al caso No DP, rimane statisticamente superiore ai baseline (che si attestano intorno al 28%).
  • Insight Critico: A differenza dei baseline a singolo segnale (come LiRA semplificato) che collassano quasi completamente a questo livello di privacy, l'approccio a stacking riesce ancora a estrarre segnali residui di appartenenza.
• Alta Privacy ($\epsilon = 10$): L'accuratezza scende al 24,66%, allineandosi al livello di assegnazione casuale (~26%). Qui, il rumore DP è sufficiente a fondere le distribuzioni di perdita tra membri e non-membri, rendendo l'attacco inefficace.

Analisi TPR (True Positive Rate) a basso FPR:
Su Client 4, a un FPR del 1%, l'approccio ensemble mantiene un TPR del 30,77% sotto $\epsilon = 200$, mentre il baseline LiRA scende allo 0%. Questo dimostra che gli attacchi multi-segnale sono più resilienti al rumore DP rispetto agli approcci univariati.

Trade-off Privacy-Utilità:
La simulazione del FL mostra che mentre $\epsilon = 200$ mantiene un'utilità accettabile (83-85% di accuratezza), $\epsilon = 10$ porta a un crollo dell'utilità (16-47%), rendendo il modello praticamente inutilizzabile in scenari reali con pochi epoch locali.

4. Contributi Principali

1. Attacco Black-Box senza Shadow Models: Propone un metodo di attacco MIA per FL che non richiede la costruzione di shadow models (impossibile senza dati di addestramento privati), sostituendoli con un apprendimento meta guidato da record ausiliari.
2. Caratterizzazione Empirica del DP: Fornisce una valutazione dettagliata di come gli attacchi multi-segnale degradano attraverso livelli calibrati di DP, dimostrando che l'accuratezza media nasconde rischi residui significativi a livelli di privacy "bassi" ($\epsilon=200$).
3. Benchmark Riproducibile: Stabilisce una baseline su un dataset genomico pubblico e indipendente, offrendo un punto di riferimento per future ricerche sulla privacy in FL.

5. Significato e Implicazioni

Il lavoro evidenzia un paradosso critico nella protezione della privacy genomica tramite Federated Learning:

• I livelli di privacy che preservano l'utilità del modello ($\epsilon = 200$) non sono sufficienti a proteggere completamente contro avversari sofisticati che utilizzano tecniche di ensemble e multi-segnale.
• I livelli di privacy che bloccano efficacemente gli attacchi ($\epsilon = 10$) distruggono l'utilità del modello in condizioni realistiche di addestramento FL (pochi epoch locali).

Conclusione: L'uso del Differential Privacy (DP) da solo potrebbe non essere sufficiente per garantire la privacy in scenari ad alta sensibilità come la genomica quando si affrontano avversari adattivi multi-segnale. Il documento suggerisce la necessità di difese complementari, come l'aggregazione sicura o la perturbazione dell'output, per colmare il divario tra privacy e utilità senza degradare eccessivamente le prestazioni del modello.