Approximate and Weighted Data Reconstruction Attack in Federated Learning

Sintesi Tecnica: Attacco di Ricostruzione dei Dati Approssimato e Ponderato nell'Apprendimento Federato

Enunciato del Problema
L'Apprendimento Federato (FL) consente a più client di addestrare collaborativamente modelli di machine learning senza condividere dati grezzi, un paradigma ampiamente adottato in domini sensibili alla privacy come l'assistenza sanitaria e i veicoli autonomi. Sebbene il FL sia spesso considerato protettivo della privacy, studi recenti hanno dimostrato che gli avversari possono recuperare i dati di addestramento privati dei client dagli aggiornamenti condivisi del modello attraverso attacchi di ricostruzione dei dati.

Una limitazione critica dei metodi di attacco esistenti è la loro incapacità di colpire efficacemente l'algoritmo Federated Averaging (FedAvg), ampiamente utilizzato, in scenari realistici. Nel FedAvg standard, i client eseguono multiple epoche di addestramento locale ($E > 1$) su più mini-lotti ($B > 1$) prima di trasmettere un singolo aggiornamento cumulativo del modello al server. Gli attacchi esistenti, che spesso si basano sulla replica della traiettoria di addestramento del client, falliscono in questo regime "multi-step" perché il server (attaccante) non ha visibilità sugli stati intermedi del modello e sull'ordine specifico di mescolamento dei dati che si verifica in ogni epoca. Questo problema di "dinamiche mancanti" rende il problema della ricostruzione largamente intrattabile per i metodi attuali.

Metodologia: Attacco Approssimato e Ponderato (AWA)
Per affrontare l'intrattabilità della ricostruzione dei dati dagli aggiornamenti FedAvg multi-step, gli autori propongono il metodo di Attacco Approssimato e Ponderato (AWA). L'approccio consta di due componenti principali:

1. Approssimazione Basata sull'Interpolazione:
   L'innovazione centrale consiste nel trasformare il problema intrattabile della ricostruzione multi-epoca in uno trattabile. Invece di tentare di replicare le esatte dinamiche di addestramento nascoste (che implicano un mescolamento dei dati sconosciuto), l'attaccante approssima gli aggiornamenti intermedi del modello per ogni epoca.

   • Il metodo interpola linearmente tra i parametri iniziali del modello ($\theta$) e i parametri aggiornati finali ($\theta^+$) ricevuti dal client.
   • Per un client che addestra su $E$ epoche, i parametri approssimati $\tilde{\theta}_e$ alla fine dell'epoca $e$ sono calcolati come: $\tilde{\theta}_e = \theta + \frac{e}{E}(\theta^+ - \theta)$.
   • L'aggiornamento approssimato per ogni epoca è quindi derivato come la differenza tra i parametri interpolati consecutivi. Ciò consente all'attaccante di trattare il problema multi-epoca come una serie di problemi indipendenti a singola epoca (Scenario 3), riducendo significativamente il sovraccarico computazionale e aggirando la necessità di conoscere la partizione esatta dei mini-lotti.

2. Funzione di Perdita Ponderata a Livello di Strato:
   Riconoscendo che diversi strati in una rete neurale contribuiscono in modo diverso alla qualità della ricostruzione, gli autori introducono una funzione di perdita ponderata.

   • Ponderazione Lineare: Vengono assegnati pesi a diversi strati in base all'architettura della rete (ad esempio, strati convoluzionali, normalizzazione di batch, strati completamente connessi). I pesi aumentano linearmente dal primo all'ultimo strato di ciascun tipo.
   • Miglioramento Guidato dall'Errore: Per prevenire bias e affinare ulteriormente l'attacco, il metodo identifica gli strati con grandi errori di corrispondenza (basati sulla media e sulla varianza degli aggiornamenti) e assegna loro un peso fisso potenziato.
   • Ottimizzazione Bayesiana: Poiché la sintonizzazione manuale di questi pesi è inefficiente, gli autori impiegano l'ottimizzazione bayesiana per determinare sistematicamente i parametri di peso ottimali. La funzione obiettivo minimizza la distanza del coseno tra l'aggiornamento del modello ricostruito e l'aggiornamento approssimato target.

Contributi Chiave
Il documento delinea tre contributi principali:

1. Fattibilità nel FedAvg Realistico: L'approssimazione basata sull'interpolazione proposta rende gli attacchi di ricostruzione dei dati fattibili ed efficaci in scenari FedAvg realistici che coinvolgono multiple epoche locali e mini-lotti, un contesto in cui i metodi precedenti faticano.
2. Ottimizzazione Sistematica dei Pesi: L'introduzione di una funzione di perdita ponderata a livello di strato, dove i pesi sono sintonizzati tramite ottimizzazione bayesiana, migliora significativamente la qualità della ricostruzione rispetto agli approcci non ponderati o ponderati empiricamente.
3. Consapevolezza dell'Architettura e Scalabilità: Il metodo è progettato per essere consapevole dell'architettura piuttosto che vincolato a una specifica struttura di rete. Può ricostruire dati da aggiornamenti trapelati in diverse fasi dell'addestramento e dimostra robustezza attraverso dimensioni variabili dei dataset e configurazioni di addestramento.

Risultati Sperimentali
Gli autori hanno valutato l'AWA su dati ImageNet utilizzando un'architettura ResNet18, confrontandola con metodi all'avanguardia: iDLG, AGIC e GENG.

• Metriche di Prestazione: L'AWA ha costantemente superato i metodi esistenti su più metriche: Rapporto Segnale-Rumore di Picco (PSNR), Indice di Similarità Strutturale (SSIM) e Similarità Appresa delle Patch di Immagine Percettiva (LPIPS). Ad esempio, in uno scenario con 8 immagini, 32 epoche e 1 mini-lotto, l'AWA ha raggiunto un PSNR di 15,11 e un SSIM di 0,800, rispetto rispettivamente a 10,71 e 0,468 di GENG.
• Qualità Visiva: Le immagini ricostruite tramite AWA presentavano contorni più nitidi e preservavano dettagli di texture più ricchi rispetto agli output sfocati o distorti di altri metodi.
• Scalabilità: Il metodo è rimasto efficace anche all'aumentare del numero di immagini ($N$), epoche ($E$) e mini-lotti ($B$). Mentre altri metodi (iDLG, AGIC) diventavano computazionalmente impraticabili per grandi $N$ (ad esempio, $N \ge 64$), l'AWA manteneva un'alta qualità di ricostruzione.
• Studi di Ablazione: Gli esperimenti hanno confermato che, sebbene l'interpolazione sia il passaggio abilitante per gli attacchi multi-epoca, la ponderazione lineare a livello di strato ha fornito il guadagno di prestazioni più significativo, con il miglioramento guidato dall'errore che offre un ulteriore affinamento coerente.

Significato e Affermazioni
Il documento afferma che il metodo AWA espone vulnerabilità critiche alla privacy nei sistemi FL attuali, dimostrando specificamente che l'assunzione di sicurezza negli aggiornamenti FedAvg multi-step è errata. Riproducendo con successo dati di addestramento grezzi da aggiornamenti di modello aggregati in scenari realistici, il lavoro sottolinea l'immediata necessità di meccanismi di difesa robusti. Gli autori posizionano i loro risultati come una motivazione per lo sviluppo di contromisure rigorose per rafforzare le garanzie di sicurezza dei framework FL contro tali violazioni della privacy. Il lavoro non propone una difesa, ma piuttosto evidenzia la gravità della minaccia per informare la futura ricerca sulla sicurezza.