Towards Explainable Privacy Preservation in Federated Learning via Shapley Value-Guided Noise Injection

1. Il Problema: Privacy Opaca e Trade-off Subottimale

Il Federated Learning (FL) permette di addestrare modelli collaborativi senza condividere i dati locali, ma rimane vulnerabile ad attacchi sofisticati come l'inversione del modello e l'inferenza dell'appartenenza, che possono ricostruire dati sensibili dai parametri del modello.
Per mitigare questi rischi, si utilizza la Differenzial Privacy (DP), che introduce rumore calibrato negli aggiornamenti del modello. Tuttavia, i metodi DP esistenti presentano due limiti fondamentali:

1. Mancanza di spiegabilità: La quantità di rumore è spesso determinata da euristiche o fattori indiretti (es. progresso dell'addestramento o numero di client), senza una connessione chiara con il reale contributo di privacy dei dati specifici.
2. Trade-off Privacy-Utilità subottimale: L'approccio "one-size-fits-all" porta spesso a un eccesso di rumore (che degrada l'accuratezza del modello) o a una protezione insufficiente.

L'obiettivo è sviluppare un meccanismo di scheduling del rumore esplicabile, dove l'intensità del rumore sia direttamente guidata dal contributo quantitativo degli attributi privati nel processo di apprendimento.

2. Metodologia: FedSVA

Gli autori propongono FedSVA, un nuovo meccanismo DP per FL che integra i Valori di Shapley (dalla teoria dei giochi cooperativi) per guidare l'iniezione dinamica del rumore.

Il sistema opera su ciascun client attraverso due moduli principali:

A. Modulo di Stima della Privacy (Privacy Estimation - PE)

Questo modulo quantifica quanto gli attributi privati contribuiscono all'utilità del modello locale.

• Partizionamento: Il client divide il proprio dataset locale in sottoinsiemi basati su attributi (es. attributi privati vs. non privati).
• Calcolo di Shapley: Per ogni round di addestramento globale, il client valuta l'utilità del modello (accuratezza di validazione) per diverse combinazioni di attributi. Utilizzando i Valori di Shapley, calcola il contributo marginale di ogni attributo alla performance del modello.
• Tasso di Contributo ($R^p_i$): Viene calcolato un tasso di contributo specifico per gli attributi privati ($R^p_i$), che rappresenta l'impatto relativo dei dati sensibili sul processo di apprendimento locale.

B. Modulo di Iniezione del Rumore (Noise Injection - NI)

Questo modulo mappa il tasso di contributo calcolato in una scala di rumore gaussiana.

• Adattamento Dinamico: La varianza del rumore ($\sigma^2_i$) viene regolata dinamicamente in base a $R^p_i$.
  • Se il contributo degli attributi privati è alto (alto rischio di privacy), viene iniettato più rumore.
  • Se il contributo è basso, il rumore viene ridotto per preservare l'utilità del modello.
• Garanzie Formali: Il meccanismo garantisce formalmente la DP $(\epsilon, \delta')$ per ogni round, dove $\delta'$ è legato al tasso di contributo, assicurando una protezione rigorosa ma efficiente.

3. Contributi Chiave

1. Primo Meccanismo Esplicabile: FedSVA è il primo approccio FL che integra i Valori di Shapley con la DP per fornire una strategia di iniezione del rumore spiegabile e basata sui dati.
2. Analisi Teorica Rigorosa: Gli autori forniscono prove formali delle garanzie di privacy e un'analisi di convergenza per il processo di ottimizzazione federata, dimostrando che il modello converge anche in presenza di rumore adattivo.
3. Superiorità Sperimentale: Dimostrano attraverso esperimenti estensivi che FedSVA supera gli stati dell'arte (SOTA) nel compromesso privacy-utilità e offre una difesa robusta contro gli attacchi di ricostruzione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10 (con modello ResNet-18) e FEMNIST (con modello CNN), confrontando FedSVA con metodi SOTA come NbAFL, TV DP, Sens DP e DPA DP.

• Accuratezza (Trade-off Privacy-Utilità):

  • FedSVA ha ottenuto risultati superiori in tutti gli scenari. Ad esempio, su CIFAR-10 con budget privacy $\epsilon=0.2$, FedSVA ha raggiunto un'accuratezza finale di 75.98%, superando significativamente DPA DP (65.21%) e NbAFL (48.67%).
  • Questo miglioramento deriva dalla capacità di iniettare rumore solo quando necessario, evitando la degradazione inutile delle prestazioni.

• Analisi del Rumore e Budget:

  • FedSVA inietta una quantità di rumore significativamente inferiore rispetto ai metodi statici (come NbAFL) e più precisa rispetto ai metodi dinamici basati su euristiche.
  • Consuma un budget cumulativo di privacy più basso, confermando l'efficienza del meccanismo.

• Difesa contro Attacchi di Ricostruzione:

  • Contro attacchi basati su GAN (ACGAN), FedSVA ha mostrato una capacità di difesa superiore. Le immagini ricostruite dagli attaccanti avevano un punteggio FID (Fréchet Inception Distance) molto più alto rispetto al modello non protetto (FedAvg), indicando che i dati sensibili sono stati efficacemente offuscati senza bisogno di rumore eccessivo.

• Efficienza Computazionale:

  • L'analisi della granularità del partizionamento ($N$) ha mostrato che una partizione binaria ($N=2$: privato vs. non privato) offre il miglior equilibrio tra accuratezza e tempo di calcolo. Partizioni più fini aumentano il costo computazionale in modo esponenziale (a causa del calcolo di Shapley) con guadagni di accuratezza marginali.

5. Significato e Impatto

Il lavoro di FedSVA rappresenta un passo avanti significativo verso la trasparenza nella privacy del Federated Learning.

• Interpretabilità: Trasforma la privacy da un "scatola nera" (dove il rumore è arbitrario) a un processo guidato dai dati, dove gli utenti possono comprendere perché viene applicato un certo livello di protezione.
• Efficienza: Permette di ottenere livelli di privacy rigorosi con una perdita di utilità del modello drasticamente ridotta rispetto alle tecniche attuali.
• Scalabilità Futura: Sebbene il calcolo esatto di Shapley sia costoso, il paper suggerisce che l'uso di approssimazioni potrebbe rendere il metodo scalabile per implementazioni reali su larga scala, mantenendo l'analisi fine-granulare della privacy.

In sintesi, FedSVA risolve il dilemma tra protezione rigorosa e utilità del modello rendendo la strategia di privacy dinamica, adattiva e spiegabile in base al reale valore informativo dei dati sensibili.