Privacy-Utility Tradeoffs in Hierarchical Federated Learning Under Combined Differential Privacy and CKKS Homomorphic Encryption for Distributed Healthcare Networks

Sintesi Tecnica: Tradeoff tra Privacy e Utilità nel Federated Learning Gerarchico sotto Differential Privacy Combinata e Crittografia Omomorfa CKKS

Definizione del Problema

L'integrazione dell'Intelligenza Artificiale nell'assistenza sanitaria affronta significativi ostacoli operativi riguardanti la privacy e la sicurezza dei dati. I sistemi centralizzati presentano singoli punti di vulnerabilità, rischiando violazioni di regolamenti come il GDPR e l'HIPAA. Sebbene il Federated Learning (FL) permetta l'addestramento collaborativo senza la condivisione dei dati grezzi, gli attuali approcci di preservazione della privacy affrontano spesso la Differential Privacy (DP) e la Crittografia Omomorfa (HE) in modo isolato.

• Le implementazioni solo-DP proteggono contro gli attacchi di inferenza sugli aggiornamenti del modello, ma lasciano i parametri in chiaro esposti durante la trasmissione, non garantendo la riservatezza del transito.
• Gli schemi solo-HE mettono in sicurezza la trasmissione, ma spesso non riescono a quantificare il costo di accuratezza derivante dall'iniezione di rumore o l'interazione tra crittografia e utilità del modello.
• Esistono approcci ibridi, ma mancano di una valutazione sistematica del tradeoff combinato tra privacy e utilità all'interno di un contesto di Hierarchical Federated Learning (HFL) attraverso diversi budget di privacy ($\epsilon$).

Di conseguenza, esiste un vuoto non quantificato riguardo al fatto se la combinazione di DP a livello di client con HE a livello di istituzione introduca un degrado dell'accuratezza misurabile oltre al rumore iniettato dalla DP, specificamente nel contesto delle reti sanitarie distribuite.

Metodologia

Gli autori propongono un framework HFL a tre livelli progettato per riflettere la struttura organizzativa delle reti sanitarie distribuite (Client $\to$ Istituzioni $\to$ Aggregatore Globale). Il sistema integra due distinti meccanismi di privacy:

1. $(\epsilon, \delta)$-DP a livello di Client: Applicata localmente a ogni client prima della trasmissione. Questo comporta il clipping del gradiente (alla norma $C$) e l'iniezione di rumore Gaussiano calibrato ($\sigma$) per limitare la fuga di informazioni.
2. CKKS HE a livello di Istituzione: Lo schema Cheon-Kim-Kim-Song (CKKS) viene applicato per criptare gli aggiornamenti privatizzati. Le istituzioni aggregano direttamente questi ciphertext utilizzando la proprietà omomorfa additiva di CKKS, decriptando solo la media ponderata finale prima di inoltrarla all'aggregatore globale.

Configurazione Sperimentale:

• Dataset: MNIST (cifre scritte a mano) e MIT-BIH Arrhythmia (segnali ECG), che rappresentano modalità di immagini e forme d'onda fisiologiche.
• Topologia: Tre istituzioni, ciascuna con tre client.
• Budget di Privacy: Valutati attraverso $\epsilon \in \{2, 4, 6, 8\}$ con $\delta = 10^{-5}$.
• Configurazione: I parametri CKKS sono stati fissati (grado del modulo polinomiale 8192, $n_{slots}=4096$) in tutti gli esperimenti.
• Riproducibilità: I risultati sono riportati come media $\pm$ deviazione standard su tre seed casuali indipendenti (42, 123, 7).

Contributi Chiave

1. Framework Integrato: Un'architettura FL gerarchica che impone la DP a livello di client e la HE CKKS a livello di istituzione, garantendo che nessun dato grezzo o aggiornamento del modello in chiaro venga esposto.
2. Valutazione Empirica Sistematica: Una rigorosa valutazione del tradeoff tra privacy e utilità attraverso due dataset rilevanti per l'ambito sanitario e quattro budget di privacy.
3. Isolamento del Degrado di Utilità: Una dimostrazione empirica che la HE CKKS introduce zero perdita misurabile di accuratezza quando applicata all'aggregazione dei gradienti. Ciò isola il rumore della DP come l'unica fonte di degrado dell'utilità, stabilendo una chiara separazione tra i costi di privacy (DP) e i costi di riservatezza (HE).

Risultati

Accuratezza e Utilità:

• Prestazioni Baseline: La pipeline HFL ha raggiunto un'alta accuratezza senza meccanismi di privacy: $99,65\%$ (MNIST) e $97,73\%$ (MIT-BIH).
• Impatto della DP: La DP ha introdotto una perdita di accuratezza limitata.
  • MNIST: La perdita è variata da $1,88\%$ ($\epsilon=2$) a $1,25\%$ ($\epsilon=8$).
  • MIT-BIH: La perdita è variata dal $12,23\%$ ($\epsilon=2$) al $6,15\%$ ($\epsilon=8$). La maggiore perdita in MIT-BIH è attribuita alla sensibilità della classificazione delle forme d'onda fisiologiche alla perturbazione del gradiente rispetto ai pattern delle immagini.
• Impatto della HE: Confrontando le configurazioni DP-only vs. DP+HE, non è emerso alcun gap di accuratezza direzionale. Ad esempio, a $\epsilon=2$, l'accuratezza di MNIST era identica ($97,77\%$) per entrambe le configurazioni. La differenza ($\Delta_{HE}$) era effettivamente zero ($0,00\%$ fino a $\pm 0,01\%$), confermando che la crittografia non degrada l'utilità del modello.

Overhead:

• Costo Computazionale: L'overhead della HE è concentrato nel tier dei client.
  • La crittografia lato client ha rappresentato la quota dominante del tempo (es. $4,42$s per MNIST, $9,74$s per MIT-BIH per round).
  • L'aggregazione e la decrittazione a livello di istituzione sono state leggere ($1,00$s e$0,27$s per MNIST, rispettivamente).
• Costo di Comunicazione: La DP ha aumentato la dimensione degli aggiornamenti del modello di circa il $60\%$ a causa dell'iniezione di rumore. La HE non ha introdotto costi di comunicazione aggiuntivi, poiché la dimensione del ciphertext è stata gestita all'interno della struttura di overhead esistente.

Significato e Rivendicazioni

Il documento sostiene di fornire una base empirica per l'impiego del FL preservante la privacy in ambito sanitario, dimostrando che:

1. La riservatezza può essere raggiunta senza perdita di utilità: L'uso della HE CKKS mette in sicurezza la trasmissione e l'aggregazione senza compromettere le prestazioni predittive, separando il costo della riservatezza dal costo della privacy.
2. La DP è il principale collo di bottiglia dell'utilità: Tutto il degrado osservato dell'accuratezza è attribuibile al rumore della DP, che diminuisce monotonicamente al rilassarsi del budget di privacy.
3. Riproducibilità: I risultati sono stabili tra i diversi seed indipendenti, con deviazioni standard inferiori allo $0,13\%$ per MNIST e $1,31\%$ per MIT-BIH.

Gli autori segnalano dei limiti, specificamente che l'uso di distribuzioni di dati IID bilanciate isola il segnale di privacy dall'eterogeneità dei dati, il che significa che le perdite di accuratezza riportate rappresentano un limite inferiore per implementazioni eterogenee. Inoltre, l'attuale ambito limita la HE al livello client-istituzione, lasciando il livello istituzione-globale per esplorazioni future tramite SMPC (Secure Multi-Party Computation). La resilienza ai guasti bizantini e l'auditing tramite blockchain sono esplicitamente esclusi da questo lavoro.