Federated Learning Architecture: Data Privacy and System Security Approaches

Sintesi Tecnica: Architettura di Federated Learning con Crittografia Omomorfica e Differential Privacy

Problematica
Sebbene il Federated Learning (FL) offra un paradigma per l'addestramento di modelli di machine learning senza la centralizzazione dei dati grezzi, esso rimane vulnerabile a minacce alla sicurezza e alla privacy. Nello specifico, gli aggiornamenti del modello trasmessi tra i client e il server centrale possono essere intercettati per eseguire attacchi di inferenza sul modello o di ricostruzione dei dati, esponendo potenzialmente informazioni sensibili sui dataset locali. Inoltre, il server centrale stesso rappresenta un singolo punto di fallimento. Gli approcci esistenti spesso faticano a bilanciare i rigorosi requisiti della privacy dei dati con la necessità di un'elevata accuratezza del modello e un'efficienza computazionale, particolarmente in domini sensibili come la sanità e la finanza.

Metodologia
Questo studio propone un'architettura FL ibrida che integra la Crittografia Omomorfica (HE) e la Differential Privacy (DP) per mettere in sicurezza il processo di addestramento.

• Architettura e Crittografia: Il sistema utilizza lo schema di crittografia omomorfica CKKS (Cheon-Kim-Kim-Song). CKKS è stato selezionato per la sua capacità di eseguire calcoli approssimativi su numeri in virgola mobile, il che è essenziale per le operazioni delle reti neurali. In questo flusso di lavoro, i client eseguono l'addestramento locale sui propri dati. Invece di inviare i pesi in chiaro, i client criptano i propri aggiornamenti del modello utilizzando CKKS prima della trasmissione. Il server centrale aggrega questi aggiornamenti criptati utilizzando l'algoritmo Federated Averaging (FedAvg). Il risultato aggregato viene poi decriptato per aggiornare il modello globale, garantendo che il server non acceda mai ai parametri del modello in chiaro.

• Differential Privacy: Per prevenire l'estrazione di informazioni individuali dagli aggiornamenti del modello, lo studio impiega meccanismi di DP durante la fase di addestramento locale. Utilizzando la libreria PrivacyEngine, viene aggiunto rumore casuale ai gradienti. Il sistema opera sotto vincoli di $(\epsilon, \delta)$-differential privacy, con parametri specifici impostati su $\sigma=5.0$ (moltiplicatore del rumore), norma massima del gradiente di $0.5$e$\delta=10^{-5}$.

• Configurazione Sperimentale: L'architettura proposta è stata valutata su tre dataset distinti:

  1. Framingham Heart Study: Per la previsione delle malattie cardiovascolari (4.240 campioni).
  2. Pima Indians Diabetes (PID): Per la previsione del diabete (768 campioni).
  3. Bank Marketing: Per la previsione della sottoscrizione dei clienti (41.188 campioni).

  Gli esperimenti hanno simulato un ambiente decentralizzato con un numero variabile di client (3, 5 e 10). Una Rete Neurale Artificiale (ANN) multistrato con tre strati completamente connessi (256 e 128 neuroni negli strati nascosti) è stata addestrata per 5 epoche locali per round su 10 round globali.

Contributi Chiave

1. Framework di Sicurezza Integrato: Il documento dimostra un sistema FL funzionale che applica simultaneamente la crittografia omomorfica basata su CKKS per la trasmissione sicura e la DP per la protezione dei gradienti locali.
2. Analisi Empirica dei Compromessi Privacy-Accuratezza: Lo studio fornisce un'analisi dettagliata di come l'aumento del numero di client e la durata dell'addestramento (numero di round) impattino sul budget di privacy ($\epsilon$). Si osserva che all'aumentare del numero di client o al diminuire delle dimensioni dei dataset, il budget di privacy viene consumato più rapidamente a causa della maggiore necessità di aggiunta di rumore per ogni client.
3. Valutazione delle Prestazioni: La ricerca quantifica l'impatto di queste misure di sicurezza sulle prestazioni del modello (Accuratezza, Precisione, Recall, F1-score) attraverso diverse distribuzioni di dati e conteggi di client.

Risultati Sperimentali

• Budget di Privacy ($\epsilon$): Lo studio ha riscontrato una correlazione diretta tra il numero di client e il budget di privacy. Ad esempio, nel dataset Bank, l'aumento dei client da 3 a 10 ha portato il valore di $\epsilon$ al Round 10 quasi al doppio (da 0.3566 a 0.6785). Allo stesso modo, dataset più piccoli (come PID) hanno esibito valori di $\epsilon$ più elevati rispetto a dataset più grandi (come Bank) sotto le stesse configurazioni di client, indicando che l'eterogeneità dei dati e la dimensione del campione influenzano significativamente il consumo di privacy.
• Accuratezza del Modello: L'integrazione della DP ha comportato una diminuzione misurabile, seppur lieve, dell'accuratezza del modello rispetto ai baseline non privati.
  • Dataset Bank: Ha mostrato la maggiore robustezza, raggiungendo un'accuratezza dell'81,85% con DP (3 client) rispetto all'86,20% senza DP.
  • Dataset PID: Ha mostrato un calo più pronunciato, con un'accuratezza del 72,00% con DP (3 client) rispetto al 75,00% senza.
  • Dataset Framingham: Ha raggiunto un'accuratezza del 69,92% con DP (3 client) rispetto al 71,47% senza.
• Conclusione sui Compromessi: I risultati confermano che, sebbene le tecniche di preservazione della privacy introducano un costo in termini di prestazioni, il sistema mantiene livelli di accuratezza significativi, particolarmente in dataset più ampi come il Bank Marketing.

Significatività e Rivendicazioni
Gli autori affermano che questa architettura dimostra la fattibilità del dispiegamento di un'IA sicura e che preserva la privacy in settori sensibili come la sanità e la finanza senza fare affidamento sulla raccolta centralizzata dei dati. Lo studio conclude che, sebbene l'eterogeneità dei dati e il numero di client influenzino significativamente le prestazioni del modello, strategie quali la selezione accurata dei parametri di DP e l'uso di dataset più ampi possono mitigare le perdite di efficienza.

Il documento riconosce modestamente i propri limiti, notando che gli esperimenti sono stati condotti in un ambiente simulato con un numero limitato di client (3, 5, 10) e dataset locali relativamente grandi. Gli autori dichiarano che in scenari reali con migliaia di client e dati locali scarsi, si anticipa un degrado delle prestazioni. Di conseguenza, il documento posiziona i propri risultati come un passo fondamentale, suggerendo che il lavoro futuro debba affrontare la scalabilità, l'efficienza della comunicazione e algoritmi di aggregazione avanzati per realizzare pienamente il potenziale del Federated Learning che preserva la privacy in applicazioni su larga scala.