Integrating Homomorphic Encryption and Synthetic Data in FL for Privacy and Learning Quality

Questo lavoro presenta Alt-FL, un approccio di apprendimento federato che integra crittografia omomorfa e dati sintetici in un'alternanza strategica per migliorare l'accuratezza del modello, garantire la privacy dei dati e ridurre significativamente i costi computazionali.

L'essenziale

Immagina di voler addestrare un'intelligenza artificiale molto intelligente, capace di riconoscere malattie o guidare un'auto, ma con un grande problema: nessuno vuole condividere i propri dati privati.

Pensa a un gruppo di ospedali che vuole creare un medico AI super-bravo, ma non può inviare i cartellini clinici dei pazienti a un server centrale perché violerebbe la privacy. Qui entra in gioco il Federated Learning (Apprendimento Federato). È come se ogni ospedale addestrasse il proprio "assistente" locale con i propri dati, e poi inviasse solo le "lezioni apprese" (il modello) al server centrale, che le unisce per creare un maestro globale. I dati grezzi non lasciano mai l'ospedale.

Tuttavia, c'è un problema: anche inviando solo le "lezioni", un hacker furbo potrebbe, analizzando i messaggi, ricostruire le immagini dei pazienti (un attacco chiamato DLG). Per evitare questo, si usa la Crittografia Omologica (HE). È come mettere le lezioni in una cassaforte indecifrabile: il server può sommare i contenuti senza mai aprirli, ma c'è un prezzo da pagare: aprire e chiudere queste cassaforti è lentissimo e consuma molta energia.

La Soluzione: "Alt-FL" (Apprendimento Federato Alternato)

Gli autori di questo articolo hanno inventato un metodo intelligente chiamato Alt-FL. Immaginalo come un ciclista che alterna due tipi di pedalata per arrivare più lontano senza sfinirsi.

Ecco come funziona, passo dopo passo, con delle metafore semplici:

1. I Due Tipi di "Giro" (Round)

Invece di usare sempre gli stessi dati reali (che sono sensibili e costosi da proteggere), il sistema alterna due tipi di sessioni di allenamento:

• I Giri "Reali" (Authentic Rounds):
  • Cosa succede: I clienti usano i loro veri dati (es. le vere radiografie).
  • Sicurezza: Le lezioni apprese vengono messe nella cassaforte crittografata (HE) prima di essere inviate.
  • Costo: Lento e costoso (come spingere una bici in salita con un peso enorme).
• I Giri "Finti" (Synthetic Rounds):
  • Cosa succede: I clienti usano dati sintetici. Immagina di creare delle "finte radiografie" generate al computer che sembrano vere, ma non appartengono a nessun paziente reale.
  • Sicurezza: Poiché i dati sono finti e non contengono segreti reali, le lezioni possono essere inviate a cielo aperto (senza cassaforte).
  • Costo: Velocissimo e leggero (come scendere in discesa in bicicletta).

2. Il Trucco del "Mix" (Interleaving)

Il sistema non fa solo giri reali o solo giri finti. Li mescola.
Immagina di dover preparare una torta. Invece di usare solo uova vere (costose e delicate da gestire), alterni un giro con uova vere e uno con "uova finte" (sintetiche) che aiutano la torta a lievitare meglio.

• Il sistema ha un interruttore (chiamato $\rho$) che decide quante volte usare le uova vere e quante volte quelle finte.
• Se aumenti i giri "finti", risparmi tantissima energia sulla crittografia, ma devi assicurarti che la torta (il modello) non venga male.

Perché è Geniale? (I Risultati)

Gli autori hanno testato questa idea e hanno scoperto cose sorprendenti:

1. La torta viene più buona (Maggiore Accuratezza): Paradossalmente, mescolare i dati finti a quelli reali ha reso l'AI più intelligente (ha guadagnato il 13,4% in più di precisione). È come se i dati sintetici avessero "allenato" il modello a essere più robusto, colmando i buchi nei dati reali.
2. Risparmio energetico enorme (Meno Costi): Poiché non crittografano ogni singola lezione, ma solo quelle reali, hanno ridotto i costi di calcolo e di invio dati fino al 48%. È come se avessero dimezzato la fatica del ciclista.
3. Sicurezza Totale: Anche quando inviano le lezioni "a cielo aperto" (nei giri sintetici), non c'è rischio. Se un hacker prova a rubare i dati da un giro sintetico, troverà solo immagini finte che non rivelano nulla sui pazienti reali. Quando inviano i dati reali, questi sono protetti dalla cassaforte.

In Sintesi

Immagina di voler costruire un muro fortissimo (la privacy) senza spendere un patrimonio in mattoni (la crittografia).
Alt-FL dice: "Costruiamo il muro usando mattoni veri solo ogni tanto, e riempiamo gli spazi con mattoni di polistirolo (dati sintetici) che sono leggeri e sicuri. Risultato? Il muro è più alto, più forte e l'abbiamo costruito con metà della fatica."

È un modo brillante per bilanciare la privacy, la velocità e l'intelligenza dell'AI, rendendo possibile l'uso di queste tecnologie in settori delicati come la sanità o la finanza senza bloccare tutto per la lentezza della sicurezza.

Sommario tecnico

Titolo: Integrazione di Crittografia Omomorfica e Dati Sintetici nel Federated Learning per Privacy e Qualità dell'Apprendimento

Autore: Yenan Wang, Carla Fabiana Chiasserini, Elad Michael Schiller (Chalmers University of Technology).

---

1. Il Problema

Il Federated Learning (FL) permette l'addestramento collaborativo di modelli di machine learning senza condividere i dati grezzi dei client, rendendolo ideale per applicazioni sensibili (sanità, finanza). Tuttavia, il FL affronta due sfide critiche e spesso conflittuali:

1. Protezione della Privacy: Anche se i dati non vengono trasmessi, i parametri del modello o i gradienti condivisi possono essere soggetti ad attacchi di inversione, come l'attacco DLG (Deep Leakage from Gradients), che permette di ricostruire le immagini di addestramento originali.
2. Costi Computazionali e di Risorse: L'uso di tecniche crittografiche robuste come la Crittografia Omomorfica (HE) per proteggere i parametri durante la trasmissione introduce un elevato sovraccarico computazionale e di larghezza di banda (a causa dell'espansione del cifrato e delle operazioni costose).
3. Qualità dell'Apprendimento: L'uso di dati sintetici può migliorare la qualità del modello (bilanciando i dataset), ma richiede più risorse di elaborazione e può rallentare la convergenza.

L'obiettivo è trovare un equilibrio che garantisca privacy robusta, alta accuratezza del modello e costi di risorse gestibili.

---

2. Metodologia: Alternating Federated Learning (Alt-FL)

Gli autori propongono Alt-FL, un framework che integra la Crittografia Omomorfica Selettiva (Selective HE) con la generazione di dati sintetici attraverso una strategia di intercalamento (interleaving).

Concetti Chiave:

• Round Autentici vs. Sintetici: Il processo di addestramento alterna due tipi di round:
  • Round Autentici: I client addestrano il modello sui propri dati reali (sensibili). I parametri risultanti vengono crittografati (usando Selective HE) prima di essere inviati al server.
  • Round Sintetici: I client addestrano il modello su dati sintetici (statisticamente simili ma disgiunti dai dati reali). I parametri risultanti vengono inviati in plaintext (non crittografati).
• Strategia di Intercalamento: Viene introdotto un parametro regolabile $\rho$ (rapporto di intercalamento) che definisce la proporzione di round sintetici rispetto al totale.
  • Vantaggio Privacy: Poiché i round sintetici usano dati artificiali, l'invio in plaintext non rivela informazioni sensibili sui dati reali.
  • Vantaggio Costo: Riduce drasticamente il numero di operazioni di crittografia/decrittazione necessarie.
• Crittografia Selettiva: Durante i round autentici, non tutti i parametri vengono crittografati. Viene utilizzata una maschera binaria basata su una metrica di sensibilità per crittografare solo i parametri ad alto rischio, riducendo ulteriormente l'overhead.
• Flusso di Lavoro:
  1. Il server aggrega i modelli dal round precedente.
  2. Se il round corrente è "autentico", i client decrittano il modello globale (se necessario), addestrano sui dati reali, crittografano i nuovi parametri e li inviano.
  3. Se il round è "sintetico", i client addestrano sui dati sintetici e inviano i parametri in chiaro.
  4. Il modello ottenuto da un round autentico viene ri-addestrato sui dati sintetici nel round successivo, migliorando la convergenza e l'equilibrio del dataset.

---

3. Contributi Chiave

1. Nuovo Framework (Alt-FL): È il primo framework che combina dati sintetici e HE in FL per mitigare i costi computazionali mantenendo la privacy.
2. Miglioramento della Qualità: L'uso di dati sintetici bilancia i dataset locali (spesso non-IID), portando a una maggiore accuratezza del modello globale.
3. Riduzione dei Costi: La strategia di intercalamento riduce significativamente il traffico di rete e il tempo di calcolo necessari per la crittografia.
4. Robustezza agli Attacchi: Il sistema è stato validato contro l'attacco DLG, dimostrando che l'uso di dati sintetici nei round in plaintext non compromette la privacy dei dati reali.

---

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10 con 3 client, utilizzando l'architettura LeNet-5 e confrontando Alt-FL con baseline come FedAvg con HE completa (FE) e HE selettiva (S-HE).

• Accuratezza del Modello:
  • Alt-FL ha mostrato un aumento dell'accuratezza del modello del 13,4% rispetto alla baseline S-HE (senza intercalamento), grazie all'arricchimento dei dataset con dati sintetici.
• Protezione della Privacy (Attacco DLG):
  • Gli attacchi DLG eseguiti sui round sintetici (in plaintext) hanno restituito immagini ricostruite con bassa similarità rispetto alle immagini reali.
  • Le metriche di similarità (UQI, MSSSIM, VIF) per i round sintetici sono state inferiori o comparabili a quelle ottenute con S-HE, confermando che non vi è perdita di privacy dei dati reali.
• Efficienza e Costi:
  • Riduzione Overhead HE: Rispetto al caso senza intercalamento, Alt-FL riduce i costi di crittografia e decrittazione fino al 48% (con $\rho=0.5$).
  • Traffico di Dati: Nonostante un tempo di convergenza leggermente più lungo (più round necessari), il totale dei byte cifrati trasmessi è diminuito del 39,1% per $\rho=0.5$.
  • Tempo di Convergenza: Il numero di round necessari per la convergenza è aumentato (da 77 a 92 round per $\rho=0.5$), ma il guadagno in accuratezza e la riduzione dei costi computazionali giustificano questo compromesso.

---

5. Significato e Impatto

Il lavoro di Wang et al. dimostra che è possibile superare il tradizionale compromesso tra privacy, accuratezza ed efficienza nel Federated Learning.

• Scalabilità: Alt-FL rende il FL più scalabile per applicazioni critiche per la privacy, riducendo la barriera all'ingresso data dai costi computazionali della crittografia.
• Flessibilità: Il parametro $\rho$ permette agli amministratori di sistema di adattare dinamicamente il sistema in base alle esigenze specifiche (maggiore privacy vs. minori costi).
• Validazione Pratica: La soluzione è stata implementata e resa disponibile su GitHub, facilitando la riproducibilità e l'adozione futura.

In sintesi, Alt-FL offre una soluzione pragmatica che non sacrifica la sicurezza per l'efficienza, ma utilizza l'intelligenza dei dati sintetici per migliorare entrambi gli aspetti contemporaneamente.