Federated Learning Architecture: Data Privacy and System Security Approaches

Technische Samenvatting: Federated Learning Architectuur met Homomorfe Encryptie en Differential Privacy

Probleemstelling
Hoewel Federated Learning (FL) een paradigma biedt voor het trainen van machine learning-modellen zonder centrale opslag van ruwe gegevens, blijft het kwetsbaar voor beveiligings- en privacybedreigingen. Specifiek kunnen modelupdates die tussen clients en de centrale server worden verzonden, worden onderschept om modelinferentie- of datareconstructie-aanvallen uit te voeren, wat potentieel gevoelige informatie over lokale datasets kan lekken. Bovendien vormt de centrale server zelf een single point of failure. Bestaande benaderingen worstelen vaak met het balanceren van de strikte vereisten voor dataprivacy met de noodzaak voor hoge modelnauwkeurigheid en computationele efficiëntie, met name in gevoelige domeinen zoals de gezondheidszorg en de financiële sector.

Methodologie
Deze studie stelt een hybride FL-architectuur voor die Homomorfe Encryptie (HE) en Differential Privacy (DP) integreert om het trainingsproces te beveiligen.

• Architectuur & Encryptie: Het systeem maakt gebruik van het CKKS (Cheon-Kim-Kim-Song) homomorfe encryptieschema. CKKS werd gekozen vanwege de mogelijkheid om benaderende berekeningen uit te voeren op versleutelde drijvende-kommagetallen, wat essentieel is voor neurale netwerkoperaties. In deze workflow voeren clients lokale training uit op hun gegevens. In plaats van plaintext gewichten te verzenden, versleutelen clients hun modelupdates met CKKS voordat ze worden verzonden. De centrale server aggregeert deze versleutelde updates met behulp van het Federated Averaging (FedAvg) algoritme. Het geaggregeerde resultaat wordt vervolgens gedecrypt om het globale model bij te werken, waardoor de server nooit toegang heeft tot de plaintext modelparameters.

• Differential Privacy: Om extractie van individuele informatie uit modelupdates te voorkomen, gebruikt de studie DP-mechanismen tijdens de lokale trainingsfase. Met behulp van de PrivacyEngine bibliotheek wordt willekeurige ruis toegevoegd aan de gradiënten. Het systeem werkt onder $(\epsilon, \delta)$-differential privacy restricties, met specifieke parameters ingesteld op $\sigma=5.0$ (noise multiplier), een maximale gradiëntnorm van $0.5$, en $\delta=10^{-5}$.

• Experimentele Opstelling: De voorgestelde architectuur werd geëvalueerd op drie verschillende datasets:

  1. Framingham Heart Study: Voor cardiovasculaire ziektevoorspelling (4.240 monsters).
  2. Pima Indians Diabetes (PID): Voor diabetesvoorspelling (768 monsters).
  3. Bank Marketing: Voor klantabonnementvoorspelling (41.188 monsters).

  De experimenten simuleerden een gedecentraliseerde omgeving met een variërend aantal clients (3, 5 en 10). Een multi-layer Artificieel Neuraal Netwerk (ANN) met drie volledig verbonden lagen (256 en 128 neuronen in de verborgen lagen) werd getraind voor 5 lokale epochs per ronde over 10 globale rondes.

Belangrijkste Bijdragen

1. Geïntegreerd Beveiligingskader: Het artikel demonstreert een functioneel FL-systeem dat gelijktijdig CKKS-gebaseerde homomorfe encryptie toepast voor veilige transmissie en DP voor lokale gradiëntbescherming.
2. Empirische Analyse van Privacy-Nauwkeurigheid Trade-offs: De studie biedt een gedetailleerde analyse van hoe het verhogen van het aantal clients en de duur van de training (aantal rondes) de privacybudget ($\epsilon$) beïnvloedt. Er wordt waargenomen dat naarmate het aantal clients toeneemt of de datasetgrootte afneemt, het privacybudget sneller wordt verbruikt vanwege de verhoogde noodzaak voor het toevoegen van ruis per client.
3. Prestatie-evaluatie: Het onderzoek kwantificeert de impact van deze beveiligingsmaatregelen op de modelprestaties (Nauwkeurigheid, Precisie, Recall, F1-score) over verschillende datadistributies en clientaantallen.

Experimentele Resultaten

• Privacy Budget ($\epsilon$): De studie vond een directe correlatie tussen het aantal clients en het privacybudget. Zo leidde het verhogen van de clients van 3 naar 10 in de Bank-dataset ertoe dat de $\epsilon$-waarde bij Ronde 10 bijna verdubbelde (van 0.3566 naar 0.6785). Op dezelfde manier vertoonden kleinere datasets (zoals PID) hogere $\epsilon$-waarden vergeleken met grotere datasets (zoals Bank) onder dezelfde clientconfiguraties, wat aangeeft dat dataheterogeniteit en steekproefomvang de privacyconsumptie significant beïnvloeden.
• Modelnauwkeurigheid: De integratie van DP resulteerde in een meetbare, zij het lichte, afname van de modelnauwkeurigheid vergeleken met niet-private baselines.
  • Bank Dataset: Toonde de hoogste robuustheid, met een nauwkeurigheid van 81,85% met DP (3 clients) vergeleken met 86,20% zonder DP.
  • PID Dataset: Toonde een meer uitgesproken daling, met 72,00% nauwkeurigheid met DP (3 clients) versus 75,00% zonder.
  • Framingham Dataset: Bereikte 69,92% nauwkeurigheid met DP (3 clients) versus 71,47% zonder.
• Conclusie over Trade-offs: De resultaten bevestigen dat hoewel privacy-bewarende technieken een prestatiekost introduceren, het systeem betekenisvolle nauwkeurigheidsniveaus behoudt, met name in grotere datasets zoals de Bank Marketing-data.

Significantie en Claims
De auteurs beweren dat deze architectuur de haalbaarheid aantoont van het inzetten van veilige, privacy-bewarende AI in gevoelige sectoren zoals de gezondheidszorg en de financiële wereld zonder afhankelijk te zijn van centrale datacollectie. De studie concludeert dat hoewel dataheterogeniteit en het aantal clients de modelprestaties aanzienlijk beïnvloeden, strategieën zoals een zorgvuldige selectie van DP-parameters en het gebruik van grotere datasets de efficiëntieverliezen kunnen mitigeren.

Het artikel erkent op bescheiden wijze de beperkingen ervan, waarbij wordt opgemerkt dat de experimenten werden uitgevoerd in een gesimuleerde omgeving met een klein aantal clients (3, 5, 10) en relatief grote lokale datasets. De auteurs stellen dat in real-world scenario's met duizenden clients en schaarse lokale data, prestatieverslechtering te verwachten is. Bijgevolg positioneert het artikel de bevindingen als een fundamentele stap, waarbij wordt gesuggereerd dat toekomstig werk de aspecten van schaalbaarheid, communicatie-efficiëntie en geavanceerde aggregatie-algoritmen moet aanpakken om het potentieel van privacy-bewarende FL in grootschalige toepassingen volledig te realiseren.