Privacy-Utility Tradeoffs in Hierarchical Federated Learning Under Combined Differential Privacy and CKKS Homomorphic Encryption for Distributed Healthcare Networks

Technische Samenvatting: Privacy-Utility Trade-offs in Hiërarchisch Federated Learning onder Gecombineerde Differential Privacy en CKKS Homomorfe Encryptie

Probleemstelling

De integratie van Kunstmatige Intelligentie in de gezondheidszorg staat voor aanzienlijke operationele obstakels met betrekking tot gegevensprivacy en beveiliging. Gecentraliseerde systemen vormen single points of failure, wat het risico op schendingen van regelgeving zoals GDPR en HIPAA vergroot. Hoewel Federated Learning (FL) collaboratieve training mogelijk maakt zonder het delen van ruwe data, adresseren bestaande privacy-bewarende benaderingen vaak Differential Privacy (DP) en Homomorphic Encryption (HE) in isolatie.

• DP-alleen implementaties beschermen tegen inferentie-aanvallen op modelupdates, maar laten plaintext-parameters blootgesteld tijdens transmissie, waardoor ze geen garantie kunnen bieden voor transmissievertrouwelijkheid.
• HE-alleen schema's beveiligen de transmissie, maar falen vaak in het kwantificeren van de nauwkeurigheidskosten door ruisinjectie of de interactie tussen encryptie en modelnut (utility).
• Hybride benaderingen bestaan, maar missen een systematische evaluatie van de gecombineerde privacy-utility trade-off binnen een Hiërarchische Federated Learning (HFL) setting over variërende privacy-budgetten ($\epsilon$).

Consequentelijk bestaat er een ongekwantificeerde kloof over de vraag of het combineren van client-level DP met institutioneel-level HE een meetbare degradatie van de nauwkeurigheid introduceert die verder gaat dan de ruisinjectie van DP alleen, specifiek binnen de context van gedistribueerde zorgnetwerken.

Methodologie

De auteurs stellen een drielaags HFL-framework voor dat is ontworpen om de organisatiestructuur van gedistribueerde zorgnetwerken te reflecteren (Clients $\to$ Instituten $\to$ Globale Aggregator). Het systeem integreert twee onderscheidende privacy-mechanismen:

1. Client-Level $(\epsilon, \delta)$-DP: Toegepast lokaal bij elke client vóór transmissie. Dit omvat gradient clipping (naar norm $C$) en de injectie van gekalibreerde Gaussische ruis ($\sigma$) om informatielekken te beperken.
2. Institution-Level CKKS HE: Het Cheon-Kim-Kim-Song (CKKS) schema wordt toegepast om de geprivatiseerde updates te versleutelen. Instituten aggregeren deze cipherteksten direct met behulp van de additieve homomorfe eigenschap van CKKS, waarbij ze pas het uiteindelijke gewogen gemiddelde ontsleutelen voordat ze het naar de globale aggregator doorsturen.

Experimentele Opstelling:

• Datasets: MNIST (handgeschreven cijfers) en MIT-BIH Arrhythmia (ECG-signalen), die beeld- en fysiologische golfvormmodaliteiten vertegenwoordigen.
• Topologie: Drie instituten, elk met drie clients.
• Privacy-budgetten: Geëvalueerd over $\epsilon \in \{2, 4, 6, 8\}$ met $\delta = 10^{-5}$.
• Configuratie: CKKS-parameters waren vastgelegd (polynomiaal modulus graad 8192, $n_{slots}=4096$) over alle experimenten.
• Reproduceerbaarheid: Resultaten worden gerapporteerd als gemiddelde $\pm$ standaarddeviatie over drie onafhankelijke random seeds (42, 123, 7).

Belangrijkste Bijdragen

1. Geïntegreerd Framework: Een hiërarchische FL-architectuur die client-level DP en institution-level CKKS HE afdwingt, waardoor gegarandeerd wordt dat geen enkele ruwe data of plaintext modelupdates worden blootgesteld.
2. Systematische Empirische Evaluatie: Een rigoureuze beoordeling van de privacy-utility trade-off over twee zorg-relevante datasets en vier privacy-budgetten.
3. Isolatie van Utility Degradatie: Een empirische demonstratie dat CKKS HE nul meetbare nauwkeurigheidsverlies introduceert wanneer het wordt toegepast op gradient aggregatie. Dit isoleert DP-ruis als de enige bron van utility degradatie, wat een duidelijke scheiding vaststelt tussen de kosten van privacy (DP) en de kosten van vertrouwelijkheid (HE).

Resultaten

Nauwkeurigheid en Utility:

• Baseline Prestaties: De HFL-pipeline bereikte een hoge nauwkeurigheid zonder privacy-mechanismen: $99,65\%$ (MNIST) en $97,73\%$ (MIT-BIH).
• Impact van DP: DP introduceerde een begrensde nauwkeurigheidsverlies.
  • MNIST: Verlies varieerde van $1,88\%$ ($\epsilon=2$) tot $1,25\%$ ($\epsilon=8$).
  • MIT-BIH: Verlies varieerde van $12,23\%$ ($\epsilon=2$) tot $6,15\%$ ($\epsilon=8$). Het hogere verlies in MIT-BIH wordt toegeschreven aan de gevoeligheid van fysiologische golfvormclassificatie voor gradient perturbatie vergeleken met beeldpatronen.
• Impact van HE: Het vergelijken van DP-alleen vs. DP+HE configuraties onthulde geen directioneel nauwkeurigheidsgat. Bijvoorbeeld, bij $\epsilon=2$, was de MNIST-nauwkeurigheid identiek ($97,77\%$) voor beide configuraties. Het verschil ($\Delta_{HE}$) was effectief nul ($0,00\%$ tot $\pm 0,01\%$), wat bevestigt dat encryptie het modelnut niet degradeert.

Overhead:

• Computationele Kosten: De HE-overhead is geconcentreerd in de client-tier.
  • Client-zijde encryptie maakte het grootste deel van de tijd uit (bijv. $4,42$s voor MNIST, $9,74$s voor MIT-BIH per ronde).
  • Institutionele aggregatie en decryptie waren lichtgewicht ($1,00$s en $0,27$s voor MNIST, respectievelijk).
• Communicatiekosten: DP verhoogde de grootte van de modelupdates met ongeveer $60\%$ door ruisinjectie. HE introduceerde geen extra communicatiekosten, aangezien de ciphertext-grootte werd beheerd binnen de bestaande overheadstructuur.

Betekenis en Claims

Het artikel claimt een empirische basis te bieden voor de inzet van privacy-bewarende FL in de gezondheidszorg door aan te tonen dat:

1. Vertrouwelijkheid kan worden bereikt zonder utility-verlies: Het gebruik van CKKS HE beveiligt transmissie en aggregatie zonder de voorspellende prestaties in gevaar te brengen, waardoor de kosten van vertrouwelijkheid worden gescheiden van de kosten van privacy.
2. DP is de primaire utility bottleneck: Alle geobserveerde nauwkeurigheidsdegradatie is toe te schrijven aan DP-ruis, die monotoon afneemt naarmate het privacy-budget wordt versoepeld.
3. Reproduceerbaarheid: De resultaten zijn stabiel over onafhankelijke seeds, met standaarddeviaties onder de $0,13\%$ voor MNIST en $1,31\%$ voor MIT-BIH.

De auteurs merken beperkingen op, specif, met name dat het gebruik van gebalanceerde IID-dataverdelingen het privacy-signaal isoleert van data-heterogeniteit, wat betekent dat de gerapporteerde nauwkeurigheidsverliezen een ondergrens vertegenwoordigen voor heterogene deployments. Daarnaast beperkt de huidige scope HE tot de client-naar-instituut tier, waardoor de instituut-naar-globale tier openblijft voor toekomstig onderzoek via Secure Multi-Party Computation (SMPC). Byzantine resilience en blockchain-auditbaarheid worden expliciet uitgesloten van dit werk.