💻 computer science

Exploring CKKS Parameter Trade-offs for Privacy-Preserving Personalized Federated Learning

Dit artikel introduceert pFedCKKS, een framework dat het CKKS homomorfe encryptieschema integreert in Personalized Federated Learning en de eerste systematische gids biedt voor het selecteren van de parameters om een balans te vinden tussen privacy, precisie en computationele efficiëntie.

Oorspronkelijke auteurs: Kamolchanok Saengtong, Phanwadee Sinthong, Norrathep Rattanavipanon

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kamolchanok Saengtong, Phanwadee Sinthong, Norrathep Rattanavipanon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep artsen voor, die elk in een ander ziekenhuis werken en een superintelligente AI willen bouwen om ziekten te diagnosticeren. Ze hebben allemaal patiëntgegevens, maar privacywetten (zoals de AVG) en ethische regels betekenen dat ze de werkelijke medische dossiers van hun patiënten niet naar een centrale server kunnen sturen.

Federated Learning (FL) is de oplossing die ze gebruiken: in plaats van gegevens te delen, delen ze de "geleerde lessen" (modelupdates) van hun lokale AI. Er is echter een addertje onder het gras: zelfs deze "lessen" kunnen soms worden teruggehaald naar de bron om privédetails over patiënten te onthullen.

Personalized Federated Learning (PFL) gaat nog een stap verder. In standaard FL eindigt iedereen met exact hetzelfde AI-model. Maar bij PFL krijgt elke arts een model dat specifiek is afgestemd op de specifieke mix van patiënten in hun eigen ziekenhuis, terwijl ze nog steeds leren van de groep.

Het Probleen: De "Eerlijke-maar-Nieuwsgierige" Server

In deze opstelling is er een centrale server die de training coördineert. Het artikel gaat ervan uit dat deze server "eerlijk-maar-nieuwsgierig" is. Hij houdt zich aan de regels en steelt geen gegevens, maar hij is wél nieuwsgierig. Hij kan proberen een inkijkje te krijgen in de "lessen" die door de artsen worden verzonden om privédetails over hun patiënten te achterhalen.

De Oplossing: De "Magische Envelop" (CKKS)

Om te voorkomen dat de server een inkijkje krijgt, introduceren de auteurs een "Magische Envelop" genaamd CKKS (een type Homomorfe Encryptie).

Hoe het werkt: Stel je voor dat je een brief in een vergrendelde, transparante doos kunt plaatsen. Je kunt wiskunde uitvoeren op de buitenkant van de doos (optellen of vermenigvuldigen van de inhoud) zonder de doos ooit te openen. De server voegt deze vergrendelde dozen samen. Alleen de artsen hebben de sleutel om de uiteindelijke doos te openen en het resultaat te lezen.
Waarom CKKS? De meeste encryptie is geweldig voor hele getallen (zoals het tellen van appels), maar AI-modellen gebruiken decimalen (zoals 3,14159). CKKS is speciaal omdat het wiskunde kan uitvoeren op deze decimale getallen terwijl ze nog steeds vergrendeld in de doos zitten.

De Grote Ontdekking: De "Goldilocks"-instellingen

De belangrijkste bijdrage van het artikel is het uitzoeken hoe je deze Magische Enveloppen moet configureren. De auteurs ontdekten dat de "grootte" van het slot (genaamd primes) een afweging creëert:

Kleine Sloten: Snel om te vergrendelen/ontgrendelen en klein om over het internet te verzenden, maar de wiskunde binnenin wordt "wazig" (lage precisie). De AI kan hierdoor in de war raken en fouten maken.
Enorme Sloten: Zeer precieze wiskunde, maar ze zijn zwaar, traag om te verwerken en nemen veel internetbandbreedte in beslag.

De auteurs testten dit met drie verschillende AI-strategieën (FedFinetune, FedPer en Ditto) op drie verschillende soorten gegevens (handgeschreven letters, beroemde gezichten en tweet-sentimenten).

De "Sweet Spot" Bevinding:
Ze ontdekten dat je niet de grootste, zwaarste sloten nodig hebt om goede resultaten te behalen.

Als het slot te klein is (18 bits), gaat de AI kapot en presteert hij vreselijk.
Als het slot enorm is (38+ bits), werkt de AI perfect, maar is hij zo traag en zwaar dat hij onpraktisch is voor echt wereldgebruik.
De Aanbeveling: Ze vonden een "Goldilocks"-instelling: 28-bits buitenste sloten en 26-bits binnenste sloten.

Bij deze specifieke instelling:

Is de AI net zo nauwkeurig als wanneer er helemaal geen encryptie zou worden gebruikt.
Zijn de snelheid en het internetgebruik laag genoeg om praktisch bruikbaar te zijn.

De Kernboodschap

Het artikel presenteert een framework genaamd pFedCKKS. Het bewijst dat je zowel je taart kunt eten als de hele taart kunt hebben: je kunt gepersonaliseerde AI-modellen trainen op private gegevens zonder dat de centrale server de ruwe gegevens ooit ziet, en zonder dat dit het systeem te veel vertraagt.

De belangrijkste les voor iedereen die dit systeem bouwt is: Kies niet zomaar de grootste, veiligste getallen die je kunt vinden. Kies in plaats daarvan de specifieke "28 en 26" getallen die de auteurs vonden, die de balans tussen beveiliging, snelheid en nauwkeurigheid perfect in stand houden voor deze specifieke taak.

Technische Samenvatting: Onderzoek naar de CKKS-parameteraanpassingen voor Privacy-Preserving Personalized Federated Learning

Probleemstelling

Personalized Federated Learning (PFL) stelt cliënten in staat om gezamenlijk modellen te trainen die zijn afgestemd op hun lokale, heterogene data zonder dat ruwe datasets worden gedeeld. Echter, standaard PFL blijft kwetsbaar voor inferentie-aanvallen van "honest-but-curious" servers, die private trainingsdata kunnen reconstrueren of gevoelige eigenschappen kunnen afleiden uit de uitgewisselde modelupdates. Hoewel Homomorfe Encryptie (HE), specifiek het CKKS-schema, een oplossing biedt door server-zijde aggregatie op versleutelde updates mogelijk te maken, ontbreekt het bij de toepassing van CKKS in PFL aan systematische begeleiding. Praktijkgebruikers staan voor een kritieke kloof: er is geen principieel kader voor het configureren van CKKS-parameters (zoals ciphertext moduli) dat de concurrerende eisen van privacy, decryptieprecisie en computationele/communicatie-efficiëntie in PFL-implementaties in balans brengt.

Methodologie

De auteurs introduceren pFedCKKS, een generiek framework dat het CKKS HE-schema integreert in PFL-workflows. De methodologie omvat:

Systeem- en Dreigingsmodel: Het framework opereert in een cross-silo setting met een honest-but-curious server en eerlijke cliënten. Een vertrouwde leider (of derde partij) genereert CKKS-sleutels, waarbij de publieke en evaluatiesleutels aan de server worden verdeeld en de geheime sleutel aan de cliënten.
Workflow Integratie: Het trainingsproces houdt in dat cliënten globale parameters decoderen, lokale PFL-updates uitvoeren (met behulp van de algoritmen FedFinetune, FedPer of Ditto), de bijgewerkte globale parameters versleutelen en deze naar de server sturen. De server voert een homomorfe gewogen aggregatie van deze ciphertexts uit zonder decryptie.
Parameteranalyse: De auteurs leiden beperkingen af voor CKKS-parameters onder een 1ende-niveau beveiliging (128-bit). Ze identificeren dat voor de PFL-setting (die slechts één homomorfe vermenigvuldiging vereist), het probleem wordt gereduceerd tot het selecteren van twee waarden: de innerlijke priemgetal ( $q_1$ $q_{1}$ ) en het uiterlijke priemgetal ( $q_0 = q_2$ $q_{0} = q_{2}$ ).
- $N = 8192$ (vastgesteld voor beveiliging).
- $L = 1$ (multiplicatieve diepte).
- Beperkingen: $q_0 > q_1$ en $\log_2(q_0) + \log_2(q_1) + \log_2(q_2) < 218$ .
Empirische Evaluatie: Het framework is geïmplementeerd met behulp van het Flower FL-framework en de TenSEAL-bibliotheek. Experimenten worden uitgevoerd op drie datasets (FEMNIST, CelebA, Sentiment140) over drie PFL-algoritmen. De studie varieert systematisch de bitgroottes van de innerlijke en uiterlijke priemgetallen om te meten:
- Communicatie: Bandbreedtegebruik en overhead ten opzichte van onversleutelde baselines.
- Computation: Runtime-overhead (encryptie/decryptie versus lokale training).
- Precisie: Parameter-niveau fout ( $L_1$ -norm) en model-niveau testnauwkeurigheid.

Belangrijkste Bijdragen

pFedCKKS Framework: Het eerste generieke framework dat CKKS integreert in PFL, waarmee de compatibiliteit met belangrijke PFL-strategieën (FedFinetune, FedPer en Ditto) wordt aangetoond.
Systematische Parameterhandleiding: Een afleiding van volledige CKKS-parameterbeperkingen voor PFL, waardoor de selectiecomplexiteit wordt teruggebracht tot het kiezen van enkel de innerlijke en uiterlijke priemgetallen.
Trade-off Analyse: Een uitgebreide empirische evaluatie die de inherente afruil tussen precisie en kosten onthult. De studie identificeert dat het innerlijke priemgetal de dominante factor is voor decryptieprecisie, terwijl beide priemgetallen aanzienlijk invloed hebben op de communicatie- en computationele kosten.
Praktische Richtlijnen: De identificatie van een optimaal werkpunt dat efficiëntie en nauwkeurigheid in balans brengt.

Resultaten

Communicatie: De communicatie-overhead neemt lineair toe met de grootte van zowel de innerlijke als de uiterlijke priemgetallen. Bijvoorbeeld: het verhogen van het innerlijke priemgetal van 18 naar 38 bits (met een vaste 40-bits uiterlijke priem) resulteerde in meer dan 100% extra overhead. De keuze van het PFL-algoritme beïnvloedt ook de absolute bandbreedte; FedPer verminderde de overhead op FEMNIST aanzienlijk door alleen gedeelde basislagen te verzenden, maar verhoogde deze op Sentiment140 waar de gedeelde lagen bijna het gehele model vormden.
Computation: De computationele overhead is alleen significant wanneer CKKS-operaties (encryptie/decryptie) de lokale trainingstijd domineren. In settings met kleine modellen (bijv. CelebA) of kleine versleutelde subsets (FedPer op FEMNIST), maskeerde de lokale training de CKKS-overhead, wat resulteerde in verwaarloosbare totale runtime-toenames. Echter, wanneer CKKS-operaties dominant waren, leidden grotere priemgetallen tot hogere runtimes.
Precisie:
- Innerlijk Priemgetal: Dit is de kritieke factor voor precisie. Een 18-bits innerlijk priemgetal veroorzaakte ernstige degradatie van de nauwkeurigheid (tot wel 80% daling in sommige gevallen) door numerieke instabiliteit en overflow. Het verhogen van het innerlijke priemgetal naar 22 bits verbeterde de nauwkeurigheid, maar vertoonde nog steeds waarneembare dalingen. 26 bits of hoger behield consistent de modelnauwkeurigheid vergelijkbaar met de onversleutelde baseline.
- Uiterlijk Priemgetal: Had een verwaarloosbare impact op zowel de parameter-niveau als de model-niveau precisie.
- Convergentie: Modellen met 22-bits innerlijke priemgetallen vertoonden nauwkeurigheidsdegradatie na langdurige training (geaccumuleerde ruis), terwijl configuraties van 26-bits en hoger vergelijkbaar convergeren met de baseline.

Betekenis en Aanbevelingen

Het paper concludeert dat hoewel CKKS privacy-bewuste PFL mogelijk maakt, naïeve parameterselectie kan leiden tot onbetaalbare kosten of onbruikbare modelnauwkeurigheid. De auteurs bieden een concrete richtlijn voor praktijkgebruikers:

Aanbevolen Configuratie: Een ciphertext modulus configuratie van (28, 26, 28) (28-bits uiterlijke priemgetallen, 26-bits innerlijk priemgetal).
Rationale: Deze configuratie minimaliseert de communicatie- en computationele overhead terwijl de model-niveau nauwkeurigheid vergelijkbaar blijft met de onversleutelde baseline. Het vertegenwoordigt het "sweet spot" waar verdere verhoging van het innerlijke priemgetal een afnemend rendement in nauwkeurigheid oplevert, maar hogere kosten met zich meebrengt.

Het werk valideert dat privacy-bescherming in PFL haalbaar is met efficiënte prestaties wanneer CKKS-parameters zorgvuldig worden afgestemd, waarmee een kritieke kloof in de implementatie van privacy-verbeterende technologieën voor gepersonaliseerde federated learning wordt opgevuld.