🤖 machine learning

Optimal Client Sampling in Federated Learning with Client-Level Heterogeneous Differential Privacy

Dit artikel presenteert GDPFed, een nieuw framework voor federated learning dat de modelnauwkeurigheid verbetert in scenario's met heterogene privacy-eisen door cliënten in groepen te verdelen en de optimale selectieratio's en modelcompressie te gebruiken.

Oorspronkelijke auteurs: Jiahao Xu, Rui Hu, Olivera Kotevska

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiahao Xu, Rui Hu, Olivera Kotevska

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een grote groep mensen hebt die samen een super-geavanceerd recept voor een taart willen maken (het "AI-model"). Iedereen heeft zijn eigen geheime ingrediënten (de "data"), en niemand wil dat de rest precies weet wat die geheime ingrediënten zijn.

Dit is het probleem waar dit wetenschappelijke artikel over gaat. Hier is de uitleg in begrijpelijke taal:

Het Probleem: De "Strenge Scheidsrechter"

In de wereld van AI gebruiken we vaak Federated Learning. Dat betekent dat de data bij de mensen thuis blijft en alleen de "verbeteringen" aan het recept naar een centrale computer worden gestuurd. Om de privacy te beschermen, voegen we een beetje "ruis" toe aan die verbeteringen (een soort digitale mist), zodat niemand de originele ingrediënten kan raden. Dit noemen we Differential Privacy.

Maar er is een probleem: niet iedereen is even voorzichtig.

Persoon A vindt privacy heel belangrijk en wil een dikke laag mist over zijn gegevens.
Persoon B vindt het niet erg om een beetje meer te laten zien, zolang het recept maar goed wordt.

De huidige systemen zijn als een extreem strenge scheidsrechter: die zegt: "Omdat er één persoon is die heel voorzichtig wil zijn, moet ik de mist voor de HELE groep extreem dik maken!"

Het resultaat? De mist wordt zo dik dat niemand meer ziet wat ze aan het doen zijn. De taart (het AI-model) mislukt volledig omdat de instructies onleesbaar zijn geworden.

De Oplossing: GDPFed (De "Groepsindeling")

De onderzoekers stellen een slimme oplossing voor genaamd GDPFed. In plaats van iedereen dezelfde dikke mist te geven, verdelen ze de mensen in groepjes.

Stel je voor dat we de mensen in drie groepen verdelen:

De "Geheimhouders" (veel mist).
De "Gemiddelden" (een beetje mist).
De "Open Boeken" (bijna geen mist).

Elk groepje krijgt de mist die bij hun eigen niveau past. Zo verspillen we geen "helderheid" aan mensen die dat toch niet nodig hebben. De taart wordt hierdoor veel beter!

De Upgrade: GDPFed+ (De "Slimme Filter")

De onderzoekers gingen nog een stap verder met GDPFed+. Ze voegden twee slimme trucjes toe:

De "Sparsification" (De Essentie-Filter):
Stel je voor dat je een recept verbetert. Je hoeft niet te zeggen: "Voeg 0,00001 gram zout toe". Dat is onbelangrijk en zorgt alleen maar voor verwarring in de mist. GDPFed+ filtert alle onbelangrijke details weg en stuurt alleen de belangrijkste verbeteringen door. Minder details betekent minder ruis, en dus een betere taart.
De "Optimale Sampling" (De Slimme Verdeling):
Het systeem berekent nu precies hoeveel mensen uit welk groepje er mee mogen doen aan elke ronde. Het is als een dirigent die bepaalt: "De groep met de dikke mist mag maar een klein beetje meedoen, zodat ze de boel niet verwarren, maar de groep met de heldere instructies mag volop aan de slag!"

De Conclusie

De onderzoekers hebben bewezen dat hun methode (GDPFed+) veel nauwkeuriger is dan de oude methoden. Ze hebben het getest met verschillende soorten data (zoals afbeeldingen en tekst) en het resultaat is duidelijk: Je kunt de privacy van de meest voorzichtige mensen beschermen, zonder dat de rest van de groep blind wordt.

Kortom: Ze hebben een manier gevonden om een collectief brein te trainen waarbij iedereen zijn eigen privacy-niveau mag kiezen, zonder dat de hele boel in een onleesbare mist verdwijnt.

Technische Samenvatting: Optimal Client Sampling in Federated Learning with Client-level Heterogeneous Differential Privacy

1. Het Probleem (Problem Statement)

In Federated Learning (FL) willen clients hun data privé houden terwijl ze gezamenlijk een model trainen. Een gangbare methode is Differential Privacy (DP). Het onderzoek richt zich specifiek op client-level DP, waarbij de privacy van de gehele dataset van een client wordt beschermd.

In de praktijk hebben clients echter heterogene privacybehoeften: de ene client wil een zeer strikt privacybudget ( $\epsilon$ is klein), terwijl de andere een ruimer budget accepteert ( $\epsilon$ is groot). Bestaande methoden (zoals DP-FedAvg) dwingen het striktste privacybudget op aan alle clients. Dit leidt tot een enorme hoeveelheid onnodige ruis (noise) voor clients die minder strikte eisen hebben, wat de nauwkeurigheid (utility) van het uiteindelijke model drastisch verslechtert. Bovendien zijn huidige heuristische oplossingen vaak gebaseerd op de aanname van een volledig vertrouwde server, wat in realistische scenario's (met honest-but-curious aanvallers) onveilig is.

2. Methodologie (Methodology)

De auteurs stellen twee verbeterde algoritmen voor: GDPFed en de geoptimaliseerde versie GDPFed+.

GDPFed (Group-based DP): In plaats van één globaal privacybudget te gebruiken, verdeelt GDPFed de clients in groepen ( $G_1, G_2, \dots, G_M$ ) op basis van hun privacybudgetten. Per groep wordt client-level DP afgedwongen door het minimale budget binnen die specifieke groep te gebruiken. Dit voorkomt dat het striktste budget van de hele populatie de ruis voor iedereen bepaalt.
GDPFed+ (Sparsification & Optimal Sampling): Om de nauwkeurigheid verder te verhogen, voegt GDPFed+ twee technieken toe:
1. Model Sparsification (Top-k): Omdat DP-ruis wordt toegevoegd aan elke parameter, schaalt de totale ruis met de dimensie van het model ( $d$ ). GDPFed+ gebruikt unstructured pruning (Top-k sparsification) om alleen de belangrijkste parameters te behouden. Hierdoor wordt de hoeveelheid toegevoegde ruis verminderd zonder de architectuur te veranderen.
2. Optimal Client Sampling: De auteurs hebben via een convergentieanalyse aangetoond dat er een optimaal evenwicht bestaat tussen de frequentie waarmee een client wordt geselecteerd ( $q_m$ ) en de hoeveelheid ruis. GDPFed+ lost een optimalisatieprobleem op om de ideale selectieratio per groep te bepalen, waarbij de balans wordt gezocht tussen privacybescherming en het minimaliseren van de convergentiefout.

3. Belangrijkste Bijdragen (Key Contributions)

Nieuw Framework: De introductie van GDPFed, het eerste framework dat client-level DP in een heterogene setting behandelt onder een sterk aanvalsmodel (waarbij zowel de server als clients nieuwsgierig kunnen zijn).
Theoretische Grondslag: Een rigoureuze privacy-analyse (via parallelle compositie) en een convergentieanalyse die de relatie tussen modeldimensie, sampling-ratio's en DP-ruis kwantificeert.
Optimalisatie-algoritme: De ontwikkeling van GDPFed+, dat de privacy-utility trade-off optimaliseert door middel van sparsificatie en wiskundig onderbouwde client-sampling.

4. Resultaten (Results)

De methoden zijn getest op diverse datasets (FMNIST, SVHN, CIFAR-10 en Shakespeare). De belangrijkste bevindingen zijn:

Superieure Nauwkeurigheid: GDPFed+ presteert consistent beter dan state-of-the-art methoden zoals PFA en IDP-FedAvg. Op de gemiddelde testnauwkeurigheid over alle datasets laat GDPFed+ een verbetering zien van circa +5,75% ten opzichte van GDPFed.
Ruisreductie: Uit de analyse blijkt dat GDPFed de totale hoeveelheid toegevoegde ruis ( $\Lambda$ ) met bijna de helft vermindert vergeleken met de standaard DP-FedAvg.
Robuustheid: Het algoritme blijft stabiel en effectief, zelfs wanneer de verdeling van privacyvoorkeuren tussen clients verandert of wanneer de data sterk niet-identiek verdeeld (non-IID) is.
Efficiëntie: De extra computationele overhead voor het oplossen van de optimalisatie en de sparsificatie is verwaarloosbaar klein, waardoor het geschikt is voor IoT-apparaten.

5. Betekenis (Significance)

Dit werk is van groot belang voor de praktische uitrol van Federated Learning in sectoren zoals de gezondheidszorg of IoT. Het lost het fundamentele conflict op tussen privacy-heterogeniteit en model-nauwkeurigheid. Door een wiskundig kader te bieden waarmee privacybudgetten efficiënt kunnen worden toegewezen zonder de bruikbaarheid van het model op te offeren, maakt dit onderzoek veiliger en effectiever gedecentraliseerd machine learning leren in de echte wereld.