🤖 machine learning

Differentially Private Model Merging

Deze paper introduceert post-processing technieken, namelijk willekeurige selectie en lineaire combinatie, om vanuit een set bestaande modellen een model te genereren dat voldoet aan willekeurige differentieel-private eisen zonder extra training, waarbij de lineaire combinatie theoretisch en empirisch als superieur wordt aangetoond.

Oorspronkelijke auteurs: Qichuan Yin, Manzil Zaheer, Tian Li

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qichuan Yin, Manzil Zaheer, Tian Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bakker bent die al verschillende soorten brood heeft gebakken. Je hebt een brood dat heel veilig is (maar misschien wat droog), een brood dat heel lekker is (maar iets minder veilig), en een paar ertussenin.

Normaal gesproken, als een klant plotseling vraagt: "Ik wil nu een brood dat precies op dit niveau van veiligheid zit," zou je de hele oven moeten aansteken en opnieuw beginnen met bakken. Dat kost tijd, energie en meel.

Dit onderzoek is als een slimme bakker die zegt: "Wacht even, we hoeven niet opnieuw te bakken! We hebben al genoeg brood in de kast. Laten we die gewoon op een slimme manier samenvoegen om precies het brood te maken dat de klant wil."

Hier is hoe dit werkt, vertaald naar alledaags taal:

1. Het Probleem: De Veiligheidsregels Veranderen

In de digitale wereld (zoals bij apps of AI) veranderen de regels voor privacy voortdurend. Soms mag je meer data gebruiken, soms moet je heel streng zijn. Vaak hebben bedrijven al verschillende versies van een AI-model die ze hebben getraind met verschillende instellingen voor privacy.

Model A: Zeer veilig, maar niet heel slim.
Model B: Minder veilig, maar heel slim.
Model C: Ergens ertussenin.

De vraag is: Kunnen we deze modellen "mixen" om een nieuw model te maken dat precies voldoet aan de nieuwe regel, zonder dat we de originele data zien of opnieuw hoeven te trainen?

2. De Twee Oplossingen: De "Gok" en de "Smoothie"

De auteurs van dit paper bieden twee manieren om dit te doen:

A. Random Selection (De "Gok" of "Lot")

Stel je voor dat je een hoed hebt met alle je broden erin. Je vraagt aan de klant: "Wat voor privacy-niveau wil je?"

Als ze een heel veilig niveau willen, trek je met een hoge kans het veilige brood uit de hoed.
Als ze iets minder streng willen, trek je een ander brood.

Je kiest dus één bestaand model en gebruikt dat. Het is simpel en snel, maar je gooit de kennis van de andere modellen weg. Je kiest maar één kaart.

B. Linear Combination (De "Smoothie")

Dit is de slimme methode. In plaats van één brood te kiezen, neem je een beetje van Model A, een beetje van Model B en een beetje van Model C, en meng je ze tot één nieuwe "smoothie".

Als je meer veiligheid wilt, doe je meer van het veilige brood in de mix.
Als je meer slimheid wilt, doe je meer van het slimme brood in de mix.

Het grote voordeel: Omdat je informatie uit alle modellen combineert, is deze "smoothie" vaak slimmer dan het beste individuele brood, terwijl je toch aan de strenge veiligheidsregels voldoet.

3. De Wiskundige "Rekenmachine" (Privacy Accounting)

Het moeilijkste deel is bewijzen dat deze nieuwe "smoothie" of "gok" echt veilig is. Als je twee modellen mixt, wordt de privacy niet zomaar de som van de twee; het is ingewikkelder.

De auteurs hebben een nieuwe manier bedacht om dit te berekenen (met behulp van wiskunde die ze "RDP" en "PLD" noemen, maar laat ons het een super-accurate rekenmachine noemen).

Deze rekenmachine kijkt precies naar hoe de modellen zijn gemaakt.
Hij berekent precies hoeveel "privacy-risico" er in de mix zit.
Hierdoor kunnen ze garanderen: "Ja, deze nieuwe mix is veilig genoeg voor de nieuwe regel."

Zonder deze rekenmachine zou je denken dat het mixen van modellen heel gevaarlijk is, maar hun wiskunde bewijst dat het juist heel veilig en efficiënt kan.

4. Wat Vinden Ze in de Praktijk?

Ze hebben dit getest met echte data (zoals foto's van cijfers of auto's) en met simpele wiskundige problemen.

Resultaat: De "Smoothie-methode" (Linear Combination) werkt vaak beter dan de "Gok-methode". Je krijgt een slimmer model voor dezelfde hoeveelheid privacy-risico.
Flexibiliteit: Je kunt in één seconde schakelen van een heel streng privacy-model naar een minder streng model, zonder dat je de computer opnieuw hoeft in te stellen.

Samenvattend

Stel je voor dat je een toolbox hebt met verschillende gereedschappen. Normaal zou je voor elke nieuwe taak een nieuw gereedschap moeten maken. Dit paper zegt: "Nee, we kunnen de bestaande gereedschappen gewoon aan elkaar lassen of kiezen, en zo precies het gereedschap maken dat je nu nodig hebt."

Het is een manier om privacy en slimheid flexibel te balanceren, zonder dat je de dure en tijdrovende stap van opnieuw trainen hoeft te doen. Het maakt AI-systemen veel flexibeler en veiliger voor de toekomst.

Probleemstelling

In machine learning-toepassingen kunnen privacyvereisten tijdens de inferentie- of implementatiefase constant veranderen als gevolg van wisselende beleidslijnen, regelgeving of gebruikerservaringen. Het is cruciaal om modellen snel aan te passen aan nieuwe privacydoelstellingen (bijvoorbeeld een specifiek $\epsilon$ -budget voor differentieel privacy, DP) zonder de ruwe data opnieuw te raadplegen of kostbare hertraining uit te voeren.

Huidige aanpakken zoals het opnieuw trainen met DP-SGD vereisen extra hyperparameter-tuning en brengen aanzienlijke rekenkosten met zich mee. Hoewel serviceproviders vaak meerdere DP-modellen hebben die op dezelfde dataset zijn getraind met verschillende privacy/utility-trade-offs, is het onduidelijk hoe deze modellen efficiënt kunnen worden samengevoegd (gemerged) om een willekeurig doel-privacyniveau te bereiken, terwijl de privacygaranties strikt worden gehandhaafd. Bestaande compositie-resultaten zijn vaak niet optimaal voor modelmerging en leiden tot suboptimale trade-offs.

Methodologie

De auteurs stellen twee data-onafhankelijke post-processing technieken voor om een set van $N$ bestaande DP-modellen te combineren tot één model dat voldoet aan een doel-privacyparameter $(\epsilon', \delta')$ :

Random Selection (RS):
- Concept: Het algoritme selecteert willekeurig één model uit de set van $N$ modellen op basis van een kansverdeling $\pi = (\pi_1, ..., \pi_N)$ .
- Privacy Accounting: Omdat het outputmodel puur een steekproef is van de inputmodellen, hangt de privacy af van de geselecteerde model. De auteurs gebruiken Rényi Differentieel Privacy (RDP) en Privacy Loss Distributions (PLD) om de totale privacykosten te berekenen.
- Voordeel: Zeer lichtgewicht en vereist geen kennis van de interne structuur van de trainingsalgoritmen, alleen de privacyprofielen (RDP/PLD parameters) van de inputmodellen.
Linear Combination (LC):
- Concept: Het algoritme berekent een deterministische lineaire combinatie van de modelparameters: $\theta = \sum \lambda_i \theta_i$ , waarbij $\lambda$ een vector van gewichten is.
- Aannames: Voor een scherpe privacyanalyse is het noodzakelijk om aan te nemen dat de modellen zijn getraind via DP-SGD (met specifieke kennis van gradient clipping, ruismultipliers en steekproefverhoudingen). Zonder deze structurele aannames is de privacy van LC niet beter dan het gezamenlijk vrijgeven van alle modellen.
- Mechanisme: De auteurs analyseren de gecombineerde ruis en gradienten over de trainingsstappen heen. Ze tonen aan dat bij onafhankelijke ruis in de trainingsstappen, de lineaire combinatie een gunstiger privacy/utility-profiel kan bieden dan RS.

Privacy Accounting:
Voor beide methoden worden nauwkeurige accounting-methoden ontwikkeld:

RDP: Biedt analytisch inzicht en eenvoudigere uitdrukkingen. Voor RS wordt een log-sum-exp upper bound afgeleid. Voor LC wordt een complexe sommatie over combinaties van trainingsstappen gebruikt.
PLD: Biedt vaak strakkere (tighter) grenzen in de praktijk door gebruik te maken van convolutie van privacy-loss verdelingen.

Belangrijkste Bijdragen

Nieuw Probleemkader: Dit is het eerste werk dat zich systematisch bezighoudt met het samenvoegen van private modellen om flexibele privacyvereisten tijdens de implementatie te vervullen zonder extra training.
Twee Mechanismen: Introductie van RS en LC als data-onafhankelijke post-processing methoden, inclusief algoritmen voor het optimaliseren van de mengcoëfficiënten ( $\pi$ en $\lambda$ ) onder privacybeperkingen.
Theoretische Analyse:
- Voor het specifieke geval van Gaussian Mean Estimation wordt bewezen dat LC theoretisch superieur is aan RS (LC kan de MSE verkleinen terwijl de privacy gelijk blijft, omdat het informatie uit meerdere modellen combineert in plaats van er één te verwerpen).
- Voor algemene problemen wordt aangetoond dat zonder extra aannames over de trainingsalgoritmen, LC geen betere privacygarantie biedt dan het gezamenlijk vrijgeven van alle modellen. Met DP-SGD-structuur worden echter strakkere grenzen mogelijk.
- Bewijs dat RS en LC, wanneer geanalyseerd met RDP/PLD, strakkere privacygrenzen bieden dan traditionele compositie-methoden (zoals sequentiële compositie).
Empirische Validatie: Uitgebreide experimenten op synthetische data en real-world datasets (MNIST, CIFAR-10) met zowel convexe (logistische regressie) als niet-convexe (ResNet18) modellen.

Resultaten

Synthetische Data (Mean Estimation): LC presteert consequent beter dan RS, wat de theoretische voorspelling bevestigt. Beide methoden genereren een continue Pareto-frontier tussen privacy en nut (MSE).
Real-world Data (MNIST & CIFAR-10):
- Beide methoden slagen erin om flexibel in te spelen op veranderende privacybudgetten.
- PLD-accounting levert consistent strakkere privacygrenzen op dan RDP-accounting.
- LC vs. RS: Bij niet-convexe modellen (zoals ResNet) is LC minder flexibel; de optimale strategie neigt naar het geven van een zeer groot gewicht aan één model (wat het effectief doet lijken op RS). RS toont zich robuuster en adaptiever voor complexe, niet-convexe modellen.
- Pre-training: In een setting met pre-training op een publiek dataset, bleek dat de gemerged modellen soms beter presteerden dan de individuele kandidaat-modellen. Dit suggereert dat merging niet alleen nuttig is voor privacy-adaptatie, maar ook voor het verbeteren van de utility door DP-ruis te middelen.

Betekenis en Toekomstperspectief

Dit werk biedt een praktische oplossing voor het dynamische privacybeheer in ML-systemen. Het stelt organisaties in staat om een "pool" van modellen te onderhouden en daaruit een model te genereren dat precies voldoet aan de huidige regelgeving, zonder de kostbare en privacy-risicovolle stap van het opnieuw trainen op ruwe data.

De studie benadrukt het belang van het gebruik van geavanceerde accounting-methoden (RDP en PLD) in plaats van traditionele compositie, aangezien dit leidt tot aanzienlijk betere privacy/utility-trade-offs. Toekomstig werk richt zich op het ontwikkelen van meer geavanceerde merging-regels voor niet-convexe modellen en het privacy-bewust afstemmen van de mengparameters (hyperparameters) tijdens de inferentie.