🤖 machine learning

Efficient Public Verification of Private ML via Regularization

Dit artikel introduceert een nieuw differentieel privaat stochastisch convex optimalisatiealgoritme dat bijna optimale privacy-nut-afruil bereikt, terwijl het publieke verificatie van zijn privacygaranties mogelijk maakt tegen een computationele kostenpost die aanzienlijk lager is dan die van het trainen van het model.

Oorspronkelijke auteurs: Zoë Ruha Bell, Anvith Thudi, Olive Franzese-McLaughlin, Nicolas Papernot, Shafi Goldwasser

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zoë Ruha Bell, Anvith Thudi, Olive Franzese-McLaughlin, Nicolas Papernot, Shafi Goldwasser

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je deel uitmaakt van een gemeenschap die je persoonlijke gegevens (zoals foto's of medische dossiers) samenvoegt om een slim computerprogramma te trainen. Je wilt helpen, maar je bent doodsbang dat het uiteindelijke programma per ongeluk je geheimen zou kunnen onthullen. Om dit te voorkomen, beloven de mensen die het programma bouwen een speciale "privacy-schild" te gebruiken, genaamd Differential Privacy.

Maar er is een groot probleem: Hoe weet jij, als gewone persoon, dat ze het schild daadwerkelijk hebben gebruikt?

Het Probleem: De "Black Box" Valstrik

Momenteel, als je wilt controleren of het programma veilig is, moet je optreden als een detective. Je vraagt de bouwers om het programma met verschillende gegevens te draaien en te kijken wat eruit komt. Het artikel stelt dat dit is alsof je probeert een naald in een hooistak te vinden door alleen naar het hooi te kijken.

De auteurs bewijzen dat een onbetrouwbare bouwer je gemakkelijk kan bedriegen. Ze kunnen een "geheime achterdeur" in het programma bouwen. Deze achterdeur is als een verborgen luik dat alleen opent als je een geheime code (een digitale handtekening) kent.

Voor jou (het publiek): Het programma ziet er volkomen veilig en privé uit.
Voor de bouwer (of hun vrienden): Zij kunnen de geheime code gebruiken om het luik te openen en ieders gegevens te stelen.

Omdat deze achterdeur verborgen is achter complexe wiskunde, kun je het niet detecteren door alleen naar het eindproduct te kijken. Je hebt een betere manier nodig om het proces te verifiëren.

De Oplossing: Het "Bonnen" Systeem

De auteurs hebben een nieuwe manier ontworpen om deze programma's te trainen die gepaard gaat met een publiek verifieerbare bon. In plaats van alleen de bouwer te vertrouwen, creëren ze een stapsgewijs bewijs dat iedereen kan controleren, maar dat de privégegevens niet onthult.

Denk aan het bakken van een taart in een afgesloten keuken:

De Oude Manier: Je vertrouwt de bakker omdat hij zegt: "Ik heb het recept gevolgd." Je hebt geen manier om dit te controlen zonder de bakker urenlang te observeren terwijl hij kookt.
De Nieuwe Manier: De bakker volgt een specifiek recept dat vereist dat hij een spoor van "broodkruimels" (wiskundige bewijzen) achterlaat terwijl hij bezig is.
- Hij bewijst dat hij de ingrediënten correct heeft gehakt.
- Hij bewijst dat hij de juiste hoeveelheid "ruis" (een speciaal ingrediënt dat de gegevens door elkaar husselt om individuen te verbergen) heeft toegevoegd.
- Cruciaal: Je kunt deze broodkruimels veel sneller controleren dan dat het duurde om de taart te bakken.

Hoe het werkt (De "Regularisatie" Truc)

Het geheime ingrediënt in hun recept is iets dat Regularisatie wordt genoemd.

Stel je voor dat je het laagste punt in een mistig dal probeert te vinden (het beste model).
Normaal gesproken neem je een lang, kronkelend pad om daar te komen, waarbij je elke stap controleert.
De methode van de auteurs voegt een "magnetische gids" (regularisatie) toe die je naar het centrum trekt. Dit maakt het pad gladder en voorspelbaarder.
Omdat het pad zo voorspelbaar is, hoef je niet elke stap die de bouwer heeft genomen te controleren. Je hoeft alleen een paar belangrijke "controlepunten" (gradiënten) te controleren en te verifiëren dat de "ruis" correct is toegevoegd.

Het Resultaat: Snellere controles dan bakken

Het paper laat zien dat met deze nieuwe methode:

Training (Het Bakken): Een bepaalde tijd in beslag neemt.
Verificatie (Het Controleren van de Bon): Aanzienlijk minder tijd kost dan de training zelf.

In hun tests hebben ze dit geprobeerd op een standaard dataset (MNIST, wat lijkt op een klein fotoalbum van handgeschreven cijfers).

Oude Methode: Het duurde ongeveer 100 uur om de privacy te verifiëren.
Nieuwe Methode: Het duurde slechts ongeveer 3 uur.

Ze ontdekten dat het meest tijdrovende deel het controleren van de "stappen" (gradiënten) was, maar zelfs dan hoefden ze veel minder stappen te controleren dan voorheen. De tijd die werd besteed aan het communiceren tussen de controleur en de bouwer was bijna nul.

Wat dit voor jou betekent

Dit paper zegt niet dat we nu elk AI-model kunnen verifiëren (zo zoals de complexe modellen die poëzie schrijven of auto's besturen). Het richt zich specifiek op een type wiskundig probleem genaamd Convex Optimization (wat lijkt op het vinden van het beste rechte pad).

Echter, het bewijst een essentieel punt: Het is mogelijk om een systeem te bouwen waarbij het bewijs van privacy goedkoper en sneller te controleren is dan de training zelf. Dit voorkomt dat onbetrouwbare bouwers hun privacy-schilden vervalsen en geeft het publiek een echte, efficiënte manier om te zeggen: "Ja, ik vertrouw dit model."

Kortom: Ze hebben een manier gevonden om de "privacy-bon" zo gemakkelijk leesbaar te maken dat je kunt verifiëren dat de bakker je koekjes niet heeft gestolen, zonder dat je de hele taart hoeft te zien bakken.

Technische Samenvatting: Efficiënte Publieke Verificatie van Private ML via Regularisatie

Probleemstelling

Differential Privacy (DP) is het standaardkader voor het beschermen van gevoelige informatie in trainingsdatasets voor machine learning, waarbij wordt gegarandeerd dat gebruikers van modellen specifieke datapunten niet kunnen afleiden. Echter, er bestaat een kritische kloof: data-aanbieders en het publiek missen efficiënte methoden om te verifiëren of een vrijgegeven model daadwerkelijk is getraind onder de garanties van DP.

Huidige verificatiemethoden kampen met twee primaire beperkingen:

Black-box Auditing: Benaderingen die een modeltrainer bevragen met verschillende datasets zijn statistisch onvoldoende. Het artikel demonstreert dat, onder de aanname van digitale handtekeningen, een kwaadwillende trainer een "computationeel ondetecteerbare" backdoor kan planten. Deze backdoor blijft latent tijdens standaard audits, maar stelt de trainer in staat om de dataset te lekken naar specifieke entiteiten, waardoor het algoritme niet-privaat wordt ondanks het passeren van elke black-box controle.
Interactieve Verificatiekosten: Bestaande interactieve bewijzen voor DP (bijv. het verifiëren van DP-SGD) vereisen dat de verifieerder bijna alle trainingsstappen opnieuw berekent. Zo vereiste het verifiëren van DP op de MNIST-dataset voorheen ongeveer 100 uur aan berekeningen, wat schaalt met de kosten van de training. Dit maakt publieke verificatie onpraktisch voor grote datasets.

Het artikel adresseert de uitdaging om een DP-algoritme te ontwerpen waarbij de verificatiekosten strikt lager zijn dan de kosten van de training, specifiek voor Stochastic Convex Optimization (DP-SCO).

Methodologie

1. Theoretische Fundering: Ondetecteerbare Backdoors

De auteurs formaliseren eerst de ontoereikendheid van black-box auditing. Ze construeren een backdoored trainingsalgoritme $T'$ dat computationeel ononderscheidbaar is van een legitiem DP-algoritme $T$ voor elke polynomiale tijd auditor.

Mechanisme: Het algoritme implementeert een stap voor de verificatie van een digitale handtekening in de trainingsdata. Als een specifieke input een geldige handtekening bevat (die alleen de kwaadwillende trainer bezit), geeft het algoritme de ruwe trainingsdataset uit in plaats van het model.
Implicatie: Dit bewijst dat zonder interactieve protocollen, geen publieke auditor de privacy van een model kan garanderen, wat een verschuiving naar interactieve certificering noodzakelijk maakt.

2. Kernalgoritme: Gemodificeerde Phased ERM

Om efficiënte verificatie te bereiken, stellen de auteurs een modificatie voor van het Phased Empirical Risk Minimization (ERM) algoritme (Feldman et al., 2020).

Standaard Phased ERM: Lost een reeks geregulariseerde objectieven op disjointe deelverzamelingen van data op, waarbij de sterkte van de regularisatie per fase toeneemt. Het vertrouwt op de parallelle compositie van privacy-budgetten om nauwe garanties te bereiken. Het verifiëren van parallelle compositie is echter duur omdat de verifieerder moet bevestigen dat elke fase een specifieke, disjointe deelverzameling van de data heeft gebruikt.
De Modificatie: De auteurs wijzigen de stopcriteria voor de benaderde minimizers in elke fase.
- In plaats van te eisen dat de excess loss klein is, eisen ze dat de gradiëntnorm klein is ( $\|\nabla F_i(\tilde{w}_i)\|_2 \leq \frac{2}{n_i} L$ ).
- Ze passen het privacy-budget $\delta$ voor elke fase aan naar $\delta / \lceil \log_2(n) \rceil$ .
Resulterend Voordeel: Deze modificatie maakt het mogelijk om het algoritme near-optimale privacy-utility trade-offs te laten afleiden met behulp van enkel standaard sequentiële compositie in plaats van parallelle compositie. Standaard compositie is aanzienlijk gemakkelijker te verifiëren omdat het niet vereist dat de disjointheid van de datasets wordt bewezen, maar enkel dat de ruis correct is toegevoegd en de gradiëntnormen zijn voldaan.

3. Verificatieprotocol

Het voorgestelde protocol (Algoritme 2) omvat een interactief bewijs tussen een Prover (trainer) en een Verifier (publiek):

Commitment: De Prover legt de dataset en modelgewichten vast bij elke fase.
Gradiëntverificatie: Met behulp van Zero-Knowledge Proofs (ZKP's) controleert de Verifier of de gradiëntnorm van de benaderde minimizer onder de vereiste drempel ligt.
Ruisverificatie: De Verifier controleert of Gaussische ruis aan de gewichten is toegevoegd met behulp van een discrete Gaussische commitment-scheme.
Complexiteit: De verificatie vereist het controleren van $n$ gradiënten (waarbij $n$ de omvang van de dataset is) en $d \cdot \lceil \log_2(n) \rceil$ Gaussische willekeurige variabele commitments (waarbij $d$ de dimensie is).

4. Extensie naar Machine Unlearning

De auteurs breiden deze technieken uit naar Approximate Machine Unlearning voor sterk convexe objectieven. Door gebruik te maken van de stabiliteit van sterk convexe functies, tonen ze aan dat unlearning gecertificeerd kan worden door gradiënten te controleren op de retain dataset ( $D'$ ), in plaats van de volledige dataset, wat slechts $|D'|$ gradiëntcontroles en $d$ ruis-commitments vereist.

Belangrijkste Resultaten

Theoretische Garanties

Privacy-Utility Trade-off: Het gemodificeerde algoritme bereikt een excess population risk van $\tilde{O}(L D (\frac{1}{\sqrt{n}} + \frac{\sqrt{d \ln(1/\delta)}}{\epsilon n}))$ , wat near-optimaal is (overeenkomend met bekende lower bounds tot op $\log \log(n)$ factoren).
Verificatie-efficiëntie: De certificering vereist het verifiëren van slechts $n$ $n$ gradiënten en $d \cdot \lceil \log(n) \rceil$ $d \cdot ⌈ lo g (n)⌉$ Gaussische willekeurige variabelen.
- Vergeleken met de snelste bekende trainingsalgoritmen voor DP-SCO, die $\tilde{\Omega}(\min(n^{1.5}, n^2/\sqrt{d}))$ gradiënten vereisen, is de verificatiekost aanzienlijk lager (ten minste een $O(\sqrt{n})$ verbetering in non-smooth settings).
- In smooth settings biedt de reductie in het aantal Gaussische willekeurige variabele checks (van $\Omega(dn)$ naar $d \log n$ ) een substantieel runtime-voordeel.

Empirische Evaluatie

De auteurs hebben het protocol geïmplementeerd met de EMP-toolkit voor binaire logistische regressie op de MNIST-dataset ( $n=60.000, d=784$ ).

Runtime Vergelijking:
- Vorige Benadering (DP-SGD verificatie): ~100 uur.
- Voorgestelde Benadering: ~3 uur op een laptop CPU.
Bottleneck Analyse:
- Gradiëntverificatie: Domineert de runtime. Het aantal te verifiëren gradiënten werd met meer dan 4-voudig verminderd vergeleken met eerdere methoden.
- Ruisverificatie: De tijd om Gaussische willekeurige variabelen te verifiëren daalde drastisch (van de dominante kosten naar verwaarloosbaar, minder tijd makend dan een enkele gradiëntverificatie).
- Communicatie: Netwerkoverhead (LAN/WAN) bleek onbeduidend vergeleken met de berekening.
- Training: De trainingstijd was verwaarloosbaar (seconden) omdat het geen homomorfe encryptie vereist, in tegenstelling tot het verificatieproces.

Betekenis en Claims

Het artikel claimt de eerste bekende DP-SCO algoritme te presenteren waarbij de DP-verificatie beter schaalt dan de trainingskosten.

Paradigmaverschuiving: Het verplaatst het veld van "black-box auditing" (dat bewezen ontoereikend is tegen computationeel beperkte tegenstanders) naar "efficiënte publieke verificatie" via interactieve bewijzen.
Praktiseerbaarheid: Door de verificatietijd te reduceren van ~100 uur naar ~3 uur op standaard hardware voor MNIST-schaal data, beargumenteert het artikel dat publieke certificering van private ML haalbaar wordt.
Beperkingen: De auteurs merken bescheiden op dat de huidige aanpak beperkt is tot convexe settings en niet direct toepasbaar is op diepe neurale netwerken (hoewel het wel kan gelden voor het fine-tunen van de laatste laag). Ze erkennen ook dat voor zeer grote datasets de lineaire schaling met $n$ nog steeds impraktisch kan zijn, en dat toekomstig werk nodig is om met stochastische gradiënten efficiënter om te gaan (bijv. via randomized smoothing).

Samenvattend stelt het artikel vast dat door gebruik te maken van regularisatie om optimalisatie te stabiliseren en de verificatiecriteria te wijzigen om de focus te leggen op gradiëntnormen in plaats van excess loss, het mogelijk is om DP-algoritmen te construeren die zowel near-optimaal zijn in utility als efficiënt verifieerbaar zijn door het publiek.