🤖 machine learning

Let's Ask Gauss: Improved One-Run Privacy Auditing

Dit artikel introduceert "Let's Ask Gauss", een verbeterd one-run privacy-auditframework voor differentially private machine learning dat gebruikmaakt van de asymptotische Gaussische verdeling van canary-aligned signalen om nauwere privacy-ondergrenzen af te leiden vergeleken met eerdere binary-thresholding methoden.

Oorspronkelijke auteurs: Adya Agrawal, Yu Wei, Jaspal Singh, Malik Magdon-Ismail, Vassilis Zikas

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adya Agrawal, Yu Wei, Jaspal Singh, Malik Magdon-Ismail, Vassilis Zikas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok inhuurt om een maaltijd te bereiden met behulp van een geheim familierecept. Je wilt ervoor zorgen dat de chef niet per ongeluk de geheime ingrediënten aan het publiek lekt, maar je wilt ook dat de maaltijd goed smaakt. In de wereld van Kunstmatige Intelligentie is dit "geheime recept" de private data die wordt gebruikt om een model te trainen, en de "maaltijd" is het uiteindelijke AI-model.

Differential Privacy (DP) is als een strikt regelboek voor de chef: "Je mag de ingrediënten gebruiken, maar je moet genoeg 'ruis' toevoegen (zoals een willekeurige snuf zout) zodat niemand kan zien of een specifiek ingrediënt wel of niet in de pan zat."

Maar wat je weet, is dit probleem: hoe weet je of de chef de regels daadwerkelijk heeft gevolgd? Heeft hij genoeg zout toegevoegd? Of heeft hij per ongeluk het geheime ingrediënt te duidelijk achtergelaten? Hier komt Privacy Auditing om de hoek kijken. Het is de smaaktest om te zien of de privacyregels daadwerkelijk standhouden.

De Oude Manier: Het "Ja/Nee" Raadspel

Voorheen probeerden auditors de chef te testen door een speciaal, uniek ingrediënt (een "canary") in het recept te verbergen. Ze voerden het kookproces vele malen uit.

De Oude Methode: Na elke uitvoering vroegen ze een simpele vraag: "Heeft de chef de canary onthouden?" Het antwoord was simpelweg Ja of Nee.
Het Probleem: Dit is als proberen de temperatuur van een kamer te raden door alleen te vragen: "Is het warm of koud?" Je gooit alle nuttige informatie over hoe warm of koud het is weg. Door alles terug te brengen tot een "Ja/Nee", waren de oude methoden vaak te conservatief, waardoor ze een ruwe schatting gaven van hoeveel privacy er daadwerkelijk verloren was gegaan.

De Nieuwe Manier: "Laten we Gauss vragen"

De auteurs van dit paper, Adya Agrawal en haar team, realiseerden zich dat de "Ja/Nee"-aanpak waardevolle data weggooide. Ze keken naar de wiskunde achter de ruis en ontdekten iets prachtigs: de ruis en signalen vormen van nature een klokcurve (een Gaussische distributie).

Denk hieraan als volgt:

Het Oude Perspectief: Je kijkt naar een menigte mensen en telt gewoon hoeveel mensen een rode hoed dragen.
Het Nieuwe Perspectief: Je kijkt naar de menigte en beseft dat als je de lengte van iedereen meet, de resultaten van nature een perfecte, vloeiende klokcurve vormen. Je hoeft niet te gokken op "lang" of "kort"; je kunt de volledige vorm van de curve gebruiken om een nauwkeurige meting te krijgen.

Zo werkt hun nieuwe methode:

De Canary: Ze verbergen nog steeds speciale "canary"-datapunten in de trainingsset.
De Score: In plaats van te vragen "Zag het model de canary?", berekenen ze een score voor elke canary op basis van hoe het model op deze reageerde tijdens het gehele trainingsproces.
De Klokcurve: Ze merkten op dat wanneer ze deze scores bij elkaar optellen, ze niet zomaar willekeurige getallen krijgen; ze vormen een perfecte Gaussische (klokvormige) distributie.
- Als de canary niet in de trainingsdata zat, vormen de scores één klokcurve.
- Als de canary wel in de trainingsdata zat, vormen ze een iets andere klokcurve.
De Vergelijking: Omdat ze de exacte vorm van deze twee curves kennen, kunnen ze de afstand tussen hen met extreme precisie meten. Dit stelt hen in staat om te zeggen: "Ik weet voor 99% zeker dat het privacyverlies minstens zo groot is," en dat getal is veel nauwkeuriger (strakker) dan voorheen.

Waarom dit ertoe doet

Het paper beweert dat door deze "Klokcurve"-wiskunde te gebruiken in plaats van het oude "Ja/Nee" raadspel, ze privacylekken veel nauwkeuriger kunnen detecteren in een enkele run van het trainingsproces.

Efficiëntie: Ze hoeven de maaltijd niet 1.000 keer te bereiden om een goed antwoord te krijgen. Eén run is voldoende.
Precisie: In hun tests (met behulp van een standaard beelddataset genaamd CIFAR-10) vonden hun methode privacylekken die 1 tot 2 keer nauwkeuriger waren dan eerdere methoden. Als de theoretische limiet zei dat het privacyverlies 8 was, bewees hun methode dat het eigenlijk rond de 6,7 lag, terwijl oude methoden slechts bewezen dat het rond de 3,3 of 4,7 lag.

De "Magie" van de Wiskunde

De auteurs bewezen wiskundig dat deze scores, naarmate de training vordert, heel snel vanzelf in die perfecte klokvormige distributie terechtkomen. Ze noemen dit "asymptotische Gaussianiteit". Het is als het schudden van een doos met knikkers; na een paar schudbeurten vallen ze in een voorspelbaar patroon. Omdat ze dit patroon zo goed kunnen voorspellen, hoeven ze geen tijd te verspillen aan gokken.

Samenvatting

Kortom, dit paper gaat over het upgraden van de "privacypolitie" voor AI.

Vroeger: Gebruikten ze een bot instrument (Ja/Nee-gokken) dat vaak de plank missloeg.
Nu: Gebruiken ze een precisielaser (het analyseren van de volledige vorm van de datadistributie) die een veel duidelijker beeld geeft van hoeveel privacy er daadwerkelijk wordt bewaard, en dat allemaal zonder de experimenten duizenden keren te hoeven herhalen.

De auteurs hebben dit getest op twee verschillende soorten AI-trainingssystemen (DP-SGD en DP-FTRL) en ontdekten dat het beter werkt dan alles wat momenteel beschikbaar is, waarbij het een veel nauwkeuriger en eerlijker beeld geeft van de veiligheid van de privacy.

Technische Samenvatting: Let's Ask Gauss: Verbeterde One-Run Privacy Auditing

Probleemstelling

Privacy auditing is essentieel voor het verifiëren of implementaties van differentieel private (DP) machine learning, zoals DP-SGD, voldoen aan hun theoretische privacygaranties. Hoewel klassieke auditingmethoden vertrouwen op het meerdere keren draaien van mechanismen op naburige datasets om privacygrenzen te schatten, is deze aanpak computationeel prohibitief, met name in federated learning-omgevingen.

Recente "one-run" auditingmethoden (bijv. Steinke et al. [29]) pakken de schaalbaarheid aan door meerdere onafhankelijke "canaries" (speciaal geïnjecteerde trainingsvoorbeelden) in een enkele trainingsron te integreren. Deze bestaande benaderingen lijden echter onder een kritieke bottleneck: ze reduceren de rijke, continue informatie van canary-uitgelijnde observaties tot binaire lidmaatschapsvermoedens (thresholding) vóór aggregatie. Dit proces verwerpt waardevolle distributionele informatie, wat resulteert in losse empirische privacy-ondergrenzen die vaak aanzienlijk tekortschieten ten opzeden van de theoretische bovengrenzen.

De centrale vraag die dit werk adresseert, is of de onderliggende distributionele eigenschappen van one-run DP-SGD auditing nauwkeurig gekarakteriseerd kunnen worden om de nauwkeurigheid van de auditing te verbeteren zonder meerdere trainingsruns te vereisen.

Methodologie

De auteurs stellen een one-run white-box auditingframework voor dat gebruikmaakt van de asymptotische Gaussische aard van canary-uitgelijnde signalen, waarbij wordt afgestapt van binaire thresholding.

1. Distributioneel Perspectief

Het kerninzicht is dat in een white-box DP-SGD setting de genormaliseerde som van sequentiële canary-uitgelijnde observaties convergeert naar een Gaussische distributie.

Canary-Uitgelijnde Observaties: Bij elke trainingsstap $t$ projecteert de auditor de ruisige gradiëntupdate op een deterministische eenheidsvector die uitgelijnd is met de gradiënt van een specifieke canary.
Signaal-Plus-Ruis Model: De observatie $X_t$ wordt gemodelleerd als een som van een geclippt signaal (aanwezig alleen als de canary wordt gesampled) en Gaussische DP-ruis.
Gaussische Limiet: Door de Centrale Limietstelling (CLT) convergeert de genormaliseerde score $S_T = \frac{1}{\sqrt{T}} \sum X_t$ $S_{T} = \frac{1}{T} \sum X_{t}$ voor een groot aantal trainingsstappen $T$ $T$ naar een Gaussische distributie.
- In de afwezigheid-van-canary wereld ( $b=0$ ), volgt de score $N(0, \sigma^2)$ .
- In de aanwezigheid-van-canary wereld ( $b=1$ ), volgt de score een asymptotisch Gaussische distributie met gemiddelde $\sqrt{T}qC$ en variantie $\sigma^2 + q(1-q)C^2$ , waarbij $q$ de sampling rate is en $C$ de clipping norm.

2. De Gaussian-Pair Auditor

In plaats van scores om te zetten in binaire vermoedens, modelleert de auditor de twee werelden (canary afwezig versus aanwezig) als een paar eendimensionale Gaussische distributies, $G_0$ en $G_1$ .

Parameter Schatting: De auditor verzamelt empirische scores van meerdere canaries in een enkele trainingsron en schat de parameters ( $\mu, \sigma$ ) voor beide distributies.
Hockey-Stick Divergentie: De privacy ondergrens wordt berekend met behulp van de closed-form hockey-stick divergentie tussen de twee geschatte Gaussische verdelingen. Deze metriek, $\delta_{\theta}(\epsilon)$ , levert de kleinste $\delta$ voor een gegeven $\epsilon$ (of vice versa) die de DP-definitie voor de specifieke Gaussische paren voldoet.
Betrouwbaarheidsregio's: Om statistische validiteit te garanderen, construeert de auditor een betrouwbaarheidsregio (bijv. een bootstrap-ellipsoïde) voor de Gaussische parameters en berekent de meest conservatieve ondergrens binnen deze regio.

3. Convergentiegaranties

Het artikel biedt rigoureuze kwantitatieve convergentiegaranties voor de Gaussische benadering:

Algemene Snelheid: De Kolmogorov-afstand tussen de ware audit-statistiek en het Gaussische model neemt af als $O(T^{-1/2})$ .
DP-SGD Regime: In het specifieke regime dat relevant is voor DP-SGD, waar de sampling rate $q = O(T^{-1/2})$ , is de convergentie aanzienlijk sneller, met een afname van $O(T^{-1})$ .
Staartnauwkeurigheid: Voor praktische parameters (bijv. $T=2500, \epsilon=8$ ) is de afwijking in de relevante staartregio (waar $\delta \approx 10^{-5}$ ) van de orde $10^{-8}$ , wat drie ordes van grootte kleiner is dan $\delta$ zelf. Dit zorgt ervoor dat het Gaussische model zeer accuraat is voor de specifieke drempelwaarden die gebruikt worden bij auditing.

Belangrijkste Bijdragen

Sequentie-Niveau Distributioneel Zicht: De auteurs demonstreren dat genormaliseerde canary-scores in one-run DP-SGD auditing een sequentie van willekeurige variabelen vormen met een Gaussische limietwet, waarbij closed-form expressies voor het gemiddelde en de variantie als functies van DP-SGD hyperparameters worden geleverd.
Gaussian-Pair Auditor: Zij ontwerpen een white-box auditor die de afwezige en aanwezige canary-scores als een paar Gaussische verdelingen modelleert. Door gebruik te maken van de closed-form hockey-stick divergentie tussen Gaussische verdelingen, leiden zij aanzienlijk nauwere privacy-ondergrenzen af vergeleken met binaire thresholding-methoden.
Kwantitatieve Convergentieanalyse: Het artikel bewijst dat de Gaussische asymptotica zich manifesteren binnen praktische trainingsstappen, met convergentiesnelheden van $O(T^{-1})$ in standaard DP-SGD regimes, wat de toepasbaarheid van de methode valideert.
Empirische Validatie: Het framework wordt geëvalueerd op twee mechanismen:
- DP-SGD: Op CIFAR-10 met een theoretische $\epsilon=8$ , herstelt de methode een empirische ondergrens van $\approx 6.7$ (84% van de analytische bovengrens), vergeleken met $\approx 4.7$ voor f-DP audits [22] en $\approx 3.3$ voor eerdere one-run methoden [29].
- DP-FTRL: In federated settings met de boomstructuur-ruismechanisme is de Gaussische aard exact (niet slechts asymptotisch), wat theoretisch optimale, perfect gekalibreerde grenzen mogelijk maakt.

Resultaten en Betekenis

Het artikel stelt dat het exploiteren van de volledige distributionele informatie van canary-uitgelijnde observaties, in plaats van het verwerpen ervan via binaire thresholding, leidt tot 1–2 $\times$ verbeteringen in de nauwkeurigheid van empirische privacy-ondergrenzen over alle $\epsilon$ -regimes.

Efficiëntie: De methode behoudt de efficiëntie van one-run auditing (kost slechts één enkele trainingsron) terwijl de precisie van de audit drastisch wordt verbeterd.
Schaalbaarheid: De aanpak vereist minder canaries om nauwe grenzen te bereiken; experimenten tonen aan dat de voorgestelde methode de nauwkeurigheid van concurrerende methoden bereikt met bijna 2500 canaries terwijl er slechts 100 nodig zijn.
Generaliteit: Hoewel gericht op DP-SGD, wordt aangetoond dat het framework effectief is voor DP-FTRL, waarbij de structuur van de ruisaccumulatie exacte Gaussische eigenschappen garandeert.

De auteurs positioneren dit werk als een verschuiving van "raden" (binaire classificatie) naar "modelleren" (parametrische distributie-fitting) in privacy auditing. Zij erkennen beperkingen, waarbij zij opmerken dat de methode rust op geïdealiseerde aannames (bijv. onafhankelijkheid van canary-scores, verwaarloosbare bijdrage van niet-canary samples) en de geldigheid van de Centrale Limietstelling in specifieke sampling-regimes. Zij stellen echter dat deze aannames empirisch onschadelijk zijn in standaard DP-SGD settings en dat dit distributionele perspectief een robuuste fundering biedt voor toekomstige auditing-schema's.