🤖 machine learning

Private Prediction via PAC Privacy

Dit artikel stelt een PAC-privacyframework voor voor private machine learning-voorspelling dat gebruikmaakt van instantie-gebaseerde empirische stabiliteit en een nieuwe adaptieve adversariële compositietheorema om lineaire informatieaccumulatie te bereiken, wat hoogwaardige modelbediening en daaropvolgende private modeldistillatie mogelijk maakt met aanzienlijk sterkere privacygaranties dan traditionele differentiële privacy.

Oorspronkelijke auteurs: Xiaochen Zhu, Mayuri Sridhar, Srinivas Devadas

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaochen Zhu, Mayuri Sridhar, Srinivas Devadas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Glazen Huis" van AI

Stel je voor dat een bedrijf een superintelligente AI-modelt traint op een geheime lijst met privédata (zoals medische dossiers of banktransacties). Ze willen mensen de mogelijkheid geven om vragen aan de AI te stellen (bijv. "Is deze transactie verdacht?") zonder de geheime lijst te onthullen.

Het probleem is dat als de AI te perfect is, een slimme hacker de AI kan misleken om de geheime lijst te onthullen. Ze kunnen duizenden vragen stellen, de antwoorden analyseren en uiteindelijk precies achterhalen welke specifieke personen in de trainingsdata zaten. Dit wordt een Membership Inference Attack genoemd.

De Oude Oplossing: De "Geblinddoekte Wacht" (Differential Privacy)

Jarenlang was de standaardoplossing Differential Privacy (DP). Zie dit als een wacht die elke vraag beantwoordt, maar een willekeurige hoeveelheid "mist" of ruis aan het antwoord toevoegt om de waarheid te verbergen.

Het Gebrek: Om veilig te zijn, gaat de wacht uit van het worst-case scenario. Ze gaan ervan uit dat de AI ongelooflijk instabiel is en dat één kleine wijziging in de geheime data de antwoorden volledig kan veranderen. Daarom voegen ze een enorme hoeveelheid mist toe.
Het Resultaat: De antwoorden worden zo wazig dat de AI niet meer nuttig is. Het is also[t] om een kaart te proberen te lezen door een dik sneeuwstorm. Bovendien, als je te veel vragen stelt, wordt de mist te dik en moet de wacht stoep stoppen met antwoorden.

Het Nieuwe Idee: De "Stabiele Kristallen Bol" (PAC Privacy)

Dit paper stelt een nieuwe aanpak voor genaamd PAC Privacy. In plaats van uit te gaan van het ergste scenario, kijkt het naar hoe stabiel de AI daadwerkelijk is.

De Analogie: Stel je de AI voor als een kristallen bol. Als je de geheime data een klein beetje schudt (door één persoon in de lijst te vervangen), verandert de voorspelling van de kristallen bol dan drastisch?
- In de praktijk: Voor veel AI-modellen is het antwoord nee. De voorspelling blijft bijna hetzelfde. De AI is "stabiel".
- De Innovatie: PAC Privacy meet deze stabiliteit. Als de AI stabiel is, weet het systeem dat het slechts een klein beetje mist nodig heeft om de waarheid te verbergen. Als de AI instabiel is, voegt het meer mist toe.
Het Voordeel: Omdat de AI meestal zeer stabiel is, voegt het systeem bijna geen mist toe. De antwoorden blijven kristalhelder en de privacy is nog steeds wiskundig gegarandeerd.

Het Moeilijke Deel: De "Adaptieve Tegenstander"

Er was een addertje onder het gras. Eerdere methoden werkten goed als de vragen willekeurig waren. Maar wat als de aanvaller slim is? Wat als ze kijken naar het antwoord op Vraag #1, en dat vervolgens gebruiken om een slimme Vraag #2 te formuleren, enzovoort? Dit wordt een Adaptive Adversary genoemd.

Het Oude Falen: Eerdere methoden konden dit niet aan. Als een aanvaller adaptief vragen stelde, raakte het "mistbudget" direct op, of de wiskunde stortte in.
De Doorbraak van het Paper: De auteurs creëerden een nieuwe wiskundige regel (een "composition theorem") die slimme aanvallers aankan.
- Hoe het werkt: Het systeem houdt een "belief state" (geloofstoestand) bij. Het werkt constant de kennis bij over wat de aanvaller weet, gebaseerd op de geschiedenis van de vragen. Als de aanvaller iets leert, past het systeem de ruis onmiddellijk aan om altijd één stap voor te blijven.
- De Magie: Zelfs met een slimme, adaptieve aanvaller groeit de "privacykosten" slechts lineair (langzaam), en niet exponentieel. Dit betekent dat het systeem miljoenen vragen kan beantwoorden terwijl het geheim veilig blijft.

De Resultaten: Heldere Antwoorden, Veilige Geheimen

De auteurs hebben dit getest op echte data (zoals afbeeldingen van katten en honden, of bankgegevens).

Hoge Nauwkeurigheid: Zelfs met extreem strikte privacy-instellingen (zo strikt dat de wiskunde zegt dat de kans dat de aanvaller het goed raadt bijna nul is), behaalde de AI nog steeds 87,79% nauwkeurigheid op een standaardtest.
Miljoenen Queries: Ze bewezen dat je één miljoen vragen kunt stellen, en de kans dat de aanvaller raadt of een specifiek persoon in de trainingsdata zat, nog steeds nauwelijks beter is dan het gooien van een muntje (51,08%).
Vergelijking: Om hetzelfde niveau van privacy te bereiken met de oude "Geblinddoekte Wacht" (Differential Privacy), zou de AI bijna willekeurig moeten gokken, wat resulteert in een nauwkeurigheid van bijna 0%.

De "Bonus" Functie: De "Gedestilleerde Student"

Het paper laat ook een slimme truc zien om onbeperkt antwoorden te krijgen.

De Opstelling: Het systeem gebruikt de "Private Kristallen Bol" om een enorme berg publieke data (data die niet geheim is) te labelen.
De Filter: Omdat het systeem precies weet hoeveel "mist" het heeft toegevoegd, kan het wiskundig controleren: "Is dit antwoord betrouwbaar genoeg om te vertrouwen?" Zo ja, dan behoudt het de label; zo nee, dan gooit het deze weg.
Het Resultaat: Het traint een nieuw, kleiner "Student"-model met deze hoogwaardige, private labels. Deze Student kan vervolgens voor altijd naar het publiek worden uitgebracht, zonder privacybudgetlimieten, omdat het heeft geleerd van de private data zonder deze direct te hebben gezien.

Samenvatting

Dit paper introduceert een manier om AI privé antwoorden te laten geven zonder de antwoorden nutteloos te maken.

Oude Manier: Voeg overal enorme ruis toe omdat je bang bent. (Resultaat: Nutteloze AI).
Nieuwe Manier: Meet hoe stabiel de AI is, voeg net genoeg ruis toe om veilig te zijn, en gebruik een slim trackingsysteem om lastige aanvallers aan te pakken. (Resultaat: Slimme AI die geheim blijft).

De auteurs laten zien dat door de stabiliteit van de AI te vertrouwen, we het beste van beide werelden krijgen: hoge bruikbaarheid en sterke privacy.

Technische Samenvatting: Private Voorspelling via PAC Privacy

Probleemstelling
Machine learning-modellen worden steeds vaker ingezet als black-box diensten achter API's, waarbij alleen voorspellingen aan gebruikers worden blootgesteld in plaats van modelgewichten. Dit implementatiepatroon motiveert private voorspelling: het privatiseren van modeloutputs in plaats van parameters. Hoewel Differential Privacy (DP) de standaard is voor privacy, heeft het in deze context moeite. DP kalibreert ruis op basis van de worst-case sensitiviteit (de maximale verandering in output tussen aangrenzende datasets). Voor niet-convexe modellen (bijv. diepe neurale netwerken) is het berekenen van nauwe sensitiviteitsgrenzen onhandelbaar. Gevolgelijkelijk vertrouwt DP-gebaseerde private voorspelling vaak op "sample-and-aggregate"-methoden (zoals PATE) of valt het terug op input-onafhankelijke ruis, wat leidt tot een harde privacy-utiliteit-trade-off waarbij de utiliteit instort bij een hoog volume aan queries of strikte budgetten.

Bovendien falen bestaande privacyframeworks voor sequentiële releases vaak onder adaptieve en adversariële querying. In realistische scenario's kunnen onbetrouwbare gebruikers toekomstige queries kiezen op basis van de geschiedenis van eerdere outputs om informatielekken te maximaliseren. Standaard compositiestellingen falen ofwel onder adaptiviteit, groeien kwadratisch met het aantal queries, of vallen terug op input-onafhankelijke DP-stijl ruis, waarbij de stabiliteitsvoordelen van de specifieke predictor worden genegeerd.

Methodologie
Het artikel stelt een framework voor Private Voorspelling via PAC (Probably Approximately Correct) Privacy, dat de kloof in efficiënte, adaptieve compositie aanpakt.

PAC Privacy Framework: In tegen tegenstelling tot DP is PAC privacy instantie-gebaseerd. Het meet de stabiliteit van een gegevensverwerkingsfunctie via black-box simulaties onder een specifieke inputdistributie ( $P_S$ ). Het controleert privacylekken door de Mutual Information (MI) tussen de geheime input $S$ en de output $R$ te begrenzen. Een stabiele functie vereist aanzienlijk minder ruis om te privatiseren.
Posterior-Aware Adversarial Composition: De kern van de theoretische bijdrage is een nieuwe compositiestelling die adaptieve, adversariële querying afhandelt met een persistente geheime waarde (dezelfde trainingsset $S$ $S$ wordt gebruikt voor alle queries).
- Adaptieve Ruiskalibratie: De curator onderhoudt een "belief state"—de posterior distributie van de geheime $S$ gegeven de interactiegeschiedenis.
- Mechanisme: Bij elke stap $t$ , bij ontvangst van een adaptieve query $M_t$ , berekent de curator de ruiscovariantie $\Sigma_t$ die nodig is om een per-stap MI-budget $b_t$ te voldoen, geconditioneerd op de huidige posterior belief $P_{t-1}$ .
- Bayesiaanse Update: Na het vrijgeven van de ruizige respons $R_t$ , werkt de curator de posterior belief bij met behulp van de regel van Bayes.
- Stelling: De auteurs bewijzen dat onder dit mechanisme de totale MI-lekking lineair accumuleert ( $I(S; R_{1:T} \le \sum b_t$ ) zelfs onder adversariële adaptiviteit. Dit behoudt de instantie-gebaseerde utiliteit van PAC privacy terwijl het rigoureuze lineaire compositiegrenzen biedt.
Concrete Instantiatie voor ML:
- Inputdistributie: De geheime $S$ is een willekeurige subset van de universe $U$ , gesampled zodanig dat elk punt een kans van 50% heeft op inclusie. Om de berekening handelbaar te maken, wordt de support beperkt tot een eindige collectie van $m=128$ subsets.
- Offline Pre-processing: Om te voorkomen dat er voor elke query opnieuw getraind moet worden, worden $m$ modellen offline getraind op de $m$ subsets. Online queries omvatten het draaien van inferentie op deze $m$ modellen, het aggregeren van voorspellingen en het toevoegen van gekalibreerde ruis.
- Output Stabilisatie: Het systeem privatiseert harde voorspellingen (one-hot labels) in plaats van soft probabilities. Harde voorspellingen zijn stabieler over verschillende trainingssubsets, wat resulteert in een lagere outputvariantie en minder ruis vereist.
Private Model Distillatie: Om onbeperkte queries mogelijk te maken nadat een eindig privacybudget is uitgeput, stelt het artikel voor om een "student"-model te distilleren uit de PAC-private voorspellingen.
- Confidence Filtering: Een statistische test wordt toegepast op de ruizige voorspellingen om lage-vertrouwen (mogelijk foutief gelabelde) samples te filteren voordat de student wordt getraind. Dit zorgt ervoor dat het gedistilleerde model alleen wordt getraind op hoogwaardige labels, waardoor de kans wordt begrensd dat foutief gelabelde data wordt behouden.

Belangrijkste Resultaten
Experimenten over tabulaire, visuele (CIFAR-10, CIFAR-100) en tekstmodaliteiten tonen de effectiviteit van de aanpak aan:

Hoge Utiliteit bij Strakke Budgetten: Op CIFAR-10 bereikt de methode een nauwkeurigheid van 87,79% met een per-query MI-budget van $2^{-32}$ . Dit maakt het mogelijk om één miljoen queries te bedienen terwijl de succesratio van membership inference attacks (MIA) bewezen wordt begrensd op 51,08%. Deze garantie is vergelijkbaar met $(0,04, 10^{-5})$ -DP.
Schaalbaarheid: Het systeem ondersteunt ongeveer 477 miljoen queries voordat het de MIA-garantie van $(1, 10^{-5})$ -DP bereikt. In contrast hiermee degraderen DP-gebaseerde private voorspellingen naar willekeurige gokken naarmate het aantal queries toeneemt vanwege input-onafhankelijke sensitiviteitsrestricties.
Distillatieprestaties: Door 210.000 private voorspellingen van een CIFAR-10 teacher te gebruiken om een publieke ImageNet-subset (CINIC-10) te labelen, bereikt het gedistilleerde student-model een nauwkeurigheid van 91,86% op CIFAR-10. Dit presteert beter dan de private teacher en komt overeen met de MIA-garantie van $(0,02, 10^{-5})$ , terwijl er geen gelabelde publieke data nodig is voor het distillatieproces.
Robuustheid: De methode behoudt een sterke utiliteit zelfs wanneer het per-stap MI-budget krimpt tot extreem lage waarden ( $2^{-32}$ ), een fenomeen dat wordt toegeschreven aan de inherente stabiliteit van modelvoorspellingen over verschillende trainingssubsets.

Betekenis en Claims
Het artikel claimt een kritieke kloof in private machine learning te dichten door private voorspelling mogelijk te maken die zowel privacy-bewarend als zeer nuttig is onder adaptieve en adversariële condities.

Theoretische Doorbraak: Het biedt de eerste adversariële compositiestelling voor PAC privacy met een persistente geheime waarde, waarbij bewezen wordt dat MI lineair accumuleert onder adaptieve querying. Dit staat in contrast met eerder werk dat ofwel faalde onder adaptiviteit, ofwel input-onafhankelijke ruis vereiste.
Praktische Leefbaarheid: Het demonstreert dat voorspellingsstabiliteit kan worden benut om outputs te privatiseren met minimale ruis, wat een "win-win" scenario biedt waarbij robuust leren (lage variantie) van nature leidt tot betere privacy-utiliteit-trade-offs.
Alternatief voor DP Training: Het werk suggereert een pad om privacy-bewuste modellen vrij te geven via private voorspelling en distillatie, wat een gunstiger utiliteitsprofiel biedt dan DP-SGD voor inferentie-diensten, vooral wanneer het dreigingsmodel overeenkomt met API-gebaseerde voorspelling in plaats van het vrijgeven van modelgewichten.
Beperkingen: De auteurs erkennen dat de aanpak steunt op een specifieke inputdistributie (subsampling) en dat de computationele kosten het pre-trainen van $m$ modellen omvatten. Ze merken ook op dat de theoretische garanties uitgaan van een computationeel onbeperkte tegenstander met volledige kennis van de systeemdistributie, hoewel ze aanvoeren dat dit natuurlijk uitbreidbaar is naar realistische settings.

Samenvattend betogen de auteurs dat door de focus te verschuiven van parametervariabiliteit naar outputprivacy en door gebruik te maken van instantie-gebaseerde stabiliteit via PAC privacy, het mogelijk is om miljoenen queries te bedienen met sterke, bewijsbare privacygaranties die DP-gebaseerde methoden niet kunnen bereiken zonder utiliteit op te offeren.