Differential Privacy of Gaussian Process Posterior Sampling

Technische Samenvatting: Differentieel Privacy van Gaussische Proces Posterior Sampling

Probleemstelling
Het artikel behandelt de privacyrisico's die gepaard gaan met het vrijgeven van posterior sample paden van een Gaussisch Proces (GP) wanneer de volledige trainingsset (zowel covariaten $X$ als responsen $y$) privé is. In tegen tegenstelling tot standaard differentieel privacy (DP) mechanismen die externe ruis injecteren in deterministische outputs (bijv. posterior gemiddelden), onderzoekt dit werk de "intrinsieke" privacy die wordt geboden door de willekeur die inherent is aan het Bayesiaanse posterior sampling mechanisme zelf. De tegenstander wordt gemodelleerd als iemand die één of meer vrijgegeven functie-waardige sample paden $f_D \sim \Pi_D$ observeert, terwijl de tegenstander de GP-modelstructuur, het domein en de datasetgrootte kent. Het doel is om de privacy-lekage van dit mechanisme te kwantificeren zonder externe ruis toe te voegen, en om te begrijpen hoe regularisatie en kernelparameters deze lekage beïnvloeden.

Methodologie
De auteurs analyseren het mechanisme $M: D \mapsto f_D$, waarbij $f_D$ een enkele trek is uit de GP posterior $\Pi_D = \mathcal{GP}(\mu_D, \sigma^2 k_D)$. Ze maken gebruik van Rényi Differential Privacy (RDP) om expliciete grenzen af te leiden, die vervolgens worden omgezet naar benaderende $(\epsilon, \delta)$-DP garanties.

1. Theoretische Afleiding: De kern van de theoretische bijdrage is Theorem 3.1, die een RDP-grens biedt voor het vrijgeven van een posterior sample pad op elke eindige testset. De grens splitst de lekage op in twee afzonderlijke componenten:

   • Posterior Mean Leakage: Wordt beheerst door de sensitiviteit van het posterior gemiddelde $\mu_D$ ten opzichte van veranderingen in de dataset, geschaald door de kernel schaal $\sigma$.
   • Posterior Covariance Leakage: Wordt beheerst door de datarijke posterior covariantie $k_D$. Cruciaal is dat de auteurs laten zien dat zelfs als het gemiddelde perfect geregulariseerd is (of $\sigma \to \infty$), de covariantie term $k_D$ nog steeds informatie over de trainingsdata kan lekken.
   • Kernparameters: De grenzen zijn afhankelijk van de effectieve ridge $r$ (gerelateerd aan de noise-to-signal ratio) en de posterior variantie schaal $V_n(r)$. De analyse toont aan dat betekenisvolle privacy voldoende regularisatie vereist (grote $r$) om de covariantie lek te onderdrukken, en niet alleen grote kernel schalen.

2. Verbetering via Ruis: Het artikel stelt ook een mechanisme voor om de privacygaranties aan te scherpen door onafhankelijke Gaussische ruis $g \sim \mathcal{GP}(0, \eta^2 k)$ toe te voegen aan het vrijgegeven sample pad (Vergelijking 5). Dit biedt een expliciete "privacy-knop" om nut af te wegen tegen sterkere garanties.

3. Empirische Validatie:

   • Membership Inference Attacks (MIA): De auteurs implementeren een LiRA-stijl aanval om de theoretische voorspellingen te testen. Ze meten het succespercentage van de aanval (True Positive Rate bij een vaste False Positive Rate) tegen variërende niveaus van regularisatie ($r$) en kernel schaal ($\sigma$).
   • Privacy-Utility Trade-off: Met behulp van synthetische en real-world data (huizenprijzen in Greater London) evalueren ze het nut van de vrijgegeven paden voor downstream taken, specifiek "excursion set estimation" (het identificeren van regio's waar het latente veld een drempel overschrijdt). Ze vergelijken ongeconstreerde hyperparameter selectie met selectie die wordt beperkt door een privacy budget ($\epsilon < 10$).

Belangrijkste Bijdragen

1. Eerste Expliciete DP Grenzen voor GP Posterior Sampling: Het artikel leidt de eerste expliciete RDP-grenzen af voor het vrijgeven van GP posterior sample paden waarbij de gehele trainingsset privé is. Eerdere werken gingen ofwel uit van publieke covariaten, gebonden log-likelihoods (wat GP's niet voldoen vanwege onbegrensde latente functies), of vertrouwden op algemene Bayesiaanse kaders die niet direct van toepassing zijn op standaard GP regressie.
2. Ontkoppeling van Lekbronnen: De theoretische grenzen scheiden expliciet de lekage van de posterior mean (gevoelig voor datarijke verschuivingen) van de lekage die inherent is aan de posterior covariantie (datarijke onzekerheid). Dit onthult dat intrinsieke privacy niet automatisch is; het rust zwaar op effectieve ridge regularisatie om de covariantie lek te controleren.
3. Empirische Bevestiging van Theorie: Experimenten bevestigen dat de MIA succesratio de voorspelde afhankelijkheid van regularisatie volgt. Specifiek drijft het verhogen van de effectieve ridge $r$ de aanvalsprestaties naar random guessing, terwijl het verhogen van de kernel schaal $\sigma$ alleen residuele membership signalen achterlaat.
4. Nutbehoud in Ruisregimes: De utility experimenten laten zien dat in regimes met hoge observatie-ruis (waar regularisatie van nature hoog is), privacy-compatibele regularisatie nuttige downstream beslissingen (excursion set estimation) behoudt met slechts een bescheiden verlies aan nut. In low-noise regimes is de kosten van privacy hoger.

Resultaten

• MIA Prestaties: Het succespercentage van de aanval correleert sterk met de afgeleide $\epsilon$ grenzen. Wanneer de regularisatie laag is, slagen aanvallen zelfs met een grote $\sigma$. Naarmate de regularisatie ($r$) toeneemt, stort de aanvalsprestatie in naar random guessing, wat de theoretische grenzen valideert.
• Compositie: Het artikel analyseert het effect van het vrijgeven van $L$ onafhankelijke posterior draws. Hoewel RDP termen additief componeren, resulteert de conversie naar benaderende DP in een sub-lineaire groei in de uiteindelijke $\epsilon$ grens met betrekking tot $L$.
• Utility vs. Privacy: In synthetische 1D en 2D excursion set experimenten vinden de auteurs dat voor ruizige observaties (hoge Noise-to-Signal Ratio), de ongeconstreerde utility optimum al sterk geregulariseerd is. Bijgevolg resulteert het opleggen van een privacy restrictie ($\epsilon < 10$) in minimale degradatie van het nut (bijv. <10% relatieve IoU gap). In low-noise regimes past het ongeconstreerde optimum zich nauw aan de data aan, en vereist het afdwingen van privacy aanzienlijke regularisatie, wat leidt tot hogere utility kosten.
• Real-World Toepassing: Toegepast op Londense huizenprijsdata, herstellen de private posterior draws succesvol dominante hoge-prijs regio's maar verzachten ze kleinere, geïsoleerde hoge-prijs eilanden, wat de trade-off tussen privacy-geïnduceerde randomisatie en fijnmazige details illustreert.

Betekenis en Claims
Het artikel claimt dat posterior randomness in Gaussische Processen kan dienen als een "echte privacy bron", maar dat dit niet onvoorwaardelijk is. De auteurs benadrukken dat nutbare intrinsieke privacy voldoende regularisatie vereist om zowel de posterior-mean als de posterior-covariance lek te controleren.

Het werk breidt het begrip van privacy in Bayesiaans leren uit door te laten zien dat standaard GP posterior sampling, vaak gezien als een deterministisch surrogaat in privacy contexten, daadwerkelijk bezit van intrinsieke DP eigenschappen die gekwantificeerd en gecontroleerd kunnen worden. De auteurs merken op dat hun grenzen uitgaan van vaste hyperparameters; als hyperparameters worden geselecteerd met behulp van de private data, is aanvullende privacy accounting vereist. Ze erkennen ook dat hun grenzen uitgaan van gebonden responsen, een veelvoorkomende vereiste in DP, en dat de praktische sterkte van de grens afhangt van hoe nauw men de sensitiviteit term $\Delta_n(r)$ kan controleren.

Het artikel concludeert dat hoewel intrinsieke privacy krachtig is, het het meest effectief is in ruizige regimes waar regularisatie van nature hoog is, waardoor nutbare posterior samples kunnen worden vrijgegeven zonder expliciete externe ruis injectie. Voor sterkere privacy behoeften of low-noise regimes, biedt het toevoegen van gekalibreerde GP ruis een mechanisme om garanties aan te scherpen.