Privacy Auditing Synthetic Data Release through Local Likelihood Attacks

Technische Samenvatting: Privacy-audit van synthetische data-publicatie via lokale waarschijnlijkheidsaanvallen

Probleemstelling
Het auditeren van privacylekken bij synthetische data blijft een onopgeloste uitdaging. Bestaande kaders voor privacy-auditing vertrouwen vaak op heuristieken (zoals afstands- of dichtheidsmetrieken) of onrealistische aannamen met betrekking tot modeltoegang (bijvoorbeeld white-box- of shadow-box-scenario's). Deze benaderingen bieden beperkte mogelijkheden om privacyblootstelling te detecteren of te beschrijven, vooral wanneer generatieve modellen specifieke faalmodi vertonen zoals overfitting. Bovendien ontbreekt het aan veel bestaande aanvallen een theoretische onderbouwing die uitlegt wat ze meten of onder welke voorwaarden ze succesvol zouden moeten zijn, waardoor het moeilijk is om een principiële ontwerpkeuze te onderscheiden van toevalligheden die specifiek zijn voor bepaalde benchmarks.

Methodologie: Generative Likelihood Ratio Attack (Gen-LRA)
De auteurs stellen Gen-LRA voor, een nieuwe Membership Inference Attack (MIA) die is ontworpen voor het No-Box-bedreigingsmodel. In dit scenario heeft de aanvallende partij geen toegang tot de architectuur, parameters of interne mechanismen van het generatieve model. De aanvallende partij beschikt uitsluitend over:

1. De vrijgegeven synthetische dataset ($S$).
2. Een onafhankelijk verzamelde referentiedataset ($R$) die is getrokken uit dezelfde onderliggende populatieverdeling ($P$).

Kernmechanisme
Gen-LRA vormt membership-inferentie om tot een meting van de invloed die een testobservatie ($x^*$) heeft op de geschatte waarschijnlijkheid van de synthetische dataset. De aanval werkt op de hypothese dat, als een generatief model overfittet, het opnemen van een trainingspunt $x^*$ in de referentieset de geschatte waarschijnlijkheid van de synthetische data $S$ zal verhogen.

De aanval verloopt in de volgende stappen:

1. Surrogaatmodelleren: Een surrogaatdichtheidschatter (specifiek een Gaussian Kernel Density Estimator, KDE) wordt gefit op de referentieset $R$ om $\hat{p}_R$ te verkrijgen.
2. Augmentatie: Een tweede surrogaat wordt gefit op de geaugmenteerde set $R \cup \{x^*\}$ om $\hat{p}_{R \cup \{x^*\}}$ te verkrijgen.
3. Lokale Waarschijnlijkheidsverhouding: De aanvalscores wordt berekend als de som van log-waarschijnlijkheidsverhoudingen over de $k$-dichtstbijzijnde synthetische buren van $x^*$ (aangeduid als $S_k(x^*)$):
   $$\hat{I}(x^*; R, S) = \sum_{s \in S_k(x^*)} \left[ \log \hat{p}_{R \cup \{x^*\}}(s) - \log \hat{p}_R(s) \right]$$
4. Besluitvorming: Een hoge score geeft aan dat het toevoegen van $x^*$ aan de referentieset de waarschijnlijkheid van de nabijgelegen synthetische punten aanzienlijk heeft verhoogd, wat suggereert dat $x^*$ deel uitmaakte van de trainingsset.

Theoretisch Kader
Het artikel stelt drie belangrijke theoretische resultaten vast die Gen-LRA ondersteunen:

1. Invariantie: De log-waarschijnlijkheidsverhoudingsscore is invariant ten opzichte van inverteerbare herparametrisaties van de data, wat robuustheid garandeert tegen voorverwerkingskeuzes zoals schaling of codering.
2. Gesloten-vorm Karakterisering: De auteurs bewijzen dat de Gen-LRA-score een gesloten-vorm karakterisering toestaat als een gelokaliseerde dichtheidsverhoudingsstatistiek. In tegenstelling tot dichtheidsverhoudingsaanvallen op enkelvoudige punten (zoals DOMIAS), aggregeert Gen-LRA bewijs over een lokaal gebied, waardoor diffuse memorisatiesignalen worden vastgelegd.
3. Gemiddelde-scorekloof: Onder een algemeen model van lokale overfitting bewijzen de auteurs een bewijsbare kloof tussen de verwachte scores van leden en niet-leden. De grootte van deze kloof hangt lineair af van de overfittingsterkte ($\epsilon$) en wordt bepaald door de overlap tussen de bandbreedte van het surrogaat en de memorisatieschaal van de generator ($\rho$).

Belangrijkste Bijdragen

1. Nieuwe Aanval: Gen-LRA is de eerste MIA voor tabulaire synthetische data die expliciet een invloed-functiekader aanpast aan het No-Box-scenario, waarbij membership-inferentie wordt geformuleerd als de invloed van een testpunt op de waarschijnlijkheidsverhouding van een surrogaatmodel.
2. Theoretische Rechtvaardiging: Het werk biedt een rigoureuze theoretische verantwoording van wat de aanval meet (gelokaliseerde dichtheidsverhoudingen) en voorspelt wanneer deze succesvol is (bij lokale overfitting).
3. Validatie via Simulatie: Gecontroleerde simulaties maken het overfittingmodel concreet, waarbij wordt gevalideerd dat Gen-LRA uniek instelbaar is over overfittingregimes en bestaande methoden overtreft, met name wanneer een generator trainingsdata ongeveer memoriseert.
4. Empirische Benchmark: De auteurs evalueren Gen-LRA tegen een uitgebreide benchmark bestaande uit 35 datasets, 9 generatieve architecturen (waaronder GAN's, VAE's, Diffusiemodellen en Transformers) en 9 concurrerende aanvallen. Dit resulteert in 1.525 unieke configuraties van synthetische datasets en meer dan 10.000 aanvalsruns.

Resultaten

• Aggregatieprestaties: Gen-LRA domineert consistent concurrerende MIAs. Het behaalt de hoogste Top-1-rangschikking op elke metriek (AUC en True Positive Rate bij vaste False Positive Rates) over alle 1.525 runs. Specifiek staat het in meer dan 38% van de runs (AUC) en 42% van de runs (TPR@FPR=0) op de eerste plaats, wat meer dan het dubbele is van het tempo van de volgende beste baseline.
• Lage False Positive Rates: Gen-LRA toont bijzonder sterke winsten bij lage false positive rates, een kritieke metriek voor praktisch privacy-auditing.
• Kwetsbaarheidsregimes: De aanval is het meest effectief in het regime van "benaderende memorisatie", waarbij synthetische punten een relatie behouden tot trainingsdata maar geen exacte kopieën zijn. In dit regime zakken aanvallen op enkelvoudige punten (zoals DOMIAS) en op afstand gebaseerde aanvallen (zoals DCR) in elkaar, terwijl Gen-LRA bewijs over meerdere buren aggregeert om succesvol te zijn.
• Keuze van Surrogaat: In tegenstelling tot trends in dichtheidschatting in hoge dimensies, waar diepe leermodellen vaak beter presteren dan KDE, vinden de auteurs dat Gaussian KDE beter presteert dan Block Neural Autoregressive Flows (BNAF) voor Gen-LRA. Dit wordt toegeschreven aan de expliciete controle van KDE over lokale gladmaking (bandbreedte), die overeenkomt met de memorisatieschaal, terwijl BNAF optimaliseert voor globale nauwkeurigheid en stochastische ruis introduceert die het signaal van invloed van een enkel punt verduistert.

Betekenis en Claims
Het artikel stelt dat huidige No-Box privacy-audittools privacyrisico's significant onderschatten omdat ze onjuiste hypothesen testen of vertrouwen op heuristieken die falen in het regime van benaderende memorisatie, dat veel voorkomt bij moderne tabulaire generators.

Gen-LRA biedt een principiële, computatie-efficiënte tool voor derden om publicaties van synthetische data te auditeren zonder dat modeltoegang vereist is. De auteurs betogen dat de "No-Box"-instelling het meest realistisch is voor privacy-auditing, omdat verdedigers die best practices volgen modeldetails zullen achterhouden, waardoor shadow-box-aanvallen inefficiënt worden. Door aan te tonen dat overfitting van generatieve modellen aanzienlijke privacyrisico's met zich meebrengt, zelfs bij afwezigheid van modeltoegang, onderstreept het artikel de noodzaak van sterkere audittools om de verantwoorde publicatie van synthetische data in gevoelige domeinen zoals gezondheidszorg en financiën te waarborgen. De auteurs concluderen dat hoewel geen enkele aanval onder alle omstandigheden uniform optimaal is, Gen-LRA de meest robuuste en consistente prestaties biedt voor het detecteren van privacylekken bij publicaties van synthetische data in de echte wereld.