REAEDP: Entropy-Calibrated Differentially Private Data Release with Formal Guarantees and Attack-Based Evaluation

1. Probleemstelling

Het vrijgeven van gevoelige gegevens (zoals aanbevelingslogs, trajecten of gezondheidsrecords) brengt ernstige privacyrisico's met zich mee, zelfs na het verwijderen van directe identificatoren. Aanvallers kunnen via output-kant privacybedreigingen zoals:

• Lidmaatschapsinference (MIA): Bepalen of een specifieke persoon in de dataset zat.
• Attribuut-inference: Het afleiden van gevoelige eigenschappen van individuen.
• Record-linkage: Het koppelen van vrijgegeven data aan externe bronnen om personen te heridentificeren.

Bestaande methoden voor differentieel privacy (DP), zoals het toevoegen van Laplace- of Gaussisch ruis, vereisen vaak een bekende gevoeligheid (sensitivity) van de vrijgegeven statistieken. Voor histogram-gebaseerde releases is de Shannon-entropie een natuurlijke maatstaf voor de nuttigheid (utility) van de data. Echter, de gevoeligheid van entropie was tot nu toe niet expliciet afgeleid in een vorm die geschikt is voor kalibratie van ruis. Daarnaast ontbreekt er vaak een kader dat theoretische garanties, synthetische data-generatie en empirische aanvalsbewaking in één systeem combineert.

2. Methodologie: Het REAEDP Framework

De auteurs stellen REAEDP voor, een differentieel privacy-framework dat drie hoofdbestanddelen combineert:

A. Entropie-gecalibreerde Histogram Release

• Theoretische Basis: De auteurs leiden een expliciete bovengrens af voor de gevoeligheid van Shannon-entropie ($\Delta H$) voor histogrammen onder het model van "vervanging" (waarbij één record in een dataset van gelijke grootte wordt vervangen door een ander).
• Formule: Voor een dataset met $n$ records en $m$ bins is de gevoeligheid begrensd door:
  $$\Delta H \leq \frac{1}{n} \left( 2 + \frac{1}{\ln 2} + 2 \log_2 n \right)$$
• Toepassing: Deze bound wordt gebruikt om de schaal van de toe te voegen Laplace-ruis te kalibreren, zodat de vrijgegeven histogramstatistieken voldoen aan $(\epsilon, \delta)$-DP, terwijl de verandering in entropie binnen de theoretische limieten blijft.

B. Synthetische Data Mechanisme ($F$) met Wiener-kern

• Voor niet-interactieve scenario's waar niet alleen statistieken maar ook synthetische records nodig zijn, introduceren de auteurs een mechanisme $F$.
• Dit mechanisme werkt in de context van Wiener-kernen en Reproducing Kernel Hilbert Spaces (RKHS).
• Privacy-test: Het mechanisme gebruikt een "privacy-test" structuur. Een kandidaat-synthetisch record $y$ wordt gegenereerd op basis van een "seed" uit de dataset. Het wordt alleen vrijgegeven als het een probabilistische test passeert, die afhankelijk is van parameters $k, t, \gamma$ en $\epsilon_0$.
• Garantie: Onder specifieke parametercondities voldoet dit mechanisme aan een formele $(\epsilon, \delta)$-differentieel privacy garantie.

C. Evaluatie en Threat Model

• Het framework wordt geëvalueerd tegen drie bedreigingsmodellen: lidmaatschapsinference, attribuut-inference en record-linkage.
• De evaluatie combineert theoretische bounds, vergelijking met standaard baselines (Laplace/Gaussian) en directe aanvalssimulaties (Membership Inference Attacks - MIA).

3. Belangrijkste Bijdragen

1. Expliciete Entropie-gevoeligheid: De eerste afleiding van een scherpe bovengrens voor de gevoeligheid van Shannon-entropie (en een uitbreiding naar Rényi-entropie) voor histogrammen, wat kalibratie mogelijk maakt.
2. Formeel Bewezen Synthetisch Mechanisme: Een nieuw mechanisme $F$ voor het genereren van synthetische data in een RKHS-omgeving, met een strikt bewezen $(\epsilon, \delta)$-DP garantie.
3. Geïntegreerde Evaluatie: Een uniek kader dat theoretische kalibratie, synthetische data-generatie en empirische aanvalsbewaking combineert. De auteurs tonen aan dat de empirische verandering in entropie onder de theoretische bound blijft en dat aanvalsprestaties afnemen naarmate de privacyparameter $\epsilon$ daalt.

4. Resultaten en Experimenten

De auteurs hebben het framework getest op meerdere publieke tabulaire datasets (o.a. Amazon/Google reviews, House Prices, Home Credit) en synthetische processen.

• Entropie Bound Validatie: In experimenten met datasetgroottes variërend van 50 tot 5000 records bleef de empirische verandering in entropie ($\hat{\Delta H}$) consistent onder de theoretisch afgeleide bovengrens.
• Utility Vergelijking: De prestaties van de REAEDP-methode (gebaseerd op entropie-kalibratie) waren vergelijkbaar met standaard DP-baselines (Laplace en Gaussian ruis toegepast op tellingen). De fout in entropie en het aantal tellingen (MAE) verbeterde naarmate $\epsilon$ toenam.
• Aanvalsbewaking:
  • MIA (Membership Inference Attack): De nauwkeurigheid en AUC van de aanval namen af naarmate $\epsilon$ kleiner werd, en naderden het niveau van een willekeurige gok (0.5) bij sterke privacy.
  • Linkage-attack: Ook de prestaties van linkeraanvallen verslechterden bij lagere $\epsilon$-waarden.
• Synthetische Data: De privacy-test van mechanisme $F$ toonde aan dat er een niet-verwaarloosbaar percentage synthetische records de test passeert, zelfs bij strenge privacy-instellingen (hoge $k$), wat de bruikbaarheid in de praktijk ondersteunt.
• Wiener-kern: Experimenten met de Wiener-kern toonden aan dat het verhogen van de penalty-parameter $\rho$ de nuttigheid verbetert (de private mean komt dichter bij de originele mean), wat een controleerbare afweging tussen privacy en utility mogelijk maakt.

5. Betekenis en Conclusie

REAEDP biedt een praktisch toepasbaar framework voor het veilig vrijgeven van gevoelige data. De belangrijkste waarde ligt in de combinatie van:

1. Theoretische strengheid: Het biedt formele garanties voor zowel histogramstatistieken als synthetische data.
2. Praktische kalibratie: Het lost het probleem op van het bepalen van de juiste ruisgrootte voor entropie-gebaseerde releases.
3. Empirische verificatie: Het bewijst dat de theorie in de praktijk werkt door aanvalssimulaties, wat vaak ontbreekt in puur theoretische werken.

Hoewel er beperkingen zijn (zoals afhankelijkheid van histogram-discretisatie en de focus op tabulaire data), stelt REAEDP een nieuwe standaard voor hoe differentieel privacy kan worden geïmplementeerd met een duidelijk zicht op zowel de wiskundige garanties als de weerstand tegen reële aanvalsscenario's. De broncode is openbaar beschikbaar, wat reproduceerbaarheid en verdere ontwikkeling stimuleert.