Workload-Preserving Differentially Private Synthetic Data for Causal Inference via Maximum-Entropy Calibration

Stel je voor dat je een geheim recept hebt voor de beste taart ter wereld, maar je mag de ingrediëntenlijst niet aan iemand laten zien omdat het strikt geheim is. Je wilt wel dat bakkers over de hele wereld hun best doen om de taart te maken, maar je moet het recept beschermen.

Normaal gesproken, wanneer onderzoekers dit soort geheime gegevens willen delen, gebruiken ze een methode die Differential Privacy wordt genoemd. Denk hierbij aan een magische ruismachine. Het neemt de echte gegevens, voegt een beetje statische ruis toe (zoals het volume van een radio omhoog draaien totdat het vervormd klinkt) en creëert dan een nepversie van de gegevens die precies hetzelfde aanvoelt en lijkt als het origineel.

Lange tijd was het doel simpelweg om de nepgegevens over het algemeen vergelijkbaar te laten zijn met de echte gegevens. Als de echte data voor 50% uit chocolade en 50% uit vanille bestaat, moet de nepdata dat ook doen. Dit wordt "distributional fidelity" genoemd. Het is alsof je een fotokopie maakt die er van een afstandje goed uitziet.

Maar hier is het probleem:
Als je een bakker bent die probeert uit te zoeken waarom de taart rijst (een "causale" vraag), is een generieke fotokopie niet genoeg. Je moet precies weten hoe de eieren interageren met de bloem. Als de nepgegevens de balans tussen de chocolade en de vanille ook maar een klein beetje verkeerd krijgen, of als de "wazigheid" van de privacy-machine de relatie tussen de ingrediënten verstoort, dan is je conclusie over waarom de taart rijst fout. Je denkt misschien dat de eieren het geheim zijn, terwijl het eigenlijk het bakpoeder was.

Het Grote Idee: De "Causal Workload"

De auteurs van dit paper zeggen: "Probeer niet alles perfect te kopiëren. Kopieer in plaats daarvan de specifieke aanwijzingen die er toe doen om oorzaak en gevolg te ontdekken."

Ze noemen dit een Causal Workload.
Stel je voor dat je een detective bent die een misdaad probeet op te lossen. Een generieke aanpak zou zijn om een foto van de hele plaats delict te maken en deze licht te vervagen. Maar een causale aanpak is anders. De detective zegt: "Ik heb geen foto van de hele kamer nodig. Ik wil alleen precies weten hoeveel vingerafdrukken er op het mes zitten en hoeveel er op de deurklink zitten."

In dit paper is de "detective" een computeralgoritme. In plaats van te vragen om een algemene samenvatting van de gegevens, vraagt het om specifieke "momenten" (wiskundige aanwijzingen) die essentieel zijn voor het berekenen van de Average Treatment Effect (ATE). Dat is een chique manier om te vragen: "Als we iedereen de behandeling geven (zoals een nieuw medicijn), hoeveel beter gaan ze het dan af in vergelijking met wanneer we niets doen?"

De auteurs hebben een nieuwe manier ontworpen om deze specifieke aanwijzingen privé te meten. Ze noemen de aanwijzingen orthogonale momenten. Denk aan deze als de "gouden sleutels" die de waarheid over oorzaak en gevolg ontsluiten. Als je deze sleutels hebt, kun je het puzzelstukje oplossen, zelfs als de rest van het plaatje wazig is.

De Twee Paden: Direct vs. Synthetisch

Zodra de computer deze ruizige "gouden sleutels" heeft, kan hij twee dingen doen:

1. Het Directe Pad: Hij gebruikt de sleutels onmiddellijk om het antwoord te berekenen.
2. Het Synthetische Pad: Hij gebruikt de sleutels om een nepdataset te reconstrueren (een "synthetische" dataset) die die sleutels direct in zich heeft gebouwd. Vervolgens kan iedereen deze nepdataset gebruiken om zijn eigen experimenten uit te voeren.

Het paper laat zien dat als je het Synthetische Pad gebruikt met een speciale truc genaamd NA+MI (Noise-Aware Multiple Imputation), je het beste van beide werelden krijgt.

• NA+MI is als een vangnet. Wanneer de computer de nepgegevens creëert, weet hij precies hoeveel "ruis" (wazigheid) er is toegevoegd. Hij gebruikt die kennis om te zeggen: "Ik ben voor 95% zeker dat het antwoord tussen X en Y ligt," en hij maakt die marge breed genoeg om eerlijk te zijn over de onzekerheid.

Wat Ze Hebben Gevonden (De Resultaten)

De auteurs hebben dit getest op vijf verschillende echte datasets (zoals gegevens over tweelingen, baby's en beroepstrainingsprogramma's). Dit is wat er gebeurde:

• De "Generieke" Aanpak: Wanneer ze de oude, generieke manier gebruikten om nepgegevens te maken (alles kopiëren), waren de resultaten vaak heel nauwkeurig (lage foutmarge) wanneer de privacyregels ruim waren. Echter, wanneer de privacyregels strenger werden (weinig data toegestaan), zagen de nepgegevens er goed uit, maar gaven ze foute antwoorden over oorzaak en gevolg. De betrouwbaarheidsintervallen (de veiligheidsnetten) waren veel te smal, waardoor mensen zich zelfverzekerd voelden terwijl ze er eigenlijk naast zaten. Sterker nog, bij strikte privacyniveaus gaven deze methoden het juiste antwoord slechts ongeveer 35% van de tijd (of minder), terwijl ze dat in 95% van de gevallen zouden moeten doen.
• De "Causale" Aanpak: Wanneer ze hun nieuwe Causal Workload gebruikten met het NA+MI vangnet, waren de resultaten anders.
  • Bij strikte privacyniveaus (zoals $\epsilon = 0.5$), gaf deze methode het juiste antwoord 99,8% tot 100% van de tijd.
  • De "veiligheidsnetten" (betrouwbaarheidsintervallen) waren veel breder, maar ze waren eerlijk. Ze vertelden de waarheid: "We weten niet 100% zeker, maar we zijn er wel van overtuigd dat het antwoord in deze marge ligt."

De Tradeoff

Het paper wijst op een interessante tradeoff.

• Als je alleen het exacte getal wilt weten (de puntinschatting) en je geeft niet zoveel om 100% zeker te zijn, dan winnen de oude generieke methoden soms wanneer de privacyregels ruim zijn.
• Maar als je een geldige beslissing moet nemen (zoals "Moeten we dit medicijn goedkeuren?"), moet je weten of je het getal kunt vertrouwen. De generieke methoden falen hier omdat ze doen alsober ze zekerder zijn dan ze in werkelijkheid zijn. De nieuwe Causale methode is de enige die zijn belofte van betrouwbaarheid nakomt, zelfs wanneer de privacyregels zeer strikt zijn.

Wat Ze Hebben Uitgesloten

Het paper voert expliciet een argument tegen het idee dat "het maken van de nepdata die op elke manier exact lijkt op de echte data" het beste doel is. Ze hebben aangetoond dat je een nepdataset kunt hebben die perfect lijkt (lage fout in algemene statistieken), maar je toch een volkomen fout antwoord geeft over oorzaak en gevolg. Ze hebben ook de gedachte uitgesloten dat je de nepdata gewoon kunt behandelen alsof het echte data zijn; je moet rekening houden met de privacy-ruis, anders zijn je conclusies ongeldig.

Hoe Zeker Zijn Ze?

De auteurs hebben niet alleen gegokt; ze hebben simulaties uitgevoerd op vijf verschillende datasets. Ze hebben hun methode duizenden keren getest (500 replicaties voor de meeste tests).

• Ze ontdekten dat hun methode consequent bijna perfecte dekking bereikte (het juiste antwoord 99,8–100% van de tijd) bij strikte privacybudgetten.
• Ze bewezen wiskundig dat hun methode de fout opsplitst in specifieke delen (steekproeffout, privacy-ruis en benaderingsfout), waardoor precies zichtbaar wordt waar de fouten vandaan komen.
• Ze lieten ook zien dat hun methode werkt voor verschillende soorten vragen (zoals de Average Treatment Effect, of effecten op specifieke subgroepen) zonder dat daarvoor een groter privacybudget nodig is.

De Kernboodschap voor een Nieuwsgierige Tiener

Denk er zo over na:
Als je wilt weten of een nieuwe strategie in een videogame werkt, kun je 1.000 spelers vragen. Maar als je hun antwoorden moet vervagen om hun privacy te beschermen, kun je niet alleen vragen "Heb je gewonnen?" en dan maar hopen op het beste. Je moet de juiste vragen stellen die je helpen begrijpen waarom ze wonnen.

De auteurs hebben een nieuwe set van "juiste vragen" (de Causal Workload) gebouwd en een nieuwe manier om naar de antwoorden te luisteren (NA+MI) die rekening houdt met de vervaging. Ze hebben laten zien dat terwijl de oude manier van vragen je misschien een snel, mooi antwoord geeft, het je vaak bedriegt over hoe zeker je eigenlijk bent. De nieuwe manier geeft je een iets waziger, breder antwoord, maar het is de enige manier die je echt kunt vertrouwen als de inzet hoog is.

Kortom: Kopieer niet alleen de data; kopieer de aanwijzingen die er toe doen, en geef altijd toe hoeveel je niet weet.