Technische Samenvatting: LLM-als-Discriminator

Probleemstelling

Organisaties maken steeds vaker gebruik van synthetische tabeldata om informatie te delen terwijl de privacyrisico's worden beperkt. Het auditen van de privacy van dergelijke data blijft echter uitdagend. Klassieke statistische gegevensbeschermingsinstrumenten (SDC) (bijv. $k$-anonimiteit) en moderne aanval-gebaseerde maatstaven (zoals Membership Inference Attacks of MIA) slagen er vaak niet in vast te stellen of een synthetische tabel perceptueel onderscheidbaar is van een echte tabel voor een menselijke of AI-waarnemer. Hoewel MIA het privacyrisico frameert als een binaire classificatie van de vraag of een record tot de trainingsset behoorde, beoordeelt het niet direct of een geïnformeerde tegenstander een synthetische release kan onderscheiden van een echte release op basis van de verschijning en de distributionele eigenschappen van de data.

Methodologie

De auteurs stellen een LLM-as-Discriminator-protocol voor, waarbij privacy-auditing wordt geframed als een binaire classificatietaak waarbij een Large Language Model (LLM) fungeert als een discriminator ($D$).

Experimentele Condities

De studie evalueert twee dreigingsmodellen:

• C1 (Alleen Tabel): De discriminator ontvangt een Markdown-sample van 20 rijen van de tabel met kolomnamen en datasetdimensies. Dit simuleert een tegenstander die alleen toegang heeft tot de datarelease.
• C2 (Tabel + Metadata): Dezelfde sample wordt aangevuld met een gestructureerd metadata-blok met per-kolom descriptieve statistieken (gemiddelde, standaarddeviatie, kwartielen, scheefheid, kurtosis), Shapiro–Wilk testresultaten, top-$k$ categorie-frequenties, Shannon-entropie en een Pearson-correlatiematrix. Dit simuleert een scenario waarin samenvattende statistieken samen met de synthetische data worden gepubliceerd.

Protocol en Metrieken

• Modellen: De studie maakt gebruik van Gemini-2.5-Flash (Google) en LLaMA-3.1-8b-instant (via Groq) als discriminatoren.
• Synthese-methoden: Drie generatoren werden getest: CTGAN (Conditional GAN), TVAE (Variational Autoencoder) en Gaussian Copula.
• Datasets: Twee census-datasets werden gebruikt: UCI Adult (menselijk leesbare string-encodings) en ACS Census 2018 (numerieke integer-encodings voor categorische kolommen).
• Disclosure Risk Score (DRS): Om de ruwe nauwkeurigheid te vertalen naar een privacy-georiënteerde scalaire waarde, definiëren de auteurs DRS als het minimum van de true positive rates voor beide klassen:
  $$DRS = \min(\hat{p}_{REAL}, \hat{p}_{SYNTHETIC})$$
  Een DRS nabij 0 geeft aan dat de discriminator de data niet kan onderscheiden (door goede privacy of een gecompileerd model), terwijl een DRS nabij 0.5 duidt op discriminatie op niveau van toeval. Een DRS > 0.5 suggereert dat de synthetische data discriminerende artefacten bevat.
• Baselines: De LLM-resultaten werden vergeleken met:
  1. Classifier Two-Sample Test (C2ST): Een logistische regressie-classifier getraind om real en synthetisch te scheiden.
  2. Record Linkage: Het meten van de Euclidische afstand tussen synthetische records en hun dichtstbijzijnde echte buren.
  3. Menselijke Annotatie: Een pilotstudie met twee menselijke annotatoren die dezelfde C1/C2-taken uitvoerden.

Belangrijkste Bijdragen

1. Protocoldefinitie: Een formeel LLM-as-Discriminator-protocol voor black-box privacy-auditing onder twee verschillende dreigingscondities (C1 en C2).
2. Empirische Evaluatie: Een uitgebreide evaluatie over 451 geldige trials met twee datasets, drie synthesemethoden en twee LLM-families, wat een sterke afhankelijkheid van modelkeuze en data-encoding onthult.
3. Metriekvoorstel: De introductie van de Disclosure Risk Score (DRS) om discriminatie-nauwkeurigheid te normaliseren en label-bias-artefacten te verklaren.
4. Mens-LLM Vergelijking: Een gecontroleerde pilot die aantoont dat hoewel frontier LLM's menselijke prestaties kunnen evenaren of overtreffen, kleinere open modellen kunnen bezwijken onder biased baselines, waardoor ze geen nuttig privacy-signaal leveren.

Experimentele Resultaten

Prestatieverschil tussen Modellen

De keuze van de discriminator-model bleek even cruciaal als de keuze van de synthesizer:

• LLaMA (Groq): Vertoonde ernstige bias. Op UCI Adult labelde het bijna alle tabellen als REAL (DRS = 0%). Op ACS Census labelde het alle tabellen als SYNTHETIC (DRS = 0%). In beide gevallen stortte het model in, waardoor er geen discriminatief signaal werd geleverd.
• Gemini: Toonde een hoge discriminatieve capaciteit.
  • Op UCI Adult bereikte Gemini DRS = 100% voor CTGAN en TVAE onder zowel C1- als C2-condities.
  • Op ACS Census bereikte Gemini DRS = 100% onder C1 voor alle methoden. Onder C2 daalde de prestatie voor CTGAN (0%) en TVAE (25%), terwijl Gaussian Copula op 100% bleef.

Effecten van Metadata (C1 vs. C2)

De impact van het toevoegen van distributionele metadata was dataset- en methode-afhankelijk:

• Op UCI Adult had metadata geen effect op de perfecte discriminatie van CTGAN en TVAE door Gemini.
• Op ACS Census verminderde metadata de discriminatie voor CTGAN en TVAE aanzienlijk, wat suggereert dat wanneer de reële en synthetische marginalen nauw op elkaar aansluiten, samenvattende statistieken het detectiesignaal kunnen maskeren.

Afstemming met Formele Baselines

• UCI Adult: De DRS van Gemini bereikte een plafond (100%) voor CTGAN en TVAE, wat ranking van methoden verhinderde. Echter, C2ST-scores varieerden (TVAE: 0.725, CTGAN: 0.538), wat aangeeft dat hoewel Gemini artefacten in beide detecteerde, C2ST het verschil in de mate van distributionele scheiding kon differentiëren.
• ACS Census: Onder C2 was de DRS-volgorde (Gaussian Copula > TVAE > CTGAN) geïnverteerd ten opzichte van de C2ST-scores. Gaussian Copula had een lage C2ST-score (0.542) maar behield een hoge DRS, wat suggereert dat de artefacten van Gaussian Copula perceptueel opvallend bleven ondanks de statistische gelijkenis.

Mens vs. LLM

• Menselijke Prestaties: Menselijke annotatoren behaalden een gepoolde DRS van 66.4%, wat aanzienlijk beter is dan LLaMA (dat instortte naar 0%), maar over het algemeen lager dan Gemini.
• Gemini vs. Mensen: Gemini evenaarde of overtrof de menselijke prestaties in de meeste cellen, met name op UCI Adult waar het een DRS van 100% behaalde vergeleken met menselijke percentages van 33–60%.
• Redenering: Zowel mensen als Gemini identificeerden dezelfde structurele artefacten als primaire discriminatoren, zoals gebroken mappingen tussen opleidingsniveaus en numerieke codes (bijv. "Bachelors" vs. 13) en tegenstrijdigheden in huwelijksstatus/relatievelden.

Betekenis en Claims

Het artikel claimt dat LLM-discriminatie een praktische privacy-audit-signaal is, maar alleen wanneer dit met zorg wordt geïnterpreteerd met betrekking tot het specifieke model en de gebruikte data-encoding.

• Modelafhankelijkheid: De capaciteit van de discriminator is de bottleneck. Een ingestort model (zoals LLaMA in deze studie) levert een DRS van 0%, wat perfecte privacy simuleert maar eigenlijk een falen van de evaluator aangeeft. Daartegenover staat een sterk model (Gemini), dat subtiele structurele schendingen kan detecteren die statistische tests mogelijk missen.
• Praktisch Nut: De auteurs positioneren DRS als een "snelle distributionele screening" in plaats van een op zichzelf staande privacygarantie. Ze raden aan om DRS te gebruiken naast C2ST voor initiële screening, gevolgd door meer rigoureuze MIA als record-niveau memorisatie een specifiek punt van zorg is.
• Interpreteerbaarheid: In tegen tegenstelling tot black-box statistische tests, bieden LLM's natuurlijke taal-rationales (bijv. het identificeren van specifieke gebroken constraints), wat het auditproces transparant en actiegericht maakt voor professionals.

De studie concludeert dat hoewel het paradigma veelbelovend is, toekomstig werk lokale modellen vereist om API-fouten te voorkomen, bredere validatie over meer synthesemethoden (inclusclusief diffusie en LLM-gebaseerde generatoren) nodig heeft, en encoding-bewuste auditing vereist om numerieke versus string-representaties te behandelen.