💻 computer science

Quantifying the Privacy of Counterfactuals by Leveraging Membership Inference Attacks Against Synthetic Data

Dit artikel toont aan dat contrafeitelijke verklaringen, die vaak worden gebruikt om modelbeslissingen te verduidelijken, onbedoeld gevoelige informatie over trainingsgegevens kunnen lekken door kwetsbaar te zijn voor membership inference-aanvallen die vergelijkbaar zijn met die gericht op synthetische gegevens, zelfs zonder toegang tot het onderliggende model.

Oorspronkelijke auteurs: Maryam Babaei, Yingke Wang, Hadrien Lautraite, Heber H. Arcolezi, Ulrich Aivodji, Sebastien Gambs

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maryam Babaei, Yingke Wang, Hadrien Lautraite, Heber H. Arcolezi, Ulrich Aivodji, Sebastien Gambs

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: "Het Lek van het Recept"

Stel je voor dat je een zeer strikte bakkerij runt. Je hebt een geheim recept (jouw Machine Learning Model) dat bepaalt wie een "Gouden Ticket" krijgt (een lening goedgekeurd krijgt, een baan aangeboden krijgt, etc.).

Wanneer een klant vraagt: "Waarom kreeg ik het ticket niet?", geef je hen een Counterfactual. Dit is een soort "Wat als"-scenario. Je zegt: "Als je €5.000 meer had verdiend, of als je in een andere buurt woonde, had je het ticket gekregen."

Normaal gesproken denken we dat deze "Wat als"-verhalen veilig zijn. Ze laten je alleen zien hoe je je leven kunt veranderen om een beter resultaat te krijgen.

Echter, dit paper betoogt dat deze verhalen eigenlijk gevaarlijk zijn.

De auteurs ontdekten dat door naar een verzameling van deze "Wat als"-verhalen te kijken, een hacker precies kan achterhalen wie er op jouw oorspronkelijke klantenlijst stond (jouw Training Data), zelfs als de hacker jouw geheime recept of jouw klantenlijst nooit heeft gezien.

De Kernanalogie: De "Fake Sample" Val

Om te begrijpen hoe dit werkt, kun je Synthetische Data zien als "nep voedselmonsters".

Real Data: De werkelijke ingrediënten die je gebruikte om je taart te bakken.
Synthetische Data: Een chef die probeert jouw taart perfect na te maken met een machine, puur om mensen te laten zien hoe het eruit zou kunnen zien.
Counterfactuals: In dit paper realiseerden de auteurs zich dat "Wat als"-verhalen in feite ook nep monsters zijn. Ze worden gegenereerd door jouw model om op echte mensen te lijken, maar dan net iets aangepast.

De Aanval:
In het verleden hadden hackers het nodig om vragen aan jouw bakkerij te stellen (zoals "Wat als ik dit ingrediënt verander?") om jouw geheimen te ontdekken. Dit wordt een "White-Box" of "Query" aanval genoemd.

De Nieuwe Ontdekking:
Dit paper laat zien dat hackers niet eens meer vragen hoeven te stellen. Ze kunnen simpelweg de "Wat als"-verhalen verzamelen die jouw bakkerij al aan het publiek heeft gegeven.

Denk er zo over na:

Je geeft 10.000 "Wat als"-flyers uit aan het publiek.
Een hacker verzamelt al die 10.000 flyers.
De hacker bekijkt de flyers en zegt: "Hé, deze specifieke flyer ziet er verdacht veel uit als de data van een echte klant. Hij is te perfect. Dit moet gebaseerd zijn op een echt persoon in jouw oorspronkelijke lijst."

Het paper bewijst dat deze "Wat als"-flyers informatie lekken over de oorspronkelijke klanten, net zoals een nep voedselmonster het recept van de echte taart kan lekken.

Hoe ze het deden (De "Ensemble" Strategie)

De onderzoekers gebruikten niet slechts één truc om het lek te vangen. Ze gebruikten een Team van Detectives (een "Ensemble").

Stel je voor dat je zes verschillende soorten beveiligingsbewakers hebt:

De Afstandsbewaker: Controleert hoe dicht een "Wat als"-verhaal bij de echte data ligt.
De Patroonbewaker: Zoekt naar vreemde statistische patronen.
De Geheugenbewaker: Controleert of het verhaal te veel lijkt op iets wat het model heeft onthouden.

Individueel is sommige bewakers goed in het vangen van bepaalde soorten lekken, en anderen zijn daar slecht in. Maar wanneer je ze allemaal samenbrengt en ze laat stemmen, worden ze een superteam.

Het Resultaat:
Dit "Team van Detectives" was in staat om echte klanten te identificeren uit de "Wat als"-verhalen zonder ooit het model te zien of er vragen aan te stellen. Dit wordt een "No-Box" aanval genoemd (de hacker zit in het donker, heeft geen toegang tot de machine, alleen de output).

Wat ze hebben gevonden

De onderzoekers testten dit op vier verschillende real-world datasets (zoals leningaanvragen en risicoscores voor criminaliteit). Dit is wat zij ontdekten:

De "Realistische" Val: Hoe realistischer het "Wat als"-verhaal eruitziet, hoe gevaarlijker het is. Als een verhaal heel dicht bij de data van een echt persoon ligt (zoals de NICE of Dice-kdtree methoden), kunnen hackers de echte mensen gemakkelijk herkennen.
De "Aangepaste" Veiligheid: Als het verhaal heel anders is dan de echte data (zoals de SCFE of Dice-gradient methoden, die veel getallen veranderen), is het moeilijker voor hackers om de echte mensen te vinden.
Kleine Datasets zijn Risicovoller: Als jouw oorspronkelijke klantenlijst klein was, lekken de "Wat als"-verhalen nog meer informatie. Het is alsof je een klein dorp hebt waar iedereen iedereen kent; het is makkelijker om te raden wie wie is.
Beter dan de Oude Manier: De oude manier van hacken vereiste dat je vragen aan het model stelde. De nieuwe "No-Box" manier (alleen naar de verhalen kijken) was in veel gevallen zelfs beter. Het is alsof je een kluis kunt kraken door alleen naar het stof aan de buitenkant te kijken, in plaats van dat je een slotpick nodig hebt.

De Kernconclusie

Het paper concludeert dat het vrijgeven van "Wat als"-uitleg riskant is.

Als een bedrijf deze uitleg vrijgeeft om gebruikers te helpen beslissingen te begrijpen, kunnen ze per ongelig een kaart van hun privé klantgegevens in handen van hackers geven. De auteurs suggereren dat bedrijven zeer voorzichtig moeten zijn. Ze moeten wellicht speciale privacy-schilden gebruiken (zoals "Differential Privacy") of stoppen met het geven van specifieke "Wat als"-verhalen en in plaats daarvan algemeen advies geven.

Kortom: Je kunt niet zomaar "Wat als"-scenario's uitdelen met de gedachte dat ze onschadelijk zijn. Voor een hacker zien ze eruit als een schatkaart die rechtstreeks naar je privé data leidt.

Technische Samenvatting: Het kwantificeren van de privacy van tegenfeitelijke verklaringen door gebruik te maken van Membership Inference Attacks tegen synthetische data

Probleemstelling
Tegenfeitelijke verklaringen (counterfactual explanations) worden breed gebruikt in hoogwaardige machine learning (ML) toepassingen om modelbeslissingen toe te lichten door gebruikers te laten zien hoe zij hun profiel kunnen wijzigen om een gewenst resultaat te bereiken. Het vrijgeven van deze verklaringen vormt echter een privacyrisico. Hoewel bestaand onderzoek heeft vastgesteld dat tegenfeitelijke verklaringen informatie over trainingsdata kunnen lekken via Membership Inference Attacks (MIA's), vereisen huidige tegenfeitelijke-specifieke aanvallen (bijv. de Counterfactual Distance Attack) doorgaans dat de tegenstander toegang heeft tot queries van het doelmodel. Deze beperking stelt modelproviders in staat om risico's potentieel te mitigeren door het aantal queries of de frequentie van repetitieve tegenfeitelijke verklaringen te beperken. Dit artikel adresseert de kritieke kloof van de vraag of privacybreuken kunnen optreden in een "no-box" scenario, waarbij een tegenstander alleen toegang heeft tot een verzameling vrijgegeven tegenfeitelijke verklaringen, zonder enige toegang tot het onderliggende model, de trainingsdata of de mogelijkheid om het model te bevragen.

Methodologie
De auteurs stellen een nieuw dreigingsmodel voor dat vrijgegeven tegenfeitelijke verklaringen behandelt als een vorm van synthetische data. Gebruikmakend van de analogie dat tegenfeitelijke verklaringen realistische substituten zijn voor echte trainingsdata, vergelijkbaar met synthetische data gegenereerd door GAN's of andere generatieve modellen, onderzoekt het artikel de overdraagbaarheid van state-of-the-art MIA's ontworpen voor synthetische data naar het landschap van tegenfeitelijke verklaringen.

Het experimentele kader omvat de volgende stappen:

Definitie van het Dreigingsmodel: De studie definieert een "no-box" aanvalsscenario waarbij de tegenstander over een verzameling tegenfeitelijke verklaringen beschikt die zijn gegenereerd voor diverse gebruikers, maar geen toegang heeft tot het doelmodel ( $f_\theta$ ) of de trainingsdataset ( $D$ ). Dit wordt gecontrasteerd met een baseline "query access" scenario (de Counterfactual Distance Attack), die schaduwmodellen gebruikt en queries naar het doelmodel vereist om afstanden te berekenen.
Implementatie van de Aanval: De auteurs implementeren een ensemble van zes state-of-the-art synthetische data MIA's:
- Distance to Closest Record (DCR/DCR-Diff)
- Monte-Carlo Attack
- DOMIAS (Density-based MIA)
- Data Plagiarism Index (DPI)
- Gen-LRA (Generative Likelihood Ratio Attack)
- LOGAN/Classifier
  Deze aanvallen worden toegepast op tegenfeitelijke verklaringen gegenereerd door vier verschillende mechanismen:
- Instance-gebaseerd: Nearest Instance Counterfactual Explanations (NICE) en Diverse Counterfactual Explanations met behulp van k-d trees (Dice-kdtree).
- Perturbatie-gebaseerd: Diverse Counterfactual Explanations met behulp van gradiënten (Dice-gradient) en SCFE (Smooth Counterfactual Explanations).
Ensemble Strategie: Om om te gaan met de onzekerheid over welk aanvalmechanisme het meest effectief is voor een specifieke methode van het genereren van tegenfeitelijke verklaringen, gebruiken de auteurs ensemble-strategieën (Majority Voting en Mean Aggregation) om de signalen van de zes individuele aanvallen te combineren.
Experimentele Opzet: Experimenten werden uitgevoerd op vier tabeldatasets (Adult, Acs_income, Compas, Heloc) met behulp van diverse technieken voor het genereren van tegenfeitelijke verklaringen. De prestaties werden geëvalueerd met behulp van ROC AUC, True Positive Rate (TPR) bij lage False Positive Rates (FPR) en Precision-Recall AUC.

Belangrijkste Bijdragen

Het overbruggen van domeinen: Het artikel legt een theoretische en praktische link tussen de privacy van synthetische data en de privacy van tegenfeitelijke verklaringen, en toont aan dat MIA's ontworpen voor synthetische data direct toepasbaar zijn op tegenfeitelijke verklaringen.
Haalbaarheid van No-Box Aanvallen: De auteurs demonstreren dat succesvolle MIA's kunnen worden uitgevoerd tegen tegenfeitelijke verklaringen zonder enige toegang tot het genererende model of de trainingsdata, wat de aanname uitdaagt dat het beperken van query-toegang voldoende is voor privacybescherming.
Effectiviteit van Ensembles: De studie toont aan dat een ensemble van synthetische data-aanvallen in de meeste scenario's beter presteert dan de bestaande Counterfactual Distance Attack, met name wanneer de tegenfeitelijke verklaringen instance-gebaseerd zijn.
Kwetsbaarheidsanalyse: Het onderzoek identificeert dat de kwetsbaarheid van tegenfeitelijke verklaringen voor MIA's correleert met hun gelijkenis met de distributie van de trainingsdata. Instance-gebaseerde methoden (die echte trainingsinstanties selecteren) blijken kwetsbaarder te zijn dan perturbatie-gebaseerde methoden (die feature-waarden wijzigen).

Resultaten
De experimentele resultaten geven aan dat de ensemble MIA consequent sterker is dan de Counterfactual Distance Attack (Dist-LRT) over de meeste datasets en methoden voor het genereren van tegenfeitelijke verklaringen, met de opmerkelijke uitzondering van de dice_gradient methode op de Compas-dataset.

Instance-gebaseerd vs. Perturbatie-gebaseerd: De ensemble-aanval presteert significant beter dan de baseline op instance-gebaseerde tegenfeitelijke verklaringen (NICE, Dice-kdtree), met ROC AUC-scores tot 0,694 (SCFE op Compas) en 0,624 (Dice-kdtree op Compas). In tegenstelling hiertoe presteren beide aanvallen nabij willekeurig gokken op perturbatie-gebaseerde methoden (Dice-gradient, SCFE) voor grotere datasets, hoewel het ensemble nog steeds een licht voordeel heeft.
Datasetgrootte: De prestaties van de aanval zijn over het algemeen hoger op kleinere datasets (Compas, Heloc) vergeleken met grotere datasets (Adult, Acs_income), wat consistent is met de hypothese dat kleinere datasets leiden tot hogere memorisatie.
Nabijheid en Diversiteit: De studie vond dat een hogere nabijheid tot de originele instantie over het algemeen de kwetsbaarheid vergroot, hoewel deze relatie niet-lineair is. Het beperken van wijzigingen tot enkel "acteerbare" features verhoogde de kwetsbaarheid op de Acs_income dataset, maar verminderde deze op Compas.
No-Box Superioriteit: In de Compas-dataset met Dice-kdtree vertoonde de no-box ensemble-aanval een verbetering van 26% ten opzichte van de query-gebaseerde baseline, wat de ernst van het risico benadrukt, zelfs zonder toegang tot het model.

Betekenis en Claims
Het artikel claimt dat het vrijgeven van tegenfeitelijke verklaringen zonder robuuste privacymaatregelen een aanzienlijk privacyrisico vormt, zelfs wanneer modelproviders de query-toegang beperken. De auteurs betogen dat omdat tegenfeitelijke verklaringen fungeren als realistische substituten voor trainingsdata, zij de privacykwetsbaarheden van synthetische data erven.

Implicatie voor Praktise caren: Modelontwikkelaars moeten voorzichtig zijn bij het vrijgeven van tegenfeitelijke verklaringen, aangezien deze kunnen worden misbruikt om lidmaatschap in de trainingsset af te leiden zonder dat zij het model hoeven te bevragen.
Implicatie voor Auditors: De voorgestelde no-box aanvalssituatie stelt externe auditors in staat om de lekkage van privacy in ingezette modellen te beoordelen zonder dat zij toegang nodig hebben tot de modellen zelf.
Beperkingen en Toekomstig Werk: De auteurs merken bescheiden op dat voor sommige datasets en methoden de prestaties van de aanval slechts iets beter zijn dan willekeurig gokken. Zij verduidelijken dat dit geen garantie biedt voor privacy, aangezien lekkage nog steeds kan bestaan zelfs als de specifieke MIA faalt. Zij suggereren dat defensieve maatregelen zoals Differential Privacy (DP) in de generatie van tegenfeitelijke verklaringen of het teruggeven van prototypische instanties in plaats van query-specifieke tegenfeitelijke verklaringen deze risico's kunnen mitigeren.

Het Grote Idee: "Het Lek van het Recept"

De Kernanalogie: De "Fake Sample" Val

Hoe ze het deden (De "Ensemble" Strategie)

Wat ze hebben gevonden

De Kernconclusie

Meer zoals dit