The Conundrum of Trustworthy Research on Attacking Personally Identifiable Information Removal Techniques

Dit artikel betoogt dat de huidige evaluaties van aanvallen op PII-verwijeringstechnieken door datalekken en contaminatie vertekend zijn, en dat het gebrek aan toegang tot echte privédata het publieke onderzoek verhindert om de werkelijke privacybescherming van deze methoden betrouwbaar te verifiëren.

De kern

🕵️‍♂️ De Grote Misverstand: Kan je 'Geheime' Tekst echt veilig maken?

Stel je voor dat je een heel belangrijk, privé dagboek hebt. Je wilt het delen met de wereld, maar je wilt niet dat mensen je naam, adres of geboortedatum zien. Wat doe je? Je plakt zwarte stiftdopjes over die stukjes tekst. Dit noemen we PII-verwijdering (het wegdoen van persoonsgegevens).

De auteurs van dit artikel, Sebastian en Ivan, zeggen: "Wacht even. We denken dat we dit allemaal verkeerd begrijpen."

Ze stellen twee grote vragen:

1. Zijn de tests die we doen om te zien of deze 'zwarte stiftdopjes' werken, wel eerlijk?
2. Kunnen we dit wel echt testen zonder dat we toegang hebben tot écht privé-geheimen?

Het antwoord op beide vragen is helaas: Nee.

---

1. De "Gekke" Tests: Waarom de resultaten liegen

Stel je voor dat je een magiër wilt testen die een kaart uit een stapel verdwijnt. Maar de magiër heeft de kaart al in zijn mouw verstopt voordat de test begint. Dan is het geen magie, maar een trucje.

Zo werkt het nu met de tests op privacy-technologie:

• Het probleem: Veel onderzoeken die zeggen "Haha, we kunnen de naam weer terugvinden!", doen dit op basis van teksten die de computer al kent.
• De analogie: Stel, je verwijdert de naam "Emma Watson" uit een tekst over haar leven. Vervolgens vraagt je een slimme computer (een AI) om de naam te raden. De computer raadt "Emma Watson" niet omdat hij slim is en de tekst heeft ontcijferd, maar omdat hij Emma Watson al kent uit zijn geheugen (hij heeft haar naam gelezen in duizenden andere boeken en nieuwsartikelen).
• De conclusie: De onderzoekers zeggen dat de "aanval" niet faalt omdat de privacy-technologie slecht is, maar omdat de computer de antwoorden al uit zijn hoofd heeft geleerd. Het is alsof je iemand test op geheugen, maar je geeft hem de antwoorden op een briefje in zijn hand.

2. De Onmogelijke Dilemma: Geen Geheime Data, Geen Eerlijke Test

Nu komt het lastige deel. Om echt te weten of de zwarte stiftdopjes werken, moeten we een test doen met écht, nieuw privé-geheimen die de computer nog nooit heeft gezien.

• De situatie: Als publieke onderzoekers (zoals Sebastian en Ivan) willen ze dit testen. Maar waar halen ze die data vandaan?

  • Optie A: Openbare data. Nee, want die is al openbaar of de computer kent het al.
  • Optie B: Synthetische data (door AI gemaakt). Nee, want AI kan per ongeluk echte namen uit zijn training herhalen, of de data is niet echt genoeg.
  • Optie C: Écht privé data (ziekenhuizen, overheid). Nee, want dat is illegaal om te gebruiken zonder toestemming en ethisch heel gevoelig.

• De vergelijking: Het is alsof je een slotfabrikant wilt testen op de veiligheid van zijn sloten. Maar je mag geen echte deuren openen, je mag geen echte sleutels stelen, en je mag geen nep-deuren gebruiken omdat die niet echt zijn. Je zit vast in een kamer zonder deuren om te testen.

De auteurs hebben zelfs een officieel verzoek gedaan om met gestolen data te werken (om te zien of ze die weer kunnen "ontgrendelen"), maar hun ethische commissie zei: "Nee, dat is te gevaarlijk en onwettig."

3. Wat hebben ze zelf gedaan? (De kleine proef)

Omdat ze geen echte, grote privé-database kregen, deden ze een kleine proef met twee dingen die waarschijnlijk nog niet in het geheugen van de AI zaten:

1. Oude, verwijderde PDF's van een Tsjechisch hof (die niemand meer online heeft).
2. Nieuwe YouTube-video's van toeristen die net zijn geplaatst.

Ze verwijderden de namen en plekken en gaven het aan de AI.

• Het resultaat: De AI raakte best veel goed! Maar...
• De reden: Niet omdat de AI een genie is, maar omdat de privacy-software niet alles had gevonden.
  • Vergelijking: Stel je plakt een zwarte stip over een naam, maar je vergeet dat er in de zin "Ik woon in Amsterdam" nog een hint staat. De AI ziet "Amsterdam" en denkt: "Ah, als je in Amsterdam woont, heet je waarschijnlijk 'Jan'."
  • De software was niet perfect, en de AI gebruikte die kleine foutjes om het geheim te raden.

4. De Grote Les: Wat nu?

De auteurs trekken een harde conclusie:

• We weten het niet zeker. We kunnen op dit moment niet met 100% zekerheid zeggen of privacy-software werkt, omdat we geen eerlijke tests kunnen doen zonder inbreuk te maken op privacy.
• De huidige tests liegen. Veel studies zeggen dat privacy "gebroken" is, maar dat komt vaak omdat de test zelf scheef liep (de AI kende het antwoord al).
• De oplossing? We hebben een nieuwe manier van denken nodig. Net zoals wiskundigen een nieuwe theorie nodig hebben om quantumcomputers te begrijpen, hebben we een nieuwe "privacy-theorie" nodig voor de tijd van AI. We moeten niet alleen kijken naar of een naam weg is, maar kijken naar hoe informatie stroomt en wat een computer echt mag weten.

Samenvattend in één zin:

We proberen nu te testen of we onze privacy kunnen beschermen met zwarte stiftdopjes, maar de tests die we doen zijn onbetrouwbaar omdat de computers de antwoorden al uit hun hoofd kennen, en we mogen de echte geheimen niet gebruiken om het eerlijk te testen. We zitten in een kluif zonder sleutel.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het position paper "The Conundrum of Trustworthy Research on Attacking Personally Identifiable Information Removal Techniques" van Ochs en Habernal, geschreven in het Nederlands.

Titel: Het Dilemma van Betrouwbare Onderzoek naar het Aanvallen van Technieken voor het Verwijderen van Persoonlijk Identificeerbare Informatie (PII)

Auteurs: Sebastian Ochs en Ivan Habernal
Publicatie: Computational Linguistics (2026)

---

1. Het Probleem

Het verwijderen van Persoonlijk Identificeerbare Informatie (PII) uit teksten is essentieel om te voldoen aan privacywetgeving (zoals de GDPR en HIPAA) en het delen van data mogelijk te maken zonder de privacy van individuen te schaden. Echter, recente studies suggereren dat teksten die zijn "gezuiverd" (gesanitized) door PII-verwijderingstechnieken kwetsbaar zijn voor reconstructie-aanvallen via Large Language Models (LLMs).

De auteurs betogen dat de succesvolheid van deze aanvallen in de huidige literatuur waarschijnlijk sterk wordt overschat. Er is een fundamenteel gebrek aan vertrouwen in de evaluatiemethoden: het is vaak onduidelijk of een aanval slaagt omdat de PII-verwijderingstekniek zwak is, of omdat de aanvalsmethode zelf data-lekkage vertoont (bijvoorbeeld doordat het aanvalsmodel de originele data al heeft gezien tijdens training of door gebruik van publiek bekende informatie). Dit leidt tot de vraag of PII-verwijdering in real-world scenario's daadwerkelijk privacy garandeert.

2. Methodologie

De auteurs hanteren een kritische, analytische benadering bestaande uit drie hoofdfasen:

1. Kritische Analyse van Bestaande Aanvallen:
   De auteurs onderzoeken recente werken (o.a. Nyffenegger et al., Patsakis & Lykousas, Lukas et al.) die claimen gesanitized teksten te kunnen reconstrueren. Ze identificeren drie vormen van "data lekkage" die de resultaten vertekenen:

   • Media-gerelateerde lekkage: Aanvallen die gebruikmaken van nieuwsartikelen die al publiek bekend zijn en de namen van betrokkenen bevatten.
   • Lekkage door publieke kennis: Aanvallen op bekende personen (bijv. beroemdheden op Wikipedia) waarbij de LLM de originele tekst al kent uit de pre-training data, waardoor het een patroonherkenningsopdracht wordt in plaats van een privacy-breuk.
   • Lekkage door memorisatie: Aanvallen waarbij het LLM is gefinetuned op de originele (niet-gesanitized) data, waardoor het de PII uit het geheugen haalt in plaats van deze te infereren uit de gesanitized tekst.

2. Ontwerp van een Geldige Aanvalsopstelling:
   De auteurs definiëren de voorwaarden voor een eerlijke evaluatie:

   • De verdediging moet een state-of-the-art tool zijn (bijv. Presidio).
   • De aanval moet een LLM zijn die geen toegang heeft tot de originele data of de specifieke documenten (zero-knowledge threat model).
   • De data moet "echt privé" zijn (niet in pre-training data van de LLM aanwezig).

3. Empirische Experimenten met Beperkte Data:
   Omdat toegang tot echte privédata voor publieke onderzoekers ethisch en juridisch onmogelijk is, voeren de auteurs twee kleine experimenten uit met data die onwaarschijnlijk in LLM-trainingdata voorkomt:

   • Dataset 1: Tsjechische gerechtelijke aankondigingen (oktober 2018) die online stonden maar snel verwijderd werden.
   • Dataset 2: Transcripten van recente YouTube-reisvlogs (augustus-oktober 2025), geproduceerd na de training van het gebruikte open-weight model (gpt-oss-120b).
   • Aanval: Ze maskeren PII met Presidio en laten het LLM de ontbrekende spannen reconstrueren op basis van contextuele hints.

3. Belangrijkste Bijdragen

• Identificatie van Methodologische Flaw: Het paper bewijst dat de evaluatie van bestaande PII-reconstructie-aanvallen fundamenteel flawed is door data-lekkage en data-contaminatie. De successcores zijn kunstmatig hoog.
• Het "Onoplosbare" Dilemma: De auteurs concluderen dat publieke onderzoekers PII-verwijdering niet op een transparante, reproduceerbare en betrouwbare manier kunnen testen zonder toegang tot echte, gevoelige data.
  • Publieke data is al gedesidentificeerd (geen ground truth).
  • Synthetische data (gegenereerd door LLMs) kan zelf data-lekkage bevatten uit de pre-training set van de genererende LLM en heeft vaak een andere verdeling dan menselijke data.
  • Echte privédata is ontoegankelijk vanwege privacywetgeving en ethische commissies (REB), die het gebruik van gelekte data voor onderzoek afwijzen.
• Noodzaak voor Formele Kaders: Het paper pleit voor de ontwikkeling van strikte, wiskundige threat-modellen (vergelijkbaar met cryptografie of differentieel privacy) om privacyrisico's te definiëren zonder afhankelijk te zijn van empirische tests die data-lekkage niet kunnen uitsluiten.

4. Resultaten van de Experimenten

De auteurs voerden een aanval uit op hun twee datasets met het model gpt-oss-120b:

• YouTube-transcripten (YT): De aanval slaagde in het exact reconstrueren van PII (binnen 3 gokken) in ongeveer 19% van de gevallen.
• Tsjechische gerechtelijke documenten (CZ): De succes率 was lager, ongeveer 5,5%.
• Analyse van de Fouten: De hoge successcores bleken grotendeels te wijten aan onvolledige PII-detectie door de verdedigingstool (Presidio).
  • Als één naam of locatie niet werd gemaskeerd, kon de LLM de rest van de context gebruiken om de andere gemaskeerde delen te raden (domino-effect).
  • In de YT-dataset werden vaak publieke figuren of bekende locaties (bijv. "New York", "Times Square") gereconstrueerd op basis van publieke kennis, niet op basis van de specifieke privacy-informatie van de vlogger.
  • In de CZ-dataset gaf het model vaak generieke namen (bijv. "Jan Novák") als gok, wat de statistische successcore kunstmatig verhoogt zonder dat de echte naam werd geraadpleegd.

5. Betekenis en Conclusie

Het paper concludeert dat we ons in een impasse bevinden:

1. Huidige beweringen dat PII-verwijdering onveilig is, zijn waarschijnlijk gebaseerd op slecht ontworpen experimenten.
2. Het is voor de publieke onderzoeksgemeenschap onmogelijk om de echte kwetsbaarheid van PII-verwijdering te bewijzen of te weerleggen zonder toegang tot data die niet in de pre-training van LLMs zit.
3. Zonder toegang tot deze data kunnen we geen betrouwbare, reproduceerbare resultaten publiceren die de privacyrisico's in de echte wereld kwantificeren.

Toekomstperspectief:
De auteurs suggereren dat de oplossing niet ligt in het verzamelen van meer data, maar in het ontwikkelen van formele theoretische kaders. Net zoals in de cryptografie, moet privacy voor tekstdata worden gedefinieerd door strikte axioma's over wat een aanvaller mag weten en wat de verdediging garandeert, in plaats van te vertrouwen op empirische "hacken" die altijd vatbaar zijn voor data-lekkage. Zolang dit formele kader ontbreekt, blijft de betrouwbaarheid van onderzoek naar PII-verwijdering beperkt.