Towards Contextual Sensitive Data Detection

Dit paper introduceert een contextgevoelig raamwerk voor het detecteren van gevoelige data dat, door gebruik te maken van type- en domeincontext, de nauwkeurigheid aanzienlijk verbetert en de hoeveelheid vals-positieven verkleint ten opzichte van bestaande commerciële tools.

De kern

Stel je voor dat je een grote, open bibliotheek hebt waar iedereen gratis boeken mag lenen. Dit is heel mooi voor de kennis, maar er is een groot probleem: sommige boeken bevatten gevaarlijke geheimen, zoals de locatie van een ziekenhuis in een oorlogsgebied of de thuisadres van een kwetsbare persoon. Als je die boeken zomaar uitdeelt, kan het misgaan.

Deze paper is als het uitvinden van een slimme bibliothecaris die niet alleen naar de titel van het boek kijkt, maar echt begrijpt waarom een stukje informatie gevaarlijk kan zijn.

Hier is de uitleg in gewoon Nederlands, met een paar creatieve vergelijkingen:

Het oude probleem: De "Stompe" Scanner

Tot nu toe gebruikten computersystemen (zoals Google DLP of Microsoft Presidio) een heel simpele regel: "Als je een adres ziet, is het gevaarlijk. Als je een telefoonnummer ziet, is het gevaarlijk."

Dit is alsof je een metaaldetector op een vliegveld hebt die elk stuk metaal laat piepen.

• Het probleem: Een vork is metaal, maar dat is geen wapen. Een mes is metaal, dat is een wapen. De oude scanner piept bij alles.
• Gevolg: De scanner geeft te veel valse alarmen (piept bij onschuldige adressen van bedrijven) en mist soms echte gevaren omdat ze niet op de lijst staan.

De nieuwe oplossing: De "Slimme" Bibliothecaris

De auteurs van dit paper zeggen: "Nee, we moeten kijken naar de context." Een stukje data is pas gevaarlijk als je weet wie het heeft, waar het vandaan komt en wat er mee kan gebeuren.

Ze hebben twee slimme trucs bedacht:

1. Type Contextualisatie: "Kijk naar de hele tafel"

Stel je een eettafel voor met daarop een bord, een mes en een stukje kaas.

• Oude manier: "Er ligt een mes! Dat is gevaarlijk!" (En het bord wordt ook als gevaarlijk gezien omdat het op de tafel ligt).
• Nieuwe manier (Detecteer-Reflecteer):
  1. Detecteren: "Ah, ik zie een mes."
  2. Reflecteren: "Wacht even, wie zit er aan tafel? Is het een kind? Of is het een kok die net aan het koken is? En wat zit er op het bord?"
  • Als het een kok is die net een maaltijd bereidt, is het mes niet gevaarlijk in die context. Als het een mes is in een tas van een verdachte, is het wel gevaarlijk.

Wat levert dit op? De computer maakt veel minder fouten. Hij schreeuwt niet meer "Gevaar!" bij elk adres, maar kijkt of dat adres echt een privéwoning is of misschien een openbaar kantoor. In tests bleek dit systeem veel slimmer te zijn dan de oude tools: het mistte bijna niets (94% van de echte gevaren werd gevonden) en gaf veel minder valse alarmen.

2. Domein Contextualisatie: "Raadpleeg de Regels van de Wereld"

Soms is iets gevaarlijk niet omdat het een "persoonlijk" gegeven is, maar omdat het in een specifiek land of situatie gevaarlijk is.

• Voorbeeld: De coördinaten van een ziekenhuis.
  • In Nederland: "Geen probleem, dat is publieke info."
  • In een oorlogsgebied: "Gevaarlijk! Als vijandige troepen dit zien, bombarderen ze het ziekenhuis."

De oude scanner zag alleen "coördinaten" en dacht: "Oké, niet persoonlijk, dus veilig."
De nieuwe scanner gebruikt een tweede stap: Opzoeken en Detecteren.

1. Opzoeken: De computer kijkt naar de wereld om zich heen. "Waar komt deze data vandaan? Oh, dit komt uit Syrië. Ik moet even de regels voor Syrië opzoeken."
2. Detecteren: "Volgens de regels voor Syrië zijn ziekenhuislocaties verboden." -> Gevaar!

Dit werkt als een tolk die niet alleen de woorden vertaalt, maar ook de cultuur en de wetten van het land begrijpt waarin het gesprek plaatsvindt.

Wat hebben ze bewezen?

De auteurs hebben dit getest met echte data, inclusief hulpverleningsdata van de VN (voor rampen en vluchtelingen).

• Resultaat: Hun systeem werkt veel beter dan de huidige commerciële tools.
• Mensen: Menselijke experts (zoals hulpverleners) vonden de uitleg van de computer heel waardevol. De computer zegt niet alleen "Dit is gevaarlijk", maar legt ook uit: "Dit is gevaarlijk omdat het in dit land volgens regel X niet mag." Dit helpt mensen om sneller en beter te beslissen.

Conclusie in één zin

In plaats van blind te vertrouwen op lijsten met "gevaarlijke woorden", laat deze nieuwe methode de computer nadenken over de situatie en de wereld om de data heen, zodat we veilig data kunnen delen zonder dat we per ongeluk mensen in gevaar brengen.

Het is de overstap van een stompe metaaldetector naar een slimme, contextbewuste bewaker.

Technische samenvatting

Titel: Towards Contextual Sensitive Data Detection

Auteurs: Liang Telkamp en Madelon Hulsebos (Universiteit van Amsterdam en CWI)

---

1. Het Probleem

De opkomst van open data-portalen vereist betere bescherming van gevoelige data voordat datasets worden gepubliceerd. Bestaande methoden voor het detecteren van gevoelige data hebben twee fundamentele beperkingen:

1. Onvoldoende specificiteit (veel vals-positieven): Traditionele tools (zoals Google Cloud DLP en Microsoft Presidio) vertrouwen op statische patronen en typen (bijv. e-mailadressen, telefoonnummers). Ze behandelen elke waarde van een "gevoelig type" als gevoelig, zonder rekening te houden met de context. Dit leidt tot veel fouten; een adres kan bijvoorbeeld gevoelig zijn voor een persoon, maar niet voor een openbare organisatie.
2. Onvoldoende dekking (veel vals-negatieven): Bestaande methoden focussen bijna uitsluitend op Persoonlijk Identificeerbare Informatie (PII). Ze missen echter data die gevoelig is door domeinspecifieke factoren (bijv. locatiegegevens van ziekenhuizen in conflictgebieden of militaire logs), die niet noodzakelijk direct een persoon identificeren maar wel risico's kunnen opleveren.

De auteurs betogen dat gevoeligheid niet inherent is aan de data zelf, maar contextafhankelijk is.

2. Methodologie: Een Contextueel Kader

Het paper introduceert een raamwerk voor contextuele gevoelige data-detectie dat twee kernconcepten hanteert, elk ondersteund door een specifiek mechanisme:

A. Type-Contextualisatie (Type Contextualization)

• Doel: Het verfijnen van de detectie van PII door te kijken naar de bredere context binnen het document of de dataset.
• Mechanisme: "Detect-then-Reflect" (Detecteer-then-Reflecteer).
  1. Detectie: Een taalmodel (LLM) classificeert eerst of een kolom of waarde behoort tot een gevoelig type (bijv. "adres", "naam"). Dit zorgt voor hoge recall (alle potentiële kandidaten worden gevonden).
  2. Reflectie: Het model evalueert vervolgens de daadwerkelijke gevoeligheid van deze waarde binnen de context van de volledige tabel (bijv. kolomnamen, omringende waarden, tabeltitel). Hiermee worden vals-positieven gefilterd (bijv. een adres van een overheidsgebouw is niet gevoelig).
• Implementatie: Gebruik van LLM's (zoals GPT-4o-mini, Qwen, Gemma) die worden geprompt met kolomnamen en voorbeeldrijen om de context te begrijpen.

B. Domein-Contextualisatie (Domain Contextualization)

• Doel: Het detecteren van gevoelige data die afhankelijk is van externe, domeinspecifieke factoren (bijv. geopolitieke situaties, data-beleid).
• Mechanisme: "Retrieve-then-Detect" (Haal-then-Detecteer).
  1. Retrieval: Het systeem haalt relevante externe context op, zoals beleidsregels (Information Sharing Protocols - ISPs), geopolitieke nieuwsberichten of domeinrichtlijnen, gebaseerd op de geografie of het onderwerp van de dataset.
  2. Detectie: Het LLM beoordeelt de gevoeligheid van de data in combinatie met deze opgehaalde regels.
• Toepassing: Dit is cruciaal voor nichedomeinen zoals humanitaire hulp, waar data gevoelig kan zijn afhankelijk van de regio of het tijdstip, zelfs als er geen directe PII in staat.

3. Belangrijkste Bijdragen

1. Conceptueel Kader: Een herdefinitie van gevoelige data die uitgaat van context (interne documentcontext en externe domeincontext) in plaats van statische typen.
2. Nieuwe Mechanismen: De introductie van de "Detect-then-Reflect" en "Retrieve-then-Detect" pipelines die LLM's gebruiken om contextuele redenering toe te passen.
3. Open Source Implementatie: De auteurs hebben de code en geannoteerde datasets openbaar gemaakt (GitHub) om de community te ondersteunen.
4. Case Study: Een samenwerking met experts van het UN OCHA Humanitarian Data Centre om de methoden te valideren op real-world humanitaire data.

4. Resultaten

De experimenten zijn uitgevoerd op zowel synthetische als real-world tabulaire datasets (GitTables en Humanitarian Data Exchange).

• Type-Contextualisatie (PII-detectie):

  • De "Detect-then-Reflect" methode met LLM's presteert aanzienlijk beter dan bestaande tools (Google DLP, Presidio).
  • Recall: Bereikt 94% (tegenover 63% bij commerciële tools).
  • Precision: Wordt significant verbeterd (bijv. van 0,53 naar 0,94 bij GPT-4o-mini), wat betekent dat er veel minder vals-positieven zijn.
  • Het mechanisme corrigeert de naïeve aanname dat elk "gevoelig type" altijd gevoelig is.

• Domein-Contextualisatie (Humanitaire data):

  • Zonder externe context neigen modellen naar conservatisme (alle data als gevoelig markeren).
  • Met Retrieve-then-Detect (gebaseerd op ISP-regels) stijgt de precisie aanzienlijk (bijv. van 0,47 naar 0,69 bij GPT-4o-mini) terwijl de recall perfect (1,0) blijft.
  • Explainability: Het systeem genereert contextuele uitleggen die door humanitaire experts als zeer nuttig worden ervaren voor handmatige audits en standaardisatie.

• Efficiëntie:

  • Hoewel de contextuele methoden langzamer zijn dan statische regex-tools (bijv. 1,2s vs 0,16s per kolom voor GPT-4o-mini vs DLP), wordt dit ruimschoots gecompenseerd door de aanzienlijke toename in nauwkeurigheid. Kleinere modellen (zoals Qwen3 8B) bieden een goede balans tussen snelheid en prestatie.

5. Significantie en Conclusie

Dit onderzoek markeert een verschuiving van statische, regelgebaseerde databescherming naar een contextbewuste aanpak.

• Voor de praktijk: Het biedt een haalbare oplossing voor open data-portalen om gevoelige data te beschermen zonder nuttige data onnodig te blokkeren (verminderen van vals-positieven).
• Voor AI-veiligheid: Het helpt voorkomen dat gevoelige data onbedoeld in Large Language Models (LLMs) terechtkomt of wordt gereproduceerd.
• Toekomstperspectief: Hoewel de huidige evaluatie zich richt op tabulaire data, zijn de mechanismen extendeerbaar naar vrije tekst. De auteurs benadrukken de noodzaak van meer gelabelde datasets en de integratie van automatische remediatie (het automatisch oplossen van gevoeligheidsproblemen) als volgende stap.

Kortom, het paper toont aan dat het combineren van LLM's met contextuele redenering (zowel intern als extern) essentieel is voor een effectieve, schaalbare en ethisch verantwoorde databescherming in het tijdperk van open data.