🤖 AI

Addressing Labelled Data Scarcity: Taxonomy-Agnostic Annotation of PII Values in HTTP Traffic using LLMs

Dit artikel stelt een meerstaps Large Language Model-pijplijn voor en evalueert deze die flexibele, taxonomie-onafhankelijke annotatie van persoonlijk identificeerbare informatie in HTTP-verkeer mogelijk maakt, dattekorten aanpakt door synthetisch verkeer te genereren en nauwkeurige detectie over uiteenlopende privacydefinities demonstreert.

Oorspronkelijke auteurs: Thomas Cory, Axel Küpper

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thomas Cory, Axel Küpper

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een privacyinspecteur bent voor een drukke stad. Je taak is om elke brief, elk pakket en elk digitaal bericht dat de stad verlaat, te controleren om ervoor te zorgen dat niemand per ongeluk geheime persoonlijke informatie (zoals huisadressen, telefoonnummers of medische dossiers) verstuurt. Deze geheime informatie wordt PII (Persoonsgegevens) genoemd.

Jarenlang hebben inspecteurs twee hoofdtools gebruikt:

Het Regelboek: Een stijve lijst met trefwoorden (zoals "e-mail" of "BSN"). Dit werkt goed voor simpele brieven, maar faalt wanneer mensen dingen op vreemde manieren schrijven of codes gebruiken.
De Getrainde Hond: Een machinelearningmodel dat is getraind op duizenden voorbeelden. Het is slim, maar het kent alleen de specifieke regels die het heeft geleerd. Als de regels veranderen (bijvoorbeeld: een nieuwe wet definieert "gezondheidsgegevens" anders), moet de hond vanaf nul opnieuw worden getraind, wat veel tijd kost en een enorme voorraad echte, geheime brieven vereist om te bestuderen.

Het Probleem: Echte geheime brieven zijn moeilijk te krijgen (vanwege privacywetten), en de regels voor wat als "geheim" telt, veranderen voortdurend. Dit laat inspecteurs achter met een tekort aan goede trainingsdata en tools die niet kunnen aanpassen.

De Nieuwe Oplossing: De "Super-Vertaler"

Dit artikel introduceert een nieuwe aanpak met behulp van Grote Taalmodellen (LLM's). Denk aan een LLM niet als een getrainde hond, maar als een super-slimme, flexibele vertaler die bijna alles in de bibliotheek heeft gelezen. Je hoeft deze vertaler niet te trainen op specifieke regels; je geeft ze gewoon het regelboek op dit moment (tijdens runtime), en ze kunnen het direct begrijpen.

Hier is hoe de auteurs hun systeem hebben gebouwd, met eenvoudige analogieën:

1. De Assemblagelijn (De Pipeline)

In plaats van de vertaler te vragen alles in één keer te doen, hebben de auteurs een drie-staps assemblagelijn gebouwd:

Stap 1: De Schoonmaker (Pre-processing): Voordat de vertaler het bericht ziet, maakt een machine het schoon. Het ontcijfert codes (zoals het omzetten van %20 terug in een spatie) zodat de vertaler een duidelijk, leesbaar zinnetje ziet.
Stap 2: De Detective en de Schrijver (Tweestapsannotatie):
- De Detective: Eerst kijkt de LLM naar het bericht en zegt: "Ik zie hier een telefoonnummer en een naam, maar geen medische dossiers." Het maakt een korte lijst van wat er gezocht moet worden.
- De Schrijver: Vervolgens richt een tweede ronde zich alleen op het vinden van de exacte tekst voor die specifieke items. Door de focus te verengen, raakt de Schrijver niet in de war door andere nummers of woorden.
Stap 3: De Redacteur (Review): Een laatste check kijkt naar het werk. Als de Schrijver een nummer heeft gemist of het verkeerde woord heeft gepakt, corrigeert de Redacteur het.

2. De "Valse Brief" Fabriek (Synthetische Data)

Omdat inspecteurs de geheime brieven van echte mensen niet kunnen gebruiken om hun tools te trainen, hebben de auteurs een Fabriek gebouwd die valse brieven maakt.

Deze fabriek neemt een regelboek (een taxonomie) en vraagt de LLM om realistisch ogende brieven te schrijven die specifieke geheimen bevatten (zoals "het telefoonnummer van Jan Jansen").
Cruciaal is dat de fabriek ook de antwoorden (de waarheid) opschrijft voor elke brief die hij maakt.
Waarom dit belangrijk is: Dit lost het "tekort"-probleem op. Je kunt direct duizenden oefenbrieven met perfecte antwoorden genereren, zonder ooit de privédata van een echt persoon aan te raken.

3. De Proefrit (Evaluatie)

De auteurs hebben dit systeem getest met drie verschillende "Regelboeken" (Taxonomieën):

AI4Privacy: Een brede lijst met gemeenschappelijke geheimen (namen, e-mails, ID's).
mHealth: Een specifieke lijst voor gezondheidsapps (levensvitaliteit, fitnessgegevens).
PlayStore: Een hoog niveau lijst die wordt gebruikt door appstores (bijvoorbeeld "Financiële Gegevens" of "Locatie").

De Resultaten:

Succes: Het systeem werkte ongelooflijk goed op de eerste twee regelboeken. Het kon een bericht lezen, kijken naar het specifieke regelboek dat die dag werd aangeboden, en de geheimen nauwkeurig vinden.
Uitdaging: Het had iets meer moeite met het "PlayStore"-regelboek. De auteurs leggen uit dat dit komt omdat dat regelboek zeer brede categorieën gebruikt (zoals "Financiële Gegevens") die moeilijker te koppelen zijn aan een specifiek woord in een bericht dan concrete dingen zoals "Telefoonnummer".
De "Redacteur"-Stap: Interessant genoeg maakte de laatste "Redacteur"-stap niet altijd dingen beter. Soms corrigeerde het fouten, maar op andere momenten introduceerde het nieuwe fouten. De auteurs suggereren dat dit misschien komt omdat de Redacteur dezelfde "hersenen" gebruikte als de Schrijver, waardoor het dezelfde soorten fouten maakte.

De Conclusie

Dit artikel bewijst dat je niet elke keer een machine opnieuw hoeft te trainen wanneer privacyregels veranderen. In plaats daarvan kun je een flexibele AI gebruiken die de regels onderweg leest.

Voor Inspecteurs: Je kunt regelboeken direct wisselen zonder je tools opnieuw te bouwen.
Voor Data-tekort: Je kunt je eigen oefendata (valse brieven) genereren om je tools te testen, zodat je niet de data van echte mensen hoeft te stelen.

De auteurs concluderen dat hoewel dit nog geen perfecte vervanging is voor lichte, snelle detectoren, het een krachtige tool is voor het creëren van hoogwaardige trainingsdata en voor het auditeren van systemen naarmate privacywetten evolueren. Zij suggereren dat de beste toekomstige weg is om deze flexibele AI te gebruiken om de data te creëren, en vervolgens kleinere, snellere machines te leren hoe ze de taak moeten uitvoeren.

Technische Samenvatting: Taxonomie-onafhankelijke Annotatie van PII-Waarden in HTTP-Traffic met LLM's

Probleemstelling

Geautomatiseerde privacyaudits van web- en mobiele applicaties vertrouwen steeds meer op het analyseren van uitgaand HTTP-verkeer om lekken van Persoonlijk Identificeerbare Informatie (PII) te detecteren. Echter, bestaande leer-gebaseerde detectoren staan voor twee kritieke beperkingen:

Data-schaarste: Ze zijn afhankelijk van hoogwaardige, handmatig gelabelde datasets, die arbeidsintensief zijn om aan te maken en moeilijk te onderhouden.
Taxonomie-rigiditeit: Deze modellen zijn strak gekoppeld aan vaste label-taxonomieën. Naarmate privacydefinities evolueren of verschillen tussen domeinen (bijv. AVG versus mHealth versus Play Store-beleidsregels), is hertraining vereist, en presteert de uitvoering vaak aanzienlijk slechter bij zelfs geringe wijzigingen in de taxonomie of dataverdeling.

Het artikel stelt dat Large Language Models (LLM's), als generalistische modellen die capable zijn van zero-shot of few-shot taakuitvoering zonder hertraining, een potentiële oplossing bieden om taxonomie-onafhankelijke annotatie van PII-waarden tijdens runtime mogelijk te maken.

Methodologie

De auteurs stellen een uitgebreid raamwerk voor dat bestaat uit twee hoofdcomponenten: een meerstaps annotatiepijplijn en een synthetische datagenerator.

1. Meerstaps Annotatiepijplijn
De pijplijn ontbindt de complexe taak van PII-detectie in gespecialiseerde subproblemen om de nauwkeurigheid te verbeteren en de variabiliteit van HTTP-verkeer te hanteren:

Deterministische Voorverwerking: HTTP-berichtlichamen worden genormaliseerd om coderingsvariabiliteit te mitigeren. Dit omvat URL-decodering (RFC 3986), het oplossen van HTML-tekensreferenties, en optionele applicatielaag-decodering (bijv. Base64) voor substrings die overeenkomen met specifieke syntactische patronen. Zowel de originele als de genormaliseerde representaties worden behouden voor traceerbaarheid.
Tweestaps Annotatie:
- Label-niveau Classificatie: Een LLM voorspelt de set PII-labels ( $L_m$ ) die expliciet in het bericht aanwezig zijn, in overeenstemming met een strikte "expliciet-waarde"-vereiste (geen inferentie vanuit lege sleutels).
- Instantie-niveau Extractie: Een tweede LLM voert gerichte Named Entity Recognition (NER) uit op het genormaliseerde lichaam, geconditioneerd op de voorspelde labels. Deze stap richt zich op grensdetectie en disambiguatie met behulp van contextuele aanwijzingen (sleutelnamen, waardenpatronen, structurele positie).
Post-annotatie Review: Een derde LLM-stap fungeert als reviewer, die de initiële annotaties verfijnt om foutieve negatieven, labelmismatches en grensfouten te corrigeren.
LLM-inferentie Harness: Om robuustheid te waarborgen, maakt de pijplijn gebruik van Retrieval-Augmented Generation (RAG) om taakrelevante voorbeelden (structureel en label-specifiek) in prompts in te voegen. Een deterministische validator-laag dwingt schema-conformiteit af en normaliseert label-output (bijv. het mappen van "E-mail" naar "Email") met behulp van cosinusgelijkenis tegen de doel-taxonomie.

2. Synthetische HTTP-berichtgenerator
Om de schaarste aan gelabelde data aan te pakken zonder echt gebruikersverkeer bloot te stellen, introduceren de auteurs een door taxonomie gedreven generator:

Scenario-generatie: De LLM creëert scenario-sjablonen (bijv. accountaanmaak, afrekenen) op basis van een verstrekte taxonomie.
Bericht-instantiatie: De LLM genereert concrete HTTP-verzoeken (en optioneel antwoorden) die expliciete PII-waarden bevatten.
Validatie: Een validatielaag zorgt voor structurele correctheid, taxonomie-conformiteit en ervoor dat alle geannoteerde waarden letterlijk in het gegenereerde payload voorkomen.
Dekking-tracking: Het systeem bewaakt de labeldekking om een diverse representatie over de taxonomie te waarborgen.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

C1 (Annotatiepijplijn): Een meerstaps, LLM-gebaseerde aanpak voor granulaire PII-identificatie in HTTP-payloads die runtime-schakeling van label-taxonomieën ondersteunt zonder hertraining.
C2 (Synthetische Generator): Een LLM-gebaseerd mechanisme voor het genereren van synthetisch HTTP-verkeer met ground-truth PII-annotaties, wat de afhankelijkheid van handmatige curatie voor verschuivende taxonomieën vermindert.
C3 (Evaluatie): Een uitgebreide evaluatie over drie verschillende taxonomieën (AI4Privacy, mHealth en PlayStore) die verschillende domeinen en granulariteitsniveaus bestrijken om flexibiliteit en prestaties te beoordelen.

Resultaten

De evaluatie gebruikte drie datasets afgeleid van de synthetische generator, opgesplitst in 80/20 voor evaluatie en RAG-exemplaren. De prestaties werden gemeten met behulp van Precisie, Recall en F1-scores op label- en instantieniveau.

Algemene Prestaties: De pijplijn behaalde sterke prestaties op de AI4Privacy (53 klassen) en mHealth (38 klassen) taxonomieën. Detectie op label-niveau was bijna plafond (F1 > 0,98) tijdens de classificatiestap, en extractie op instantie-niveau bleef hoog (F1 > 0,95).
Taxonomie-variatie: De prestaties waren lager op de PlayStore-taxonomie (38 klassen), die hogere, beleidsgerichte categorieën gebruikt. Dit suggereert dat de annotatie-moeilijkheid correleert met de semantische granulariteit van de taxonomie; brede categorieën zijn moeilijker te mappen naar specifieke payload-waarden dan concrete PII-types.
Architecturale Impact:
- De tweestaps configuratie (classificatie gevolgd door gerichte extractie) presteerde over het algemeen beter dan of gelijk aan single-stage annotatie op AI4Privacy en mHealth, voornamelijk door de recall op instantie-niveau te verbeteren.
- Op PlayStore verbeterde de tweestaps-aanpak de label-detectie, maar vertaalde zich niet in betere instantie-extractie, wat aangeeft dat ruis in classifier-output fouten kan voortplanten in complexe taxonomieën.
Review-stap: De review-stap bood beperkt netto-voordeel en degradeerde soms de prestaties. De auteurs suggereren dat dit komt doordat dezelfde model-familie werd gebruikt voor annotatie en review, wat mogelijk gedeelde aannames reproduceert in plaats van onafhankelijke correctie biedt.

Betekenis en Claims

Het artikel stelt dat LLM's een veelbelovende basis vormen voor flexibele, taxonomie-onafhankelijke traffic-annotatie. Belangrijkste inzichten zijn:

Haalbaarheid: LLM's kunnen expliciet overgedragen PII-waarden nauwkeurig identificeren en annoteren wanneer de taxonomie tijdens runtime wordt verstrekt, waardoor de noodzaak voor hertraining op nieuwe labelsets wordt geëlimineerd.
Datageneratie: Synthetisch HTTP-verkeer met ground-truth annotaties is een levensvatbaar substraat voor gecontroleerde evaluatie en few-shot prompting, wat de schaarste aan gelabelde real-world data mitigeert.
Beperkingen en Scope: De auteurs zijn bescheiden wat betreft de implementatie van deze aanpak als directe vervanging voor lichtgewicht productiedetectoren. Zij merken op dat:
- De prestaties sterk afhankelijk zijn van taxonomie-ontwerp en payload-structuur.
- Synthetische data, hoewel nuttig voor evaluatie, mogelijk niet de verdeling van real-world verkeer volledig vastlegt (bijv. obscuratie, malformed payloads).
- De huidige evaluatie beperkt is tot expliciet overgedragen waarden in request-lichamen, en headers, cookies en versleuteld verkeer uitsluit.
Toekomstpad: De auteurs stellen een hybride aanpak voor als de meest veelbelovende weg vooruit: het gebruik van LLM-gebaseerde annotatie om gelabelde datasets te creëren of te verfijnen onder evoluerende taxonomieën, en vervolgens deze annotaties te distilleren naar kleinere, discriminerende modellen voor high-throughput implementatie.