HybridPII: A Tunable High-Recall Ensemble for Automated PII Detection and Privacy Risk Assessment in Compliance-Critical Applications

Technische Samenvatting: HybridPII – Een Afstembare High-Recall Ensemble voor Geautomatiseerde PII-detectie

Probleemstelling
De snelle accumulatie van tekstuele gegevens over verschillende domeinen heen creëert aanzienlijke privacyrisico's door de aanwezigheid van Persoonsgegevens (Personally Identifiable Information - PII). Hoewel regelgeving zoals de AVG (GDPR) en de Indiase DPDP Act strikte gegevensbescherming voorschrijft, kampen bestaande geautomatiseerde detectiemethoden met een dichotomie:

• Regelgebaseerde systemen (Regex): Bieden een hoge precisie voor gestructureerde gegevens (bijv. e-mails, creditcards) maar lijden onder een lage recall en slagen er niet in om contextuele PII (bijv. namen, adressen) te vangen.
• Modelgebaseerde systemen (NER/Transformers): Excelleren in contextueel begrip, maar worstelen vaak met out-of-vocabulary gestructureerde entiteiten en kunnen computationeel duur zijn.
• De Kloof: In nalevingskritische toepassingen is de kosten van een false negative (het missen van PII) aanzienlijk hoger dan die van een false positive. Huidige tools, inclusocief industriestandaarden zoals Microsoft's Presidio, geven vaak prioriteit aan gebalanceerde F1-scores boven de hoge recall die nodig is om privacybreuken te minimaliseren.

Methodologie
De auteurs stellen HybridPII voor, een configureerbare ensemble-model ontworpen om de recall te maximaliseren terwijl het afstembaar blijft voor specifieke nalevingsbehoeften. De systeemarchitectuur bestaat uit vier primaire modules:

1. Datageneratie: Een SyntheticPIIGenerator (met behulp van de Faker-bibliotheek) creëerde 100 realistische documenten over vier domeinen: Zakelijke e-mails, Medische dossiers, Financiële documenten en Juridische documenten. Een subset van 30 documenten werd gebruikt voor benchmarking.
2. Regex-gebaseerde Detector: Een RegexPIIDetector richt zich op gestructureerde PII met gecureerde patronen voor e-mails, telefoonnummers (US/Indiase formaten), Aadhaar, PAN, creditcards (met Luhn-validatie), SSN, datums, IP's en URL's.
3. Ensemble NER Detector: Een EnsembleNERDetector maakt gebruik van spaCy NER-modellen (en_core_web_sm en en_core_web_lg). Noot: Het artikel erkent een installatiefout met het en_core_web_lg-model, wat suggereert dat de gerapporteerde resultaten effectief leunen op het sm-model. Het hanteert een stemmechanisme waarbij de betrouwbaarheid de proportie is van modellen die een entiteit identificeren.
4. Hybrid Fusion Strategie: De kern HybridPIIDetector voegt de resultaten van beide detectoren samen:
   • Regex-resultaten krijgen prioriteit met een gewogen betrouwbaarheid (base_confidence * regex_weight, standaard 0.7).
   • NER-resultaten worden toegevoegd als ze nog niet gedetecteerd zijn, gewogen door ner_weight (standaard 0.3).
   • Een detect_with_filtering-methode maakt afstemming mogelijk op basis van een uiteindelijke betrouwbaarheidsdrempel.
5. Privacy Risico Analyzer: Een geïntegreerd framework (PrivacyRiskAnalyzer) kwantificeert de gevoeligheid van documenten door PII-typen gewichten toe te kennen (bijv. SSN=10, EMAIL=5), een genormaliseerde risicoscore te berekenen (0–100) en nalevingsrelevantie (GDPR, DPDP, HIPAA) te signaleren.

Belangrijkste Bijdragen

1. High-Recall Hybride Model: Een nieuw ensemble dat gewogen regex en NER combineert, en een baseline recall van 0.8324 bereikt.
2. Uitgebreide Benchmarking: Evaluatie tegen vier baselines: Regex-Only, NER-Only, een Transformer (BERT) NER-model, en de Presidio toolkit.
3. Afstembaarheid via Ablatieonderzoek: Demonstratie dat de precisie-recall trade-off geoptimaliseerd kan worden. Door een 0.30 betrouwbaarheidsdrempel toe te passen en een 70/30 of 50/50 gewichtsverdeling te gebruiken, bereikt het model een optimale F1-score van 0.6519, waarmee het de baseline Presidio F1-score van 0.6211 overtreft.
4. Risicokwantificatie Framework: Een geautomatiseerd systeem voor het scoren van privacyrisico's en het genereren van mitigatie-aanbevelingen die in lijn zijn met de regelgevende standaarden.

Experimentele Resultaten

• Superioriteit in Recall: Het hybride model behaalde de hoogste recall (0.8324) van alle geteste methoden, waarmee het significant presteert ten opzichte van Presidio (0.6768) en Regex-Only (0.4618). Dit bevestigt de effectiviteit bij het minimaliseren van gemiste PII.
• Precisie Trade-off: De hoge recall resulteerde in een lagere baseline precisie (0.4626). Het systeem produceerde 129 False Positives (gedomineerd door NER die "PAN" verkeerd classificeerde als een organisatie) tegenover slechts 23 False Negatives.
• Statistische Significantie: Gepaarde t-testen toonden aan dat de verbetering van het hybride model ten opzichte van NER-Only zeer significant was (p ≈ 0, Cohen's d = 1.03). Het verschil tussen de F1-scores van Hybrid en Regex-Only was niet statistisch significant (p = 0.9760).
• Optimalisatie: Het ablatieonderzoek toonde aan dat het afstemmen van de drempel naar 0.30 en het balanceren van gewichten (50/50 of 70/30) de beste F1-score opleverde (0.6519), waardoor het systeem competitief is met of superieur aan industriestandaarden in een gebalanceerde configuratie.
• Domeinprestaties: Het systeem slaagde erin hogere risicoscores toe te kennen aan de financiële (37.0) en medische (21.0) domeinen vergeleken met juridische en e-commerce domeinen, waarbij het correct gevoelige PII-typen zoals PAN en SSN identificeerde.

Betekenis en Claims
Het artikel claimt dat HybridPII de kritieke behoefte aan high-recall systemen in privacy-compliance adresseert, waarbij de straf voor het missen van gegevens zwaarder weegt dan de kosten van het markeren van niet-PII. De auteurs stellen dat hun systeem niet louter een high-recall specialist is, maar een afstembaar hulpmiddel dat kan worden aangepast om state-of-the-art F1-scores (0.6519) te bereiken die Presidio overtreffen. Bovendien tilt de integratie van een risicokwantificatie framework het instrument boven een eenvoudige detector uit naar een uitgebreide data governance oplossing.

Beperkingen en Toekomstig Werk
De auteurs erkennen nederig enkele beperkingen:

• Synthetische Data: Het vertrouwen op gegenereerde data kan de complexiteit van de echte wereld mogelijk niet volledig vatten.
• Taal: Het systeem is momenteel uitsluitend voor het Engels.
• Technische Beperkingen: De installatieproblemen met en_core_web_lg kunnen de potentiële prestatiewinst hebben onderdrukt.
• Scope: Het systeem detecteert expliciete vermeldingen van PII, maar niet geïnformeerde of impliciete gevoelige informatie.

Toekomstig werk richt zich op het verminderen van false positives via post-processing filters, het integreren van fine-tuned transformers, het toevoegen van meertalige ondersteuning en het valideren van het systeem op diverse real-world datasets.