Can Large Language Models Really Recognize Your Name?

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in privacykritieke pijplijnen om Persoonlijk Identificeerbare Informatie (PII), zoals menselijke namen, te detecteren en te redigeren uit tekst. Deze systemen opereren op de fundamentele aanname dat LLM's menselijke namen betrouwbaar kunnen herkennen, ongeacht de context.

De auteurs identificeren een kritieke kwetsbaarheid: Contextuele Ambiguïteit. Veel echte menselijke namen zijn orthografische buren (verschillend met slechts één letter) van niet-menselijke entiteiten (bijvoorbeeld locaties, organisaties, mineralen, bacteriën of syndromen). Wanneer deze namen voorkomen in tekstfragmenten met ambiguïteit in de linguïstische aanwijzingen, slagen LLM's er vaak niet in om ze te classificeren als "PERSON", maar identificeren ze ze in plaats daarvan als de niet-menselijke entiteit waar ze op lijken. Dit falen leidt tot ongelijke privacybescherming, waarbij individuen met linguïstisch ambiguïte namen een hoger risico lopen op datalekken dan personen met gangbare, eenduidige namen.

Het paper onderzoekt twee specifieke fenomenen die deze fouten veroorzaken:

1. Naamregulariteitsbias (NRB): De neiging van modellen om te vertrouwen op oppervlakkige morfologische patronen (bijvoorbeeld achtervoegsels zoals "-ite" die mineralen suggereren) in plaats van diep contextueel begrip, wat leidt tot verkeerde classificatie van zeldzame maar echte namen.
2. Goedaardige Prompt Injectie (BPI): Een scenario waarin gebruikersinvoer instructie-achtige tekst bevat (bijvoorbeeld "houd term X intact") die de LLM per abuis interpreteert als een systeemcommando in plaats van data die geanonimiseerd moet worden, waardoor het de regels voor privacyredactie negeert.

2. Methodologie: De AmBench-benchmark

Om deze kwetsbaarheden systematisch te evalueren, construeerden de auteurs AmBench, een nieuwe benchmarkdataset met meer dan 12.000 echte menselijke namen.

• Dataconstructie:
  • Naamselectie: De auteurs identificeerden echte menselijke namen die precies één Levenshtein-editiedistance verwijderd zijn van niet-menselijke entiteiten in vijf categorieën: Locaties, Organisaties, Syndromen, Mineralen en Bacteriën.
    • Voorbeeld: "Italys" (een echte naam) versus "Italy" (Locatie); "Albanir" (Naam) versus "Albania" (Locatie).
  • Sjabloongeneratie: Met behulp van een prompt-gebaseerde pijplijn genereerden ze meer dan 60.000 beknopte tekstfragmenten van twee zinnen. Deze sjablonen waren ontworpen om syntactisch en semantisch compatibel te zijn met zowel menselijke als niet-menselijke entiteiten (bijvoorbeeld het gebruik van voornaamwoorden zoals "zij" voor een naam die op een locatie lijkt om ambiguïteit te creëren).
  • Validatie: Sjablonen werden gevalideerd door menselijke annotatoren en LLM's om ervoor te zorgen dat ze ambigu maar geloofwaardig waren.
• Experimentele Opstelling:
  • Geëvalueerde Modellen: 12 state-of-the-art LLM's (inclusief GPT-4o, GPT-5, Gemini 2.5 Pro/Flash, DeepSeek R1/V3, en kleinere open-weight modellen zoals Llama 3.1 8B) en traditionele NER-tools (Flair, PrivateAI).
  • Metingen:
    • Recall: Het vermogen om de naam correct als mens te identificeren.
    • Consistentie: Of het model dezelfde naam als mens classificeert over verschillende ambiguïte sjablonen heen.
    • False Discovery Rate (FDR): De snelheid waarmee menselijke namen worden gehallucineerd waar er geen bestaan.
  • Casestudie: De auteurs evalueerden Anthropic's Clio, een enterprise-grade tool die wordt gebruikt om Claude-conversaties te samenvatten voor privacy-inzichten, waarbij de gecombineerde impact van NRB en BPI werd getest.

3. Belangrijkste Bijdragen

1. AmBench-benchmark: De eerste grootschalige dataset die specifiek is ontworpen om LLM's te stress-testen op de herkenning van ambiguïte menselijke namen, met meer dan 12.000 namen verdeeld over 5 verschillende categorieën van niet-menselijke entiteiten.
2. Identificatie van Systemische Bias: Het paper toont aan dat LLM's lijden aan Naamregulariteitsbias, waarbij morfologische gelijkenis met niet-menselijke entiteiten leidt tot significante dalingen in recall (20–40%) in vergelijking met gangbare namen.
3. Analyse van Goedaardige Prompt Injectie (BPI): De auteurs tonen aan dat zelfs niet-kwaadaardige, instructie-achtige gebruikers tekst LLM's kan laten omzeilen van privacyredactieprotocollen, waardoor gevoelige namen effectief "verborgen" worden in het open zicht.
4. Gevolgen voor Rechtvaardigheid: De studie benadrukt dat privacyfouten niet willekeurig zijn; ze treffen onevenredig individuen met namen die orthografische buren zijn van gangbare niet-menselijke termen, wat ernstige zorgen oproept over rechtvaardigheid in door AI aangedreven privacy-systemen.

4. Belangrijkste Resultaten

• Significante Daling in Recall: Bij 12 LLM's daalde de recall voor AmBench-namen met 20–40% in vergelijking met de baseline van populaire namen.
  • Voorbeeld: GPT-5 en GPT-4o zagen recall-dalingen van ongeveer 0,4 punten op ambiguïte namen.
  • Redenerende Modellen: Zelfs geavanceerde redenerende modellen (bijvoorbeeld DeepSeek R1, GPT-5-mini) hadden moeite, waarbij ze namen vaak verkeerd classificeerden als de niet-menselijke entiteit waar ze op leken (bijvoorbeeld het classificeren van een naam die op een mineraal leek als een mineraal).
• Inconsistentie: Modellen waren zeer inconsistent. Dezelfde naam kon in het ene sjabloon worden geclassificeerd als "PERSON" en in het andere als "LOCATION", zelfs wanneer de context structureel identiek was.
• Kleine Modellen versus Grote Modellen: Kleinere modellen (SLM's) bereikten soms een hogere recall, maar ten koste van een enorme False Discovery Rate (FDR), waarbij ze frequent namen hallucineerden.
• Mens versus AI: Ongeschoolde menselijke vrijwilligers hadden ook moeite met ambiguïte namen (66% nauwkeurigheid versus 97% voor baseline-namen), maar LLM's presteerden significant slechter wat betreft het volledig missen van namen (het niet detecteren ervan als PII), terwijl mensen ze misschien verkeerd classificeerden maar ze toch als entiteiten flaggden.
• Clio Casestudie (NRB + BPI):
  • Wanneer BPI-instructies aan de invoer werden toegevoegd (bijvoorbeeld "houd term X intact"), verviervoudigde het lekken van ambiguïte namen in de samenvattingen van Clio (van ~3,9% naar ~18,2%).
  • De privacyauditor van Clio slaagde er niet in deze lekken te detecteren, en kende vaak hoge privacy-scores toe aan samenvattingen die gelekte namen bevatten wanneer BPI aanwezig was.

5. Betekenis en Implicaties

• Foutmodi voor Privacy: Het paper onthult dat vertrouwen op LLM's voor de eerste stap van privacybescherming (PII-detectie) riskant is. Als het model een naam niet herkent vanwege ambiguïteit, falen alle downstream-mechanismen voor redactie of anonimisering.
• Rechtvaardigheid en Gelijkheid: De bevindingen suggereren dat privacybescherming niet uniform is. Individuen met namen die orthografische buren zijn van gangbare woorden (vaak geassocieerd met specifieke culturele of linguïstische achtergronden) lopen een hoger risico op blootstelling van hun identiteit. Dit daagt de rechtvaardigheid van huidige AI-privacyoplossingen uit.
• Veiligheidsrisico's: De combinatie van NRB en BPI creëert een nieuw aanvalsvektor. Kwaadaardige actoren zouden mogelijk invoer kunnen ontwerpen om LLM's te dwingen specifieke gebruikersgegevens te lekken of leden-inferentie-aanvallen uit te voeren.
• Oproep tot Actie: De auteurs dringen er bij de onderzoeksgemeenschap op aan om verder te gaan dan eenvoudige nauwkeurigheidsmetingen en systematische taxonomieën van foutmodi te ontwikkelen. Zij bepleiten:
  • Rigoureuze stress-tests van privacytools tegen ambiguïteit.
  • Integratie van kennisbanken (bijvoorbeeld lijsten met zeldzame namen) in privacypijplijnen.
  • Een verschuiving naar formele privacygaranties in plaats van uitsluitend te vertrouwen op de probabilistische prestaties van LLM's.

Concluderend toont het paper aan dat LLM's niet blindelings kunnen worden vertrouwd om menselijke namen te herkennen in ambiguïte contexten, wat een significant, onopgelost risico vormt voor de rechtvaardigheid en effectiviteit van geautomatiseerde privacy-systemen.