Assessing Deanonymization Risks with Stylometry-Assisted LLM Agent

Probleemstelling

De snelle vooruitgang van Large Language Models (LLM's) en de ontwikkeling van geavanceerde AI-agenten hebben nieuwe privacyrisico's gecreëerd, specifiek op het gebied van ontmaskering (deanonymization) van tekstuele data. Waar traditionele methoden voor auteursherkenning (authorship attribution) vaak afhankelijk waren van handmatig ontworpen kenmerken en gesuperviseerde modellen, kunnen moderne LLM-agenten nu stilistische patronen impliciet coderen en gebruiken voor auteursidentificatie zonder expliciete training.

Dit vormt een ernstige bedreiging voor individuen die anonimiteit of pseudoniemen nodig hebben, zoals journalisten, klokkenluiders en onderzoekers in gevoelige gebieden. Het paper adresseert de urgentie om niet alleen deze risico's te kwantificeren, maar ook interpreteerbare verdedigingsmechanismen te ontwikkelen die de identificeerbaarheid van tekst verminderen zonder de inhoudelijke betekenis te verliezen.

Methodologie: Het SALA Framework

De auteurs introduceren een LLM-agent die is ontworpen om ontmaskeringsrisico's te evalueren en te mitigeren via een gestructureerde, vierstaps-pijplijn. Het kernconcept is SALA (Stylometry-Assisted LLM Analysis), een methode die kwantitatieve stilistische kenmerken combineert met redeneervermogen van LLM's.

De architectuur bestaat uit de volgende componenten:

1. Vierstaps-pijplijn:

   • Informatie-extractie: De agent analyseert het artikel om metadata te extraheren (publicatiedatum, onderwerp, geografische locatie) om de zoekrichting te bepalen.
   • Zoeken naar kandidaten: De agent gebruikt webzoekfuncties en interne kennis om een lijst met potentiële auteurs te genereren.
   • Kandidaat-matching: Hier wordt de SALA-methode toegepast. De agent vergelijkt het doelartikel met voorbeelden van kandidaat-auteurs.
   • Resultaatreflectie: De agent analyseert de matchresultaten om te bepalen welke specifieke stilistische kenmerken de identiteit hebben verraad.

2. SALA-methode (Stylometry-Assisted LLM Analysis):
   In plaats van alleen te vertrouwen op de "black box" van een LLM of puur op statische modellen, gebruikt SALA een hybride aanpak:

   • Kwantitatieve kenmerken: Er worden specifieke stilistische kenmerken geëxtraheerd met NLP-tools (zoals NLTK) en LLM-query's. Deze vallen onder vijf categorieën: lexicaal (bijv. uniek woordtelling, type-token ratio), syntactisch (bijv. zinslengte, stopwoorden), leesbaarheid, semantisch (polariteit, subjectiviteit) en algemene schrijfstijl.
   • Gestructureerde prompt: Deze numerieke en kwalitatieve kenmerken worden samengevoegd tot een gestructureerde beschrijving die als input dient voor de LLM. De LLM wordt gevraagd om de waarschijnlijkheid van eenzelfde auteur te beoordelen op basis van deze expliciete metrics. Dit verhoogt de nauwkeurigheid en interpreteerbaarheid en vermindert hallucinaties.

3. Database-module:
   Om schaalbaarheid en efficiëntie te verbeteren, integreert de agent een database met vooraf geaggregeerde auteursprofielen en schrijfstijl-voorbeelden. Dit elimineert de noodzaak om bij elke query opnieuw websearch te doen en zorgt voor robuustere profielen door het aggregeren van kenmerken over meerdere documenten.

4. Anonymization Enhancement Module (Mitigatie):
   Gebaseerd op de reflectiestap, genereert de agent geleide herschrijvingsprompts. Als de agent vaststelt dat een auteur identificeerbaar is door bijvoorbeeld specifieke zinsstructuren of domein-specifieke terminologie, worden gerichte aanpassingen voorgesteld (bijv. variatie in zinslengte, vervanging van signatuurwoorden). De agent fungeert hierbij zowel als aanvaller als adviseur.

Belangrijkste Bijdragen

1. Multi-tool Auteursinference Agent: Een LLM-agent die stilistische en semantische analyse combineert met externe zoekopdrachten om auteurs te identificeren.
2. Privacy-evaluatiekader: Een systeem dat de sterkte van auteurssignalen kwantificeert en uitlegt hoe deze tot stand zijn gekomen (interpreteerbaarheid).
3. Anonymity Enhancement Module: Een bewijsgebaseerd systeem dat aanbevelingen doet om identificeerbaarheid te verminderen via geleide herschrijving.
4. SALA-methode: Een nieuwe matching-strategie die de precisie van auteursherkenning verbetert door kwantitatieve stilometrie te integreren met LLM-redenering.

Resultaten

De experimenten zijn uitgevoerd op grote datasets met nieuwsartikelen (All the News 2.0 en CrossNews) in twee scenario's: Targeted Attack (zoeken naar een specifieke bekende auteur) en Open-World Attack (zoeken naar een auteur zonder voorafgaande kennis).

• Zoekprestaties: Zonder database (zero-shot) was de kans dat de echte auteur in de lijst van 20 kandidaten zat slechts 1,2%. Met de Database-module steeg dit naar 78,1% voor 20 kandidaten en 93,1% voor 100 kandidaten.
• Matching-prestaties (Targeted Attack):
  • SALA presteerde significant beter dan baselines zoals Embedding Similarity (ES) en LLM Direct Analysis (LDA).
  • Met een database en 500 voorbeeldartikels per kandidaat bereikte SALA een F1-score van 0,827, vergeleken met 0,699 voor LDA en 0,500 voor ES.
  • Lexicale, syntactische en stijlfactoren bleken de meest invloedrijke kenmerken voor herkenning.
• Open-World Attack: Hoewel de algehele prestaties lager waren (vanwege de complexiteit), bereikte SALA met database-ondersteuning een Top-3 nauwkeurigheid van 22,4% (gefilterd), wat aanzienlijk hoger is dan de baselines.
• Mitigatie-effectiviteit: De geleide herschrijvingsstrategie (Guided Recompose) bleek zeer effectief. In het targeted scenario daalde de succeskans van de aanval van 0,827 (zonder verdediging) naar 0,561, en in het open-world scenario van 0,156 naar 0,012. Simpele parafrase (zonder geleiding) was veel minder effectief.

Betekenis en Conclusie

Dit paper demonstreert dat LLM-agenten, versterkt met externe tools en databases, een aanzienlijk risico vormen voor de anonimiteit van tekstschrijvers. De auteurs tonen aan dat de combinatie van kwantitatieve stilometrie en LLM-redenering (SALA) de precisie van auteursherkenning aanzienlijk verbetert ten opzichte van bestaande methoden.

Cruciaal is dat het paper niet alleen het probleem blootlegt, maar ook een proactieve, interpreteerbare verdediging biedt. De "Guided Recomposition" strategie toont aan dat het mogelijk is om de identificeerbaarheid van tekst te reduceren door specifieke stilistische kenmerken aan te passen, terwijl de semantische inhoud behouden blijft. Dit onderstreept de noodzaak van verantwoorde AI-ontwikkeling en het implementeren van dergelijke verdedigingsmechanismen in een tijdperk van autonome AI-systemen.

Beperkingen: De huidige evaluatie is beperkt tot Engelstalige nieuwsartikelen. Toekomstig werk moet zich richten op diverse domeinen (sociale media, academisch schrijven) en talen, evenals op het verbeteren van de kwaliteit van de gegenereerde herschrijvingen.