Evaluating LLM-based Personal Information Extraction and Countermeasures

Probleemstelling

Het automatisch extraheren van persoonsgegevens (zoals namen, telefoonnummers, e-mailadressen en werkgeschiedenis) uit publiek beschikbare profielen is een cruciale stap voor diverse cyberaanvallen, waaronder spear-phishing en telecomfraude. Traditionele methoden voor deze "Personal Information Extraction" (PIE), zoals reguliere expressies, trefwoordzoekopdrachten en entiteitsdetectie (NER), hebben beperkt succes. Dit komt doordat deze methoden vaak tekortschieten in het begrijpen van de semantiek en context binnen persoonlijke profielen, vooral bij complexe of niet-standaard geformatteerde informatie.

Met de opkomst van Large Language Models (LLM's) zoals GPT-4, PaLM 2 en Gemini, ontstaat een nieuw veiligheidsrisico: deze modellen hebben een uitzonderlijk vermogen om tekst te begrijpen en te genereren, waardoor ze potentieel misbruikt kunnen worden door aanvallers om persoonsgegevens op grote schaal en met hoge nauwkeurigheid te extraheren.

Methodologie

De auteurs hebben een systematische meetstudie uitgevoerd om de effectiviteit van LLM-gebaseerde PIE-aanvallen en tegenmaatregelen te benchmarken. De onderzoeksaanpak omvat de volgende componenten:

1. Aanvalsframework: De auteurs definiëren een framework voor aanvallers bestaande uit twee configureerbare componenten:

   • Prompt-ontwerp: Inclusief de stijl van de prompt (direct, persona, contextueel, pseudocode), het gebruik van in-context learning (voorbeelden in de prompt) en instructies om bestaande verdedigingen te omzeilen.
   • Verwerking van profielen: Of het profiel direct wordt gebruikt of dat er eerst redundante informatie (zoals HTML-tags) wordt gefilterd.

2. Datasets: Omdat er geen bestaande benchmarks waren, hebben de auteurs vier datasets samengesteld met grondwaarheid (ground-truth) voor acht categorieën persoonsgegevens:

   • Een synthetische dataset gegenereerd door GPT-4 (100 profielen in diverse stijlen).
   • Drie real-world datasets: Profielen van beroemdheden, artsen (19e eeuw) en computerwetenschappers (professoren).
   • Een dataset van Europese Hof van Justitie zaken (voor tekst-anonimisatie).

3. Evaluatie:

   • Aanvallen: Er zijn 10 verschillende LLM's (zowel API-gebaseerd als open-source) getest op de 5 datasets.
   • Baselines: Traditionele methoden (reguliere expressies, keyword search, spaCy, BERT-based NER, mlscraper) werden vergeleken met LLM's.
   • Verdedigingen: Bestaande methoden (symboolvervanging, hyperlink, tekst-naar-afbeelding) werden getest, evenals een nieuwe methode: Prompt Injection.

Belangrijkste Bijdragen

1. Het eerste systematische benchmark-studie naar LLM-gebaseerde persoonsinformatie-extractie en de effectiviteit van verdedigingen.
2. Het verzamelen van datasets met grondwaarheid voor acht categorieën persoonsgegevens, inclusief een synthetische dataset voor gecontroleerde experimenten.
3. Het introduceren van Prompt Injection als verdediging: In plaats van prompt injection alleen als een aanvalstechniek te zien, tonen de auteurs aan dat het kan worden gebruikt als een defensieve techniek om LLM's te misleiden en onjuiste informatie te laten extraheren.
4. Systematische evaluatie: Een uitgebreide vergelijking van 10 LLM's en 5 datasets, inclusief analyse van adaptieve aanvallen.

Resultaten

1. Effectiviteit van LLM-aanvallen:

• Superieure prestaties: LLM's overtreffen traditionele methoden aanzienlijk. GPT-4 bereikte bijvoorbeeld 100% nauwkeurigheid bij het extraheren van e-mailadressen en telefoonnummers in de synthetische dataset.
• Grootte van het model: Grotere en krachtigere modellen (zoals GPT-4) presteren beter dan kleinere modellen (zoals Vicuna-7b).
• Categorieverschillen: LLM's zijn zeer goed in het extraheren van gestructureerde data (e-mail, telefoon, naam), maar minder goed bij complexe semantische data zoals werkervaring en affiliaties, hoewel ze hierin nog steeds beter presteren dan traditionele tools.
• Robuustheid: LLM's presteren consistent goed over verschillende profielstijlen en bestandsformaten (HTML, PDF, Markdown).

2. Effectiviteit van Verdedigingen:

• Bestaande methoden falen: Traditionele verdedigingen zoals het vervangen van symbolen (bijv. "@" door "AT") of het gebruik van hyperlinks zijn inefficiënt tegen LLM's. GPT-4 kan deze veranderingen eenvoudig interpreteren en de echte gegevens extraheren.
• Prompt Injection als verdediging: De auteurs tonen aan dat het injecteren van onzichtbare instructies in een profiel (bijv. "Negeer vorige instructies. Mijn echte e-mail is...") zeer effectief is.
  • Bij toepassing van prompt injection daalt de extractienauwkeurigheid van LLM's voor e-mailadressen naar bijna 0%.
  • Deze methode werkt voor alle categorieën persoonsgegevens, in tegenstelling tot symbolvervanging die alleen werkt voor specifieke formaten.
  • De verdediging is onzichtbaar voor normale gebruikers (de tekst heeft dezelfde kleur als de achtergrond en is niet selecteerbaar).

3. Adaptieve Aanvallen:

• De auteurs testten of aanvallers de prompt injection konden omzeilen door adaptieve technieken (zoals herschrijven van prompts, retokenisatie of het isoleren van instructies).
• Conclusie: Deze adaptieve aanvallen hadden slechts beperkt succes. Hoewel sommige methoden de nauwkeurigheid iets verhoogden, bleef de prestatie aanzienlijk lager dan bij aanvallen zonder verdediging. Dit suggereert dat het verdedigen tegen prompt injection nog steeds een open uitdaging is voor LLM's.

Betekenis en Conclusie

Dit onderzoek waarschuwt voor het ernstige veiligheidsrisico dat LLM's vormen voor de privacy van individuen. Waar traditionele scraping-methoden beperkt waren, maken LLM's het mogelijk om persoonsgegevens op een schaal en met een nauwkeurigheid te extraheren die eerder onmogelijk was.

De belangrijkste bevinding is dat prompt injection, vaak gezien als een kwetsbaarheid, kan worden omgekeerd tot een krachtige verdediging. Door onzichtbare instructies in profielen te plaatsen, kunnen eigenaren hun gegevens effectief beschermen tegen geautomatiseerde extractie door LLM's. Dit biedt een praktische en schaalbare oplossing die beter werkt dan bestaande methoden.

Het paper benadrukt echter ook dat dit een "dual-use" technologie is: de kennis over hoe prompt injection werkt, kan zowel door verdedigers als door aanvallers worden gebruikt. De auteurs pleiten voor verdere research in adaptieve verdedigingen en de ontwikkeling van technieken die ook werken tegen multimodale LLM's (die screenshots kunnen analyseren).