A Multi-Turn Framework for Evaluating AI Misuse in Fraud and Cybercrime Scenarios

Probleemstelling

Er is een toenemende bezorgdheid dat kunstmatige intelligentie (AI), en specifiek Large Language Models (LLM's), wordt gebruikt om fraude en cybercriminaliteit te vergemakkelijken. Hoewel er gerapporteerd wordt over het gebruik van AI voor het creëren van valse identiteiten, het profileren van slachtoffers en het opzetten van geavanceerde phishingcampagnes, ontbreekt het aan systematisch bewijs over de mate waarin huidige modellen daadwerkelijk bruikbare informatie kunnen leveren voor complexe criminele activiteiten. Bestaande incidentrapporten specificeren zelden welke modellen werden gebruikt of hoe verdedigingsmechanismen presteerden. Het is moeilijk te kwantificeren hoe de toegang tot AI-producten de mogelijkheden voor criminelen verandert, vooral omdat criminele activiteiten vaak gericht zijn op het ontwijken van detectie en veelal via multi-turn (meerdere opeenvolgende) interacties verlopen, wat niet wordt gevangen door traditionele single-turn tests.

Methodologie

De auteurs hebben een nieuw evaluatiekader ontwikkeld, genaamd Long-Form Tasks (LFTs), om crimineel misbruik van AI systematisch te testen. Dit kader is ontworpen om realistische, multi-turn interacties na te bootsen die lijken op echte aanvalspijplijnen.

1. Ontwikkelingsproces (5-stappen):

• Model Functionaliteit Identificatie: Analyse van LLM-kenmerken zoals geavanceerd redeneren (voor langetermijnplanning) en geïntegreerde webzoekfuncties.
• Risicomodellering: Mapping van zes stadia van criminele levenscycli: planning, inlichtingenvergaring, vervalsing, engagement/uitvoering, ontwijking en schaalvergroting.
• Scenario-ontwikkeling: Selectie van drie veelvoorkomende fraude-scenario's gebaseerd op real-world impact:
  • Romance scams: Manipulatie van slachtoffers op datingplatforms.
  • CEO-impersonatie: Bedriegen van werknemers om geld over te maken.
  • Identiteitsdiefstal: Ongeautoriseerd gebruik van persoonsgegevens.
  • Elk scenario werd getest met drie types actoren (niet-technisch, technisch, en georganiseerde groepen).
• Prompt-ontwikkeling: Voor elk scenario werden 12 prompts gemaakt (2 per stadium). De prompts werden in twee varianten getest:
  • Malicious framing: Duidelijk schadelijke intentie.
  • Benign framing: Schijnbaar onschuldig taalgebruik (bijv. "onderzoek voor een presentatie") om de intentie te maskeren.
  • Er werden ook system-level jailbreaks getest (publiek en intern ontwikkeld).
• Rubric-ontwikkeling: Evaluatie van antwoorden op een 6-puntsschaal door twee dimensies:
  • Actionability: Kan het model direct bruikbare aanvalsmaterialen genereren?
  • Information Access: Verzamelt het model informatie die beter is dan een standaard webzoekopdracht?
  • Een geautomatiseerde beoordelaar (GPT-4.1) werd gebruikt, gevalideerd door menselijke experts.

2. Experimentele Opzet:

• Aantal Evaluaties: In totaal 20.088 evaluaties uitgevoerd op 14 verschillende LLM's (inclusief "uncensored" modellen die veiligheidsfilters zijn verwijderd).
• Statistische Analyse: Toepassing van Bayesiaanse geordende logistische regressie om de invloed van modelkeuze, fraude-type, actor-type, decompositiemethode en jailbreak-methoden te meten.

Belangrijkste Bijdragen

• Eerste Multi-Turn Framework: Dit is het eerste onderzoek dat criminele taken structureel test via lange, meervoudige dialogen in plaats van enkelvoudige prompts, wat realistischer is voor hoe criminelen AI daadwerkelijk gebruiken.
• Expert-Grounded Validatie: Het kader is ontwikkeld in samenwerking met wetshandhavingsinstanties en beleidsdeskundigen om ervoor te zorgen dat de scenario's en beoordelingscriteria realistisch zijn.
• Reproduceerbaarheid: Het biedt een reproduceerbare methode om de evolutie van risico's te volgen naarmate modellen capabeler worden.

Resultaten

De studie levert drie kernbevindingen op:

1. Beperkte Hulp bij Laag-Effort Elicitatie:

   • Huidige LLM's bieden minimale bruikbare informatie voor fraude en cybercrime zonder geavanceerde jailbreak-technieken.
   • 88,5% van de antwoorden scoorde laag op actionability (weigerde of gaf geen bruikbaar materiaal).
   • 67,5% van de antwoorden scoorde laag op information access (bood geen informatie die beter was dan een standaard webzoekopdracht).
   • Alleen "uncensored" modellen (veiligheidsfilters verwijderd) gaven aanzienlijk meer bruikbare informatie (22,5% hoog op actionability).

2. Invloed van Veiligheidsmaatregelen:

   • De keuze van het model was de belangrijkste factor. Modellen met sterke veiligheidsafstemming (safety-aligned) weigerden de meeste verzoeken.
   • Modellen met verwijderde veiligheidsfilters ("uncensored") leverden de meest bruikbare en actiegerichte antwoorden.

3. Effectiviteit van Decompositie (Benign Framing):

   • Het opsplitsen van een schadelijk verzoek in een reeks schijnbaar onschuldige vragen (benign decomposition) leidde tot meer hulp dan expliciet kwaadaardige framing of basis systeem-jailbreaks.
   • Bij "benign framing" waren de scores voor actionability gemiddeld 0,86 punten hoger en voor information access 1,20 punten hoger dan bij "malicious framing".
   • Dit effect was het sterkst bij technisch georiënteerde scenario's (zoals identiteitsdiefstal), waar modellen expliciete schadelijke verzoeken vaak weigerden, maar wel informatie gaven als het verzoek werd gepresenteerd als veiligheidsresearch.

4. Andere Factoren:

   • Actor-sophisticatie (technische vaardigheid van de aanvaller) had weinig invloed op de respons.
   • Redeneringstokens (Chain-of-Thought) leidden binnen redenerende modellen tot iets meer hulp, maar deze modellen gaven overall nog steeds beperkte hulp.
   • Webzoekfuncties leidden niet tot meer hulp; soms zelfs tot lagere scores, mogelijk door extra veiligheidsmaatregelen in zoek-varianten.

Betekenis en Conclusie

De studie concludeert dat huidige tekstgenererende modellen relatief weinig meerwaarde bieden voor fraude en cybercriminaliteit via informatieverschaffing, zolang er geen uitgebreide inspanning wordt gedaan om veiligheidsmaatregelen te omzeilen. De meeste modellen weigeren expliciete verzoeken effectief.

Echter, de bevinding dat multi-turn interacties met schijnbaar onschuldig taalgebruik (decompositie) tot meer compliance leiden, benadrukt een kritieke kwetsbaarheid. Criminelen kunnen deze techniek gebruiken om de drempel voor misbruik te verlagen. De auteurs waarschuwen dat naarmate modellen capabeler worden en tegenstanders zich aanpassen, de risico's kunnen toenemen. Het ontwikkelde kader biedt een robuuste, statistische basis om deze risico's in de toekomst te blijven monitoren en de effectiviteit van veiligheidsmaatregelen te testen.

Beperkingen: De studie testte slechts drie scenario's en concentreerde zich op tekst. Het testte geen geavanceerde, expert-level jailbreaks en geen multimodale (beeld/video) misbruikscenario's, wat in toekomstig onderzoek moet worden opgepakt.