Technische Samenvatting: FraudShield

Probleemstelling

Large Language Models (LLM's) worden steeds vaker geïntegreerd in kritieke besluitvormingsprocessen, zoals contractbeoordeling en ondersteuning bij sollicitatieprocedures. Ze blijven echter kwetsbaar voor online fraude, waarbij kwaadwillende actoren modellen manipuleren via complexe, meeslepende en meerderzetting-interacties om schadelijke uitkomsten te induceren (bijv. financieel verlies of datalekken).

Bestaande verdedigingsmechanismen kampen met aanzienlijke beperkingen op dit gebied:

• Gespecialiseerde Detectoren: Traditionele fraudedetectoren (bijv. Naive Bayes) vertrouwen op vaste patronen en missen het semantische begrip dat vereist is voor de evoluerende, complexe aard van LLM-interacties.
• Algemene Veiligheidsprompts: Methoden die zijn ontworpen voor algemene LLM-veiligheid (bijv. Safety Prompt, Self-Reminder, Goal Prioritization) zijn vaak ineffectief tegen fraude. Het artikel merkt op dat deze benaderingen, die gericht zijn op jailbreaking of prompt-injectie, soms het vermogen van een model kunnen verzwakken om frauduleuze tactieken te herkennen of er niet in slagen de onderliggende rationales van fraude te ontsluiten, wat leidt tot een gebrekkige interpreteerbaarheid en generaliseerbaarheid.

Methodologie: FraudShield

FraudShield is een nieuw, door kennisgrafen versterkt framework dat is ontworpen om LLM's te verdedigen tegen een breed scala aan fraude en phishing-induceringen. Het werkt via een vierstaps-pipeline die frauduleuze tactieken analyseert en de input van het model aanvult met gestructureerd bewijs.

1. Extractie van Fraudetactieken

Het framework categoriseert frauduleus gedrag in vier primaire tactieken op basis van gevestigde beschrijvingen:

• Urgentiedruk (Urgency Pressure): Tijdslimieten, angst en schaarstetactieken.
• Verdacht Informatie (Suspicious Information): Twijfelachtige URL's, domeinen en manipulatieve aanbiedingen.
• Gevoelige Verzoeken (Sensitive Requests): Verzoeken om gevoelige gegevens vermomd als verificatie.
• Geloofwaardigheidsclaims (Credibility Claims): Strategieën om vals vertrouwen te vestigen via autoriteit of plausibele narratieven.

De LLM wordt geprompt om trefwoorden ($k$) te extraheren die geassocieerd zijn met deze tactieken, waarbij aan elk een betrouwbaarheidsscore ($s$) en een rationale ($r$) wordt toegewezen.

2. Bipartiete Graaf-gebaseerde Tactic Associatie

Om problemen met trefwoordoverlap en conflicterende tactietoewijzingen aan te pakken, construeert FraudShield een gewogen bipartiete graaf:

• Knopen (Nodes): Eén set vertegenwoordigt trefwoordclusters (het groeperen van overlappende trefwoorden), en de andere de vooraf gedefinieerde fraudetactieken.
• Randen (Edges): Verbinden trefwoordclusters met tactieken op basis van gedetecteerd bewijs.
• Verfijning: De graaf ondergaat een tweestaps-verfijning:
  1. Snoeien (Pruning): Randen met betrouwbaarheidsscores onder een drempelwaarde ($\tau$) worden verwijderd om associaties met een lage betrouwbaarheid te elimineren en fout-positieven te verminderen.
  2. Conflictresolutie: Voor elk trefwoordcluster wordt alleen de rand met het maximale gewicht (hoogste betrouwbaarheid) behouden, waardoor de cluster aan de meest waarschijnlijke tactiek wordt toegewezen.

3. Bewijsselectie

Het systeem selecteert de meest significante ondersteunende rationale voor elke gedetecteerde tactiek. Voor elke tactiek wordt het trefwoord met de hoogste betrouwbaarheidsscore (boven de drempelwaarde) gekozen, en de bijbehorende rationale wordt het ondersteunende bewijs ($E$).

4. Diepgaande Analyse en Augmentatie

De laatste stap omvat het augmenteren van de originele inputtekst ($x$) om de LLM te sturen naar een veilige respons ($y$):

• XML-tagging: De originele tekst wordt verrijkt ($x'$) door gedetecteerde trefwoorden te omhullen met XML-stijl tags die overeenkomen met hun geïdentificeerde tactieken (bijv. <Suspicious Information>trefwoord</Suspicious Information>).
• Prompting: De LLM ontvangt de verrijkte tekst ($x'$) samen met het geselecteerde bewijs ($E$) als een rationale. Deze structuur benadrukt expliciet potentiële dreigingen en biedt de redenering achter de detectie, waardoor het model wordt begeleid bij het genereren van een veilige respons.

Belangrijkste Bijdragen

1. Eerste Uitgebreide Verdediging: Naar weten van de auteurs is dit het eerste werk dat LLM's verdedigt tegen een breed scala aan mogelijke fraudes in zowel single-turn als multi-turn interacties.
2. Nieuw Framework: De introductie van FraudShield, dat een graafgebaseerd verfijningsproces gebruikt om fraud gerelateerd bewijs systematisch te analyseren en te benadrukken, wat een effectieve, generaliseerbare en interpreteerbare verdediging biedt.
3. Empirische Validatie: Het framework is gevalideerd om LLM's effectief te verdedigen tegen diverse online fraudepogingen, terwijl de functionaliteit voor legitieme gebruikersinteracties behouden blijft.

Experimentele Resultaten

De auteurs hebben FraudShield geëvalueerd op de Fraud-R1 dataset (1.071 single-round en 1.071 multi-round interacties) over vijf fraudescenario's: Frauduleuze Dienstverlening, Impersonatie, Phishing Scams, Fake Job Posting en Online Relatie. Tests werden uitgevoerd op vier LLM's (GPT-4o-mini, GPT-o3-mini, Llama-3.1-8B, Qwen2.5-7B) in twee settings: Helpful Assistant en Role-play.

• Defense Success Rate (DSR): FraudShield presteerde aanzienlijk beter dan de baselines (Vanilla LM, Safety Prompt, Self-Reminder, Goal Prioritization).
  • Het verbeterde de gemiddelde DSR met 23,88% in Helpful Assistant-settings en met 47,17% in Role-play-settings vergeleken met de baselines.
  • In het scenario "Fake Job Posting", waar vanilla modellen een DSR hadden van onder de 4%, verhoogde FraudShield de prestaties naar tussen de 58% en 76%.
• Utiliteitsbehoud: In tegen tegenstelling tot sommige baselines (zoals Goal Prioritization) die de nauwkeurigheid bij legitieme taken verminderden, behield FraudShield een hoge nauwkeurigheid (ACC) op de MMLU-dataset, wat aantoont dat de impact op legitieme interacties minimaal is.
• Multi-Round Prestaties: FraudShield onderschepte fraude effectief in een vroeg stadium van meerderzetting-gesprekken, waarbij closed-source modellen bijna 100% DSR bereikten in de vierde ronde.
• Gebruikersstudie: Een studie met 200 deelnemers toonde aan dat 97% van de gebruikers scams correct kon identificeren wanneer trefwoorden door FraudShield werden gehighlight, vergeleken met 76% in de controlegroep. Meer dan 95% van hen die de scam identificeerden, gaf aan dat hun alertheid was toegenomen door de highlights.

Betekenis en Claims

Het artikel positioneert FraudShield als een cruciale vooruitgang in het beveiligen van LLM-gebaseerde applicaties. De betekenis ligt in:

• Interpreteerbaarheid: Door gebruik te maken van een kennisgraaf en XML-tagging, biedt het systeem duidelijke, actiegerichte aanwijzingen (trefwoorden en rationales) voor zowel het model als menselijke gebruikers, in tegen tegenstelling tot "black-box" verdedingsmethoden.
• Generaliseerbaarheid: Het is een training-vrij framework dat toepasbaar is op zowel open-source als closed-source modellen zonder fine-tuning te vereisen.
• Praktische Integratie: De auteurs beweren dat het framework naadloos kan worden geïntegreerd in messaging-apps, sociale platforms en transactiewebsites als een real-time waarschuwingssysteem.
• Human-in-the-Loop: De studie suggereert dat de graafgebaseerde strategie niet alleen het model beschermt, maar ook het vermogen van menselijke gebruikers versterkt om frauduleuze activiteiten te detecteren en erop te reageren.

De auteurs concluderen dat hoewel FraudShield de robuustheid aanzienlijk verbetert, er uitdagingen blijven bij het detecteren van zeer genuanceerde of subtiele fraude, wat toekomstig werk in contextueel redeneren noodzakelijk maakt. Ze pleiten ook voor verantwoorde AI-praktijken om misbruik van deze defensieve inzichten voor adversariële doeleinden te voorkomen.