VEXA: Evidence-Grounded and Persona-Adaptive Explanations for Scam Risk Sensemaking

Technische Samenvatting: VEXA – Bewijsgestuurde en Persoonlijkheidsadaptieve Uitleg voor het Begrip van Scamrisico's

Probleemstelling

Online scams via e-mail, SMS en sociale media zijn geëvolueerd tot een hardnekkige beveiligingsuitdaging, verergerd door generatieve AI die vloeiende, contextbewuste misleiding mogelijk maakt. Hoewel transformer-gebaseerde detectoren een hoge voorspellende nauwkeurigheid bereiken, blijven hun interne besluitvormingsprocessen ondoorzichtig voor niet-deskundige gebruikers. Bestaande technieken voor uitlegbare AI (XAI) (bijv. SHAP, LIME) bieden doorgaans token-niveau visualisaties die moeilijk te interpreteren zijn voor leken. Bovendien zijn Large Language Models (LLM's), hoewel ze in staat zijn tot het genereren van natuurlijke taal, vaak afhankelijk van parametrische kennis in plaats van het specifieke besluitvormingsproces van de detector, wat leidt tot "ongetrouwe" uitleg die ratio's kan fabriceren of een onjuist mentaal model van risico kan bevorderen. Daarnaast wijst onderzoek in de beveiligingspsychologie uit dat gebruikers variëren in hun risicoperceptie en informatieverwerkingsstijlen (bijv. op basis van persoonlijkheidskenmerken), terwijl huidige beveiligingsinterventies vaak monolithische, eenheidsmatige waarschuwingen leveren die er niet in slagen adaptieve ondersteuning te bieden aan diverse leerlingen.

Methodologie: Het VEXA-framework

De auteurs stellen VEXA voor (Vulnerability-aware and Evidence-grounded eXplanations with persona Adaptation), een systeembreed framework ontworpen om leerlinggerichte uitleg over scams te genereren die zowel getrouw is aan het detectiemodel als stilistisch aangepast is aan de kwetsbaarheidsprofielen van gebruikers. Het framework werkt via vier opeenvolgende stadia:

1. Scam Detectie: Een bevroren, BERT-gebaseerde classifier (specifiek DeBERTa-v3-base, geselecteerd vanwege de hoogste Macro F1) analyseert inkomende berichten van e-mail, SMS of SNS om een binaire scam-voorspelling te produceren.
2. XAI Bewijsextractie: Het systeem past GradientSHAP toe in de embedding-ruimte om saillante tokens te identificeren die bijdragen aan de voorspelling. Deze attributies worden geaggregeerd in woordniveau-scores, gefilterd om stopwoorden te verwijderen terwijl risico-relevante tokens (URL's, vermeldingen van valuta, nadrukkelijke interpunctie) behouden blijven, en vormen een compacte set bewijsfrases.
3. Persona Selectie: In plaats van individuele gebruikers te modelleren, maakt VEXA gebruik van door theorie geïnformeerde kwetsbaarheidspersoona's afgeleid van de Big Five persoonlijkheidskenmerken. Twee binaire persona's zijn gedefinieerd:
   • Hoge Kwetsbaarheid: Gekenmerkt door een hoge neuroticisme en een lage consciëntieusheid. Uitleg voor deze persona is ontworpen om kalmer, contextueler en ondersteunend te zijn.
   • Lage Kwetsbaarheid: Gekenmerkt door een hoge consciëntieusheid en een lage emotionele reactiviteit. Uitleg voor deze persona is beknopt, analytisch en legt de nadruk op expliciet bewijs.
     Deze persona's dienen als ontwerpconstructen om de toon en structuur te moduleren, niet om individueel gedrag te voorspellen.
4. LLM Uitleggeneratie: Een Large Language Model wordt geprompt met het originele bericht, de geëxtraheerde XAI-bewijslast en persona-specifieke instructies. De LLM vertaalt de door de detector afgeleide signalen naar toegankelijke natuurlijke taal, waarbij de output beperkt blijft tot het refereren aan het bewijs terwijl de stijl wordt aangepast volgens de gekozen persona.

Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

1. Bewijsgestuurd Framework: Een systeembreed benadering die ervoor zorgt dat uitleg getrouw blijft aan detectiemodellen door ze te funderen in model-afgeleid beslissingsbewijs over heterogene communicatiecontexten (e-mail, SMS, SNS).
2. Persona-gestuurde Adaptatie: Een demonstratie dat de uitlegstijl systematisch gemoduleerd kan worden met behulp van door theorie geïnformeerde kwetsbaarheidspersoona's om variabiliteit in gebruikersrisico-interpretatie te accommoderen, zonder dat daarvoor individuele gebruikersgegevens of gedragsvoorspelling vereist is.
3. Multi-kanaal Toepasbaarheid: Validatie van het framework over diverse scam-modaliteiten (SNS, SMS, e-mail), waarbij een consistente uitlegontwerp wordt aangetoond onder verschillende communicatiebeperkingen.
4. Ontwerpgestuurde Analyse: Een inkadering van risico-sensemaking als kritieke digitale geletterdheid, waarbij wordt geanalyseerd hoe bewijsgronding en persona-adaptatie beveiligingsuitleg vormgeven vanuit een systeemontwerpperspectief.

Experimentele Resultaten

De auteurs evalueerden VEXA met behulp van een multi-kanaal corpus van scam- en legitieme berichten, waarbij vier generatie-instellingen werden vergeleken: Pure LLM, LLM + XAI (neutraal), LLM + XAI + Hoge Kwetsbaarheid, en LLM + XAI + Lage Kwetsbaarheid.

• Getrouwheid (Faithfulness): Uitleg die gegronded is in XAI-bewijs (ongeacht de persona) behaalde hoge en consistente getrouwheidsscores (~0,745–0,749), wat de ongetemde baseline significant overtrof. Persona-conditionering verstoorde de incorporatie van saillante bewijs-tokens niet.
• Correctheid (Semantische Betrouwbaarheid): Het funderen van uitleg in bewijs verbeterde de semantische correctheid aanzienlijk (van 0,366 in de baseline naar 0,592 in de XAI-only conditie). Deze verbetering vond plaats zonder de linguïstische complexiteit te verhogen.
• Leesbaarheid (Stilistische Variatie): Persona-conditionering slaagde erin de oppervlakkige linguïstische complexiteit succesvol te moduleren. De Hoge Kwetsbaarheid persona produceerde uitleggen met lagere Flesch–Kincaid Grade Level (FKGL) scores (12,01), wat duidt op eenvoudigere, meer contextuele formuleringen. De Lage Kwetsbaarheid persona leverde hogere FKGL-scores op (14,39), wat reflecteert dat de taal beknopt en analytisch is. Cruciaal was dat deze stilistische verschuivingen de semantische betrouwbaarheid niet aantastten.
• Expert Evaluatie: Domeinexperts vonden de uitleggen plausibel en in lijn met praktijken voor de identificatie van scams in de echte wereld. Zij merkten op dat de door persona gedreven verschillen redelijk waren (ondersteunend versus analytisch) en dat het gronden in expliciete signalen de duidelijkheid verbeterde ten opzichte van generieke waarschuwingen. Experts suggereerden verdere verfijningen in het groeperen van gerelateerde indicatoren en het onderscheiden van promotionele claims van actie-prompts.

Betekenis en Claims

Het artikel beweert dat VEXA de haalbaarheid demonstreert van het genereren van persona-adaptieve, bewijsgestuurde uitleggen voor niet-formele beveiligingseducatie. Het centrale ontwerpinzicht dat naar voren komt, is dat bewijsgronding de semantische correctheid beheerst, wat garandeert dat de uitleg de werkelijke logica van het model weerspiegelt, terwijl persona-adaptatie opereert op het niveau van presentatie (stijl, toon, structuur) onder de randvoorwaarden van getrouwheid.

De auteurs stellen dat deze twee mechanismen geen concurrerende doelstellingen zijn, maar opereren op complementaire dimensies. Door de semantische inhoud (beperkt door bewijs) te ontkoppelen van de stilistische levering (gemoduleerd door persona), biedt het framework een principieel evenwicht tussen interpreteerbaarheid, personalisatie en betrouwbaarheid. Het werk biedt ontwerprichtlijnen voor betrouwbare beveiligingsuitleg die risico-sensemaking ondersteunt zonder dat invasieve gebruikersmodellering nodig is.

De auteurs blijven bescheiden over hun claims en erkennen dat de huidige evaluatie steunt op expertbeoordeling in plaats van menselijke subjectstudies die daadwerkelijk leren of gedragsuitkomsten meten. Zij merken op dat vereenvoudigde definities van persona's de volledige diversiteit van gebruikerservaringen mogelijk niet volledig vatten en dat toekomstig werk nodig is om de effecten in de echte wereld op de besluitvorming van gebruikers te beoordelen.