An Expanded Synthetic Conversation Dataset for Multi-Turn Smishing Detection

Technische Samenvatting: Een uitgebreide synthetische conversatiedataset voor multi-turn smishing-detectie

Probleemstelling
Conversationele sociale manipulatie-aanvallen (smishing) die gericht zijn op ouderen vormen een groeiende cyberbeveiligingsdreiging die zich ontvouwt over meerdere dialoogbeurten. In tegenstelling tot single-message phishing, vertrouwen deze aanvallen op geleidelijke vertrouwensopbouw, wat ze moeilijk detecteerbaar maakt met traditionele single-message classificators. Real-world data voor dergelijke interacties is schaars vanwege privacy- en ethische beperkingen. Het eerdere werk van de auteurs, COVA, introduceerde een synthetische dataset van 3.201 conversaties, maar onthulde een kritieke beperking: transformer-modellen (DistilBERT en Longformer) presteerden minder goed dan XGBoost met TF-IDF-kenmerken. Deze kloof werd toegeschreven aan input-truncatie die uitkomst-kritieke laatste beurten weggooide en onvoldoende trainingsdata voor effectieve transformer fine-tuning.

Methodologie: COVA-X Expansie en Kwaliteitslevenscyclus
Dit artikel presenteert COVA-X, een uitgebreide synthetische dataset met 10.985 multi-turn conversaties (een 3,43× toename ten opzichte van de originele versie), verspreid over acht op ouderen gerichte scam-categorieën (Romance, Government Impersonation, Medicare, Grandparent, Bank Impersonation, Virtual Kidnapping, Investment, en Lottery).

De generatie-pipeline maakte gebruik van Qwen 2.5 14B via Ollama op lokale GPU-hardware, waarbij twee onafhankelijke LLM-agenten (aanvaller en slachtoffer) werden ingezet. Belangrijkste methodologische verbeteringen ten opzichte van de eerste iteratie zijn:

• Profielexpansie: Introductie van vijf slachtofferprofielen per scam-type, inclusief twee "outcome-pinned" profielen (Carol voor quick_rejection, George voor scam_detected) om gedragsdiversiteit en signaalsterkte te waarborgen.
• Prompt Engineering Fixes: Implementatie van "Name Identity Lock" om karakterverwarring te voorkomen, "ABSOLUTE OUTPUT RULE" injecties om stage-direction bleed te onderdrukken, en herschrijvingen om "Grandparent-opener" contaminatie in niet-grandparent scams te elimineren.
• Architecturale Interventie voor Virtual Kidnapping: Om de hoge artefact-percentages in de "Virtual Kidnapping" categorie (die drie partijen omvat: de aanvaller, het slachtoffer en het gaslight/slachtoffer) aan te pakken, verschoven de auteurs van een twee-rol architectuur (waarbij de aanvaller de stem van het slachtoffer binnen zijn eigen beurt genereert) naar een drie-rol architectuur (Pad B). In Pad B is het slachtoffer een afzonderlijke agent met een eigen systeemprompt en beurt, die bij het JSON-schrijven weer in de beurt van de aanvaller wordt gevoegd.
• Kwaliteitslevenscyclus: Een uitgebreide pipeline inclusief contaminatie-scanning, stage-direction stripping, automatische herlabeling en een post-cleanup audit.

Belangrijkste Bijdragen

1. Dataset Expansie: De release van COVA-X (10.985 conversaties) met vijf slachtoffer/aanvaller profielen per categorie, wat de datascarcity aanpakt die eerder de transformer-prestaties belemmerde.
2. Documentatie van de Kwaliteitslevenscyclus: Een gekwantificeerde analyse van het datasetconstructieproces, die een 12,7× verbetering in label-correctieratio's laat zien (het verminderen van mismatches van 49,8% in de eerste iteratie naar 3,9%).
3. Architecturale Validatie: Bewijs dat de drie-rol interventie voor Virtual Kidnapping de artefact-flag rates verminderde van 67,1% naar 46,5%, waarbij het grootste deel van de reductie (20,4 procentpunten) werd toegeschreven aan de architecturale verandering in plaats van post-processing.
4. Modelvergelijking: Een hertraining van alle classificators (XGBoost, DistilBERT, Longformer) op de uitgebreide dataset om de hypothese te testen dat grotere corpora transformers in staat stellen hun contextuele voordelen te benutten.
5. Karakterisering van het Generatiemodel: Documentatie van specifieke capaciteitslimieten van Qwen 2.5 14B onder aanhoudende emotionele druk, inclusief het falen om structurele tags over te nemen, salience bias in prompt engineering (waar het vermelden van verboden patronen juist de voorkoming ervan verhoogde), en breuken in profiel-compliance.

Resultaten
Het hertrainen van de classificators op de schoongemaakte COVA-X dataset leverde de volgende resultaten op voor de 3-klasse uitkomstvoorspelling taak (complied, partial, rejected):

• Longformer (Full Context): Behaalde 79,71% accuratesse en 0,7786 macro F1.
• XGBoost + TF-IDF: Behaalde 78,43% accuratesse en 0,7563 macro F1.
• DistilBERT v2 (Tail Truncation): Behaalde 77,53% accuratesse en 0,7632 macro F1.

Belangrijkste Bevindingen:

• Hypothesebevestiging: Longformer overtrof XGBoost op alle metrieken voor de eerste keer, wat bevestigt dat transformer-modellen grotere conversationele corpora (>5.000 conversaties) vereisen om hun contextuele voordelen te realiseren. Longformer toonde een verbetering van 11,16 procentpunt in macro F1 vergeleken met het eerste paper, wat de 6,53 punt verbetering van XGBoost aanzienlijk overtrof.
• Cross-Architectuur Consistentie: Een pre/post-cleanup sensitiviteitsanalyse toonde aan dat alle drie de architecturen verbeterden op de schoongemaakte dataset. Dit suggereert dat de cleanup-pipeline genuante, label-relevante signalen heeft hersteld die toegankelijk zijn voor verschillende representatieve substraten (bag-of-words versus transformer embeddings).
• Per-Scam-Type Dynamiek: Uitkomstdistributies varieerden per scam-mechanisme. Virtual Kidnapping had de hoogste successful_scam rate (33%) door emotionele druk, terwijl Grandparent scams de hoogste verification_attempt rate hadden (63%). Medicare en Bank scams vertoonden hoge quick_rejection rates, wat publieke bewustwording reflecteert.

Betekenis en Claims
Het artikel claimt dat de centrale bevinding — de superioriteit van Longformer boven XGBoost op de uitgebreide dataset — direct de data-grootte hypothese uit het eerdere werk van de auteurs valideert. Verder betogen de auteurs dat de transparante documentatie van de iteratieve uitdagingen bij de constructie van synthetische datasets (inclusief de 12,7× verbetering in labels en de specifieke faalmodi van het generatiemodel) op zichzelf een methodologische bijdrage vormt. Dit biedt een praktisch stappenplan voor toekomstige synthetische dataset-inspanningen, waarbij benadrukt wordt dat pipeline-verfijningen en architecturale interventies (zoals de drie-rol generatie voor Virtual Kidnapping) cruciaal zijn voor de integriteit van de dataset.

De auteurs merken bescheiden de beperkingen op, waaronder het feit dat de dataset Engelstalig en US-gecentreerd is, het gebrek aan real-time incrementele classificatiecapaciteiten, en het voortbestaan van specifieke beperkingen van het generatiemodel (bijv. het onvermogen van Qwen 2.5 14B om consistent structurele tags te volgen onder emotionele druk), wat aanleiding geeft tot toekomstige model-vergelijkende studies.