An Expanded Synthetic Conversation Dataset for Multi-Turn Smishing Detection

Résumé Technique : Un ensemble de données de conversations synthétiques étendu pour la détection de smishing multi-tours

Énoncé du problème
Les attaques d'ingénierie sociale conversationnelles (smishing) ciblant les personnes âgées représentent une menace croissante pour la cybersécurité qui se déroule sur plusieurs tours de dialogue. Contrairement au phishing à message unique, ces attaques reposent sur une instauration progressive de la confiance, ce qui les rend difficiles à détecter avec les classificateurs traditionnels à message unique. Les données réelles pour de telles interactions sont rares en raison des contraintes de confidentialité et d'éthique. Les travaux antérieurs des auteurs, COVA, ont introduit un ensemble de données synthétiques de 3 201 conversations, mais ont révélé une limitation critique : les modèles transformer (DistilBERT et Longformer) ont sous-performé par rapport à XGBoost avec des caractéristiques TF-IDF. Cet écart a été attribué à la troncature des entrées, qui élimine les derniers tours critiques pour le résultat, et à l'insuffisance des données d'entraînement pour un ajustement efficace des transformers.

Méthodologie : Expansion de COVA-X et cycle de vie de la qualité
Le présent article présente COVA-X, un ensemble de données synthétiques étendu contenant 10 985 conversations multi-tours (une augmentation de 3,43× par rapport à l'original), couvrant huit catégories d'arnaques ciblant les seniors (Romance, Usurpation d'identité gouvernementale, Medicare, Grand-parent, Usurpation d'identité bancaire, Enlèvement virtuel, Investissement et Loterie).

Le pipeline de génération a utilisé Qwen 2.5 14B via Ollama sur du matériel GPU local, employant deux agents LLM indépendants (attaquant et victime). Les améliorations méthodologiques clés par rapport à la première itération incluent :

• Expansion des profils : Introduction de cinq profils de victimes par type d'arnaque, incluant deux profils « ancrés sur le résultat » (Carol pour quick_rejection, George pour scam_detected) afin d'assurer la diversité comportementale et la force du signal.
• Corrections de l'ingénierie de prompt : Mise en œuvre du « Name Identity Lock » pour empêcher le mélange de personnages, injections de « ABSOLUTE OUTPUT RULE » pour supprimer l'imprégnation des indications de scène, et réécritures pour éliminer la contamination par l'ouverture « Grandparent-opener » dans les arnaques non liées aux grands-parents.
• Intervention architecturale pour l'enlèvement virtuel : Pour remédier aux taux élevés d'artefacts dans la catégorie « Enlèvement virtuel » (qui implique trois parties : l'attaquant, la victime et l'otage), les auteurs sont passés d'une architecture à deux rôles (l'attaquant générant la voix de l'otage au sein de son propre tour) à une architecture à trois rôles (Chemin B). Dans le Chemin B, l'otage est un agent distinct avec son propre prompt système et son propre tour, réintégré dans le tour de l'attaquant lors de l'écriture JSON.
• Cycle de vie de la qualité : Un pipeline complet comprenant l'analyse de contamination, la suppression des indications de scène, le réétiquetage automatisé et un audit de nettoyage post-traitement.

Principales contributions

1. Expansion de l'ensemble de données : La publication de COVA-X (10 985 conversations) avec cinq profils de victimes/attaquants par catégorie, répondant à la rareté des données qui entravait auparavant la performance des transformers.
2. Documentation du cycle de vie de la qualité : Une analyse quantifiée du processus de construction de l'ensemble de données, démontrant une amélioration de 12,7× des taux de correction des étiquettes (réduisant les discordances de 49,8 % dans la première itération à 3,9 %).
3. Validation architecturale : Preuve que l'intervention à trois rôles pour l'enlèvement virtuel a réduit les taux de drapeaux d'artefacts de 67,1 % à 46,5 %, la majorité de la réduction (20,4 points de pourcentage) étant attribuée au changement architectural plutôt qu'au post-traitement.
4. Comparaison de modèles : Un réentraînement de tous les classificateurs (XGBoost, DistilBERT, Longformer) sur l'ensemble de données étendu pour tester l'hypothèse selon laquelle des corpus plus larges permettent aux transformers de tirer parti de leurs avantages contextuels.
5. Caractérisation du modèle de génération : Documentation des limites de capacité spécifiques de Qwen 2.5 14B sous une pression émotionnelle soutenue, incluant l'échec de l'adoption de balises structurelles, le biais de saillance dans l'ingénierie de prompt (où l'énumération de motifs interdits augmentait leur occurrence) et les ruptures de conformité des profils.

Résultats
Le réentraînement des classificateurs sur l'ensemble de données nettoyé de COVA-X a produit les résultats suivants pour la tâche de prédiction de résultat à 3 classes (complied, partial, rejected) :

• Longformer (Contexte complet) : A atteint 79,71 % de précision et 0,7786 de F1 macro.
• XGBoost + TF-IDF : A atteint 78,43 % de précision et 0,7563 de F1 macro.
• DistilBERT v2 (Troncature de queue) : A atteint 77,53 % de précision et 0,7632 de F1 macro.

Principales conclusions :

• Confirmation de l'hypothèse : Longformer a surpassé XGBoost sur tous les indicateurs pour la première fois, confirmant que les modèles transformer nécessitent des corpus conversationnels plus vastes (>5 000 conversations) pour réaliser leurs avantages contextuels. Longformer a montré une amélioration de 11,16 points de pourcentage du F1 macro par rapport au premier article, dépassant nettement l'amélioration de 6,53 points de XGBoost.
• Cohérence inter-architecturale : Une analyse de sensibilité pré/post-nettoyage a montré que les trois architectures se sont améliorées sur l'ensemble de données nettoyé. Cela suggère que le pipeline de nettoyage a récupéré un signal pertinent pour l'étiquetage accessible à travers différents substrats de représentation (sac de mots vs plongements de transformers).
• Dynamiques par type d'arnaque : Les distributions de résultats varient selon le mécanisme d'arnaque. L'enlèvement virtuel présente le taux de successful_scam le plus élevé (33 %) en raison de la pression émotionnelle, tandis que les arnaques aux grands-parents présentent le taux de verification_attempt le plus élevé (63 %). Les arnaques Medicare et bancaires affichent des taux de quick_rejection élevés, reflétant la sensibilisation du public.

Signification et affirmations
L'article affirme que la conclusion centrale — la supériorité de Longformer sur XGBoost sur l'ensemble de données étendu — valide directement l'hypothèse de la taille des données de l'œuvre antérieure des auteurs. De plus, les auteurs soutiennent que la documentation transparente des défis itératifs de la construction d'ensembles de données synthétiques (y compris l'amélioration de 12,7× des étiquettes et les modes de défaillance spécifiques du modèle de génération) constitue une contribution méthodologique en soi. Cela fournit une feuille de route pratique pour les futurs efforts d'ensembles de données synthétiques, soulignant que les raffinements du pipeline et les interventions architecturales (comme la génération à trois rôles pour l'enlèvement virtuel) sont critiques pour l'intégrité des données.

Les auteurs notent modestement des limitations, notamment le fait que l'ensemble de données est uniquement en anglais et centré sur les États-Unis, l'absence de capacités de classification incrémentielle en temps réel, et la persistance de limitations spécifiques du modèle de génération (par exemple, l'incapacité de Qwen 2.5 14B à suivre systématiquement les balises structurelles sous pression émotionnelle), ce qui motive de futures études de comparaison de modèles.