A Synthetic Conversational Smishing Dataset for Social Engineering Detection

Titolo: Un Dataset Conversazionale Smishing Sintetico per il Rilevamento dell'Ingegneria Sociale

1. Il Problema

Lo smishing (phishing via SMS) è una minaccia informatica in rapida crescita, che colpisce in modo sproporzionato gli anziani e le persone meno esperte digitalmente, causando ingenti perdite finanziarie. Sebbene la ricerca esistente si sia concentrata sulla classificazione di singoli messaggi come malevoli o benigni, questo approccio è insufficiente per rilevare gli attacchi moderni.
Gli aggressori utilizzano strategie di ingegneria sociale multi-fase (o "grooming"), dove costruiscono gradualmente la fiducia con la vittima attraverso scambi conversazionali estesi prima di richiedere informazioni sensibili o pagamenti.
Esiste un vuoto critico nella ricerca: mancano dataset pubblici che catturino queste interazioni conversazionali multi-turno. La raccolta di dati reali presenta sfide etiche, legali e di privacy, specialmente quando coinvolge popolazioni vulnerabili.

2. Metodologia: Il Framework COVA

Gli autori hanno sviluppato il framework COVA (Cognitive Operations Virtual Assistant), un processo in tre fasi per generare e analizzare dati sintetici:

• Fase 1: Generazione Conversazionale Multi-Agente

  • Invece di usare un singolo prompt, il sistema impiega due agenti LLM indipendenti: un agente attaccante e un agente vittima.
  • Attaccante: Configurato con un tipo di truffa, un personaggio (nome, ruolo, backstory), parametri tattici (urgenza, metodo di pagamento) e un livello di conoscenza della vittima (nessuna, parziale o completa).
  • Vittima: Parametrizzata con attributi demografici (età 65-85), tratti di personalità (fiducia, consapevolezza delle truffe) e un esito target.
  • Generazione: I turni di dialogo sono generati iterativamente, con ogni risposta condizionata alla storia completa della conversazione, simulando dinamiche realistiche di resistenza ed escalation.
  • Infrastruttura: Utilizzo di modelli locali (Qwen 2.5 14B via Ollama) per evitare restrizioni di sicurezza delle API commerciali e garantire la privacy dei dati.

• Fase 2: Assicurazione della Qualità dei Dati

  • Il dataset iniziale è stato generato con etichette automatiche, ma un audit ha rivelato un tasso di errore del 49,8%.
  • È stato sviluppato un pipeline di correzione (v2) basato su euristiche specifiche per il tipo di truffa e analisi dei turni finali.
  • Dopo la revisione, 1.594 conversazioni sono state rietichettate, migliorando significativamente la qualità.

• Fase 3: Valutazione dei Modelli di Rilevamento

  • Sono stati valutati 8 modelli su un dataset di 3.201 conversazioni:
    • Machine Learning Tradizionale: Regressione Logistica, Random Forest, SVM Lineare, XGBoost.
    • Architetture Transformer: DistilBERT e Longformer.
  • Feature: Confronto tra feature ingegnerizzate (28 metriche comportamentali e temporali) e rappresentazioni testuali TF-IDF (unigrammi e bigrammi).

3. Contributi Chiave

1. Dataset Sintetico Pubblico: Introduzione del primo dataset pubblico di 3.201 conversazioni multi-turno etichettate, focalizzato su 8 categorie di truffe che colpiscono gli anziani (es. truffa ai nonni, frode Medicare, sequestro virtuale, investimenti).
2. Framework di Generazione: Un approccio multi-agente che simula dinamiche realistiche di resistenza e compromissione, superando i limiti dei dataset statici a messaggio singolo.
3. Benchmark di Rilevamento: Stabilimento di linee di base (baseline) per la classificazione degli esiti delle conversazioni (Compliance, Parziale, Rifiuto) utilizzando sia modelli classici che transformer.
4. Analisi delle Performance: Dimostrazione empirica che, su dataset di questa scala, i modelli basati su TF-IDF superano i transformer, fornendo insight sui limiti attuali dei modelli linguistici contestuali.

4. Risultati Sperimentali

• Performance Migliore: Il modello XGBoost combinato con feature TF-IDF ha ottenuto le prestazioni migliori, raggiungendo un'accuratezza del 72,5% e un F1 Macro di 0,691.
• Confronto TF-IDF vs. Feature Ingegnerizzate: L'uso delle feature TF-IDF ha migliorato le prestazioni di XGBoost di 16 punti percentuali rispetto all'uso esclusivo di feature ingegnerizzate, evidenziando l'importanza dei segnali lessicali.
• Performance dei Transformer:
  • DistilBERT: Ha ottenuto il 69,8% di accuratezza. Le prestazioni sono state limitate dalla lunghezza massima di input (512 token), che ha causato la perdita di informazioni critiche presenti negli ultimi turni della conversazione.
  • Longformer: Con una capacità di 4.096 token (nessuna truncation), ha ottenuto il 69,8% di accuratezza, migliorando rispetto a DistilBERT ma rimanendo inferiore a XGBoost.
• Analisi degli Errori: La confusione principale si verifica tra le classi "Parziale" e "Rifiuto", poiché le vittime che rifiutano dopo un lungo coinvolgimento producono pattern lessicali simili a quelli che non si impegnano mai completamente.
• Limitazioni dei Transformer: L'analisi indica che le prestazioni inferiori dei transformer sono dovute a due fattori: la truncation dell'input (per modelli più piccoli) e la dimensione limitata del dataset di training (2.556 conversazioni), che porta a overfitting e impedisce un fine-tuning efficace.

5. Significato e Implicazioni

Questo lavoro è fondamentale per la difesa contro l'ingegneria sociale per diversi motivi:

• Riempie un Gap Critico: Fornisce una risorsa essenziale per la ricerca sul rilevamento di truffe conversazionali, un'area precedentemente ostacolata dalla mancanza di dati.
• Insight Tecnico: Smentisce l'assunzione comune che i modelli transformer siano sempre superiori; in contesti con dati limitati e conversazioni lunghe, i metodi basati su TF-IDF possono essere più efficaci ed efficienti.
• Scalabilità e Privacy: Dimostra che la generazione sintetica controllata è una soluzione praticabile ed etica per creare dataset di addestramento su scenari di frode sensibili senza violare la privacy delle vittime reali.
• Futuro della Ricerca: Stabilisce una base solida per lo sviluppo di sistemi di rilevamento in tempo reale e suggerisce che l'espansione del dataset (oltre 10.000 conversazioni) potrebbe essere necessaria per sbloccare il pieno potenziale dei modelli linguistici avanzati.

In sintesi, il paper introduce un nuovo standard per la ricerca sullo smishing conversazionale, fornendo dati, strumenti e baseline che permettono di passare dalla rilevazione di singoli messaggi alla comprensione delle dinamiche complesse delle truffe multi-turno.