An Expanded Synthetic Conversation Dataset for Multi-Turn Smishing Detection

Riepilogo Tecnico: Un dataset di conversazioni sintetiche espanso per il rilevamento del smishing multi-turno

Problema
Gli attacchi di ingegneria sociale conversazionale (smishing) che prendono di mira gli anziani rappresentano una crescente minaccia alla cybersicurezza che si sviluppa attraverso più turni di dialogo. A differenza del phishing a messaggio singolo, questi attacchi si basano su una costruzione graduale della fiducia, rendendoli difficili da rilevare con i tradizionali classificatori a messaggio singolo. I dati reali per tali interazioni sono scarsi a causa di vincoli di privacy ed etici. Il lavoro precedente degli autori, COVA, ha introdotto un dataset sintetico di 3.201 conversazioni, ma ha rivelato un limite critico: i modelli transformer (DistilBERT e Longformer) hanno ottenuto prestazioni inferiori rispetto a XGBoost con feature TF-IDF. Questo divario è stato attribuito alla troncamento dell'input che scarta i turni finali critici per l'esito e a un'insufficienza di dati di addestramento per un fine-tuning efficace dei transformer.

Metodologia: Espansione di COVA-X e Ciclo di Vita della Qualità
Questo articolo presenta COVA-X, un dataset sintetico espanso contenente 10.985 conversazioni multi-turno (un aumento di 3,43× rispetto all'originale), che copre otto categorie di truffe rivolte agli anziani (Romance, Imificazione di Autorità, Medicare, Nonno, Imificazione Bancaria, Rapimento Virtuale, Investimenti e Lotteria).

La pipeline di generazione ha utilizzato Qwen 2.5 14B tramite Ollama su hardware GPU locale, impiegando due agenti LLM indipendenti (attaccante e vittima). I miglioramenti metodologici chiave rispetto alla prima iterazione includono:

• Espansione dei Profili: Introduzione di cinque profili vittima per tipo di truffa, inclusi due profili "outcome-pinned" (Carol per quick_rejection, George per scam_detected) per garantire diversità comportamentale e forza del segnale.
• Correzioni nell'Ingegneria dei Prompt: Implementazione del "Name Identity Lock" per prevenire la mescolanza dei personaggi, iniezioni di "ABSOLUTE OUTPUT RULE" per sopprimere la dispersione delle indicazioni di scena (stage-direction bleed) e riscritture per eliminare la contaminazione da "apertura del nonno" (Grandparent-opener) nelle truffe non legate ai nonni.
• Intervento Architetturale per il Rapimento Virtuale: Per affrontare l'alto tasso di artefatti nella categoria "Rapimento Virtuale" (che coinvolge tre parti: attaccante, vittima e ostaggio), gli autori sono passati da un'architettura a due ruoli (l'attaccante che genera la voce dell'ostaggio all'interno del proprio turno) a un'architettura a tre ruoli (Percorso B). Nel Percorso B, l'ostaggio è un agente distinto con il proprio prompt di sistema e il proprio turno, riincorporato nel turno dell'attaccante al momento della scrittura del JSON.
• Ciclo di Vita della Qualità: Una pipeline completa che include scansione della contaminazione, rimozione delle indicazioni di scena, rilabeling automatizzato e un audit post-pulizia.

Contributi Chiave

1. Espansione del Dataset: Il rilascio di COVA-X (10.985 conversazioni) con cinque profili vittima/attaccante per categoria, affrontando la scarsità di dati che precedentemente aveva ostacolato le prestazioni dei transformer.
2. Documentazione del Ciclo di Vita della Qualità: Un'analisi quantificata del processo di costruzione del dataset, che dimostra un miglioramento di 12,7× nei tassi di correzione delle etichette (riducendo i disallineamenti dal 49,8% della prima iterazione al 3,9%).
3. Validazione Architetturale: L'evidenza che l'intervento a tre ruoli per il Rapimento Virtuale ha ridotto i tassi di flag degli artefatti dal 67,1% al 46,5%, con la maggior parte della riduzione (20,4 punti percentuali) attribuita al cambiamento architetturale piuttosto che alla post-elaborazione.
4. Confronto tra Modelli: Un riaddestramento di tutti i classificatori (XGBoost, DistilBERT, Longformer) sul dataset espanso per testare l'ipotesi che corpora più ampi permettano ai transformer di sfruttare i loro vantaggi contestuali.
5. Caratterizzazione del Modello di Generazione: Documentazione di specifici limiti di capacità di Qwen 2.5 14B sotto pressione emotiva sostenuta, inclusa l'incapacità di adottare tag strutturali, il bias di salienza nell'ingegneria dei prompt (dove l'elenco di pattern proibiti ne aumentava l'occorrenza) e il breakdown della conformità ai profili.

Risultati
Il riaddestramento dei classificatori sul dataset pulito COVA-X ha prodotto i seguenti risultati sul compito di predizione dell'esito a 3 classi (compliant, partial, rejected):

• Longformer (Full Context): Ha raggiunto il 79,71% di accuratezza e lo 0,7786 di macro F1.
• XGBoost + TF-IDF: Ha raggiunto il 78,43% di accuratezza e lo 0,7563 di macro F1.
• DistilBERT v2 (Tail Truncation): Ha raggiunto il 77,53% di accuratezza e lo 0,7632 di macro F1.

Risultati Chiave:

• Conferma dell'Ipotesi: Longformer ha superato XGBoost su tutte le metriche per la prima volta, confermando che i modelli transformer richiedono corpora conversazionali più ampi (>5.000 conversazioni) per realizzare i propri vantaggi contestuali. Longformer ha mostrato un miglioramento di 11,16 punti percentuali nel macro F1 rispetto al primo articolo, superando significativamente il miglioramento di 6,53 punti di XGBoost.
• Consistenza Cross-Architettura: Un'analisi di sensibilità pre/post-pulizia ha mostrato che tutte e tre le architetture sono migliorate sul dataset pulito. Ciò suggerisce che la pipeline di pulizia ha recuperato un segnale rilevante per l'etichetta accessibile attraverso diversi substrati rappresentativi (bag-of-words vs embedding dei transformer).
• Dinamiche per Tipo di Truffa: Le distribuzioni degli esiti variavano per meccanismo di truffa. Il Rapimento Virtuale aveva il tasso più alto di successful_scam (33%) dovuto alla pressione emotiva, mentre le truffe del Nonno avevano il tasso più alto di verification_attempt (63%). Le truffe Medicare e Bancarie hanno mostrato alti tassi di quick_rejection, riflettendo la consapevolezza pubblica.

Significatività e Rivendicazioni
L'articolo sostiene che il risultato centrale — la superiorità di Longformer su XGBoost sul dataset espanso — valida direttamente l'ipotesi sulla dimensione dei dati del lavoro precedente degli autori. Inoltre, gli autori sostengono che la documentazione trasparente delle sfide iterative nella costruzione di dataset sintetici (incluso il miglioramento di 12,7× delle etichette e i specifici modi di fallimento del modello di generazione) costituisce un contributo metodologico in sé. Ciò fornisce una tabella di marcia pratica per futuri sforzi su dataset sintetici, evidenziando che i raffinamenti della pipeline e gli interventi architetturali (come la generazione a tre ruoli per il Rapimento Virtuale) sono critici per l'integrità del dataset.

Gli autori notano modestamente i limiti, tra cui il fatto che il dataset sia solo in inglese e centrato sugli Stati Uniti, la mancanza di capacità di classificazione incrementale in tempo reale e la persistenza di specifici limiti del modello di generazione (ad esempio, l'incapacità di Qwen 2.5 14B di seguire costantemente i tag strutturali sotto pressione emotiva), che motivano futuri studi di confronto tra modelli.