User-Centric Phishing Detection: A RAG and LLM-Based Approach

Sintesi Tecnica: Rilevamento del Phishing Centrato sull'Utente tramite RAG e LLM

Problematica
Il documento affronta la crescente sofisticazione delle email di phishing, che riescono sempre più frequentemente a eludere i filtri tradizionali basati su regole e i convenzionali rilevatori di machine learning. Sebbene i Large Language Models (LLM) offrano capacità superiori di comprensione del linguaggio naturale e di analisi semantica, la loro applicazione come classificatori autonomi per la sicurezza delle email presenta un difetto critico: elevati tassi di falsi positivi (FP). I sistemi basati su LLM generici spesso etichettano erroneamente email legittime come phishing quando queste deviano dai pattern generali, anche se sono in linea con la cronologia comunicativa di un utente specifico. Questa mancanza di contesto specifico per l'utente crea un significativo onere operativo, generando eccessivi falsi allarmi e non riuscendo a distinguere tra contenuti universalmente malevoli e comunicazioni insolite ma legittime per singoli utenti.

Metodologia
Gli autori propongono un framework di rilevamento del phishing personalizzato che integra la Retrieval-Augmented Generation (RAG) con LLM open-source. Il sistema opera attraverso una pipeline a sei stadi progettata per ancorare le decisioni del modello al contesto specifico dell'utente e all'intelligence sulle minacce in tempo reale:

1. Pre-elaborazione dei dati: I corpora di email grezze vengono trasformati in una base di conoscenza strutturata attraverso validazione, normalizzazione (gestione di varie codifiche come UTF-8, Latin-1), estrazione delle caratteristiche (oggetto, mittente, corpo) e rimozione degli header.
2. Embedding Semantico e Costruzione dei Vettori: Il contenuto testuale viene proiettato in uno spazio vettoriale continuo utilizzando il transformer all-MiniLM-L6-v2. Questi embedding sono L2-normalizzati e indicizzati in un database vettoriale FAISS per facilitare una ricerca efficiente dei vicini più prossimi approssimati tramite similarità del coseno.
3. Ritirata a Doppio Contesto (Dual-Context Retrieval):
   • Cronologia Specifica dell'Utente: Per una query email in arrivo, il sistema recupera le top-$k$ (impostate a 5) email legittime semanticamente simili dal corpus storico dell'utente. Ciò fornisce all'LLM esempi concreti dei pattern di comunicazione normali dell'utente.
   • Intelligence sulle Minacce: Il sistema estrae domini e URL dall'email di query e interroga una piattaforma di analisi multi-motore (API di VirusTotal) per raccogliere dati sulla reputazione in tempo reale (danno, sospetto, stato del malware).
4. Ingegneria del Prompt Strutturato: Il prompt dell'LLM è costruito concatenando l'assegnazione del ruolo (esperto di cybersecurity), il contenuto dell'email di query, il contesto storico recuperato ($C_{context}$) e l'intelligence sulle minacce ($T(e_{query})$). L'output è vincolato a uno schema JSON specifico che richiede una decisione di classificazione, un punteggio di phishing, un livello di rischio, tattiche di ingegneria sociale identificate, azioni raccomandate e un breve ragionamento.
5. Valutazione del Modello: Il framework è stato testato su quattro diversi LLM open-source: Llama4-Scout (17B), DeepSeek-R1 (70B), Mistral-Saba (24B) e Gemma2-9B (9B). Tutti i modelli sono stati accessibili tramite l'API di Groq con una temperatura di 0.2 per garantire risposte deterministiche.

Contributi Chiave

• Framework RAG Personalizzato: L'introduzione di un meccanismo di ritirata a doppio contesto che combina la cronologia delle email specifiche dell'utente con l'intelligence sulle minacce in tempo reale. Questa architettura mira a ridurre i falsi positivi consentendo al sistema di distinguere tra pattern malevoli generici e comunicazioni normali per l'utente.
• Metodologia di Valutazione Comprensiva: Una valutazione sistematica di quattro distinti LLM open-source sia in configurazioni standalone che potenziate da RAG, stabilendo un benchmark standardizzato per gli strumenti di sicurezza basati su IA.
• Validazione Empirica della Personalizzazione: Dimostrazione che i benefici della personalizzazione scalano efficacemente attraverso diverse dimensioni di modello (da 17B a 70B di parametri), con prove specifiche che mostrano riduzioni sostanziali nei tassi di falsi positivi senza compromettere l'accuratezza del rilevamento.

Risultati
Il sistema è stato valutato su un dataset bilanciato di 500 email (250 legittime, 250 phishing). L'integrazione della RAG ha prodotto miglioramenti costanti delle prestazioni in tutti i modelli testati:

• Riduzione dei Falsi Positivi: Il miglioramento più significativo è stato osservato nella riduzione dei tassi di falsi positivi (FPR). Ad esempio, Llama4-Scout ha ridotto il suo FPR dal 12% al 4% con l'attivazione della RAG. Allo stesso modo, DeepSeek-R1 è sceso dal 22% al 6%, e Mistral-Saba dal 35,6% al 10%.
• Miglioramento del F1-Score: Gli F1-score sono aumentati in modo generalizzato. Llama4-Scout ha ottenuto la performance più alta con un F1-score di 0,9703 con RAG (rispetto a 0,9333 senza).
• Confronto tra Modelli: Sebbene tutti i modelli abbiano beneficiato del processo, Llama4-Scout con RAG ha dimostrato il miglior equilibrio tra precisione e richiamo, con la minore propensione ai falsi allarmi. DeepSeek-R1 è seguito da vicino, mentre Gemma2-9b, pur essendo migliorata, è rimasta più soggetta a falsi positivi rispetto ai modelli più grandi.

Significatività e Rivendicazioni
Il documento afferma che un approccio basato su RAG e sul profiling dell'utente è sia fattibile che efficace per la costruzione di sistemi di sicurezza delle email ad alta precisione e a basso attrito. La significatività primaria risiede nel contrastare la tendenza alla "classificazione aggressiva" dei modelli LLM standalone, ancorando il loro ragionamento al comportamento individuale dell'utente. Gli autori sostengono che questo approccio valida il potenziale di un rilevamento adattivo e centrato sull'utente per ridurre significativamente l'onere operativo causato dai falsi positivi, mantenendo al contempo un'elevata accuratezza di rilevamento. Il lavoro suggerisce che i sistemi futuri dovrebbero evolvere oltre i classificatori generici verso architetture che sfruttano la ritirata per contestualizzare le minacce all'interno dei pattern comunicativi specifici dell'utente finale.