User-Centric Phishing Detection: A RAG and LLM-Based Approach

Technische Samenvatting: Gebruikersgerichte Phishingdetectie via RAG en LLM's

Probleemstelling
Het artikel behandelt de toenemende verfijning van phishing-e-mails, die steeds vaker traditionele regelgebaseerde filters en conventionele machine learning-detectoren omzeilen. Hoewel Large Language Models (LLM's) superieure mogelijkheden bieden voor natuurlijke taalbegrip en semantische analyse, vormt hun toepassing als zelfstandige classificators voor e-mailbeveiliging een kritiek gebrek: een verhoogd aantal fout-positieven (FP). Generieke LLM-gebaseerde systemen labelen legitieme e-mails vaak onterecht als phishing wanneer deze e-mails afwijken van algemene patronen, zelfs als ze wel overeenkomen met de specifieke communicatiegeschiedenis van een gebruiker. Dit gebrek aan gebruikersspecifie sch context creëert een aanzienlijke operationele last door het genereren van excessieve valse alarmen en faalt in het onderscheid tussen universeel kwaadaardige inhoud en ongebruikelijke, maar legitieme communicatie voor individuele gebruikers.

Methodologie
De auteurs stellen een gepersonaliseerd phishingdetectiekader voor dat Retrieval-Augmented Generation (RAG) integreert met open-source LLM's. Het systeem werkt via een zesfasen-pijplijn die is ontworpen om modelbeslissingen te funderen in gebruikersspecifieke context en realtime dreigingsinformatie:

1. Gegevenspreverwerking: Ruwe e-mailcorpora worden getransformeerd naar een gestructureerde kennisbank door middel van validatie, normalisatie (het afhandelen van diverse coderingen zoals UTF-8, Latin-1), feature extractie (onderwerp, afzender, body) en het strippen van headers.
2. Semantische Embedding & Vectorconstructie: Tekstuele inhoud wordt geprojecteerd in een continue vectorruimte met behulp van de all-MiniLM-L6-v2 transformer. Deze embeddings worden L2-genormaliseerd en geïndexeerd in een FAISS-vectordatabase om efficiënt zoeken naar benaderde dichtstbijzijnde buren via cosinus-gelijkenis te faciliteren.
3. Dual-Context Retrieval:
   • Gebruikersspecifieke Geschiedenis: Voor een binnenkomende query-e-mail haalt het systeem de top-$k$ (gesteld op 5) semantisch gelijkaardige legitieme e-mails op uit de historische corpus van de gebruiker. Dit voorziet de LLM van concrete voorbeeladen van de normale communicatiepatronen van de gebruiker.
   • Dreigingsinformatie: Het systeem extraheert domeinen en URL's uit de query-e-mail en bevraagt een multi-engine analyseplatform (VirusTotal API) om realtime reputatiedata (schadelijkheid, verdachtheid, malware-status) te verzamelen.
4. Gestructureerde Prompt Engineering: De LLM-prompt wordt geconstrueerd door het concateneren van de roltoewijzing (cybersecurity expert), de inhoud van de query-e-mail, de opgehaalde historische context ($C_{context}$) en de dreigingsinformatie ($T(e_{query})$). De output wordt beperkt tot een specifiek JSON-schema dat een classificatiebesluit vereist, inclusief een phishing-score, risiconiveau, geïdentificeerde sociale manipulatietactieken, aanbevolen acties en een korte onderbouwing.
5. Modellevaluatie: Het framework werd getest op vier diverse open-source LLM's: Llama4-Scout (17B), DeepSeek-R1 (70B), Mistral-Saba (24B) en Gemma2-9B (9B). Alle modellen werden benaderd via de Groq API met een temperatuur van 0.2 om deterministische reacties te garanderen.

Belangrijkste Bijdragen

• Gepersonaliseerd RAG-framework: De introductie van een dual-context retrieval mechanisme dat gebruikersspecifieke e-mailgeschiedenis combineert met realtime dreigingsinformatie. Deze architectuur beoogt het aantal fout-positieven te verminderen door het systeem in staat te stellen onderscheid te maken tussen generieke kwaadaardige patronen en de normale communicatie van de gebruiker.
• Omvattende Evaluatiemethodologie: Een systematische beoordeling van vier verschillende open-source LLM's in zowel standalone als RAG-versterkte configuraties, waarmee een gestandaardiseerde benchmark wordt vastgesteld voor AI-gestuurde beveiligingstools.
• Empirische Validatie van Personalisatie: Demonstratie dat de voordelen van personalisatie effectief schalen over verschillende modelgroottes (van 17B tot 70B parameters), met specifiek bewijs dat substantiële reducties in het aantal fout-positieven worden gerealiseerd zonder de detectie-accuratesse in gevaar te brengen.

Resultaten
Het systeem werd geëvalueerd op een gebalanceerde dataset van 500 e-mails (250 legitiem, 250 phishing). De integratie van RAG leverde consistente prestatieverbeteringen op bij alle geteste modellen:

• Reductie van Fout-Positieven: De meest significante verbetering werd waargenomen in de reductie van het aantal False Positive Rates (FPR). Zo verminderde Llama4-Scout zijn FPR van 12% naar 4% wanneer RAG werd ingeschakeld. Vergelijkbaar daarmee daalde DeepSeek-R1 van 22% naar 6%, en Mistral-Saba van 35,6% naar 10%.
• Verbetering van de F1-score: De F1-scores namen over de hele linie toe. Llama4-Scout behaalde de hoogste prestatie met een F1-score van 0,9703 met RAG (vergeleken met 0,9333 zonder).
• Modelvergelijking: Hoewel alle modellen profiteerden, demonstreerde Llama4-Scout met RAG de beste balans tussen precisie en recall met de laagste neiging tot valse alarmen. DeepSeek-R1 volgde op korte afstand, terwijl Gemma2-9b, hoewel verbeterd, meer vatbaar bleef voor fout-positieven vergeleken met de grotere modellen.

Betekenis en Claims
Het artikel beweert dat een RAG-gebaseerde, gebruikersprofiel-benadering zowel haalbaar als effectief is voor het construeren van hoog-precieze, wrijvingsarme e-mailbeveiligingssystemen. De primaire betekenis ligt in het adresseren van de "agressieve classificatie"-neiging van zelfstandige LLM's door hun redenering te funderen in individueel gebruikersgedrag. De auteurs stellen dat deze aanpak valideert dat adaptieve, gebruikersgerichte detectie de potentie heeft om de operationele lasten veroorzaakt door fout-positieven aanzienlijk te verlagen, terwijl de hoge detectie-accuratesse behouden blijft. Het werk suggereert dat toekomstige systemen zich moeten bewegen van generieke classificators naar architecturen die retrieval gebruiken om dreigingen te contextualiseren binnen de specifieke communicatiepatronen van de eindgebruiker.