User-Centric Phishing Detection: A RAG and LLM-Based Approach

Résumé Technique : Détection de Phishing Centrée sur l'Utilisateur via RAG et LLM

Énoncé du Problème
Le document traite de la sophistication croissante des e-mails de phishing, qui contournent de plus en plus les filtres traditionnels basés sur des règles et les détecteurs classiques d'apprentissage automatique. Bien que les grands modèles de langage (LLM) offrent une compréhension du langage naturel et des capacités d'analyse sémantique supérieures, leur application en tant que classificateurs autonomes pour la sécurité des e-mails présente un défaut critique : un taux élevé de faux positifs (FP). Les systèmes basés sur des LLM génériques classent souvent par erreur des e-mails légitimes comme étant du phishing lorsque ces derniers s'écartent des schémas généraux, même s'ils s'alignent sur l'historique de communication spécifique d'un utilisateur. Ce manque de contexte propre à l'utilisateur crée une charge opérationnelle importante en générant des fausses alertes excessives et ne parvient pas à distinguer les contenus universellement malveillants des communications inhabituelles mais légitimes pour des utilisateurs individuels.

Méthodologie
Les auteurs proposent un cadre de détection de phishing personnalisé qui intègre la génération augmentée par récupération (RAG) avec des LLM open-source. Le système fonctionne via un pipeline en six étapes conçu pour ancrer les décisions du modèle dans le contexte spécifique de l'utilisateur et l'intelligence sur les menaces en temps réel :

1. Prétraitement des Données : Les corpus d'e-mails bruts sont transformés en une base de connaissances structurée par le biais de la validation, de la normalisation (gestion de divers encodages comme l'UTF-8, le Latin-1), de l'extraction de caractéristiques (sujet, expéditeur, corps du texte) et de la suppression des en-têtes.
2. Plongement Sémantique et Construction de Vecteurs : Le contenu textuel est projeté dans un espace vectoriel continu à l'aide du transformeur all-MiniLM-L6-v2. Ces plongements sont normalisés par L2 et indexés dans une base de données vectorielle FAISS pour faciliter une recherche de plus proches voisins approximatifs efficace par similitude cosinus.
3. Récupération à Double Contexte :
   • Historique Spécifique à l'Utilisateur : Pour un e-mail de requête entrant, le système récupère les $k$ meilleurs ($k$ fixé à 5) e-mails légitimes sémantiquement similaires de l'historique de l'utilisateur. Cela fournit au LLM des exemples concrets des schémas de communication normaux de l'utilisateur.
   • Intelligence sur les Menaces : Le système extrait les domaines et les URL de l'e-mail de requête et interroge une plateforme d'analyse multi-moteurs (API VirusTotal) pour recueillir des données de réputation en temps réel (dommage, suspicion, statut malware).
4. Ingénierie de Prompt Structuré : Le prompt du LLM est construit en concaténant l'attribution de rôle (expert en cybersécurité), le contenu de l'e-mail de requête, le contexte historique récupéré ($C_{context}$) et l'intelligence sur les menaces ($T(e_{query})$). La sortie est contrainte à un schéma JSON spécifique exigeant une décision de classification, un score de phishing, un niveau de risque, les tactiques d'ingénierie sociale identifiées, les actions recommandées et un bref raisonnement.
5. Évaluation du Modèle : Le cadre a été testé sur quatre LLM open-source diversifiés : Llama4-Scout (17B), DeepSeek-R1 (70B), Mistral-Saba (24B) et Gemma2-9B (9B). Tous les modèles ont été accédés via l'API Groq avec une température de 0,2 pour garantir des réponses déterministes.

Contributions Clés

• Cadre RAG Personnalisé : L'introduction d'un mécanisme de récupération à double contexte qui combine l'historique des e-mails de l'utilisateur avec l'intelligence sur les menaces en temps réel. Cette architecture vise à réduire les faux positifs en permettant au système de distinguer les schémas malveillants génériques des communications normales de l'utilisateur.
• Méthodologie d'Évaluation Complète : Une évaluation systématique de quatre LLM open-source distincts, à la fois en configurations autonomes et enrichies par RAG, établissant un benchmark standardisé pour les outils de sécurité pilotés par l'IA.
• Validation Empirique de la Personnalisation : Démonstration que les bénéfices de la personnalisation passent à l'échelle efficacement à travers différentes tailles de modèles (de 17B à 70B paramètres), avec des preuves spécifiques montrant des réductions substantielles des taux de faux positifs sans compromettre la précision de la détection.

Résultats
Le système a été évalué sur un ensemble de données équilibré de 500 e-mails (250 légitimes, 250 phishing). L'intégration du RAG a produit des améliorations de performance constantes sur tous les modèles testés :

• Réduction des Faux Positifs : L'amélioration la plus significative a été observée dans la réduction des taux de faux positifs (FPR). Par exemple, Llama4-Scout a réduit son FPR de 12 % à 4 % lorsque le RAG était activé. De même, DeepSeek-R1 est passé de 22 % à 6 %, et Mistral-Saba de 35,6 % à 10 %.
• Amélioration du Score F1 : Les scores F1 ont augmenté de manière généralisée. Llama4-Scout a atteint la performance la plus élevée avec un score F1 de 0,9703 avec RAG (contre 0,9333 sans RAG).
• Comparaison des Modèles : Bien que tous les modèles en aient bénéficié, Llama4-Scout avec RAG a démontré le meilleur équilibre entre précision et rappel avec la plus faible propension aux fausses alertes. DeepSeek-R1 suit de près, tandis que Gemma2-9b, bien qu'amélioré, reste plus sujet aux faux positifs par rapport aux modèles plus larges.

Signification et Revendications
L'article affirme qu'une approche basée sur le RAG et le profilage de l'utilisateur est à la fois réalisable et efficace pour construire des systèmes de sécurité de messagerie à haute précision et à faible friction. La signification principale réside dans le traitement de la tendance à la "classification agressive" des LLM autonomes en ancrant leur raisonnement dans le comportement individuel de l'utilisateur. Les auteurs soutiennent que cette approche valide le potentiel d'une détection adaptative et centrée sur l'utilisateur pour réduire considérablement les charges opérationnelles causées par les faux positifs tout en maintenant une haute précision de détection. Le travail suggère que les futurs systèmes devraient dépasser les classificateurs génériques pour s'orienter vers des architectures qui exploitent la récupération pour contextualiser les menaces au sein des schémas de communication spécifiques de l'utilisateur final.