User-Centric Phishing Detection: A RAG and LLM-Based Approach

Resumen Técnico: Detección de Phishing Centrada en el Usuario mediante RAG y LLMs

Declaración del Problema
El artículo aborda la creciente sofisticación de los correos electrónicos de phishing, que cada vez logran evadir más los filtros tradicionales basados en reglas y los detectores convencionales de aprendizaje automático. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen una capacidad superior de comprensión del lenguaje natural y análisis semántico, su aplicación como clasificadores independientes para la seguridad del correo electrónico presenta un fallo crítico: tasas elevadas de falsos positivos (FP). Los sistemas basados en LLM genéricos suelen etiquetar erróneamente correos legítimos como phishing cuando estos se desvían de los patrones generales, incluso si se alinean con el historial de comunicación de un usuario específico. Esta falta de contexto específico del usuario crea una carga operativa significativa al generar alarmas excesivas y no logra distinguir entre contenido universalmente malicioso y comunicaciones inusuales pero legítimas para usuarios individuales.

Metodología
Los autores proponen un marco de detección de phishing personalizado que integra la Generación Aumentada por Recuperación (RAG) con LLMs de código abierto. El sistema opera a través de un pipeline de seis etapas diseñado para fundamentar las decisiones del modelo en el contexto específico del usuario y la inteligencia de amenazas en tiempo real:

1. Preprocesamiento de Datos: Los corpus de correos electrónicos brutos se transforman en una base de conocimientos estructurada mediante validación, normalización (manejo de diversas codificaciones como UTF-8, Latin-1), extracción de características (asunto, remitente, cuerpo) y eliminación de cabeceras.
2. Incrustación Semántica y Construcción de Vectores: El contenido textual se proyecta en un espacio vectorial continuo utilizando el transformador all-MiniLM-L6-v2. Estas incrustaciones son normalizadas mediante L2 e indexadas en una base de datos vectorial FAISS para facilitar una búsqueda eficiente de vecinos cercanos aproximados mediante similitud de coseno.
3. Recuperación de Doble Contexto:
   • Historial Específico del Usuario: Para un correo de consulta entrante, el sistema recupera los $k$ superiores (establecidos en 5) correos electrónicos legítimos semánticamente similares del corpus histórico del usuario. Esto proporciona al LLM ejemplos concretos de los patrones de comunicación normales del usuario.
   • Inteligencia de Amenazas: El sistema extrae dominios y URLs del correo de consulta y consulta una plataforma de análisis de múltiples motores (API de VirusTotal) para recopilar datos de reputación en tiempo real (daño, sospecha, estado de malware).
4. Ingeniería de Prompts Estructurada: El prompt del LLM se construye concatenando la asignación de rol (experto en ciberseguridad), el contenido del correo de consulta, el contexto histórico recuperado ($C_{context}$) y la inteligencia de amenazas ($T(e_{query})$). La salida está restringida a un esquema JSON específico que requiere una decisión de clasificación, una puntuación de phishing, un nivel de riesgo, tácticas de ingeniería social identificadas, acciones recomendadas y un razonamiento breve.
5. Evaluación del Modelo: El marco fue probado en cuatro LLMs de código abierto diversos: Llama4-Scout (17B), DeepSeek-R1 (70B), Mistral-Saba (24B) y Gemma2-9B (9B). Todos los modelos fueron accedidos a través de la API de Groq con una temperatura de 0.2 para asegurar respuestas deterministas.

Contribuciones Clave

• Marco RAG Personalizado: La introducción de un mecanismo de recuperación de doble contexto que combina el historial de correo electrónico específico del usuario con la inteligencia de amenazas en tiempo real. Esta arquitectura tiene como objetivo reducir los falsos positivos al permitir que el sistema distinga entre patrones maliciosos genéricos y comunicaciones normales del usuario.
• Metodología de Evaluación Exhaustiva: Una evaluación sistemática de cuatro LLMs distintos tanto en configuraciones independientes como mejoradas con RAG, estableciendo un benchmark estandarizado para herramientas de seguridad impulsadas por IA.
• Validación Empírica de la Personalización: Demostración de que los beneficios de la personalización escalan efectivamente a través de diferentes tamaños de modelos (desde 17B hasta 70B de parámetros), con evidencia específica que muestra reducciones sustanciales en las tasas de falsos positivos sin comprometer la precisión de la detección.

Resultados
El sistema fue evaluado en un conjunto de datos equilibrado de 500 correos electrónicos (250 legítimos, 250 phishing). La integración de RAG produjo mejoras de rendimiento consistentes en todos los modelos probados:

• Reducción de Falsos Positivos: La mejora más significativa se observó en la reducción de las Tasas de Falsos Positivos (FPR). Por ejemplo, Llama4-Scout redujo su FPR de 12% a 4% cuando RAG estaba habilitado. Del mismo modo, DeepSeek-R1 bajó de 22% a 6%, y Mistral-Saba de 35.6% a 10%.
• Mejora de la Puntuación F1: Las puntuaciones F1 aumentaron en todos los casos. Llama4-Scout logró el mayor rendimiento con una puntuación F1 de 0.9703 con RAG (comparado con 0.9333 sin él).
• Comparación de Modelos: Aunque todos los modelos se beneficiaron, Llama4-Scout con RAG demostró el mejor equilibrio entre precisión y exhaustividad (recall) con la menor propensión a las falsas alarmas. DeepSeek-R1 le siguió de cerca, mientras que Gemma2-9b, aunque mejorado, seguía siendo más propenso a los falsos positivos en comparación con los modelos más grandes.

Significancia y Reivindicaciones
El artículo sostiene que un enfoque basado en RAG y perfilado de usuario es tanto factible como efectivo para construir sistemas de seguridad de correo electrónico de alta precisión y baja fricción. La principal significancia radica en abordar la tendencia de "clasificación agresiva" de los LLM independientes, fundamentando su razonamiento en el comportamiento individual del usuario. Los autores afirman que este enfoque valida el potencial de la detección adaptativa y centrada en el usuario para reducir significativamente las cargas operativas causadas por los falsos positivos, manteniendo al mismo tiempo una alta precisión de detección. El trabajo sugiere que los sistemas futuros deben ir más allá de los clasificadores genéricos hacia arquitecturas que aprovechen la recuperación para contextualizar las amenazas dentro de los patrones de comunicación específicos del usuario final.