The Phish, The Spam, and The Valid: Generating Feature-Rich Emails for Benchmarking LLMs

Resumen Técnico: PhishFuzzer y Evaluación de LLMs en Seguridad de Correo

1. Planteamiento del Problema

El correo electrónico de phishing y spam sigue siendo una amenaza crítica para la ciberseguridad. Los delincuentes cibernéticos están aprovechando cada vez más los Modelos de Lenguaje Grandes (LLMs) para generar mensajes altamente convincentes y lingüísticamente pulidos a gran escala.

• Limitaciones actuales: Los sistemas de detección tradicionales (basados en reglas heurísticas o características estáticas) degradan significativamente su rendimiento frente a contenido reescrito por LLMs.
• Deficiencia de datos: Los conjuntos de datos existentes suelen estar desactualizados (pre-2010), carecen de granularidad estructural (URLs completas, nombres de archivos adjuntos), no distinguen claramente entre las tres clases críticas (Phishing, Spam, Válido) y omiten anotaciones sobre la intención del atacante. Esto impide evaluar adecuadamente las nuevas soluciones de seguridad.

2. Metodología: El Framework PhishFuzzer

Los autores presentan PhishFuzzer, un marco de generación enriquecido con metadatos diseñado para crear un conjunto de datos robusto y diverso. El proceso se divide en cuatro etapas principales:

• Paso 1: Creación del Dataset Semilla (Seed Dataset):
  • Se combinaron 300 correos privados (curados manualmente y anonimizados) y 3,000 correos públicos (de conjuntos de datos legados como Enron y Nazario).
  • Las semillas privadas incluyen metadatos completos (URLs, adjuntos, remitente), mientras que las públicas tenían granularidad reducida.
• Paso 2: Benchmarking y Enriquecimiento de Etiquetas:
  • Benchmark de Intención: Se evaluaron 5 LLMs para identificar la acción solicitada al usuario (ej. "abrir adjunto", "seguir enlace"). Gemini-2.5-Flash fue seleccionado por su alta precisión (97.98%) y consistencia interna.
  • Aumento de Etiquetas: Se utilizó el modelo seleccionado para rellenar campos faltantes (URLs, nombres de archivos) en las semillas públicas, asegurando que las variantes de phishing usaran dominios engañosos y las de spam/válido usaran dominios realistas.
• Paso 3: Expansión del Dataset (Generación Sintética):
  • Las 3,300 semillas se utilizaron como plantillas para generar 19,800 variantes sintéticas mediante LLMs.
  • Las variantes se generaron controlando dos dimensiones ortogonales:
    1. Entidad: Entidades globales reconocidas vs. entidades fabricadas pero realistas.
    2. Longitud: Corta (4-8 frases), Media (10-16 frases) y Larga (25-40 frases).
  • Resultado final: Un dataset de 23,100 correos (3,300 reales + 19,800 sintéticos) con etiquetas estrictas de tres clases y metadatos completos.
• Paso 4: Evaluación y Métricas:
  • Se evaluaron dos LLMs de última generación: Qwen-2.5-72B y Gemini-3.1-Pro.
  • Configuraciones: Se probaron bajo dos modalidades: Básica (Asunto + Cuerpo) y Completa (+ Remitente, URLs, Adjuntos).
  • Métricas Propuestas:
    • Tasa de Éxito de la Tarea (TSR): Número de variantes correctas por plantilla.
    • Índice de Confianza (Conf@K): Porcentaje de plantillas clasificadas perfectamente en todas sus variantes.
    • Puntuación de Volteo Total (TFS@K): Número de plantillas donde el modelo falla consistentemente en todas las variantes (identifica "puntos ciegos" sistemáticos).

3. Contribuciones Clave

1. PhishFuzzer: Un pipeline de generación que utiliza correos reales como plantillas para producir variantes sintéticas estructuralmente consistentes.
2. Dataset PhishFuzzer: El primer conjunto de datos open-source de tres clases (Phishing, Spam, Válido) que incluye 23,100 correos, con anotaciones de motivación del atacante, metadatos estructurales completos y seguimiento de procedencia.
3. Benchmark Riguroso: Evaluación exhaustiva de modelos SOTA que revela que, aunque los LLMs tienen alto rendimiento en detección de phishing zero-shot, son sensibles a la inclusión de metadatos y luchan con la frontera subjetiva entre spam y correo válido.
4. Análisis de Fallos Sistemáticos: Introducción de la métrica TFS para aislar puntos ciegos del modelo y errores en las etiquetas humanas de datasets legados.

4. Resultados Principales

• Desempeño General:
  • Gemini-3.1-Pro mostró mayor robustez y consistencia semántica, manteniendo un rendimiento estable en datos no vistos y variantes reescritas.
  • Qwen-2.5-72B mostró una degradación notable en datos privados y sintéticos, sugiriendo contaminación de datos o dependencia de patrones léxicos frágiles.
• Impacto de los Metadatos:
  • La inclusión de metadatos (URLs, remitente, adjuntos) mejoró drásticamente la detección de Phishing (aumentando el F1 de Qwen de 0.893 a 0.917 y de Gemini de 0.939 a 0.958).
  • Compensación Crítica (Trade-off): La mejora en la detección de phishing vino a costa de la detección de Spam. Los metadatos provocaron que ambos modelos clasificaran erróneamente más correos de spam como válidos, reduciendo la precisión general (Macro F1).
• Análisis de Puntos Ciegos (TFS):
  • Se identificaron patrones de fallo sistemático donde los modelos no podían distinguir entre spam y válido debido a la ambigüedad inherente de la categoría "spam" en el mundo real.
  • Curiosamente, los metadatos eliminaron los puntos ciegos sistemáticos en la clasificación de correos válidos (falsos positivos), pero no resolvieron la confusión entre spam y válido.

5. Significado e Implicaciones

• Necesidad de Nuevos Estándares: El estudio demuestra que los datasets legados son insuficientes para evaluar la seguridad moderna contra ataques potenciados por IA. Se requieren datos que preserven metadatos estructurales e intención del atacante.
• Limitaciones de los LLMs: Aunque los LLMs son superiores en la detección de amenazas de phishing sofisticadas, su capacidad para distinguir spam de correo legítimo sigue siendo un desafío fundamental debido a la subjetividad humana en esta clasificación.
• Dirección Futura: Se sugiere el desarrollo de arquitecturas híbridas que combinen el razonamiento semántico de los LLMs con filtros heurísticos tradicionales para mitigar la degradación en la detección de spam cuando se utilizan metadatos.
• Reproducibilidad: El framework, los scripts de generación y el dataset completo están disponibles como código abierto en GitHub, fomentando la ciencia abierta en ciberseguridad.

En conclusión, el paper establece que, si bien los metadatos estructurales son catalizadores necesarios para endurecer las defensas contra el phishing, introducen un desafío semántico complejo que los modelos actuales aún no resuelven completamente en la distinción entre correo no deseado y válido.