Resumen Técnico: Evaluación de Reglas de Detección Generadas por LLM en Ciberseguridad

Planteamiento del Problema

La integración de Modelos de Lenguaje Extensos (LLMs) y agentes de IA en las operaciones de ciberseguridad enfrenta un déficit de confianza significativo. Mientras que los proveedores promocionan los agentes como revolucionarios para la detección, los ingenieros experimentados se muestran escépticos, temiendo la generación de "sentido plausible pero sin sustancia" (plausible sounding nonsense). Existe una brecha crítica debido a la falta de métricas estandarizadas y de código abierto para evaluar la efectividad de las reglas de seguridad generadas por LLM. Sin una medición rigurosa, las organizaciones no pueden verificar si un agente puede realizar el trabajo de un ingeniero de detección humano, ni pueden construir la confianza necesaria para desplegar estas herramientas sin perder tiempo y energía. Además, los métodos de evaluación existentes para la generación de código (por ejemplo, corrección funcional mediante pruebas unitarias) y la detección de intrusiones (por ejemplo, precisión/exhaustividad o precision/recall) no abordan plenamente los desafíos únicos de la generación de reglas de seguridad, tales como la robustez adversarial, el ruido operativo y el costo económico de la generación iterativa.

Metodología

Los autores presentan un marco de evaluación y un benchmark de código abierto diseñado para medir la calidad de las reglas de ciberseguridad generadas por LLM frente a una línea base generada por humanos. La metodología emplea un enfoque de "conjunto de retención" (holdout set), comparando un agente autónomo contra expertos humanos.

El Agente: ADÉ

El marco se ilustra utilizando ADÉ (Automated Detection Engineer), un sistema agéntico desarrollado por Sublime Security. ADÉ opera en una arquitectura agnóstica al modelo, utilizando una base de conocimientos curada de mejores prácticas de ingeniería de detección, TTPs y documentación de MQL, junto con herramientas para análisis dinámico de archivos, visión computacional y reputación de remitentes.

• Flujo de trabajo: ADÉ recibe una única muestra de correo electrónico malicioso, la analiza, busca brechas de cobertura en las reglas existentes y genera reglas de detección MQL candidatas.
• Refinamiento Iterativo: A diferencia de los agentes tradicionales que luchan con la deriva de contexto largo (long-context drift), ADÉ emplea un bucle de retroalimentación cerrada. Valida la sintaxis, ejecuta las reglas contra la muestra e inicia búsquedas de amenazas (threat hunts) en datos históricos. Los subagentes analizan estos resultados (Verdaderos Positivos, Falsos Positivos y robustez) para proporcionar retroalimentación, lo que permite a ADÉ refinar iterativamente la lógica hasta la convergencia.

Métricas de Evaluación

El marco evalúa las reglas a través de tres dimensiones distintas:

1. Precisión de Detección:

   • Utiliza un conjunto de datos etiquetado de aproximadamente 45,000 correos electrónicos (maliciosos y benignos).
   • Calcula una Puntuación compuesta (Ecuación 1) que promedia la precisión estándar con la precisión de los Verdaderos Positivos Únicos (TPs no capturados por ninguna otra regla en el feed principal).
   • Justificación: En seguridad, las detecciones únicas son altamente valiosas ya que aumentan la exhaustividad (recall) general del sistema. El marco reconoce la dificultad de medir los Falsos Negativos (los "desconocidos desconocidos") y se centra en métricas basadas en la precisión.

2. Costo Económico de la Corrección Sintáctica:

   • Adapta el marco "cost-to-pass" (Erol et al., 2025) para medir el impacto económico de generar reglas válidas.
   • Calcula el Costo Total = (Costo por intento) × (Número de intentos, $k$).
   • Utiliza una métrica pass@k para determinar cuántos intentos son necesarios para que el agente genere una regla MQL sintácticamente correcta que pase la validación.

3. Robustez (Fragilidad):

   • Desarrolla una puntuación heurística de Fragilidad ($B \in [0, 100]$) basada en la relación entre recompensas (patrones robustos como indicadores de comportamiento, coincidencia difusa/fuzzy matching) y penalizaciones (patrones frágiles como coincidencias directas de strings en IPs, dominios o hashes).
   • Justificación: Las coincidencias directas son fácilmente evadidas mediante tácticas adversariales triviales, mientras que los indicadores de comportamiento ofrecen soluciones generalizables. La Puntuación de Robustez final es $1 - (B/100)$.

Contribuciones Clave

El artículo introduce un nuevo marco de referencia (benchmark) que aborda específicamente la generación autónoma de reglas de detección:

• Pipeline de Viabilidad Operativa: Una evaluación de extremo a extremo que combina la corrección funcional con la búsqueda retrospectiva (retro-hunting) en el mundo real para exponer los umbrales de ruido, la mantenibilidad y las salvaguardas de rendimiento.
• Robustez Adversarial Integrada: Una métrica específica para medir y proporcionar retroalimentación sobre la fragilidad de las reglas, con el objetivo de reducir las evasiones adversariales triviales.
• Marco de Código Abierto: Los autores planean lanzar el pipeline modular para permitir la investigación reproducible y la evaluación estandarizada para otros agentes de generación de reglas de seguridad (por ejemplo, YARA, DSLs personalizados).

Resultados

El estudio comparó las reglas generadas por ADÉ contra las reglas escritas por humanos retenidas del Sublime Core Feed en 11 escenarios de ataque distintos (por ejemplo, BEC, HTML smuggling, phishing).

• Alcance vs. Precisión: Las reglas de ADÉ fueron significativamente más estrechas en alcance, detectando menos mensajes totales y menos Verdaderos Positivos conocidos en comparación con las reglas humanas. Esto se atribuye a que ADÉ está limitado a trabajar desde una única muestra de correo electrónico, mientras que los humanos diseñan reglas basadas en patrones de comportamiento amplios a través de grandes conjuntos de datos.
• Falsos Positivos: ADÉ generó reglas con significativamente menos Falsos Positivos (a menudo cero en el conjunto de prueba), lo que refleja su visión más estrecha del universo de amenazas.
• Puntuaciones de Desempeño:
  • Las reglas humanas lograron puntuaciones que oscilan entre 0.711 y 0.996.
  • Las reglas de ADÉ lograron puntuaciones que oscilan entre 0.557 y 1.000.
  • En varios casos (por ejemplo, "EML con Javascript en un archivo SVG"), ADÉ logró una puntuación más alta (0.998) que la línea base humana (0.996), impulsada por una alta precisión y TPs únicos.
• Robustez: Se encontró que las reglas de ADÉ y las reglas humanas son "bastante comparables" en términos de fragilidad. El LLM base logró combinar las herramientas disponibles para producir consultas con una resiliencia a la evasión adversarial similar a la de los expertos humanos.
• Eficiencia de Costo: La métrica pass@k se correlacionó estrechamente con el costo real en dólares de ejecutar el LLM. ADÉ típicamente requirió de 1 a 3 intentos para generar reglas sintácticamente válidas, con costos que oscilaron entre ~$1.50 y$5.13 por regla.
• Diferencias Cualitativas: ADÉ tendió a generar reglas con comentarios más extensos y útiles que los autores humanos, aunque las reglas humanas fueron más amplias en su lógica de cobertura.

Significancia y Reivindicaciones

El artículo afirma que esta metodología proporciona una evaluación realista y multifacética de los generadores de reglas de seguridad basados en LLM. Al ir más allá de la simple corrección funcional para incluir el costo económico y la robustez adversarial, el marco ofrece una visión más holística de la viabilidad operativa de un agente.

Los autores concluyen modestamente que, si bien ADÉ actualmente produce reglas que son más estrechas en su capacidad de recuperación (recall) que los expertos humanos (debido a su restricción de entrada de una sola muestra), demuestra la capacidad de generar reglas de alta calidad, robustas y económicamente eficientes. El marco sirve como base para la mejora iterativa, sugiriendo que el trabajo futuro podría utilizar estas métricas para ampliar el alcance de ADÉ para igualar la exhaustividad humana manteniendo su precisión y robustez. El artículo no pretende que ADÉ haya reemplazado completamente a los ingenieros humanos, sino que es un componente medible y viable del flujo de trabajo de detección que puede mejorarse sistemáticamente.