ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

A continuación se presenta un resumen técnico detallado del artículo ExCyTIn-Bench: Evaluación de agentes LLM en la investigación de amenazas cibernéticas.

1. Planteamiento del Problema

La investigación de amenazas cibernéticas es un proceso complejo y multifásico que requiere que los analistas de seguridad filtren registros de seguridad heterogéneos, correlacionen eventos entre múltiples fuentes de datos y razonen a través de cadenas de evidencia de múltiples saltos para identificar amenazas. Si bien los Modelos de Lenguaje Grande (LLM) han demostrado ser prometedores en tareas de razonamiento complejo, existe una falta de benchmarks estandarizados para evaluar específicamente a agentes LLM en la investigación de amenazas cibernéticas. Los benchmarks existentes (por ejemplo, CTIBench, SECURE) se centran principalmente en la memorización de conocimientos, la extracción de texto o preguntas y respuestas de opción múltiple, sin lograr poner a prueba la capacidad de un agente para interactuar con una base de datos, descubrir esquemas y realizar razonamiento secuencial para resolver incidentes de seguridad del mundo real.

2. Metodología

Los autores proponen ExCyTIn-Bench, un benchmark integral diseñado para simular escenarios de investigación de amenazas del mundo real. La metodología involucra tres componentes principales:

A. Recopilación de Datos y Construcción del Entorno

• Fuente: Los datos se recopilaron de un inquilino ficticio de Microsoft Azure ("Alpine Ski House") configurado con monitores de seguridad realistas.
• Escala: El entorno incluye 57 tablas de registros distintas (por ejemplo, SigninLogs, EmailEvents, SecurityAlert, SecurityIncident) que contienen más de 14 millones de filas en el flujo completo de registros de 44 días.
• Incidentes: El conjunto de datos abarca 8 cadenas de ataque distintas y multifásicas basadas en ataques históricos del mundo real (por ejemplo, Ransomware Manatee Tempest, BEC/Toma de Control de Cuentas). Cada incidente abarca desde 2 horas hasta 5 días e involucra diversas técnicas de MITRE ATT&CK.
• Interfaz: El benchmark proporciona un entorno Docker de MySQL donde los agentes interactúan mediante consultas SQL. Los agentes deben descubrir el esquema (tablas y columnas) a través de la exploración, ya que el esquema completo no se proporciona en el prompt.

B. Generación de Preguntas mediante Grafos Bipartitos

Para generar preguntas de alta calidad, no repetitivas y fundamentadas, los autores desarrollaron una pipeline de generación basada en grafos principista:

1. Construcción del Grafo: Para cada incidente, se construye un grafo bipartito $G=(U, V, E)$ donde $U$ representa vértices de Alerta y $V$ representa vértices de Entidad (por ejemplo, usuarios, IPs, hosts). Las aristas conectan las alertas con las entidades que involucran.
2. Selección de Ruta: El sistema selecciona dos alertas distintas ($u_s$ y $u_e$) como puntos de inicio y fin. Identifica las entidades conectadas a estas alertas para formar una ruta.
3. Generación de QA: Se solicita a un LLM que genere una pregunta utilizando la alerta de inicio y sus entidades conectadas como contexto, y la entidad de la alerta final como la respuesta.
4. Ruta de Solución: La ruta más corta entre los nodos de inicio y fin en el grafo sirve como la ruta de solución de verdad fundamental, permitiendo una evaluación detallada de los pasos intermedios.

• Salida: Este proceso generó 7,542 preguntas, de las cuales 589 fueron seleccionadas para el conjunto de prueba para asegurar la diversidad y evitar la superposición de rutas entre los conjuntos de entrenamiento y prueba.

C. Marco de Evaluación

• Sistema de Recompensas: El benchmark utiliza un mecanismo de recompensa decaída (inspirado en el Aprendizaje por Refuerzo).
  • Recompensa Completa (1.0): Otorgada por la respuesta final correcta.
  • Recompensa Parcial: Si la respuesta final es incorrecta, el sistema verifica si el agente encontró nodos intermedios (IoCs) a lo largo de la ruta de solución. Se asignan recompensas basadas en el progreso realizado, aplicando un factor de decaimiento ($\gamma=0.4$) a los pasos más alejados de la respuesta final.
• Evaluación: La evaluación se realiza utilizando un LLM como juez (GPT-4o) para manejar variaciones en el formato de las respuestas y verificar si el razonamiento del agente se alinea con la verdad fundamental, en lugar de depender únicamente de la coincidencia estricta de cadenas.

3. Contribuciones Clave

1. Primer Benchmark de Investigación de Amenazas: ExCyTIn-Bench es el primer benchmark diseñado específicamente para evaluar agentes LLM en la tarea de extremo a extremo de investigación de amenazas de ciberseguridad utilizando datos de registros del mundo real.
2. Estrategia Novel de Generación de QA: El artículo introduce un método para generar preguntas deterministas y no repetitivas a partir de grafos bipartitos de alerta-entidad, asegurando que las preguntas estén fundamentadas en rutas de datos explícitas y tengan trayectorias de solución verificables.
3. Evaluación de Proceso Detallada: A diferencia de las métricas binarias de aprobado/reprobado, el benchmark proporciona recompensas paso a paso, permitiendo evaluar la capacidad de un agente para extraer Indicadores de Compromiso (IoCs) intermedios y su progreso en espacios de búsqueda complejos.
4. Análisis Empírico Integral: Los autores proporcionan un análisis detallado del rendimiento del modelo, el comportamiento (descubrimiento de esquemas, éxito de consultas) y la eficiencia (costo frente a recompensa) en una amplia gama de modelos.

4. Resultados Experimentales

Los autores evaluaron numerosos modelos propietarios y de código abierto (incluyendo GPT-4o, Claude-Opus-4.5, Llama-4, Qwen-3 y modelos de razonamiento como o1/o3) utilizando diversas estrategias de prompting (ReAct, Expel, Best-of-N, Self-Reflection).

• Techo de Rendimiento: La tarea es altamente desafiante. El modelo con mejor rendimiento, Claude-Opus-4.5, logró una recompensa promedio máxima de 0.606, dejando un espacio significativo para la mejora.
• Comparación de Modelos:
  • Propietarios vs. Código Abierto: Los modelos propietarios de primer nivel (Claude-Opus-4.5, GPT-5.1) superan a los modelos de código abierto, pero los grandes modelos de código abierto (por ejemplo, Llama-4-Maverick-17B) están cerrando rápidamente la brecha, logrando recompensas competitivas (~0.29).
  • Modelos de Razonamiento: Los modelos con capacidades de razonamiento explícito (por ejemplo, o1, o3) muestran un rendimiento sólido, particularmente cuando se combinan con estrategias de reflexión.
• Impacto del Método:
  • ReAct + Reflexión: Esta combinación produjo las mayores ganancias de rendimiento en la mayoría de los modelos, superando significativamente al prompt base.
  • Expel: El método Expel (distilar reglas de datos de entrenamiento) mostró alta eficiencia (menos vueltas) pero un costo más alto debido a la inflación del prompt.
• Eficiencia: Existe una fuerte correlación positiva (Pearson $r=0.86$) entre las tasas de éxito de las consultas y las recompensas finales. Los modelos más pequeños a menudo luchan con el descubrimiento de esquemas, lo que lleva a más errores y recompensas más bajas.
• Estudios de Ablación:
  • Alcance de la BD: Eliminar los registros de alertas (simulando ataques de día cero) causó una caída significativa en el rendimiento, destacando el papel crítico de las alertas de detección en la investigación.
  • Ventana de Tiempo: Expandir la ventana de tiempo a un historial completo de 44 días introdujo ruido, reduciendo ligeramente el rendimiento en comparación con los fragmentos por incidente.

5. Significado y Direcciones Futuras

• Avance en Seguridad Autónoma: ExCyTIn-Bench proporciona un campo de pruebas crítico para desarrollar agentes autónomos capaces de reducir la carga sobre los analistas humanos del SOC automatizando la caza de amenazas multifásica.
• RL para Ciberseguridad: La estructura de recompensas detallada hace que el benchmark sea único para entrenar agentes mediante Aprendizaje por Refuerzo (RL), permitiendo una asignación precisa de créditos a través de los pasos de investigación.
• Evaluación Realista: Al utilizar patrones de ataque del mundo real y requerir descubrimiento de esquemas, el benchmark va más allá de la "recuperación de conocimientos" para probar el razonamiento investigativo genuino y el uso de herramientas.
• Código Abierto: Los autores han publicado el benchmark, el entorno y el código en abierto (SecRL), fomentando la reproducibilidad y acelerando la investigación en la defensa de ciberseguridad impulsada por IA.

En conclusión, ExCyTIn-Bench establece un nuevo estándar para evaluar agentes LLM en ciberseguridad, demostrando que, si bien los modelos actuales muestran promesa, se requieren avances significativos en razonamiento, comprensión de esquemas y planificación de múltiples saltos para lograr una investigación de amenazas totalmente autónoma.