AttackSeqBench: Benchmarking the Capabilities of LLMs for Attack Sequences Understanding

Este artículo presenta AttackSeqBench, un nuevo marco de referencia diseñado para evaluar sistemáticamente la capacidad de los modelos de lenguaje grandes para comprender y razonar sobre secuencias de ataques en informes de inteligencia de amenazas cibernéticas, identificando sus limitaciones y fortalezas mediante una extensa prueba de modelos y estrategias de entrenamiento.

Lo esencial

¡Claro que sí! Imagina que el mundo de la ciberseguridad es como un detective privado que intenta resolver un crimen complejo. Aquí te explico de qué trata este paper ("AttackSeqBench") usando una analogía sencilla y divertida.

🕵️‍♂️ La Historia: El Detective y el Rompecabezas

Imagina que los ciberdelincuentes (los "malos") no solo hacen una cosa mala y se van. No, no. Ellos son como maestros del disfraz que ejecutan un plan muy largo y complicado, paso a paso.

• Primero, envían un correo falso (como un cebo).
• Luego, el virus entra en la computadora.
• Después, se esconde y habla con sus jefes en otro país.
• Finalmente, roba los datos.

Este documento se llama CTI (Inteligencia de Amenazas Cibernéticas). Son los informes que escriben los expertos para contar cómo ocurrió el crimen. El problema es que estos informes son enormes, desordenados y difíciles de leer. Es como intentar armar un rompecabezas de 10,000 piezas mientras te persigue un perro.

🤖 Los "Cerebros de Silicona" (Los LLMs)

Aquí entran los Modelos de Lenguaje Grande (LLMs), como los que usas para chatear con IA. Son como estudiantes geniales que han leído casi todo internet. Saben mucho de historia, matemáticas y hasta de programación.

Los expertos pensaron: "¡Genial! Si estos estudiantes son tan inteligentes, seguro pueden leer esos informes desordenados y decirnos exactamente qué hizo el criminal y en qué orden".

⚠️ El Problema: El Estudiante que se Confunde

El paper descubre algo interesante: Estos estudiantes geniales a veces fallan estrepitosamente en este trabajo específico.

¿Por qué? Porque los LLMs son buenos recordando hechos sueltos (como "¿Quién fue el presidente X?"), pero son malos entendiendo la historia completa y el orden de los eventos.

• Si les preguntas: "¿Qué pasó antes de que el ladrón robara el banco?", a veces inventan una respuesta que suena lógica pero es falsa.
• Se confunden con la secuencia: Piensan que el ladrón robó el dinero antes de entrar por la ventana, cuando en realidad entró primero.

🧪 El Nuevo Examen: "AttackSeqBench"

Para ver qué tan buenos son realmente estos "estudiantes" en entender secuencias de ataques, los autores crearon un examen especial llamado AttackSeqBench.

Imagina que es como un simulacro de entrenamiento para detectives:

1. El Material de Estudio: Tomaron 408 informes reales de crímenes cibernéticos (como los casos de la policía).
2. Las Preguntas: Crearon preguntas tipo test y de "Sí/No" basadas en esos informes. Por ejemplo: "El criminal envió un correo falso, luego ejecutó un script. ¿Es probable que después se conectara al servidor de control?".
3. El Desafío: No solo querían ver si sabían la respuesta, sino si podían razonar el orden de los eventos.

🏆 Lo que Descubrieron (Los Resultados)

Los autores pusieron a prueba a varios "estudiantes" (diferentes modelos de IA) y descubrieron cosas sorprendentes:

1. Más grande no siempre es mejor: A veces, un modelo más pequeño y ágil entendía mejor la secuencia que un "gigante" que lo sabía todo.
2. Los "pensadores profundos" fallaron: Había modelos nuevos diseñados específicamente para "pensar mucho" antes de responder (como si se tomaran un café para reflexionar). ¡Pues no funcionaron bien! A veces, pensar demasiado los confundió más. Se enredaban en sus propias ideas y daban respuestas incorrectas.
3. El contexto es clave: Si les dabas un resumen del informe (como una pista), los modelos funcionaban mucho mejor. Sin pistas, adivinaban.
4. La "alucinación" es real: A veces, la IA inventaba pasos que nunca ocurrieron en el informe, como si el ladrón hubiera usado un cohete para entrar, cuando en realidad usó una llave maestra.

💡 ¿Por qué es importante esto?

Imagina que un banco quiere usar una IA para detectar robos. Si la IA no entiende el orden de los pasos del ladrón, no podrá predecir el siguiente movimiento.

• Si la IA cree que el ladrón va a robar antes de esconderse, la alarma sonará demasiado tarde.

Este paper nos dice: "Oye, las IAs son inteligentes, pero aún necesitan aprender a leer la historia completa y no solo las frases sueltas. No podemos confiar ciegamente en ellas para entender secuencias de ataques complejos sin ayuda."

🚀 En Resumen

Los autores crearon un campo de entrenamiento (AttackSeqBench) para ver si las IAs pueden entender la historia completa de un ciberataque. Descubrieron que, aunque son inteligentes, a menudo se pierden en los detalles del orden y necesitan más ayuda (como contexto o mejores pistas) para no cometer errores graves.

Es como decirle a un detective novato: "No solo leas la lista de sospechosos, ¡mira el reloj y entiende quién llegó primero!".

Resumen técnico

Resumen Técnico: AttackSeqBench

1. El Problema

La Inteligencia de Amenazas Cibernéticas (CTI) es fundamental para la defensa proactiva, ya que documenta las observaciones de amenazas y sintetiza las acciones e intenciones de los adversarios. Sin embargo, los informes de CTI suelen ser extensos, no estructurados y verbosos, lo que dificulta la extracción manual de secuencias de ataque completas.

Aunque los Modelos de Lenguaje Grande (LLMs) han demostrado potencial en tareas de ciberseguridad como la extracción de entidades y la construcción de grafos de conocimiento, su capacidad para entender y razonar sobre secuencias de comportamiento adversario (especialmente en ataques multi-etapa de Amenazas Persistentes Avanzadas o APTs) sigue siendo inexplorada. Los benchmarks existentes se centran principalmente en la extracción de inteligencia o la atribución, pero no evalúan la capacidad de los modelos para inferir las dependencias temporales y lógicas entre las tácticas, técnicas y procedimientos (TTPs) descritos en los informes.

2. Metodología

Los autores presentan AttackSeqBench, un nuevo benchmark diseñado sistemáticamente para evaluar la capacidad de razonamiento de los LLMs en el contexto de secuencias de ataque.

• Construcción del Dataset:

  • Se utilizaron 408 informes de CTI reales de diversos proveedores de seguridad.
  • Se empleó un marco de trabajo basado en LLMs para extraer TTPs y construir secuencias de ataque estructuradas bajo el marco MITRE ATT&CK®.
  • Se definió una secuencia de ataque $S$ como una tupla que incluye: secuencia de tácticas ($T$), mapeo de técnicas ($E$), mapeo de procedimientos ($P$) y un resumen del informe ($O$).
  • Se implementó una tubería automatizada de generación de preguntas (Q&A) que convierte los nuevos informes de CTI en un formato predefinido, garantizando la extensibilidad del benchmark.

• Tareas de Evaluación:
  Se definieron tres tareas principales basadas en la jerarquía de comportamientos adversarios:

  1. AttackSeqBench-Tactic: Inferir la táctica correcta en una secuencia.
  2. AttackSeqBench-Technique: Inferir la técnica específica dentro de una táctica.
  3. AttackSeqBench-Procedure: Determinar la probabilidad de que un procedimiento específico ocurra en la secuencia (preguntas de tipo Sí/No).

• Configuraciones de Prueba:
  Para evaluar la escalabilidad del razonamiento y la expandibilidad epistémica, se probaron los modelos en tres escenarios:

  1. Zero-Shot: Sin contexto adicional, solo conocimiento interno.
  2. Contexto: Se proporciona un resumen del informe de CTI con la táctica objetivo enmascarada para forzar el razonamiento abductivo.
  3. RAG (Generación Aumentada por Recuperación): Se integra un sistema de recuperación de conocimiento (basado en ATT&CK KB) para evaluar cómo el modelo utiliza información externa.

• Modelos Evaluados:
  Se probaron 7 LLMs (ej. LLaMa3, Qwen2.5, GPT-4o), 5 LRMs (Modelos de Razonamiento Grande como DeepSeek-R1, GPT-o3-mini) y 4 estrategias de post-entrenamiento (SFT, Distilación de Razonamiento, RLIF, RLVR).

3. Contribuciones Clave

1. Nuevo Benchmark (AttackSeqBench): El primer conjunto de datos y evaluación sistemática centrado específicamente en la comprensión de secuencias de ataque y dependencias temporales en informes de CTI reales.
2. Pipeline Automatizado y Extensible: Un sistema que permite actualizar el benchmark con nuevos informes de CTI sin intervención manual masiva, abordando la naturaleza cambiante de las amenazas.
3. Análisis de LRMs vs. LLMs: Una evaluación exhaustiva que revela que los modelos de razonamiento (LRMs), que suelen superar a los LLMs en matemáticas o codificación, no logran superar significativamente a los LLMs estándar en tareas de secuencias de ataque, y en muchos casos rinden peor.
4. Análisis de Limitaciones: Identificación de por qué fallan los modelos actuales:
   • Sobre-pensamiento (Overthinking): Los LRMs a menudo introducen bucles de razonamiento redundantes que llevan a conclusiones incorrectas al malinterpretar restricciones temporales.
   • Fallo en RAG: La integración simple de RAG a menudo introduce ruido o hace que el modelo dependa excesivamente de fragmentos recuperados sin sintetizar la secuencia global, resultando en errores factuales.

4. Resultados Principales

• Rendimiento General: Ningún modelo domina consistentemente en todas las tareas. El rendimiento varía según la tarea (Táctica, Técnica o Procedimiento).
• Desempeño de LRMs: Contrario a lo observado en otros dominios, los LRMs (como R1 y GPT-o3-mini) no superan a los LLMs base en la mayoría de las tareas de AttackSeqBench. En tareas complejas de razonamiento (como determinar si un procedimiento no ocurrió), los LRMs a veces fallan debido a la interpretación errónea de restricciones temporales ("solo antes de", "después de").
• Impacto del Contexto: La configuración con contexto (Context Setting) mejora significativamente el rendimiento, especialmente en modelos más grandes, lo que indica que la información contextual es crucial para inferir acciones implausibles.
• Efectividad del RAG: El rendimiento bajo la configuración RAG es generalmente inferior al Zero-Shot o Contexto. El análisis de errores muestra que el 59% de los errores se deben a "Errores Factuales" donde el modelo no integra correctamente la evidencia recuperada, y el 32% a "Sobre-dependencia" de la información recuperada sin validarla contra la intención de la pregunta.
• Análisis de Sensibilidad: Los modelos más grandes son más robustos a cambios en la temperatura, mientras que los modelos pequeños sufren caídas drásticas de rendimiento. Aumentar el presupuesto de tokens mejora el rendimiento de los LRMs hasta cierto punto, pero con rendimientos decrecientes.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la ciberseguridad basada en IA por varias razones:

• Cierre de Brecha de Conocimiento: Demuestra que la capacidad de los LLMs para entender la secuencia y la lógica temporal de un ataque es un desafío distinto y más difícil que la simple extracción de entidades.
• Guía para Futuras Investigaciones: Sugiere que las estrategias de post-entrenamiento actuales (como la distilación de razonamiento) no son suficientes para dominar tareas de ciberseguridad específicas y que se necesitan estrategias especializadas para integrar conocimiento de dominio sin causar "olvido catastrófico" o sobre-pensamiento.
• Herramienta Operativa: AttackSeqBench proporciona una base estandarizada para evaluar y mejorar herramientas de automatización en la Inteligencia de Amenazas, permitiendo a los profesionales de seguridad confiar más en la automatización para el análisis de informes complejos.
• Recurso Abierto: El código, el dataset y los pipelines de construcción están disponibles públicamente, fomentando la reproducibilidad y la evolución continua del benchmark ante nuevas amenazas.

En conclusión, AttackSeqBench establece un nuevo estándar para medir la comprensión de las secuencias de ataque por parte de la IA, revelando limitaciones críticas en los modelos actuales y señalando la necesidad de enfoques más sofisticados para el razonamiento en el dominio de la ciberseguridad.