💻 computer science

DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction

El artículo presenta DiagChain, un banco de pruebas de diagnóstico que cuenta con 69 escenarios diversos y el marco ECRAG para evaluar agentes de LLM en la reconstrucción de cadenas de ataque basadas en evidencia, revelando que mientras los modelos más grandes tienen dificultades con el ordenamiento de la evidencia, los modelos más pequeños fallan en la incorporación básica de la misma, destacando así la necesidad de una evaluación por etapas en lugar de una precisión agregada.

Autores originales: Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

Publicado 2026-08-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de resolver un misterio, pero en lugar de una escena del crimen, estás ante una escena del crimen digital: las "pistas" están esparcidas por todas partes: millones de líneas de registros informáticos, alertas de seguridad y registros del sistema. En el mundo de la ciberseguridad, los expertos utilizan Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés)—chatbots de IA superinteligentes entrenados en vastas cantidades de texto—para actuar como detectives digitales. Se supone que estos agentes de IA deben leer las pistas desordenadas, descifrar qué sucedió y escribir la historia del ataque en el orden correcto. Este proceso se llama reconstrucción de la cadena de ataque (attack chain reconstruction). Es como intentar ver una película que ha sido cortada en miles de fotogramas aleatorios y luego pedirle a alguien que ponga los fotogramas en el orden correcto para contar la historia.

Pero aquí está el problema: la mayoría de las pruebas para estos detectives de IA solo analizan la historia final que escriben. Si la historia es errónea, la prueba dice "fallo", pero no te dice por qué. ¿Se le pasó al detective una pista? ¿Encontró las pistas pero olvidó escribirlas? ¿O encontró las pistas correctas pero las puso en el orden equivocado? Necesitamos una forma de echar un vistazo dentro del cerebro del detective mientras trabaja para ver exactamente dónde se queda estancado. Aquí es donde entra el nuevo artículo, DiagChain. Este introduce un campo de pruebas especial diseñado no solo para calificar la respuesta final, sino para diagnosticar los pasos específicos donde el detective de IA pierde el rastro.

Los autores de este artículo, investigadores de la Universidad de Tsinghua y de la Corporación CRRC, construyeron un nuevo punto de referencia llamado DiagChain para solucionar este punto ciego. Crearon un conjunto de datos denominado MAIN-69, que consiste en 69 diferentes "escenas del crimen" (escenarios) que van desde lo simple hasta lo muy complejo. Estas escenas provienen de datos del mundo real como registros de Linux, eventos de Windows y alertas de la nube. Para que la prueba sea realista, añadieron diferentes niveles de "ruido"—como añadir charla de fondo inofensiva a las pistas para ver si la IA se distrae. También variaron la longitud de las cadenas de ataque, desde breves ráfagas de actividad hasta intrusiones largas y prolongadas.

Para probar a la IA, utilizaron un flujo de trabajo especial llamado ECRAG (Generación Aumentada de Recuperación Centrada en la Evidencia). Piensa en esto como darle al detective de IA una lupa y un cuaderno que se actualiza solo. La IA tiene que buscar pistas, agruparlas, determinar la línea de tiempo y luego escribir la historia, todo esto mientras verifica constantemente su trabajo. Los investigadores midieron el rendimiento de la IA utilizando cinco "controles de salud" específicos en lugar de solo una calificación final:

Recuperación (Retriección): ¿Encontró la IA las pistas?
Agrupación: ¿Puso las pistas relacionadas en los contenedores correctos?
Ordenación: ¿Organizó los eventos en la secuencia temporal correcta?
Fundamentación: ¿Utilizó realmente las pistas que encontró para respaldar su historia?
Brecha de Atribución: ¿Encontró una pista, la observó y luego olvidó mencionarla en el informe final?

Los resultados fueron reveladores. Incluso las configuraciones de IA más inteligentes solo lograron que el 39.6% de los 849 pasos de referencia en el conjunto de datos MAIN-69 fueran completamente correctos sin cometer un error previo. El artículo sugiere que el tipo de modelo de IA importa mucho para determinar dónde falla. Los modelos más pequeños suelen tener dificultades con lo básico: encuentran una pista pero no logran incorporarla en su historia final, esencialmente dejando caer la evidencia. Los modelos más grandes y potentes son mejores encontrando y conservando las pistas, pero a menudo tropiezan al intentar ponerlas en el orden correcto. Es como un detective pequeño que encuentra el arma pero olvida anotarla, frente a un detective gigante que encuentra el arma, las huellas dactilares y el mapa, pero confunde completamente la cronología del robo.

Los investigadores también probaron qué sucede si le dan a la IA más tiempo o más "presupuesto de búsqueda" (permitiéndole mirar más pistas). Descubrieron que simplemente darle a la IA más recursos no soluciona automáticamente el problema. Si bien mirar más pistas ayuda a la IA a encontrar más evidencia, no garantiza que la IA organice esa evidencia correctamente o que deje de cometer errores en el ensamblaje final. De hecho, para algunos modelos, mirar demasiadas pistas sin una mejor estrategia solo hizo que la tarea fuera más difícil.

En última instancia, el artículo argumenta que debemos dejar de mirar solo la puntuación final y empezar a diagnosticar el proceso. Los hallazgos sugieren que hacer los modelos de IA más grandes no resuelve el problema del "ensamblaje de la cadena"; solo desplaza el cuello de botella de "encontrar pistas" a "organizar pistas". Para construir agentes de ciberseguridad verdaderamente fiables, necesitamos diseñar sistemas que sean específicamente buenos tomando la evidencia que encuentran y tejiéndola en una historia coherente, ordenada y fundamentada, en lugar de simplemente esperar que los modelos más grandes lo resuelvan por sí solos. Los autores proporcionan su código y datos para que otros puedan continuar probando y mejorando a estos detectives digitales.

Resumen Técnico: DiagChain

Declaración del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) se utilizan cada vez más en investigaciones de ciberseguridad, incluyendo la inspección de registros, la invocación de herramientas y el razonamiento sobre telemetría heterogénea para reconstruir cadenas de ataque. Sin embargo, los benchmarks existentes evalúan principalmente los resultados finales o la precisión agregada. Este enfoque ofrece una visibilidad limitada sobre el proceso de investigación intermedio, fallando al distinguir entre diferentes tipos de fallos, tales como el descubrimiento de evidencia, la agrupación, el ordenamiento, la fundamentación o la atribución. En consecuencia, las evaluaciones actuales proporcionan una visión parcial de la capacidad de un agente para realizar una Reconstrucción de Cadenas de Ataque Basada en Evidencia.

Los autores identifican tres limitaciones específicas en el panorama actual:

Cobertura de Escenarios: Los conjuntos de datos existentes rara vez abarcan múltiples sistemas operativos, niveles de ruido controlados y diversas longitudes de cadena simultáneamente.
Evaluación Diagnóstica: Las puntuaciones agregadas no revelan dónde se originó un fallo (por ejemplo, durante el descubrimiento de evidencia frente al ordenamiento).
Flujo de Trabajo de Investigación: La mayoría de los estudios evalúan ya sea el uso interactivo de herramientas o la generación de cadenas ordenadas de forma aislada, careciendo de un flujo de trabajo unificado que acople la recuperación de evidencia con un estado de trabajo estructurado y evolutivo.

Metodología

1. Construcción del Conjunto de Datos: MAIN-69

Para abordar las limitaciones de cobertura, los autores construyeron MAIN-69, un conjunto de datos de 69 escenarios de cadenas de ataque.

Fuentes: El conjunto de datos sintetiza datos de 23 unidades de origen derivadas de AutoLabel (registros de Linux), ExCyTIn-Bench (alertas de empresa/nube) y OTRF Security-Datasets (eventos de host Windows/APT29).
Variaciones: Cada fuente se transforma en tres perfiles de evidencia: Limpio (evidencia central del ataque), Ruidoso (evidencia central más actividad benigna/distractora) y Bruto (ventanas originales amplias).
Estructura: Los escenarios se categorizan por longitud de cadena: Pequeña (S, 2–5 pasos), Mediana (M, 6–15 pasos) y Grande (L, ≥16 pasos).
Verdad de Referencia (Ground Truth): Cada caso incluye un "Paquete de Referencia de Oro" verificado manualmente que contiene una secuencia ordenada de pasos adversarios, mapeada a identificadores de evidencia y entidades específicas. El conjunto de datos cubre 849 pasos de referencia y 780 aristas temporales.

2. Flujo de Trabajo del Agente: ECRAG

El artículo introduce la Generación Aumentada de Recuperación Centrada en la Evidencia (ECRAG) para apoyar el proceso de reconstrucción. A diferencia del RAG estándar, ECRAG acopla la recuperación de evidencia con una representación estructurada evolutiva de la cadena.

Estado: El agente mantiene un estado $S_t$ que comprende tarjetas de evidencia observadas ( $O$ ), una cadena de trabajo ( $C$ ) y memoria ( $m$ ).
Mecanismo de Recuperación: ECRAG emplea un proceso de recuperación de tres pasos:
1. Recuperación Léxica: Clasificación TF-IDF de documentos para encontrar coincidencias semilla.
2. Expansión de Grafo: La Expansión de Entidades recupera tarjetas que comparten entidades visibles con las semillas; la Expansión Temporal recupera registros inmediatamente anteriores o posteriores dentro de la misma fuente.
3. Recalificación (Rescoring): Los candidatos se vuelven a clasificar utilizando una puntuación compuesta ( $r(e)$ ) que combina similitud textual, superposición de tokens, coincidencia de pistas exactas y bonificaciones de metadatos.
Flujo de Trabajo: El agente consulta la evidencia de forma iterativa, valida los pasos y actualiza la cadena de trabajo. El envío final requiere que cada paso cite la evidencia observada.

3. Métricas de Evaluación Diagnóstica

En lugar de una única puntuación de precisión, DiagChain emplea cinco métricas complementarias para diagnosticar etapas específicas de fallo:

Cobertura de Paso de Recuperación (Ret.): La fracción de pasos de referencia para los cuales el agente observó al menos un elemento de evidencia de soporte.
F1 de Agrupación (Grp.): Mide qué tan bien se particiona la evidencia en pasos coherentes (usando agrupamiento B3), independientemente de la recuperación.
Precisión de Ordenamiento (Ord.): La fracción de pares de pasos comparables colocados en el orden cronológico correcto.
F1 de Fundamentación de Evidencia (Grd.): La precisión y completitud del soporte citado dentro de los pasos alineados.
Tasa de Brecha de Atribución (Gap): La fracción de evidencia de referencia observada que fue encontrada pero omitida de las citas de la cadena final.

Resultados Clave

Los autores evaluaron seis configuraciones de LLM (Qwen-3-32b, DeepSeek-V4-Pro, GLM-5.2, GLM-5.2-T, Llama4-17b-Scout y GPT-5.5) en MAIN-69.

Capacidad General (RQ1)

Sin Modelo Dominante: Ningún modelo destacó en todas las etapas. GPT-5.5 mostró la mayor fuerza consistente en recuperación y ordenamiento, mientras que las variantes de GLM-5.2 a menudo lograron las brechas de atribución más pequeñas.
Recuperación vs. Ensamblaje: Una alta cobertura de recuperación no garantiza una reconstrucción exitosa. Por ejemplo, en cadenas medianas brutas, Qwen-3-32b y DeepSeek-V4-Pro tuvieron una cobertura de recuperación similar (~0.84), pero DeepSeek logró una fundamentación significativamente mejor (0.64 vs. 0.51).
Cuellos de Botella en Cadenas Largas: Los modelos más pequeños (Qwen, Llama) tuvieron grandes dificultades con la agrupación (F1 0.18–0.25) en cadenas largas, mientras que los modelos más grandes mantuvieron puntuaciones de agrupación más altas (0.53–0.81).

Anatomía del Fallo (RQ2)

Tamaño del Modelo y Modos de Fallo:
- Modelos Pequeños: Fallan principalmente en la Retención de Evidencia (E2: observada pero no utilizada). Tienen dificultades para incorporar la evidencia recuperada en sus salidas.
- Modelos Grandes: Fallan principalmente en el Ordenamiento Global (E4: evidencia mal ordenada). Recuperan la evidencia con éxito pero tienen dificultades para secuenciarla correctamente.
Impacto del Ruido y la Longitud: Los perfiles de evidencia brutos aumentan los fallos de "Evidencia No Observada" (E1). Las cadenas largas desplazan el cuello de botella hacia errores de ordenamiento y ensamblaje en lugar de un único tipo de error dominante.
Descubrimiento vs. Uso: Todos los modelos exhibieron una brecha entre la evidencia observada y la evidencia citada. Los modelos más pequeños mostraron la separación más amplia (por ejemplo, Llama4-17b-Scout observó el 72% de la evidencia de oro pero citó solo el 34%), indicando una debilidad en convertir la observación en atribución.

Ablación y Sensibilidad (RQ3 y RQ4)

Importancia del Andamiaje (Scaffold): Un "Andamiaje Completo" (recuperación + memoria de cadena estructurada + reflexión + comprobaciones de fundamentación) mejoró significativamente el ordenamiento (0.943) y la atribución (Gap 0.054) en comparación con "Solo Recuperación" o "Solo LLM", a pesar de un ligero compromiso en la cobertura de recuperación.
Sensibilidad al Presupuesto: Aumentar la profundidad de recuperación ( $k$ ) o los turnos de interacción más allá de cierto punto (por ejemplo, $k=32$ , 15 turnos) no mejoró consistentemente la calidad final de la cadena. Los turnos excesivos aumentaron los costos de tokens y desestabilizaron el ordenamiento sin reducir los errores de atribución.

Significado y Reivindicaciones

El artículo sostiene que DiagChain proporciona un cambio necesario de las métricas de precisión de extremo a extremo hacia la evaluación diagnóstica para agentes de ciberseguridad.

Perspectiva Diagnóstica: El benchmark revela que los modelos "más fuertes" no eliminan los fallos, sino que desplazan el cuello de botella de la retención de evidencia hacia la organización de la cadena global.
Diseño Accionable: Los hallazgos sugieren que mejorar los agentes de ciberseguridad requiere estrategias distintas para diferentes tamaños de modelos: los modelos más pequeños necesitan mejores mecanismos de integración de evidencia, mientras que los modelos más grandes requieren mejor lógica de ordenamiento y ensamblaje global.
Auditabilidad: Al acoplar la recuperación de evidencia con una cadena de trabajo estructurada y comprobaciones de fundamentación explícitas, Diachain hace que el proceso de reconstrucción sea auditable, permitiendo a los investigadores identificar exactamente dónde y por qué falla un agente (por ejemplo, descubrimiento vs. atribución).

Los autores concluyen que los presupuestos de interacción más grandes no son un remedio universal para los fallos de reconstrucción, enfatizando la necesidad de un diseño de agentes consciente de la evidencia y de una evaluación diagnóstica para mejorar la fiabilidad de la investigación en ciberseguridad.