💻 computer science

DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction

O artigo apresenta o DiagChain, um benchmark de diagnóstico que apresenta 69 cenários diversos e o framework ECRAG para avaliar agentes de LLM na reconstrução de cadeias de ataque fundamentadas em evidências, revelando que, enquanto modelos maiores têm dificuldade com a ordenação de evidências, modelos menores falham na incorporação básica de evidências, destacando, assim, a necessidade de uma avaliação por etapas em vez de uma precisão agregada.

Autores originais: Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

Publicado 2026-08-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas em vez de uma cena de crime, você está olhando para uma cena de crime digital. As "pistas" estão espalhadas por toda parte: milhões de linhas de registros de computadores, alertas de segurança e registros de sistema. No mundo da cibersegurança, especialistas usam Modelos de Linguagem de Grande Escala (LLMs) — chatbots de IA super inteligentes treinados em vastas quantidades de texto — para agir como detetives digitais. Esses agentes de IA devem ler as pistas bagunçadas, entender o que aconteceu e escrever a história do ataque na ordem correta. Esse processo é chamado de reconstrução da cadeia de ataque (attack chain reconstruction). É como tentar assistir a um filme que foi cortado em milhares de quadros aleatórios e depois pedir a alguém para colocar os quadros de volta na ordem certa para contar a história.

Mas aqui está o problema: a maioria dos testes para esses detetives de IA olha apenas para a história final que eles escrevem. Se a história estiver errada, o teste diz "falha", mas não diz por que. O detetive perdeu uma pista? Eles encontraram as pistas, mas esqueceram de escrevê-las? Ou encontraram as pistas certas, mas as colocaram na ordem errada? Precisamos de uma maneira de espiar dentro do cérebro do detetive enquanto ele trabalha para ver exatamente onde ele se perde. É aqui que o novo artigo, DiagChain, entra. Ele introduz um campo de teste especial projetado não apenas para dar uma nota à resposta final, mas para diagnosticar os passos específicos onde o detetive de IA perde o rastro.

Os autores deste artigo, pesquisadores da Universidade de Tsinghua e da CRRC Corporation, construíram um novo benchmark chamado DiagChain para corrigir esse ponto cego. Eles criaram um conjunto de dados chamado MAIN-69, que consiste em 69 diferentes "cenas de crime" (cenários) variando de simples a muito complexas. Essas cenas vêm de dados do mundo real, como logs de Linux, eventos de Windows e alertas de nuvem. Para tornar o teste realista, eles adicionaram diferentes níveis de "ruído" — como adicionar conversas irrelevantes de fundo às pistas para ver se a IA se distrai. Eles também variaram a extensão das cadeias de ataque, desde surtos curtos de atividade até intrusões longas e prolongadas.

Para testar a IA, eles usaram um fluxo de trabalho especial chamado ECRAG (Geração Aumentada de Recuperação Centrada em Evidências). Pense nisso como dar ao detetive de IA uma lupa e um caderno que se atualiza sozinho. A IA tem que buscar pistas, agrupá-las, entender a linha do tempo e então escrever a história, tudo isso enquanto verifica constantemente seu próprio trabalho. Os pesquisadores mediram o desempenho da IA usando cinco "verificações de saúde" específicas, em vez de apenas uma nota final:

Recuperação (Retrieval): A IA encontrou as pistas?
Agrupamento (Grouping): Ela colocou as pistas relacionadas nos baldes certos?
Ordenação (Ordering): Ela organizou os eventos na sequência temporal correta?
Fundamentação (Grounding): Ela realmente usou as pistas que encontrou para apoiar sua história?
Lacuna de Atribuição (Attribution Gap): Ela encontrou uma pista, olhou para ela e depois esqueceu de mencioná-la no relatório final?

Os resultados foram reveladores. Mesmo as configurações de IA mais inteligentes conseguiram acertar apenas 39,6% dos 849 passos de referência no conjunto de dados MAIN-69 sem cometer um erro anterior. O artigo sugere que o tipo de modelo de IA importa muito para onde ele falha. Modelos menores frequentemente lutam com o básico: eles encontram uma pista, mas falham em incorporá-la em sua história final, essencialmente descartando a evidência. Modelos maiores e mais poderosos são melhores em encontrar e manter as pistas, mas muitas vezes tropeçam ao tentar colocá-las na ordem correta. É como um detetive pequeno que encontra a arma, mas esquece de escrevê-la, versus um detetive gigante que encontra a arma, as impressões digitais e o mapa, mas confunde completamente a linha do tempo do roubo.

Os pesquisadores também testaram o que acontece se você der mais tempo ou mais "orçamento de busca" (permitindo que a IA olhe para mais pistas). Eles descobriram que simplesmente dar mais recursos à IA não resolve automaticamente o problema. Embora olhar para mais pistas ajude a IA a encontrar mais evidências, isso não garante que a IA as organizará corretamente ou que deixará de cometer erros na montagem final. Na verdade, para alguns modelos, olhar para pistas demais sem uma estratégia melhor tornou a tarefa mais difícil.

Em última análise, o artigo argumenta que precisamos parar de olhar apenas para a pontuação final e começar a diagnosticar o processo. As descobertas sugerem que tornar os modelos de IA maiores não resolve o problema da "montagem da cadeia"; apenas desloca o gargalo de "encontrar pistas" para "organizar pistas". Para construir agentes de cibersegurança verdadeiramente confiáveis, precisamos projetar sistemas que sejam especificamente bons em pegar a evidência que encontram e tecê-la em uma história coerente, ordenada e fundamentada, em vez de apenas esperar que modelos maiores resolvam isso por conta própria. Os autores disponibilizam seu código e dados para que outros possam continuar testando e melhorando esses detetives digitais.

Resumo Técnico: DiagChain

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados em investigações de cibersegurança, incluindo inspeção de logs, invocação de ferramentas e raciocínio sobre telemetria heterogênea para reconstruir cadeias de ataque. No entanto, os benchmarks existentes avaliam primariamente os resultados finais ou a precisão agregada. Essa abordagem oferece visibilidade limitada sobre o processo de investigação intermediário, falhando em distinguir entre diferentes tipos de falhas, como descoberta de evidências, agrupamento, ordenação, fundamentação ou atribuição. Consequentemente, as avaliações atuais fornecem apenas uma visão parcial da capacidade de um agente em realizar a Reconstrução de Cadeia de Ataque Baseada em Evidências.

Os autores identificam três limitações específicas no cenário atual:

Cobertura de Cenários: Os conjuntos de dados existentes raramente abrangem múltiplos sistemas operacionais, níveis controlados de ruído e diversos comprimentos de cadeia simultaneamente.
Avaliação Diagnóstica: Pontuações agregadas não revelam onde uma falha se originou (por exemplo, durante a descoberta de evidências versus a ordenação).
Fluxo de Trabalho de Investigação: A maioria dos estudos avalia o uso de ferramentas interativas ou a geração de cadeias ordenadas isoladamente, carecendo de um fluxo de trabalho unificado que acople a recuperação de evidências com um estado de trabalho estruturado e evolutivo.

Metodologia

1. Construção do Conjunto de Dados: MAIN-69

Para abordar as limitações de cobertura, os autores construíram o MAIN-69, um conjunto de dados de 69 cenários de cadeia de ataque.

Fontes: O conjunto de dados sintetiza dados de 23 unidades de origem derivadas de AutoLabel (logs de Linux), ExCyTIn-Bench (alertas de enterprise/nuvem) e OTRF Security-Datasets (eventos de host Windows/APT29).
Variações: Cada fonte é transformada em três perfis de evidência: Clean (evidência central do ataque), Noisy (evidência central mais atividade benigna/distrativa) e Raw (janelas originais amplas).
Estrutura: Os cenários são categorizados pelo comprimento da cadeia: Pequena (S, 2–5 etapas), Média (M, 6–15 etapas) e Grande (L, ≥16 etapas).
Ground Truth (Verdade Fundamental): Cada caso inclui um "Pacote de Referência de Ouro" verificado manualmente contendo uma sequência ordenada de etapas adversariais, mapeada para identificadores de evidências e entidades específicas. O conjunto de dados cobre 849 etapas de referência e 780 arestas temporais.

2. Fluxo de Trabalho do Agente: ECRAG

O artigo introduz a Geração Aumentada de Recuperação Centrada em Evidências (ECRAG) para suportar o processo de reconstrução. Diferente do RAG padrão, o ECRAG acopla a recuperação de evidências com uma representação estruturada evolutiva da cadeia.

Estado: O agente mantém um estado $S_t$ composto por cartões de evidência observados ( $O$ ), uma cadeia de trabalho ( $C$ ) e memória ( $m$ ).
Mecanismo de Recuperação: O ECRAG emprega um processo de recuperação de três etapas:
1. Recuperação Lexical: Ranking TF-IDF de documentos para encontrar correspondências semente.
2. Expansão de Grafo: Expansão de Entidade recupera cartões que compartilham entidades visíveis com as sementes; Expansão Temporal recupera registros imediatamente anteriores/posteriores dentro da mesma fonte.
3. Re-pontuação (Rescoring): Os candidatos são reclassificados usando uma pontuação composta ( $r(e)$ ) combinando similaridade textual, sobreposição de tokens, correspondência de pistas exatas e bônus de metadados.
Fluxo de Trabalho: O agente consulta evidências iterativamente, valida etapas e atualiza a cadeia de trabalho. A submissão final exige que cada etapa cite a evidência observada.

3. Métricas de Avaliação Diagnóstica

Em vez de uma única pontuação de precisão, o DiagChain utiliza cinco métricas complementares para diagnosticar estágios específicos de falha:

Cobertura de Etapa de Recuperação (Ret.): A fração de etapas de referência para as quais o agente observou pelo menos um item de evidência de suporte.
F1 de Agrupamento (Grp.): Mede quão bem a evidência é particionada em etapas coerentes (usando agrupamento B3), independentemente da recuperação.
Precisão de Ordenação (Ord.): A fração de pares de etapas comparáveis colocados na ordem cronológica correta.
F1 de Fundamentação de Evidência (Grd.): A precisão e completude do suporte citado dentro das etapas alinhadas.
Taxa de Lacuna de Atribuição (Gap): A fração de evidência de referência observada que foi encontrada, mas omitida das citações da cadeia final.

Resultados Principais

Os autores avaliaram seis configurações de LLM (Qwen-3-32b, DeepSeek-V4-Pro, GLM-5.2, GLM-5.2-T, Llama4-17b-Scout e GPT-5.5) no MAIN-69.

Capacidade Geral (RQ1)

Sem Modelo Dominante: Nenhum modelo se destacou em todas as etapas. O GPT-5.5 mostrou a força mais consistente em recuperação e ordenação, enquanto as variantes GLM-5.2 frequentemente alcançaram as menores lacunas de atribuição.
Recuperação vs. Montagem: Alta cobertura de recuperação não garante reconstrução bem-sucedida. Por exemplo, em cadeias médias brutas (raw), o Qwen-3-32b e o DeepSeek-V4-Pro tiveram cobertura de recuperação semelhantes (~0.84), mas o DeepSeek alcançou uma fundamentação significativamente melhor (0.64 vs. 0.51).
Gargalos de Cadeias Longas: Modelos menores (Qwen, Llama) tiveram dificuldades significativas com o agrupamento (F1 0.18–0.25) em cadeias longas, enquanto modelos maiores mantiveram pontuações de agrupamento mais altas (0.53–0.81).

Anatomia da Falha (RQ2)

Tamanho do Modelo e Modos de Falha:
- Modelos Menores: Falham principalmente na Retenção de Evidência (E2: observada, mas não utilizada). Eles têm dificuldade em incorporar a evidência recuperada em seus outputs.
- Modelos Maiores: Falham principalmente na Ordenação Global (E4: evidência desordenada). Eles recuperam a evidência com sucesso, mas têm dificuldade em sequenciá-la corretamente.
Impacto de Ruído e Comprimento: Perfis de evidência brutos (raw) aumentam as falhas de "Evidência Não Observada" (E1). Cadeias longas deslocam o gargalo para erros de ordenação e montagem, em vez de um único tipo de erro dominante.
Descoberta vs. Uso: Todos os modelos exibiram uma lacuna entre a evidência observada e a evidência citada. Modelos menores mostraram a maior separação (ex: Llama4-17b-Scout observou 72% da evidência de ouro, mas citou apenas 34%), indicando uma fraqueza em converter observação em atribuição.

Ablação e Sensibilidade (RQ3 & RQ4)

Importância do Scaffold (Andaime): Um "scaffold completo" (recuperação + memória de cadeia estruturada + reflexão + verificações de fundamentação) melhorou significativamente a ordenação (0.943) e a atribuição (Gap 0.054) em comparação ao "Apenas Recuperação" ou "Apenas LLM", apesar de um leve trade-off na cobertura de recuperação.
Sensibilidade ao Orçamento: Aumentar a profundidade de recuperação ( $k$ ) ou os turnos de interação além de um certo ponto (ex: $k=32$ , 15 turnos) não melhorou consistentemente a qualidade final da cadeia. Turnos excessivos aumentaram os custos de tokens e desestabilizaram a ordenação sem reduzir os erros de atribuição.

Significância e Alegações

O artigo afirma que o DiagChain proporciona uma mudança necessária de métricas de precisão de ponta a ponta para a avaliação diagnóstica para agentes de cibersegurança.

Insight Diagnóstico: O benchmark revela que modelos "mais fortes" não eliminam as falhas, mas sim deslocam o gargalo da retenção de evidência para a organização global da cadeia.
Design Acionável: As descobertas sugerem que melhorar agentes de cibersegurança requer estratégias distintas para diferentes tamanhos de modelos: modelos menores precisam de melhores mecanismos de integração de evidências, enquanto modelos maiores requerem melhor lógica de ordenação global e montagem.
Auditabilidade: Ao acoplar a recuperação de evidências com uma cadeia de trabalho estruturada e verificações de fundamentação explícitas, o DiagChain torna o processo de reconstrução auditável, permitindo que pesquisadores identifiquem exatamente onde e por que um agente falha (ex: descoberta vs. atribuição).

Os autores concluem que orçamentos de interação maiores não são um remédio universal para falhas de reconstrução, enfatizando a necessidade de um design de agente consciente de evidências e de uma avaliação diagnóstica para melhorar a confiabilidade da investigação de cibersegurança.