ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

1. Declaração do Problema

A investigação de ameaças cibernéticas é um processo complexo e multifacetado que exige que analistas de segurança triagem logs de segurança heterogêneos, correlacionem eventos entre múltiplas fontes de dados e raciocinem através de cadeias de evidências de múltiplos saltos para identificar ameaças. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial em tarefas de raciocínio complexo, há uma falta de benchmarks padronizados para avaliar agentes de LLM especificamente na investigação de ameaças cibernéticas. Benchmarks existentes (por exemplo, CTIBench, SECURE) focam principalmente na memorização de conhecimento, extração de texto ou perguntas e respostas de múltipla escolha, falhando em testar a capacidade de um agente de interagir com um banco de dados, descobrir esquemas e realizar raciocínio sequencial para resolver incidentes de segurança do mundo real.

2. Metodologia

Os autores propõem o ExCyTIn-Bench, um benchmark abrangente projetado para simular cenários reais de investigação de ameaças. A metodologia envolve três componentes principais:

A. Coleta de Dados e Construção do Ambiente

• Fonte: Os dados foram coletados de um locatário fictício do Microsoft Azure ("Alpine Ski House") configurado com monitores de segurança realistas.
• Escala: O ambiente inclui 57 tabelas de log distintas (por exemplo, SigninLogs, EmailEvents, SecurityAlert, SecurityIncident) contendo mais de 14 milhões de linhas no fluxo de log completo de 44 dias.
• Incidentes: O conjunto de dados abrange 8 cadeias de ataque distintas e multifaseadas baseadas em ataques históricos do mundo real (por exemplo, Ransomware Manatee Tempest, BEC/Sequestro de Conta). Cada incidente abrange de 2 horas a 5 dias e envolve várias técnicas do MITRE ATT&CK.
• Interface: O benchmark fornece um ambiente Docker MySQL onde os agentes interagem por meio de consultas SQL. Os agentes devem descobrir o esquema (tabelas e colunas) por meio de exploração, pois o esquema completo não é fornecido no prompt.

B. Geração de Perguntas via Grafos Bipartidos

Para gerar perguntas de alta qualidade, não repetitivas e fundamentadas, os autores desenvolveram um pipeline de geração baseado em grafos principiado:

1. Construção do Grafo: Para cada incidente, um grafo bipartido $G=(U, V, E)$ é construído, onde $U$ representa vértices de Alerta e $V$ representa vértices de Entidade (por exemplo, usuários, IPs, hosts). As arestas conectam alertas às entidades que envolvem.
2. Seleção de Caminho: O sistema seleciona dois alertas distintos ($u_s$ e $u_e$) como pontos de partida e chegada. Ele identifica as entidades conectadas a esses alertas para formar um caminho.
3. Geração de QA: Um LLM é instruído a gerar uma pergunta usando o alerta de início e suas entidades conectadas como contexto, e a entidade do alerta de fim como a resposta.
4. Caminho de Solução: O caminho mais curto entre os nós de início e fim no grafo serve como o caminho de solução ground-truth, permitindo uma avaliação granular dos passos intermediários.

• Saída: Este processo gerou 7.542 perguntas, com 589 selecionadas para o conjunto de teste para garantir diversidade e evitar sobreposição de caminhos entre os conjuntos de treinamento/teste.

C. Framework de Avaliação

• Sistema de Recompensa: O benchmark utiliza um mecanismo de recompensa decaída (inspirado em Aprendizado por Reforço).
  • Recompensa Total (1.0): Concedida pela resposta final correta.
  • Recompensa Parcial: Se a resposta final estiver incorreta, o sistema verifica se o agente encontrou nós intermediários (IoCs) ao longo do caminho de solução. Recompensas são atribuídas com base no progresso feito, com um fator de decaimento ($\gamma=0,4$) aplicado a passos mais distantes da resposta final.
• Julgamento: A avaliação é realizada usando um LLM como juiz (GPT-4o) para lidar com variações na formatação da resposta e verificar se o raciocínio do agente está alinhado com a verdade fundamental, em vez de depender apenas de correspondência exata de strings.

3. Principais Contribuições

1. Primeiro Benchmark de Investigação de Ameaças: O ExCyTIn-Bench é o primeiro benchmark projetado especificamente para avaliar agentes de LLM na tarefa ponta a ponta de investigação de ameaças cibernéticas usando dados de log do mundo real.
2. Estratégia de Geração de QA Inovadora: O artigo introduz um método para gerar perguntas determinísticas e não repetitivas a partir de grafos bipartidos alerta-entidade, garantindo que as perguntas estejam fundamentadas em caminhos de dados explícitos e tenham trajetórias de solução verificáveis.
3. Avaliação de Processo Granular: Diferente de métricas binárias de aprovação/reprovação, o benchmark fornece recompensas passo a passo, permitindo a avaliação da capacidade de um agente de extrair Indicadores de Comprometimento (IoCs) intermediários e seu progresso em espaços de busca complexos.
4. Análise Empírica Abrangente: Os autores fornecem uma análise detalhada do desempenho do modelo, comportamento (descoberta de esquema, sucesso da consulta) e eficiência (custo vs. recompensa) em uma ampla gama de modelos.

4. Resultados Experimentais

Os autores avaliaram inúmeros modelos proprietários e de código aberto (incluindo GPT-4o, Claude-Opus-4.5, Llama-4, Qwen-3 e modelos de raciocínio como o1/o3) usando várias estratégias de prompting (ReAct, Expel, Best-of-N, Auto-reflexão).

• Teto de Desempenho: A tarefa é altamente desafiadora. O modelo de melhor desempenho, Claude-Opus-4.5, alcançou uma recompensa média máxima de 0,606, deixando espaço significativo para melhoria.
• Comparação de Modelos:
  • Proprietário vs. Código Aberto: Modelos proprietários de ponta (Claude-Opus-4.5, GPT-5.1) superam modelos de código aberto, mas grandes modelos de código aberto (por exemplo, Llama-4-Maverick-17B) estão fechando rapidamente a lacuna, alcançando recompensas competitivas (~0,29).
  • Modelos de Raciocínio: Modelos com capacidades explícitas de raciocínio (por exemplo, o1, o3) mostram forte desempenho, particularmente quando combinados com estratégias de reflexão.
• Impacto do Método:
  • ReAct + Reflexão: Esta combinação produziu os maiores ganhos de desempenho na maioria dos modelos, superando significativamente o prompt base.
  • Expel: O método Expel (destilando regras dos dados de treinamento) mostrou alta eficiência (menos turnos), mas maior custo devido à inflação do prompt.
• Eficiência: Há uma forte correlação positiva (Pearson $r=0,86$) entre as taxas de sucesso de consulta e as recompensas finais. Modelos menores frequentemente lutam com a descoberta de esquemas, levando a mais erros e recompensas mais baixas.
• Estudos de Ablação:
  • Escopo do DB: Remover logs de alerta (simulando ataques zero-day) causou uma queda significativa no desempenho, destacando o papel crítico dos alertas de detecção na investigação.
  • Janela de Tempo: Expandir a janela de tempo para um histórico completo de 44 dias introduziu ruído, reduzindo ligeiramente o desempenho em comparação com fatias por incidente.

5. Significado e Direções Futuras

• Avançando a Segurança Autônoma: O ExCyTIn-Bench fornece um ambiente de teste crítico para desenvolver agentes autônomos capazes de reduzir a carga sobre analistas humanos de SOC automatizando a caça a ameaças multifacetada.
• RL para Cibersegurança: A estrutura de recompensa granular torna o benchmark unicamente adequado para treinar agentes via Aprendizado por Reforço (RL), permitindo a atribuição precisa de crédito em etapas de investigação.
• Avaliação Realista: Ao usar padrões de ataque do mundo real e exigir descoberta de esquema, o benchmark vai além da "recuperação de conhecimento" para testar o raciocínio investigativo genuíno e o uso de ferramentas.
• Código Aberto: Os autores disponibilizaram o benchmark, o ambiente e o código (SecRL) como código aberto, fomentando a reprodutibilidade e acelerando a pesquisa em defesa de cibersegurança impulsionada por IA.

Em conclusão, o ExCyTIn-Bench estabelece um novo padrão para avaliar agentes de LLM em cibersegurança, demonstrando que, embora os modelos atuais mostrem potencial, avanços significativos em raciocínio, compreensão de esquemas e planejamento de múltiplos saltos são necessários para alcançar uma investigação de ameaças totalmente autônoma.