CyberSleuth: Autonomous Blue-Team LLM Agent for Web Attack Forensics

O artigo apresenta o CyberSleuth, o primeiro agente autônomo baseado em LLM capaz de automatizar a análise forense pós-incidente de ataques web, alcançando 80% de precisão na identificação de serviços comprometidos e mapeamento de CVEs através de uma arquitetura multiagente especializada que supera abordagens hierárquicas complexas.

O essencial

Imagine que a segurança cibernética é como a polícia de uma cidade digital. Quando um criminoso invade um prédio (um servidor ou computador), os detetives humanos precisam revisar horas de gravações de câmeras de segurança (os registros de rede) para entender o que aconteceu, quem foi o ladrão e como ele entrou.

O problema é que essa tarefa é chata, lenta e cansativa. Os detetives humanos ficam sobrecarregados, cometem erros e demoram dias para fechar o caso.

O artigo que você enviou apresenta uma nova solução: o CyberSleuth. Pense nele como um "Detetive Robô Inteligente" que usa uma tecnologia chamada Inteligência Artificial (especificamente, modelos de linguagem grandes, ou LLMs) para fazer esse trabalho de investigação sozinho.

Aqui está como funciona, explicado de forma simples:

1. O Problema: O Detetive Cansado

Antes, quando um ataque acontecia, um especialista humano tinha que:

• Ler milhares de linhas de código e dados de rede.
• Tentar lembrar de todas as falhas de segurança conhecidas.
• Escrever um relatório longo explicando tudo.

Isso era como tentar achar uma agulha num palheiro, mas o palheiro estava pegando fogo e você estava com sono.

2. A Solução: O CyberSleuth (O Detetive Robô)

Os pesquisadores criaram o CyberSleuth. Em vez de um único robô tentando fazer tudo de uma vez (o que deixaria ele confuso), eles criaram uma equipe de robôs especialistas trabalhando juntos.

Pense na equipe assim:

• O Chefe de Polícia (Agente Principal): Ele coordena a investigação, faz as perguntas certas e escreve o relatório final.
• O Perito Forense (Agente de Resumo): Ele pega as horas de vídeo bruto (os dados de rede) e cria um resumo rápido, destacando apenas os momentos suspeitos. Ele não perde tempo assistindo a cenas de pessoas andando normalmente.
• O Pesquisador (Ferramenta de Busca): Ele vai à biblioteca (a internet) para checar se o que o Perito encontrou combina com crimes conhecidos (vulnerabilidades chamadas CVEs).

3. Como eles aprenderam a trabalhar bem?

Os pesquisadores testaram várias formas de organizar essa equipe e descobriram três segredos importantes:

• Não coloque tudo nas costas de um único robô: Se você pedir para um único robô ler tudo e pensar em tudo, ele se perde. É melhor ter especialistas. O "Perito" olha os dados, e o "Chefe" toma as decisões.
• Mantenha a comunicação simples: Eles descobriram que uma equipe onde todos gritam instruções complexas uns para os outros funciona mal. O melhor é uma linha de montagem: o Perito analisa -> passa para o Chefe -> o Chefe consulta a biblioteca -> o Chefe escreve o relatório.
• Memória de Longo Prazo: O robô precisa lembrar do que aconteceu no início da investigação quando estiver no final. Eles criaram um sistema de "memória externa" (como um caderno de anotações gigante) para que o robô não esqueça pistas importantes.

4. O Resultado: Um Detetive Incrível

Eles testaram esse sistema em 30 cenários de ataques reais (simulados).

• Precisão: O CyberSleuth acertou 80% dos casos, mesmo em ataques novos que nem existiam quando o robô foi "ensinado".
• Relatórios: Um painel de 25 especialistas humanos leu os relatórios gerados pelo robô e disse: "Estão completos, fazem sentido e são úteis".
• Versatilidade: O robô não serviu apenas para ataques em sites. Eles mudaram apenas a "ordem" que davam a ele (o prompt) e ele conseguiu analisar tráfego de computadores infectados por vírus, mostrando que a equipe de robôs é flexível.

5. Por que isso é importante?

Imagine que, em vez de um detetive humano ter que ficar acordado por 3 dias analisando um caso, você tem um assistente que faz o trabalho de "leitura e triagem" em minutos, deixando o humano livre para tomar as decisões finais difíceis.

O CyberSleuth não substitui o especialista humano, mas funciona como um super-assistente que nunca dorme, nunca perde o foco e consegue processar quantidades de dados que seriam impossíveis para uma pessoa sozinha.

Em resumo: O papel mostra que, ao organizar a Inteligência Artificial em uma equipe de especialistas com papéis definidos, conseguimos criar um "detetive digital" capaz de resolver crimes cibernéticos de forma rápida, precisa e confiável.

Resumo técnico

Título: CyberSleuth: Agente Autônomo Blue-Team LLM para Forense de Ataques Web

1. O Problema

A análise post-mortem de sistemas comprometidos é um pilar fundamental da forense cibernética, essencial para reconstruir as ações do atacante, identificar os objetivos e mitigar futuros incidentes. No entanto, o processo atual é predominantemente manual, lento e propenso a erros, exigindo que especialistas humanos:

1. Extraiam eventos relevantes de evidências digitais (como capturas de pacotes/PCAP).
2. Correlacionem esses eventos com bases de conhecimento existentes (ex: CVEs).
3. Produzam relatórios analíticos coerentes.

Com o aumento da sofisticação e automação dos ataques, a dependência de análise manual torna-se um gargalo. Embora a Inteligência Artificial Agêntica (LLMs com capacidade de raciocínio e uso de ferramentas) tenha mostrado potencial em outras áreas, sua aplicação na forense de segurança cibernética (Blue-Team) permanece pouco explorada. Os desafios específicos incluem a necessidade de raciocínio de longo prazo, gestão de contexto, memória consistente e correlação de evidências não estruturadas, capacidades onde os agentes LLM atuais frequentemente falham.

2. Metodologia

O artigo apresenta o CyberSleuth, o primeiro estudo sistemático para automatizar investigações forenses post-mortem utilizando agentes LLM.

Cenários de Ameaça e Dados

Os autores definiram dois cenários principais:

1. Ataques a Serviços Web: Ataques direcionados explorando vulnerabilidades conhecidas (CVEs) em serviços expostos. Os agentes recebem traços de rede (PCAP) e devem identificar o serviço alvo, a CVE explorada e se o ataque teve sucesso.
2. Tráfego de Dispositivos Infectados por Malware: Análise de tráfego gerado por máquinas infectadas (comando e controle, exfiltração, etc.).

O conjunto de dados de avaliação inclui 30 cenários controlados (20 para desenvolvimento/ajuste e 10 novos incidentes de 2025 para teste de generalização), além de 10 traços de malware públicos.

Arquitetura do Agente

O sistema foi projetado com três arquiteturas distintas para comparação, todas utilizando ferramentas como tshark (para análise de pacotes) e busca na web (para correlação com CVEs):

1. Agente Único (Single Agent - SA): Um único modelo LLM analisa o resumo dos pacotes e decide quais inspecionar.
2. Agente Especialista Tshark (TEA): Um agente principal coordena um sub-agente especializado para executar comandos tshark.
3. Agente Relator de Fluxo (Flow Reporter Agent - FRA) - CyberSleuth: Uma arquitetura de multi-agente sequencial onde:
   • Um sub-agente de resumo de fluxo inspeciona sistematicamente os fluxos TCP/UDP e gera um relatório estruturado de evidências forenses (portas incomuns, payloads suspeitos).
   • O agente principal analisa esse relatório, realiza buscas na web para validar CVEs e gera o relatório final.

Gestão de Memória e Ferramentas

• Memória: Adotou-se uma abordagem inspirada no MemGPT, combinando uma fila FIFO de curto prazo (contexto imediato) com uma base de dados vetorial de longo prazo para recuperar experiências passadas sem esgotar a janela de contexto do LLM.
• Ferramentas de Busca: Desenvolveu-se uma ferramenta de busca web especializada que instrui o LLM a não "alucinar" códigos CVE, mas sim a buscar com base no serviço e no tipo de ataque identificados, resumindo os resultados para manter o foco do agente.

3. Principais Contribuições

1. CyberSleuth: A implementação de um agente autônomo capaz de realizar investigações forenses completas a partir de traços de rede brutos (PCAP), sem intervenção humana.
2. Benchmark Expandido: Criação e expansão de um benchmark forense (baseado no CFA-bench) com 30 incidentes, incluindo vulnerabilidades de 2025, permitindo avaliação justa e reprodutível.
3. Descobertas de Design de Agentes:
   • Especialização Multi-Agente: A divisão de tarefas (um agente para extração de dados, outro para raciocínio) supera agentes únicos que perdem o foco em análises complexas.
   • Orquestração Simples: Um pipeline sequencial (FRA) superou arquiteturas hierárquicas aninhadas (TEA), que sofriam com falhas de coordenação entre agentes.
   • Transferibilidade: O design do CyberSleuth generalizou-se bem para a análise de tráfego de malware, exigindo apenas ajustes no prompt (engenharia de prompt), sem mudar a arquitetura.

4. Resultados

O sistema foi avaliado quantitativamente (precisão, F1, MCC) e qualitativamente (avaliação por 25 especialistas humanos).

• Desempenho na Detecção de CVEs: O CyberSleuth (FRA com backend GPT-5 ou o3) alcançou 80% de precisão na identificação de CVEs em incidentes de 2025 (nunca vistos durante o treinamento), superando significativamente o estado da arte anterior (que ficava em torno de 14-68% em benchmarks similares).
• Identificação de Serviços: Taxa de acerto de 90% na identificação do serviço alvo.
• Qualidade do Relatório: Os relatórios gerados foram avaliados por especialistas como completos, úteis e logicamente coerentes (média de 4.3/5.0).
• Comparação de Modelos LLM:
  • Modelos de código aberto (DeepSeek R1, Kimi K2) rivalizaram ou superaram modelos proprietários (GPT-4o, GPT-5) em métricas de precisão, com custos significativamente menores.
  • Modelos com forte capacidade de raciocínio (como o3 e GPT-5) mostraram-se superiores na interpretação de resultados de busca web e na distinção entre CVEs similares.
• Análise de Malware: O agente conseguiu extrair com sucesso detalhes da vítima e Indicadores de Comprometimento (IOCs) em 9 de 10 casos de tráfego de malware, demonstrando portabilidade.

5. Significado e Conclusão

O trabalho demonstra que IA Agêntica é viável para tarefas forenses complexas de segurança, desde que projetada com as seguintes premissas:

• Divisão de Trabalho: A especialização de sub-agentes é crucial para manter o foco e a precisão.
• Gestão de Contexto: Mecanismos de memória de longo prazo são essenciais para investigações que exigem múltiplos passos de raciocínio.
• Generalização: Um design robusto pode ser adaptado para diferentes domínios forenses (web vs. malware) com mínimo esforço.

O CyberSleuth não apenas automatiza uma tarefa demorada, mas também fornece um framework reprodutível e aberto para a avaliação futura de agentes de IA em segurança cibernética, marcando um avanço significativo na automação da resposta a incidentes e forense digital. O código e os benchmarks foram liberados como plataforma aberta para a comunidade.