Before You Hand Over the Wheel: Evaluating LLMs for Security Incident Analysis

Este artigo apresenta o SIABENCH, um framework de avaliação agênica pioneiro que introduz um novo conjunto de dados abrangente e avalia 11 grandes modelos de linguagem (LLMs) em diversas tarefas de análise de incidentes de segurança, como triagem de alertas e forense, para mitigar os riscos e lacunas atuais na adoção de IA por centros de operações de segurança.

O essencial

Imagine que você é o gerente de um grande centro de segurança, como um aeroporto ou um banco. Todos os dias, centenas de alarmes soam: "Alguém tentou abrir uma porta!", "Um arquivo estranho foi baixado!", "Alguém está mexendo no cofre!".

O problema é que você tem apenas uma equipe pequena de guardas (os analistas de segurança) e eles estão exaustos. Eles precisam decidir rapidamente: isso é um ladrão real ou apenas um gato que pisou no alarme?

Hoje, as empresas estão tentando usar Inteligência Artificial (IA) para ajudar nessa tarefa, como se fossem "super-guardas" que nunca dormem. Mas, antes de entregar as chaves do aeroporto para a IA, surge uma grande dúvida: Será que essa IA é realmente inteligente o suficiente para não cometer erros catastróficos?

É exatamente sobre isso que trata este artigo de pesquisa. Os autores criaram um "campo de provas" chamado SIABENCH para testar essas IAs.

Aqui está a explicação simples, usando analogias:

1. O Problema: O "Mar de Alarmes"

Os centros de segurança estão afogados em dados. É como tentar encontrar uma agulha em um palheiro, mas o palheiro muda de tamanho a cada segundo e a agulha pode estar disfarçada de palha.

• O Desafio: As IAs atuais são boas em conversar, mas será que elas conseguem investigar um crime cibernético complexo? Elas conseguem ligar os pontos entre um e-mail estranho, um arquivo baixado e um movimento na rede?

2. A Solução: O "SIABENCH" (O Campo de Provas)

Os pesquisadores perceberam que não existia um teste padronizado para ver se uma IA era boa em segurança. Era como tentar comprar um carro sem fazer um teste de direção.
Então, eles criaram o SIABENCH, que tem três partes principais:

• A "Caixa de Ferramentas" (O Dataset): Eles criaram um conjunto de 25 cenários de crimes reais (como ransomware, hackers invadindo servidores) e 135 alarmes falsos. É como um "simulador de voo" para analistas de segurança.
  • Analogia: Imagine um instrutor de pilotagem que cria 25 situações de emergência diferentes (tempestade, falha no motor) e 135 situações onde o avião está tudo bem, mas o alarme tocou por engano.
• O "Piloto Automático" (O Agente): Eles construíram um robô que usa a IA para investigar esses casos sozinha. Esse robô não apenas "acha" a resposta; ele abre arquivos, roda programas de análise, lê logs de rede e toma decisões, exatamente como um humano faria.
• A "Prova de Fogo" (A Avaliação): Eles colocaram 11 das IAs mais famosas do mundo (como GPT-4, Claude, Llama) para resolver esses casos e viram quem passou e quem reprovou.

3. O Que Eles Descobriram? (Os Resultados)

Os resultados foram uma mistura de "ótimo" e "precisa melhorar muito".

• As IAs Novas são "Super-Heróis" em Treino: Os modelos mais recentes (como o GPT-5 e o Claude-4.5) foram muito bons. Eles conseguiram identificar a maioria dos ladrões e ignorar a maioria dos alarmes falsos.
• Mas ainda não são "Mestres": Mesmo as melhores IAs falharam em casos muito difíceis. Elas às vezes se confundem com códigos complexos ou esquecem de checar uma pista importante.
  • Analogia: É como ter um estudante de medicina brilhante que sabe diagnosticar uma gripe perfeitamente, mas ainda precisa de supervisão para fazer uma cirurgia complexa. Se você deixar ele operar sozinho em um caso difícil, ele pode errar.
• O Perigo do "Alucinação": Algumas IAs, quando não sabiam a resposta, inventavam fatos (alucinação). Elas diziam "O hacker veio do Brasil" quando, na verdade, o hacker nem existia. Isso é perigoso em segurança.
• O Segredo do Sucesso: As IAs que tiveram mais sucesso foram aquelas que foram ensinadas a pensar antes de agir. Em vez de pular direto para a resposta, elas faziam um plano, executavam uma ação, liam o resultado e ajustavam o plano. É como um detetive que não apenas olha a cena do crime, mas reflete sobre cada pista antes de prender alguém.

4. Por que isso é importante para você?

Este estudo é um aviso e um guia:

• Não entregue as chaves ainda: As empresas não devem confiar cegamente em IAs para tomar decisões de segurança sozinhas. Elas ainda precisam de um "chefe humano" para revisar o trabalho.
• Escolha a ferramenta certa: Nem toda IA é igual. Para tarefas simples (como dizer se um alarme é falso), as IAs mais novas são excelentes. Para investigações profundas, elas ainda precisam de ajuda.
• O Futuro é Promissor: A tecnologia está evoluindo rápido. O que hoje é um "estudante mediano", amanhã pode ser um "especialista".

Em resumo:
Os pesquisadores criaram um "simulador de crimes" para testar se as IAs estão prontas para trabalhar em segurança. Elas estão ficando muito boas, mas ainda não são infalíveis. O estudo nos diz: "Use a IA para ajudar, não para substituir, e sempre mantenha um humano no comando."

Resumo técnico

Título: Antes de Entregar o Volante: Avaliando LLMs para Análise de Incidentes de Segurança

1. O Problema

A Análise de Incidentes de Segurança (SIA - Security Incident Analysis) é uma responsabilidade central dos Centros de Operações de Segurança (SOCs), mas enfrenta desafios críticos:

• Volume e Complexidade: Os analistas lidam com volumes avassaladores de alertas, fontes de dados heterogêneas e ferramentas complexas.
• Natureza Dinâmica: Os incidentes evoluem rapidamente, exigindo raciocínio multifacetado e em várias etapas (ex: correlacionar traços interdependentes, interpretar contexto).
• Falta de Padronização: Embora haja interesse em adotar Grandes Modelos de Linguagem (LLMs) para auxiliar na SIA, não existem benchmarks rigorosos ou conjuntos de dados padronizados para avaliar a eficácia desses modelos.
• Riscos de Adoção Prematura: A falta de avaliação sistemática pode levar à degradação da segurança em vez de melhorá-la, devido a falsos positivos, alucinações ou falhas na automação de tarefas críticas.

O artigo destaca a ausência de um framework que possa responder: Quão eficazes e confiáveis são os LLMs para tarefas de SIA? Quais são suas limitações atuais? Como projetar assistentes eficazes?

2. Metodologia: SIABENCH

Os autores propõem o SIABENCH, um framework de avaliação agênica (baseado em agentes) para benchmarking de LLMs em tarefas de SIA. A metodologia divide-se em três pilares principais:

A. Dataset de Benchmarking (SIABENCH Dataset)
Foi criado o primeiro conjunto de dados do tipo para SIA, composto por duas partes principais:

1. Tarefas de Análise de Incidentes (Deep Investigation):
   • Escala: 25 cenários de incidentes reais (baseados em plataformas de treinamento como CyberDefenders e Blue Team Labs) com 229 perguntas investigativas.
   • Domínios: Forense de Rede, Forense de Memória, Análise de Malware (binários, PDF, código), Phishing e Análise de Logs.
   • Dificuldade: Classificado em Fácil, Médio e Difícil.
   • Pré-processamento Rigoroso: Para evitar contaminação por dados de treinamento (memorização), o dataset passou por:
     • Paráfrase de Conteúdo: Reescrever descrições para evitar correspondências exatas.
     • Neutralização de Identificadores: Remoção de nomes de empresas/usuários reais.
     • Reformulação Aberta: Transformar perguntas factuais ("Qual o IP?") em investigativas ("Há evidências de varredura? Se sim, qual o IP?"), removendo viés e suposições.
     • Validação Humana: Estudo com 14 especialistas em segurança para validar a desviabilização e as etiquetas de táticas (MITRE ATT&CK).
2. Tarefas de Triagem de Alertas (Alert Triage):
   • Escala: 135 cenários de alertas (50 Falsos Positivos e 50 Verdadeiros Positivos do dataset TII-SSRC-23; 30 FP e 5 TP do CIC-IDS2017).
   • Objetivo: Avaliar a capacidade do LLM de distinguir entre tráfego benigno e malicioso, um problema comum de fadiga de alertas.

B. Agente Automatizado (SIABENCH Agent)
Um agente autônomo foi desenvolvido para executar as tarefas sem intervenção humana direta, simulando um analista júnior.

• Fluxo de Trabalho Multi-Estado: O agente opera em um ciclo de estados (Início, Análise do Incidente, Resolvido) para lidar com cenários de múltiplas perguntas sequenciais, evitando o foco excessivo em uma única questão.
• Framework ReAct (Reason + Act): O agente planeja ações, executa ferramentas de linha de comando (ex: tshark, volatility, oledump) e observa os resultados.
• Módulo de Resumo (Summarizer): Para lidar com limitações de contexto e logs extensos, o agente resume insights de segurança chave (KSI) a cada iteração, mantendo o foco nas informações relevantes.
• Adaptabilidade: O framework suporta a integração de novos modelos e tarefas com mínimo esforço de reconfiguração.

C. Avaliação Experimental

• Modelos Testados: 11 LLMs principais (4 de pesos abertos e 7 de pesos fechados), incluindo Claude-4.5-Sonnet, GPT-5, GPT-4o, Llama-3.1 (8B, 70B, 405B), entre outros.
• Ambiente: Kali Linux local com ferramentas forenses reais.
• Métricas: Cenários totalmente resolvidos (FS) e porcentagem média de respostas corretas (PS).

3. Principais Contribuições

1. Primeiro Dataset Específico para SIA: Um conjunto de dados abrangente e desviabilizado, cobrindo forense, malware e triagem, alinhado com práticas reais de SOC e táticas adversárias (MITRE ATT&CK).
2. Framework Agênico Autônomo: Uma infraestrutura que permite a execução automática de investigações complexas, superando a limitação de avaliações estáticas de "pergunta e resposta".
3. Benchmarking Abrangente: A primeira avaliação sistemática de 11 modelos de ponta em tarefas de SIA, fornecendo uma linha de base para o estado da arte.
4. Validação em Tarefas "Ao Vivo": Avaliação de modelos em desafios publicados após suas datas de corte de conhecimento, confirmando que o benchmark reflete capacidades reais e não apenas memorização.

4. Resultados Chave

• Desempenho Geral: Mesmo os melhores modelos (Claude-4.5-Sonnet e GPT-5) conseguiram resolver completamente apenas 8 de 25 cenários (32%). No entanto, eles obtiveram altas taxas de acerto parcial (PS > 80% em tarefas fáceis).
• Diferenças por Domínio:
  • Forense de Rede: Desempenho forte em detecção de padrões superficiais (reconhecimento), mas queda acentuada em tarefas complexas de inspeção profunda.
  • Forense de Memória e Análise de Malware: Desafios significativos. Modelos menores (Llama-3.1-8B/70B) falharam quase completamente. Modelos avançados tiveram dificuldade com ofuscação e análise de binários complexos.
  • Triagem de Alertas: GPT-5 alcançou 98% de precisão (100% na detecção de Falsos Positivos), demonstrando potencial imediato para reduzir a fadiga de alertas.
• Fatores de Falha:
  • Modelos Menores: Falham principalmente por entrar em loops infinitos de comandos ou não saber usar ferramentas.
  • Modelos Maiores: Falham por "alucinação" (inventar evidências), investigação superficial ou dependência de perguntas anteriores (se a primeira pergunta falha, a cadeia de investigação colapsa).
• Estudo de Ablação:
  • O fluxo de trabalho Multi-Estado superou consistentemente o fluxo de Estado Único.
  • O módulo de Resumo foi crucial para modelos com janelas de contexto menores (evitando erros de limite de contexto), embora modelos com janelas gigantes (GPT-5) tenham se saído bem sem ele em tarefas menores.
  • O framework ReAct (Raciocinar antes de Agir) foi superior ao "Apenas Agir" para a maioria dos modelos, exceto os mais avançados (GPT-5) que já possuem raciocínio intrínseco.

5. Significância e Conclusão

O SIABENCH estabelece um marco fundamental para a adoção segura e eficaz de LLMs em operações de segurança.

• Para Praticantes: Fornece dados concretos para decisões de compra e implementação, indicando que, embora os LLMs estejam evoluindo rapidamente (com GPT-5 e Claude-4.5 superando modelos anteriores), ainda há um longo caminho para automação total de investigações complexas.
• Para Pesquisadores: Oferece uma metodologia replicável e um dataset aberto para continuar o desenvolvimento de agentes de segurança.
• Visão Futura: O trabalho sugere que a automação deve começar com tarefas de triagem e suporte a analistas júnior, enquanto investigações profundas ainda exigem supervisão humana. O framework é projetado para ser extensível, permitindo a avaliação contínua de novos modelos e cenários emergentes.

Em suma, o artigo alerta que, embora os LLMs sejam promissores ("antes de entregar o volante"), eles ainda não são totalmente confiáveis para operar de forma autônoma em cenários de incidentes de segurança complexos sem mecanismos de verificação e scaffolding adequados.