Resumo Técnico: Avaliação e Exploração das Capacidades de LLMs para Investigações de Ataques

Declaração do Problema

As equipes de segurança enfrentam um volume esmagador de falsos alarmes e uma escassez de especialização necessária para analisar logs de auditoria de sistemas em investigações de ataques. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa na perícia de segurança, existe uma lacuna significativa de trabalhos publicados avaliando suas capacidades específicas para analisar logs de auditoria de sistemas e conduzir investigações de ataques. Esta lacuna decorre da falta de conjuntos de dados diversos e bem rotulados e da natureza complexa e amorfa das investigações do mundo real, que exigem a ponte do gap semântico entre chamadas de sistema de baixo nível e comportamentos de atacantes de alto nível.

Metodologia

O Benchmark AuditBench

Para abordar essas limitações, os autores introduzem o AuditBench, um novo benchmark de avaliação projetado para avaliar as capacidades de LLMs na análise de logs de segurança. O benchmark abrange:

• Escopo: Quatro tarefas comuns de investigação de segurança:
  1. Classificação (Triagem de Alertas): Determinar se um alerta corresponde a um ataque real ou a um falso positivo.
  2. Investigação de Persistência: Identificar mecanismos que permitem aos atacantes manter o acesso ao sistema.
  3. Investigação de Movimentação Lateral: Identificar conexões de saída que permitem acesso remoto e controle.
  4. Investigação de Exfiltração de Dados: Identificar eventos onde dados sensíveis são movidos externamente.
• Composição do Conjunto de Dados: O benchmark contém 51 cenários distintos (25 gerados de novos dados de "Laboratório" e 26 curados do conjunto de dados público DARPA OpTC).
  • Dados de Laboratório: Gerados em VMs Linux e Windows usando o framework MITRE ATT&CK e o Atomic Red Team (ART) para simular técnicas de ataque específicas e atividades benignas.
  • Dados OpTC: Curados do conjunto de dados DARPA OpTC, o maior conjunto de dados público de logs de auditoria de sistema, com verificação manual dos rótulos de verdade fundamental (ground truth).
• Representações de Dados: O benchmark avalia duas representações distintas de logs:
  1. Raw (Bruto): Saída direta dos coletores de logs nativos do SO (ex: auditd, procmon).
  2. Edge (Aresta): Uma representação pré-processada baseada em grafos (grafo de proveniência) onde as linhas de log são convertidas em arestas que representam relações sujeito-ação-objeto. Esta representação reduz a redundância e o volume, particularmente para logs de Windows.
• Estrutura de Avaliação: Um pipeline automatizado que calcula a Taxa de Verdadeiros Positivos (TPR), a Taxa de Falsos Positivos (FPR) e os escores F1. Também avalia a qualidade das explicações geradas pelo LLM usando uma abordagem de Inferência de Linguagem Natural (NLI), onde um LLM atua como juiz para verificar se a explicação é semanticamente implicada pela verdade fundamental.

Configuração Experimental

O estudo avaliou cinco LLMs de fronteira: GPT-5, GPT-5 mini, Gemini 2.5 Pro, Gemini 2.5 Flash e Llama 4 Maverick. Os experimentos testaram várias escolhas de design, incluindo:

• Tamanho do Modelo: Comparando modelos de fronteira grandes contra modelos menores de alto desempenho.
• Engenharia de Prompt: Comparando duas versões de prompt (um template geral vs. uma versão refinada com restrições de domínio específicas e instruções de persona).
• Representação de Dados: Avaliando o desempenho em representações raw vs. edge.
• Chunking (Fragmentação): Analisando o impacto de diferentes tamanhos de fragmentos de log no desempenho.

Principais Resultados

1. Desempenho Misto e Falsos Positivos

Nenhum modelo alcançou desempenho estritamente superior em todas as tarefas. Uma tendência dominante observada foi uma interpretação excessivamente suspeita dos logs de auditoria, levando a altas taxas de falsos positivos (FPR) em muitas tarefas.

• Exfiltração: Os modelos geralmente tiveram melhor desempenho em tarefas de exfiltração de dados, com alguns alcançando alto TPR e baixo FPR.
• Movimentação Lateral: Esta tarefa rendeu os menores escores medianos de F1, com modelos frequentemente classificando atividades benignas como ataques.
• Classificação: Embora alguns modelos tenham alcançado TPR perfeito, eles frequentemente sofreram com altos FPRs, sinalizando atividades benignas do sistema como maliciosas.

2. Tamanho do Modelo vs. Desempenho

Ao contrário da expectativa de que modelos maiores sempre performam melhor, o estudo descobriu que modelos menores frequentemente igualam ou excedem o desempenho de modelos maiores.

• Em várias tarefas (ex: persistência e movimentação lateral em dados edge), modelos menores como GPT-5 mini e Llama 4 Maverick alcançaram escores F1 superiores ou equivalentes aos do GPT-5 e Gemini 2.5 Pro.
• Isso sugere que, para investigações de segurança, os praticantes podem não exigir os modelos mais caros e maiores para obter resultados otimizados.

3. Impacto da Representação de Dados

A escolha da representação de dados impactou significativamente o desempenho, mas o efeito foi dependente do modelo.

• Para alguns modelos (ex: Llama 4), a representação compacta de aresta (edge) levou a um desempenho estritamente melhor em todas as tarefas comparado aos logs brutos (raw).
• Para outros (ex: Gemini 2.5 Pro), os logs brutos às vezes produziram melhores resultados.
• Isso indica que o pré-processamento e a transformação de dados são alavancas críticas para otimizar tanto o custo quanto o desempenho.

4. Efeitos da Engenharia de Prompt

As variações de prompt tiveram efeitos dependentes do modelo. Embora um prompt refinado (Prompt v2) tenha melhorado o desempenho para muitos modelos ao reduzir falsos positivos através de restrições de domínio específicas, ele degradou o desempenho para outros (ex: Gemini 2.5 Flash em classificação). Isso serve de cautela contra estratégias de prompt "tamanho único" ao comparar modelos.

5. Qualidade da Explicação e Análise de Erros

• Qualidade da Explicação: Quando os modelos identificavam corretamente ataques (Verdadeiros Positivos), suas explicações geradas eram de alta qualidade (média de escores de implicação > 4.0/5.0), capturando com precisão os principais comportamentos de ataque sem detalhes espúrios.
• Características de Erro: Falsos positivos raramente eram compartilhados entre os modelos (baixa sobreposição de erros). Os principais drivers de falsos positivos foram:
  1. Nomes de Objetos do Sistema: Os modelos sinalizaram atividades baseadas em nomes de arquivos/processos "não padrão" ou com sonoridade suspeita (ex: clear_logs, invis.vbs).
  2. Sequências de Eventos e Volume: Os modelos interpretaram incorretamente atividades de alto volume ou cadeias de execução específicas (ex: svchost originando cmd.exe) como maliciosas sem contexto suficiente.

Significância e Contribuições

O artigo afirma fornecer um recurso fundamental para as comunidades de segurança e IA:

1. Benchmark Inovador: Contribui com o AuditBench, um conjunto de dados e estrutura de avaliação de código aberto que cobre diversos cenários de ataque, atividades benignas e múltiplas representações de logs. Isso permite o estudo sistemático de LLMs na análise de logs de segurança.
2. Insights Empíricos: O estudo oferece orientação prática para profissionais, sugerindo que modelos menores e transformações de dados específicas (como representações de aresta/edge) podem ser mais econômicos e performantes do que simplesmente escalar o tamanho do modelo.
3. Orientação de Design: Destaca que as escolhas de design (prompts, representação de dados) são altamente dependentes do modelo, instando desenvolvedores e equipes de segurança a evitar comparações diretas de modelos sem explorar o espaço de design para seu contexto específico.
4. Direções Futuras: O trabalho identifica a necessidade de mitigar as altas taxas de falsos positivos causadas pela sensibilidade a nomes de objetos e volume de atividade, e sugere a exploração de ensemblagem de modelos para aproveitar a baixa sobreposição de erros para melhorar a robustez.

Os autores enfatizam que seu trabalho é um passo inicial, fornecendo os dados e ferramentas necessários para pesquisas futuras visando melhorar a robustez e utilidade dos LLMs nas operações de segurança.