Resumo Técnico: Consulta de Logs de Segurança sem Parser

Declaração do Problema

Analistas de segurança consultam rotineiramente logs de sistemas para detectar ameaças e investigar incidentes, mas a diversidade de formatos de log cria um gargalo significativo. Embora os logs sejam baratos de produzir, são caros de utilizar porque cada fonte (firewalls, serviços de autenticação, agentes de endpoint) utiliza seu próprio formato semi-estruturado.

A abordagem padrão da indústria envolve a construção de parsers por fonte para normalizar logs em esquemas estruturados (por exemplo, OCSF) antes da análise. Embora poderoso, isso exige esforço contínuo de engenharia para manter os parsers à medida que os formatos evoluem; por exemplo, o Google SecOps mantém cerca de 1.000 parsers ativos com mais de 200 atualizações mensais. Por outro lado, ignorar a análise sintática e pesquisar diretamente arquivos brutos com ferramentas como grep ou scripts ad-hoc evita custos de manutenção, mas transfere a carga para o analista. Essa abordagem manual exige conhecimento profundo de variantes específicas de mensagens e luta para expressar consultas temporais complexas e multilinha (por exemplo, "encontrar usuários que fizeram login de dois IPs diferentes dentro de 60 segundos"), que exigem estado, agrupamento e agregação.

Ambas as abordagens falham pela mesma razão: exigem conhecimento prévio da sintaxe e semântica do log de origem. Pipelines estruturadas codificam isso em parsers, enquanto fluxos de trabalho de texto bruto exigem que o analista o reconstrua manualmente.

Metodologia: O Sistema Sieve

Os autores apresentam o Sieve, um sistema que gera código de consulta executável a partir de perguntas de segurança em linguagem natural, sem exigir parsers pré-construídos ou esquemas normalizados. O Sieve opera ancorando um Modelo de Linguagem Grande (LLM) com contexto de formato de log leve, extraído automaticamente.

Visão Geral do Pipeline

O Sieve opera em quatro estágios:

1. Construção do Prompt: O sistema monta um prompt contendo a consulta em linguagem natural, o caminho do arquivo de log e uma "estratégia de contexto" (exemplos de modelos de log ou linhas brutas). Inclui também restrições (por exemplo, o código deve ser Python ou Bash, sem escrita de rede/arquivo) e uma especificação de saída.
2. Geração de Código: Um LLM (principalmente Gemini 3.1 Pro Preview ou OpenAI GPT-5.4) é invocado uma vez por consulta para emitir um script Python ou Bash autocontido. O modelo é instruído a retornar o código em um encapsulamento JSON para garantir extração confiável.
3. Execução em Ambiente Isolado (Sandbox): O código gerado é executado em um subprocesso sem acesso à rede e com permissões restritas de sistema de arquivos. Está sujeito a verificações de segurança (rejeitando eval, exec, rm, etc.) e validação de formato de saída.
4. Mecanismo de Repetição: Se a execução falhar, o script lançar uma exceção ou o formato de saída for violado, a mensagem de erro é enviada de volta ao LLM para uma nova tentativa. São permitidas até quatro repetições.

Estratégias de Contexto

Para ancorar o LM no formato de log específico, o Sieve avalia cinco estratégias para fornecer contexto:

• Modelos Matryoshka: Utiliza um pipeline de LLM offline para gerar modelos semânticos de alta qualidade com espaços reservados de campos nomeados.
• Drain3: Um parser de streaming que extrai modelos com curingas genéricos em uma única passagem.
• Modelador Baseado em Frequência: Um algoritmo leve e heurístico (inspirado no IPLoM) que normaliza tokens, agrupa por comprimento e identifica posições variáveis para produzir modelos em menos de dez segundos sem chamadas de LLM.
• Amostra Aleatória: Fornece 100 linhas de log amostradas aleatoriamente sem modelos explícitos.
• Sem Contexto: Fornece apenas uma única linha de amostra, confiando no conhecimento pré-treinado do modelo.

O sistema trata o LLM como um compilador: gera a lógica de extração uma vez, e o script resultante executa de forma determinística na velocidade normal de programa sobre todo o log.

Contribuições Principais

1. Pipeline Sieve: Um sistema de código aberto para consulta de logs de segurança brutos assistida por LLM que gera código executável a partir de linguagem natural, exigindo apenas uma chamada de LLM por consulta seguida de execução determinística.
2. Benchmark: Um novo benchmark composto por 133 consultas de segurança em 5 tipos de log (Audit Linux, SSH, cron, Puppet, DHCP). As consultas variam de filtros simples (Classe 1–2) a correlações multilinha complexas envolvendo janelas temporais e agregação com estado (Classe 3–4). Respostas de verdade absoluta são fornecidas para todas as consultas.
3. Exploração do Espaço de Design: Uma avaliação de estratégias de contexto, linguagens de execução (Python vs. Bash) e famílias de modelos para determinar a configuração ideal para consulta de logs.
4. Comparações de Linha de Base: Uma comparação contra uma linha de base humana (analistas escrevendo scripts ingênuos de grep/Python em menos de 10 minutos) e um pipeline automatizado de análise sintática estruturada (Matryoshka).

Resultados Experimentais

A avaliação foi conduzida em 133 consultas em 5 tipos de log.

• Desempenho vs. Linha de Base Humana: O Sieve iguala o desempenho humano em consultas de filtro simples, mas supera significativamente a programação manual em consultas complexas. Em cargas de trabalho complexas (detecção de força bruta, identificação de anomalias de sessão, correlação entre eventos), o Sieve reduz a taxa média de erro de 0,34 (humano) para 0,10, uma redução de aproximadamente 3,6×. Os maiores ganhos foram observados em tarefas que exigem análise sintática de timestamp, junção de eventos por identificadores compartilhados e manutenção de estado de janela deslizante.
• Desempenho vs. Análise Sintática Estruturada: Em cargas de trabalho de filtragem simples, o Sieve (usando o contexto leve Drain3) alcança uma pontuação F1 macro de 0,981, que está dentro do ruído do pipeline de análise sintática estruturada Matryoshka (0,999). Isso demonstra que o código gerado por LLM pode aproximar-se da precisão de representações totalmente analisadas sem a etapa de geração de parser offline.
• Estratégia de Contexto: A escolha da fonte do modelo importa menos do que o esperado. Um modelador simples baseado em frequência (executando em segundos sem chamadas de LLM) produziu resultados estatisticamente indistinguíveis dos modelos Matryoshka de alto esforço. O fator crítico é a cobertura de variantes de mensagens, e não a sofisticação da representação do modelo.
• Escolha de Linguagem: Python é o padrão superior para consultas complexas. Embora o Bash desempenhe comparavelmente em filtros simples, falha significativamente em consultas temporais com estado (por exemplo, consultas complexas de DHCP viram uma queda de 0,815 F1 em Python para 0,446 em Bash) devido a limitações no manuseio de estruturas de dados e aritmética de timestamp.
• Robustez do Modelo: O pipeline transfere-se entre famílias de modelos (Gemini 3.1 Pro e GPT-5.4), embora o GPT-5.4 tenha mostrado desempenho inferior em tarefas complexas com estado nesta configuração específica.

Significado e Alegações

O artigo afirma que o Sieve preenche a lacuna entre a expressividade da consulta de logs estruturados e a imediatidade de trabalhar diretamente com arquivos brutos. Seu significado principal reside em demonstrar que código gerado por LLM pode servir como um plano de consulta just-in-time que elimina a necessidade de manutenção contínua de parsers, preservando a precisão da análise estruturada.

Os autores argumentam que o Sieve é particularmente valioso para a "cauda longa" de consultas de analistas que caem fora do esquema normalizado de um SIEM ou para investigações ad-hoc onde a pressão do tempo impede a construção de um parser. Ao transferir o custo de engenharia contínua (manutenção de parsers) para um custo limitado por consulta (uma chamada de LLM + execução determinística), o Sieve oferece uma alternativa escalável à arquitetura "normalizar primeiro, consultar depois". Os resultados sugerem que, para investigações de segurança complexas, a geração automatizada de código não é apenas viável, mas superior à programação manual, desde que o sistema seja ancorado com contexto suficiente de formato de log.