Resumo Técnico: Avaliando Regras de Detecção Geradas por LLM em Cibersegurança

Declaração do Problema

A integração de Grandes Modelos de Linguagem (LLMs) e agentes de IA nas operações de cibersegurança enfrenta um déficit de confiança significativo. Enquanto os fornecedores promovem os agentes como revolucionários para a detecção, engenheiros experientes permanecem céticos, temendo a geração de "nonsense com som plausível". Existe uma lacuna crítica na falta de métricas padronizadas e de código aberto para avaliar a eficácia das regras de segurança geradas por LLM. Sem medição rigorosa, as organizações não podem verificar se um agente pode realizar o trabalho de um engenheiro de detecção humano, nem podem construir a confiança necessária para implantar essas ferramentas sem desperdiçar tempo e energia. Além disso, os métodos de avaliação existentes para geração de código (ex: correção funcional via testes unitários) e detecção de intrusão (ex: precisão/recall) não abordam totalmente os desafios únicos da geração de regras de segurança, como robustez adversarial, ruído operacional e o custo econômico da geração iterativa.

Metodologia

Os autores apresentam um framework de avaliação e um benchmark de código aberto projetados para medir a qualidade das regras de cibersegurança geradas por LLM contra uma linha de base gerada por humanos. A metodologia emprega uma abordagem de "conjunto de retenção" (holdout set), comparando um agente autônomo contra especialistas humanos.

O Agente: ADÉ

O framework é ilustrado usando o ADÉ (Automated Detection Engineer), um sistema de agentes desenvolvido pela Sublime Security. O ADÉ opera em uma arquitetura agnóstica a modelos, utilizando uma base de conhecimento curada de melhores práticas de engenharia de detecção, TTPs e documentação de MQL, juntamente com ferramentas para análise dinâmica de arquivos, visão computacional e reputação de remetente.

• Fluxo de Trabalho: O ADÉ recebe uma única amostra de e-mail malicioso, analisa-a, pesquisa lacunas de cobertura em regras existentes e gera candidatas a regras de detecção MQL.
• Refinamento Iterativo: Diferente dos agentes tradicionais que lutam contra o desvio de contexto longo (long-context drift), o ADMA emprega um loop de feedback fechado. Ele valida a sintaxe, executa as regras contra a amostra e inicia buscas de ameaças (threat hunts) em dados históricos. Subagentes analisam esses resultados (Verdadeiros Positivos, Falsos Positivos e robustez) para fornecer feedback, permitindo que o ADÉ refine iterativamente a lógica até a convergência.

Métricas de Avaliação

O framework avalia as regras através de três dimensões distintas:

1. Precisão de Detecção:

   • Utiliza um conjunto de dados rotulado de aproximadamente 45.000 e-mails (maliciosos e benignos).
   • Calcula uma Pontuação composta (Equação 1) que faz a média da precisão padrão com a precisão de Verdadeiros Positivos Únicos (VPs não capturados por nenhuma outra regra no feed principal).
   • Racional: Em segurança, detecções únicas são altamente valiosas, pois aumentam o recall geral do sistema. O framework reconhece a dificuldade de medir Falsos Negativos (os "desconhecidos desconhecidos") e foca em métricas baseadas em precisão.

2. Custo Econômico de Correção Sintática:

   • Adapta o framework "cost-to-pass" (Erol et al., 2025) para medir o impacto econômico da geração de regras válidas.
   • Calcula o Custo Total = (Custo por tentativa) × (Número de tentativas, $k$).
   • Utiliza a métrica pass@k para determinar quantas tentativas são necessárias para que o agente gere uma regra MQL sintaticamente correta que passe na validação.

3. Robustez (Fragilidade):

   • Desenvolve uma pontuação de Fragilidade heurística ($B \in [0, 100]$) baseada na razão entre recompensas (padrões robustos como indicadores comportamentais, correspondência difusa/fuzzy matching) e penalidades (padrões frágeis como correspondências diretas de strings em IPs, domínios ou hashes).
   • Racional: Correspondências diretas são facilmente contornadas por evasões adversariais triviais, enquanto indicadores comportamentais oferecem soluções generalizáveis. A Pontuação de Robustez final é $1 - (B/100)$.

Principais Contribuições

O artigo introduz um novo framework de benchmark que aborda especificamente a geração autônoma de regras de detecção:

• Pipeline de Viabilidade Operacional: Um pipeline de avaliação de ponta a ponta que combina correção funcional com retro-caça (retro-hunting) do mundo real para expor limiares de ruído, manutenibilidade e salvaguardas de desempenho.
• Robustez Adversarial Integrada: Uma métrica específica para medir e fornecer feedback sobre a fragilidade das regras, visando reduzir contornos adversariais triviais.
• Framework de Código Aberto: Os autores planejam lançar o pipeline modular para permitir pesquisa reprodutível e avaliação padronizada para outros agentes de geração de regras de segurança (ex: YARA, DSLs customizados).

Resultados

O estudo comparou as regras geradas pelo ADÉ contra regras escritas por humanos retidas do Sublime Core Feed em 11 cenários de ataque distintos (ex: BEC, HTML smuggling, phishing).

• Escopo vs. Precisão: As regras do ADÉ foram significativamente mais estreitas em escopo, detectando menos mensagens totais e menos Verdadeiros Positivos conhecidos em comparação com as regras humanas. Isso é atribuído à restrição do ADÉ de trabalhar a partir de uma única amostra de e-mail, enquanto humanos projetam regras baseadas em padrões comportamentais amplos através de grandes conjuntos de dados.
• Falsos Positivos: O ADÉ gerou regras com significativamente menos Falsos Positivos (muitas vezes zero no conjunto de teste), refletindo sua visão mais estreita do universo de ameaças.
• Pontuações de Desempenho:
  • As regras humanas alcançaram pontuações variando de 0,711 a 0,996.
  • As regras do ADÉ alcançaram pontuações variando de 0,557 a 1,000.
  • Em vários casos (ex: "EML com Javascript em arquivo SVG"), o ADÉ alcançou uma pontuação maior (0,998) do que a linha de base humana (0,996), impulsionado por alta precisão e VPs únicos.
• Robustez: As regras do ADÉ e as regras humanas foram consideradas "bastante comparáveis" em termos de fragilidade. O LLM base conseguiu combinar as ferramentas disponíveis para produzir consultas com resiliência à evasão adversarial semelhante à de especialistas humanos.
• Eficiência de Custo: A métrica pass@k correlacionou-se estreitamente com o custo real em dólares de execução do LLM. O ADÉ normalmente exigiu de 1 a 3 tentativas para gerar regras sintaticamente válidas, com custos variando de ~$1,50 a$5,13 por regra.
• Diferenças Qualitativas: O ADÉ tendeu a gerar regras com comentários mais extensos e úteis do que os autores humanos, embora as regras humanas fossem mais amplas em sua lógica de cobertura.

Significância e Alegações

O artigo afirma que esta metodologia fornece uma avaliação realista e multifacetada de geradores de regras de segurança baseados em LLM. Ao ir além da simples correção funcional para incluir custo econômico e robustez adversarial, o framework oferece uma visão mais holística de sua viabilidade operacional.

Os autores concluem modestamente que, embora o ADÉ atualmente produza regras com um recall mais estreito do que especialistas humanos (devido à sua restrição de entrada de amostra única), ele demonstra a capacidade de gerar regras de alta qualidade, robustas e economicamente eficientes. O framework serve como uma fundação para melhoria iterativa, sugerindo que trabalhos futuros podem usar essas métricas para ampliar o escopo do ADÉ para rivalizar com o recall humano, mantendo sua precisão e robustez. O artigo não alega que o ADÉ substituiu totalmente os engenheiros humanos, mas sim que é um componente mensurável e viável do fluxo de trabalho de detecção que pode ser sistematicamente melhorado.