Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?

Resumo Técnico: Além da Sintaxe: Especialistas em Segurança Confiam em LLMs para Engenharia de Regras de NIDS?

Declaração do Problema
À medida que as ameaças de rede evoluem com velocidade e complexidade crescentes (ex: malware polimórfico, explorações zero-day), a engenharia manual de regras de Sistemas de Detecção de Intrusão de Rede (NIDS) tornou-se um gargalo operacional crítico. Embora soluções de código aberto como Snort e Suricata dependam de detecção baseada em assinaturas, a eficácia desses sistemas é contingente sobre a qualidade e a tempestividade de seus conjuntos de regras. A criação e manutenção manuais desses conjuntos de regras são laboriosas, não escaláveis e propensas à "fadiga do SOC" devido às altas taxas de falsos positivos e à complexidade sintática das linguagens de regras. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa na automação da geração de regras, sua utilidade prática permanece não validada. Especificamente, há uma falta de evidência empírica sobre se especialistas em segurança confiam em regras geradas por LLMs, como eles interagem com tais saídas e se regras sintaticamente corretas são semanticamente implantáveis em cenários do mundo real.

Metodologia
Os autores empregam uma metodologia centrada no humano, composta por quatro fases, para investigar a viabilidade da engenharia de regras de NIDS baseada em LLM:

1. Formalização do Sistema: Os autores realizaram uma revisão de literatura de 11 trabalhos primários e um estudo prévio com três especialistas de domínio para formalizar um framework de geração fundamentado. O sistema resultante (Figura 1) consiste em um "Agente de Engenharia de Regras" e um "Loop Humano".

   • Entradas: O agente ingere dados de inventário de rede, inventários de vulnerabilidades (CVEs, CPEs) e Proof-of-Concept (PoC) de exploits.
   • Processamento: Utiliza um motor de LLM (hospedado localmente via Ollama para garantir privacidade e reprodutibilidade) com prompting baseado em papéis e few-shot.
   • Validação: Um pipeline de múltiplos estágios inclui um verificador de sintaxe (validação de compilador nativo) e um corretor de sintaxe automatizado que utiliza prompting adaptativo para corrigir erros.
   • Human-in-the-Loop: Especialistas podem interagir com o LLM via prompting adaptativo para refinar regras iterativamente.

2. Design do Estudo com Usuários: O estudo envolveu 137 participantes recrutados, com um subconjunto de análise final de 10 especialistas em segurança altamente experientes (analistas de SOC, pesquisadores e engenheiros). O estudo foi estruturado em três fases: ética/demografia, avaliação de regra (avaliando qualidade e carga cognitiva) e avaliação do sistema interativo.

   • Cenários: Participantes avaliaram regras geradas em seis cenários de rede (dois sintéticos, quatro baseados no dataset CIC-IDS 2017) com variadas complexidades topológicas e densidades de vulnerabilidade.
   • Tarefas: Especialistas realizaram avaliações cegas de correção de regras, avaliaram a utilidade das explicações geradas pelo LLM e interagiram com o sistema para modificar regras.

3. Análise Estatística: Os autores geraram regras usando 27 diferentes motores de LLM através dos cenários. Eles analisaram a validade sintática, a necessidade de loops de correção e o conteúdo semântico das regras (distribuição de campos, especificidade).

4. Avaliação Centrada no Humano: O motor de melhor desempenho (DeepSeek-R1 70B) foi selecionado para o estudo de usuário. Especialistas avaliaram a implantabilidade da regra, níveis de confiança e usabilidade do sistema usando a Escala de Usabilidade do Sistema (SUS) e questionários customizados.

Principais Contribuições

• Formalização de um Framework Fundamentado: O artigo formaliza um sistema de engenharia de regras baseado em LLM de última geração que integra dados de vulnerabilidade, PoCs e um mecanismo de verificação human-in-the-loop, abordando lacunas na literatura existente onde o feedback humano é frequentemente ausente.
• Caracterização Empírica da Confiança do Especialista: Fornece os primeiros dados empíricos de profissionais de segurança sobre a confiança em regras de NIDS geradas por LLM, revelando um descompasso crítico entre validade sintática e implantabilidade semântica.
• Insights sobre Padrões de Interação: O estudo identifica padrões de interação específicos, fatores de carga cognitiva e barreiras de usabilidade quando especialistas utilizam assistência de LLM para engenharia de regras.

Resultos
A avaliação revela um "paradoxo sintaxe-semântica":

• Sintaxe vs. Semântica: Embora modelos de grande escala (≥70B parâmetros) demonstrem alta proficiência sintática (até 87-90% de regras válidas), modelos pequenos (≤4B) são amplamente ineficazes. No entanto, mesmo os melhores modelos exigem módulos de verificação e correção de sintaxe; apenas ~21% das regras do melhor modelo foram válidas na primeira tentativa.
• Implantabilidade Semântica: Apesar do alto sucesso sintático, especialistas consideraram apenas 37,5% das regras geradas como semanticamente corretas e implantáveis. Os principais motivos para rejeição foram baixa especificidade (dependência excessiva de variáveis genéricas como ANY), forte dependência de correspondência de conteúdo puro (falta de campos como OFFSET, DEPTH ou campos específicos de protocolo) e alucinações lógicas (ex: associações incorretas de porta/protocolo).
• Desempenho do Modelo: DeepSeek-R1 70B e Llama-3.1/3.3 70B emergiram como os motores superiores. A inclusão de dados de PoC melhorou a precisão sintática, mas apenas para modelos capazes de lidar com grandes janelas de contexto.
• Confiança do Especialista e Usabilidade:
  • O sistema recebeu uma pontuação SUS favorável de 67, indicando que é percebido como utilizável e aprendível.
  • No entanto, os especialistas permanecem céticos quanto às capacidades autônomas. Eles veem os LLMs como ferramentas de suporte para rascunho, verificação de sintaxe e explicação, em vez de geradores independentes.
  • Adoção: Mais de 70% dos especialistas recusaram-se a implantar as regras "como estão", citando a necessidade de refinamento humano substancial (classificação média de esforço: 4,25/5).
  • Carga Cognitiva: Embora os especialistas pudessem identificar falhas facilmente em cenários simples, sua confiança e habilidade de validar regras diminuíram conforme a complexidade da rede aumentava, embora especialistas altamente experientes (3+ anos) mantiveram maior precisão na identificação de problemas mesmo em contextos complexos.

Significância e Alegações
O artigo afirma fornecer uma avaliação fundamental dos LLMs no domínio da engenharia de regras. Sua principal significância reside em delinear as limitações dos LLMs atuais: embora possam produzir código sintaticamente correto, eles atualmente carecem da capacidade de raciocínio profundo necessária para a precisão semântica e consciência de contexto necessárias para regras de NIDS prontas para produção.

Os autores concluem que o caminho a seguir não é a geração totalmente autônoma, mas sim arquiteturas human-in-the-loop. Esses sistemas devem priorizar a agência do analista, usando LLMs para auxiliar no rascunho, verificação e explicação, enquanto dependem de especialistas humanos para validação final e tomada de decisão para mitigar riscos de falsos positivos e alucinações. O trabalho serve como um roteiro para o desenvolvimento de fluxos de trabalho de engenharia de regras mais robustos, confiáveis e alinhados ao ser humano.