Resumo Técnico: GenTI – Benchmarking de LLMs para Geração de Regras de IDPS Autônomas

1. Declaração do Problema

Sistemas de Detecção e Prevenção de Intrusão (IDPS) baseados em regras, como Snort e Suricata, permanecem a escolha dominante em ambientes de produção devido à sua precisão e interpretabilidade. No entanto, sua dependência de regras criadas manualmente e orientadas por assinaturas limita sua adaptabilidade a ameaças emergentes e de dia zero (zero-day). Especialistas em segurança devem analisar manualmente vulnerabilidades e documentar padrões de ataque para criar regras, um processo que não consegue acompanhar a sofisticação dos ataques modernos, que frequentemente empregam ofuscação e vulnerabilidades desconhecidas.

Além disso, os conjuntos de dados públicos existentes (ex: CICIDS2017, UNSW-NB15) são projetados primariamente para classificação de tráfego em nível de fluxo ou cabeçalho. Eles carecem das informações estruturadas de nível de payload, metadados de regras e mapeamentos de Inteligência de Ameaças Cibernéticas (CTI) necessários para treinar Grandes Modelos de Linguagem (LLMs) para a síntese automática de regras. Consequentemente, há uma lacuna crítica em:

1. Dados: A ausência de um benchmark de larga escala, disponível publicamente, adaptado para a geração de regras de IDPS que inclua semântica de nível de payload e contexto de CTI.
2. Metodologia: Os métodos existentes de geração automática de regras frequentemente falham em capturar comportamentos de nível de payload ou carecem de mecanismos sistemáticos para verificar a correção sintática e semântica das regras geradas.
3. Avaliação: A falta de verificação sistemática para determinar se as regras geradas automaticamente podem operar com taxas de falsos positivos aceitáveis em ambientes de produção reais.

2. Metodologia

Os autores propõem o GenTI (Generative Threat Intelligence), um framework que compreende um novo conjunto de dados de benchmark (GTI) e um pipeline impulsionado por LLM para gerar, refinar e verificar regras de IDPS.

A. O Conjunto de Dados GTI

O conjunto de dados GTI é um corpus enriquecido com CTI que agrega mais de 200.000 regras:

• Mais de 150.000 Regras de IDPS: Agregadas de Snort, Suricata e Emerging Threats.
• Mais de 50.000 Regras YARA: Focadas em assinaturas de nível de payload.

Principais Características do GTI:

• Esquema Estruturado: As regras são normalizadas em um formato unificado contendo recursos de cabeçalho (IP, portas, protocolos), recursos de fluxo e recursos de payload.
• Enriquecimento de CTI: Cada regra é mapeada para fontes externas de inteligência, incluindo MITRE ATT&CK (táticas/técnicas), D3FEND (técnicas defensivas), CVE/CWE, AlienVault OTX e MISP.
• Anotação de Contexto e Relacionamento de Regras (RCRA): Anotações que vinculam as regras a contextos de ataque específicos, famílias de malware e tipos de resposta acionáveis (alerta, descarte, rejeição).
• Engenharia de Prompt: O conjunto de dados inclui prompts de entrada estruturados (descrições no estilo de analista) e saídas alvo (regras canônicas), juntamente com racional de Cadeia de Pensamento (CoT) e anotações de Cadeia de Verificação (CoVe).

B. O Pipeline do Framework GenTI

O framework opera como um pipeline de ponta a ponta, transformando prompts de analistas e payloads maliciosos em regras verificadas:

1. Pré-processamento e Construção de Prompt: Prompts de analistas e payloads maliciosos representativos são analisados para extrair características (ex: cabeçalhos HTTP, marcadores de C2). Eles são convertidos em prompts estruturados ($P_{struct}$) e prompts de linguagem natural ($P_{user}$).
2. Síntese de Regras Baseada em LLM: Um LLM (especificamente o DeepSeek-7B ajustado/fine-tuned) gera uma regra candidata inicial ($r_0$) e um traço de CoT ($C_0$) baseado nos prompts e no contexto de CTI.
3. Mapeamento de Inteligência de Ameaças: O sistema consulta o repositório de CTI para mapear a regra gerada a técnicas específicas do ATT&CK, IoCs e famílias de malware.
4. Loop de Refinamento Iterativo: A regra candidata é avaliada contra tráfego malicioso e benigno. Um mecanismo de feedback ($F_{k+1}$) é gerado com base em métricas (taxa de detecção, falsos positivos, validade sintática) para refinar a regra nas subsequentes iterações.
5. Cadeia de Verificação (CoVe): Um processo de verificação de três estágios é aplicado ao melhor candidato:
   • Verificação Sintática: Garante a compatibilidade com os motores Snort/Suricata.
   • Verificação Lógica: Valida a consistência entre as condições da regra e o contexto mapeado de ATT&CK/CTI.
   • Análise de Falsos Positivos: Reexecuta o tráfego benigno para garantir que a regra não dispare alertas excessivos.
6. Aprendizado por Currículo (Curriculum Learning): O processo de treinamento utiliza um currículo de múltiplos estágios, começando com regras simples apenas de cabeçalho e introduzindo progressivamente padrões de payload complexos e mapeamentos densos de CTI para estabilizar o treinamento e melhorar a generalização.

3. Principais Contribuições

1. Dataset de Benchmark GTI: O primeiro corpus de larga escala, enriquecido com CTI, adaptado para a geração de regras de NIDPS baseada em LLM, consolidando mais de 200 mil regras com metadados ricos, mapeamentos de CTI e RCRA.
2. Geração de Regras de Nível de Payload: A capacidade de traduzir assinaturas de payload do tipo YARA em lógica compatível com IDPS, permitindo a geração automática de regras de detecção e prevenção (drop/reject) no nível de payload.
3. Pipeline de Treinamento de Quatro Estágios: Uma metodologia inovadora composta por:
   • Fundamentação sintática via aprendizado de estrutura de regra.
   • Enriquecimento semântico via raciocínio CoT aumentado por CTI.
   • Verificação impulsionada por CoVe para redução de falsos positivos.
   • Integração de complexidade total com transferência de aprendizado.
4. Avaliação em Tempo Real: Um framework de avaliação abrangente testando as regras geradas em motores de código aberto (Snort/Suricata) usando tráfego realista, medindo precisão sintática, similaridade semântica, cobertura de CTI e eficácia de segurança.

4. Resultados Experimentais

O modelo GenTI (DeepSeek-7B ajustado) foi avaliado contra baselines fortes, incluindo GPT-4o, LLaMA-3-8B e Mistral-7B, em um conjunto de teste não utilizado no treinamento.

Métricas de Desempenho:

• Pontuação Composta de Qualidade da Regra: O GenTI alcançou 89,4%, superando significativamente os baselines (ex: GPT-4o com 80,4%, LLaMA-3-8B com 71,6%).
• Cobertura de CTI: Alcançou 94,8%, indicando um alinhamento superior com frameworks de inteligência de ameaças em comparação aos baselines (~75–83%).
• Precisão Sintática: 89,5% das regras geradas foram sintaticamente válidas sem correção manual.
• Similaridade Semântica: 87,2% de correspondência com regras de referência de analistas especialistas.

Detecção de Ataques Não Vistos:

• Taxa de Detecção: A capacidade de detectar ataques anteriormente não vistos melhorou de 45% (baseline) para 87,4% (GenTI).
• Taxa de Falsos Positivos: Reduzida de 8,5% para 2,3%, demonstrando que o loop CoVe refina efetivamente as fronteiras de decisão sem sacrificar a precisão.

Estudo de Ablação:
O estudo confirmou que o ajuste fino via QLoRA proporcionou o maior aumento de desempenho individual. O aprendizado por currículo melhorou ainda mais a similaridade semântica e a eficácia de segurança, enquanto as augmentações de CoT/CoVe foram críticas para reduzir erros residuais e melhorar a robustez.

5. Significância e Alegações

O artigo afirma que o GenTI estabelece o primeiro benchmark de larga escala que acopla estritamente a Inteligência de Ameaças Cibernéticas (CTI) de nível de regra com automação baseada em LLM. Sua principal significância reside em permitir sistemas de IDPS adaptáveis e autoevolutivos.

Ao contrário de abordagens anteriores que meramente reproduzem assinaturas existentes ou focam na classificação de tráfego, o GenTI demonstra que os LLMs podem atuar como agentes conscientes de CTI para:

• Gerar novas regras fundamentadas em inteligência de ameaças para ataques não vistos.
• Operar com alta correção sintática e baixas taxas de falsos positivos em ambientes similares à produção.
• Preencher a lacuna entre o tráfego de rede bruto e a lógica de prevenção verificada e acionável.

Os autores concluem que seu trabalho move o campo além da simples cópia de assinaturas, fornecendo um caminho viável para automatizar a manutenção e a expansão das bases de regras de IDPS contra ameaças reais em evolução.