From IOCs to Regex: Automating CTI Operationalization for SOC with LLMs

Título: De IOCs a Regex: Automatizando a Operacionalização de CTI para SOC com LLMs

1. Problema Identificado

Os Relatórios de Inteligência de Ameaças Cibernéticas (CTI) são fontes vitais de Indicadores de Comprometimento (IOCs) para Centros de Operações de Segurança (SOCs). No entanto, existe uma lacuna crítica entre a extração de IOCs desses relatórios e sua aplicação prática em sistemas de detecção:

• A Lacuna Operacional: Os IOCs extraídos (como caminhos de arquivos, chaves de registro e argumentos de linha de comando) são frequentemente strings brutas. Para serem úteis em grandes volumes de dados de log, eles precisam ser convertidos em Expressões Regulares (Regex) que capturem variações de contexto (ex: diferentes delimitadores de caminho, capitalização, parâmetros opcionais).
• Limitações Atuais:
  • Manual e Lento: A conversão de IOCs para Regex é predominantemente manual, exigindo horas ou dias por relatório, criando gargalos na resposta a ameaças.
  • Falta de Automatização Completa: Abordagens recentes usam Grandes Modelos de Linguagem (LLMs) para extrair IOCs, mas param por aí. Elas não convertem essas strings brutas em Regexs sintaticamente válidos e semanticamente precisos.
  • Desafios Técnicos:
    1. Identificação de Grupos de Captura: Diferenciar quais partes do IOC são constantes (devem ser grupos de captura para extração de dados) e quais são variáveis (devem ser grupos não capturantes).
    2. Validade Sintática e Semântica: LLMs tendem a gerar Regexs inválidos ou com "alucinações".
    3. Equilíbrio Precisão-Generalização: Evitar Regexs muito restritos (que perdem ataques variantes) ou muito amplos (que geram muitos falsos positivos).

2. Metodologia: O Sistema IOCRegex-gen

Os autores propõem o IOCRegex-gen, um sistema automatizado baseado em LLMs que transforma IOCs extraídos em Regexs implantáveis. O sistema opera em duas fases principais:

Fase 1: Identificação de Grupos de Captura (Capture Group Finding)

Esta fase resolve o desafio de determinar quais substrings do IOC devem ser tratadas como grupos de captura (constantes) e quais como variáveis.

• Base de Dados de Conhecimento (Graph DB): Utiliza um banco de dados em grafo (Neo4j) contendo estruturas nativas do Windows (caminhos de arquivo, chaves de registro e argumentos de linha de comando) para sistemas operacionais comuns.
• Algoritmos de Agrupamento:
  • Para caminhos e registros: O algoritmo busca a sequência mais longa de substrings adjacentes que existem no grafo de conhecimento nativo. Essas sequências são marcadas como grupos de captura.
  • Para argumentos de linha de comando: Identifica o comando principal e seus parâmetros nativos no grafo, tratando valores dinâmicos (como nomes de usuários ou hosts remotos) como não capturantes.
• Filtragem: Remove IOCs que não contêm nenhum grupo de captura (considerados falsos positivos da extração anterior).

Fase 2: Geração de Regex Baseada em Raciocínio (Reasoning-based Regex Generation)

Esta fase utiliza um LLM (ex: GPT-4o) em um fluxo iterativo de validação para gerar o padrão final.

• Geração Inicial: O LLM recebe o IOC e a informação de agrupamento para criar um Regex inicial.
• Loop de Depuração (Debugging): O Regex é testado contra o IOC original. Se falhar, um "debugger" identifica o erro e o feedback é enviado ao LLM para correção iterativa.
• Validação de Grupos Não Capturantes: Um segundo loop verifica se o Regex contém grupos não capturantes indevidos, refinando-o até que esteja limpo.
• Verificação de Generalização Excessiva (Over-Generalization): O sistema gera 10 strings aleatórias e testa se o Regex as matcha todas. Se sim, o Regex é considerado muito genérico (ex: .*) e o processo reinicia.
• Classificação (Grading): O sistema gera múltiplas variações de Regex para o mesmo IOC e aplica uma fórmula de pontuação:
  • Score = α * (número de componentes de captura) - β * (número de componentes não capturantes).
  • Seleciona-se o Regex com a maior pontuação, garantindo complexidade estrutural adequada.

3. Contribuições Principais

1. Sistema IOCRegex-gen: Primeira solução totalmente automatizada que preenche a lacuna entre a extração de IOCs e a geração de regras de detecção (Regex) prontas para uso.
2. Mecanismo de Identificação de Grupos: Uma abordagem inovadora que combina recuperação de contexto baseada em conhecimento (Graph DB) com análise de padrões para distinguir automaticamente entre partes fixas e variáveis de um IOC.
3. Fluxo de Trabalho Iterativo de Validação: Um pipeline de raciocínio que valida sintaxe, semântica e generalização, superando as limitações de alucinação e generalização excessiva dos LLMs puros.
4. Avaliação em Grande Escala: Validação rigorosa utilizando mais de 3.000 relatórios CTI reais e 2.400 strings "ground truth" coletadas independentemente do framework MITRE ATT&CK Evaluation.

4. Resultados Experimentais

O sistema foi testado contra dados de 10 cenários de ataque reais (incluindo APT29, LockBit, Turla, etc.).

• Taxa de Acerto (Hit Rate): O sistema alcançou uma taxa média de 99,1% na correspondência com as strings de verdade absoluta (ground truth). Em alguns conjuntos de dados (como Enterprise2024 LockBit e Turla Snake), atingiu 100%.
• Taxa de Falsos Positivos (False Positive Rate): Média extremamente baixa de 0,8%. Os poucos falsos positivos ocorreram principalmente quando atacantes usavam diretórios não nativos do Windows, o que é detectável por regras heurísticas adicionais.
• Complexidade e Generalização:
  • Os Regexs gerados tiveram uma pontuação média de complexidade superior a 3 (indicando múltiplos grupos de captura e não apenas correspondências literais).
  • A similaridade com o IOC original foi de ~0,4, demonstrando que o sistema introduz variabilidade suficiente para cobrir diferentes contextos de sistema sem perder a essência do IOC.
• Estudo Ablativo: A remoção de qualquer componente principal (Identificação de Grupos ou Geração por Raciocínio) resultou em uma queda de mais de 16,7% na taxa de acerto e um aumento de mais de 23,3% na taxa de falsos positivos, provando a eficácia de cada módulo.
• Consistência entre Modelos: O sistema produziu resultados estruturalmente consistentes (similaridade > 0,97) ao usar diferentes modelos base (GPT-4o, LLaMA3, DeepSeek-V3).

5. Significado e Impacto

Este trabalho é significativo para a comunidade de segurança cibernética por:

• Operacionalização Eficiente: Transforma a inteligência de ameaças teórica em detecção prática e escalável, reduzindo o tempo de resposta a novas ameaças de dias para minutos.
• Redução de Carga Cognitiva: Alivia a fadiga dos analistas de SOC, que não precisam mais criar manualmente Regexs complexos e propensos a erros.
• Viabilidade de LLMs em Segurança: Demonstra que, com o pipeline correto (conhecimento externo + validação iterativa), os LLMs podem superar suas limitações inerentes (alucinações) em tarefas críticas e de alta precisão como a geração de regras de detecção.
• Integração com SIEM: Os Regexs gerados são diretamente utilizáveis em plataformas como Splunk, Elastic e QRadar, facilitando a implementação de regras de correlação e forense digital.

O código-fonte do projeto foi disponibilizado como open-source, permitindo a reprodução e adoção pela comunidade.