Retrieval-Augmented LLMs for Security Incident Analysis

Título: Sistemas de Geração Aumentada por Recuperação (RAG) para Análise de Incidentes de Segurança

1. O Problema

A investigação de incidentes de cibersegurança é um processo intensivo e manual. Analistas de operações de segurança (SOC) precisam correlacionar evidências dispersas em múltiplas fontes de logs (alertas de detecção de intrusão, tráfego de rede, eventos de autenticação) para reconstruir a cadeia de ataque.

• Desafios Principais:
  • Volume de Dados: Um único incidente pode gerar milhões de entradas de log, excedendo os limites de contexto dos Grandes Modelos de Linguagem (LLMs).
  • Ruído: Os logs misturam indicadores reais de ataque com atividades normais (falsos positivos, autenticações benignas), dificultando a identificação do sinal de ataque.
  • Limitações Atuais: Mecanismos baseados em assinaturas não generalizam para novos padrões de ataque. Abordagens de ML existentes focam em triagem ou pontuação de anomalias, mas não conseguem gerar narrativas forenses coerentes ou responder a perguntas específicas sobre o incidente.
  • Inviabilidade de "Raw Logs": Alimentar logs brutos diretamente em um LLM é impraticável devido a custos, latência e limites de contexto.

2. Metodologia e Arquitetura

Os autores propõem um sistema baseado em RAG (Retrieval-Augmented Generation) projetado especificamente para análise de segurança. O sistema opera em duas modalidades: Resposta a Perguntas Forenses e Reconstrução de Ataques.

A arquitetura segue cinco princípios de design:

1. Filtragem antes da Análise: Em vez de enviar logs brutos, o sistema executa consultas direcionadas (IOC queries) para extrair apenas indicadores de comprometimento relevantes.
2. Embedding Único, Múltiplas Consultas: Os dados extraídos são embutidos (embeddings) em um banco de dados vetorial uma vez, permitindo consultas repetidas sem reprocessamento.
3. Análise Periódica: O sistema analisa janelas de tempo definidas, agrupando atividades relacionadas.
4. Design Agnóstico ao Provedor: A interface abstrai o provedor de LLM, permitindo troca entre APIs em nuvem e modelos locais.
5. Biblioteca de Consultas Extensível: As consultas são mapeadas para técnicas do framework MITRE ATT&CK.

Fluxo de Funcionamento:

1. Extração de Contexto de Segurança: O sistema consulta o SIEM (ex: Security Onion com Suricata/Zeek) usando uma biblioteca de consultas pré-definidas. Em vez de retornar logs brutos, os resultados são agregados (ex: contagem de conexões, padrões de autenticação) para criar resumos semânticos compactos.
2. RAG-LLM Analysis:
   • Para uma pergunta forense (ex: "Qual é o IP do host infectado?"), o sistema recupera os chunks (blocos de dados) mais relevantes semanticamente do banco vetorial.
   • Um LLM recebe o contexto recuperado e a pergunta, atuando como um analista de segurança para gerar um relatório fundamentado em evidências.
3. Tipos de Resposta: O sistema lida com diferentes tipos de dados estruturados (IPs, hostnames, conjuntos de domínios) usando funções de correspondência específicas para cada tipo.

3. Principais Contribuições

• Formulação do Problema: Definiram a análise de incidentes como uma tarefa de resposta a perguntas sobre logs heterogêneos, combinando correspondência de tipos específicos (IP, domínio) com reconstrução de sequências de ataque.
• Arquitetura RAG Consciente de Segurança: Desenvolveram um pipeline de recuperação que preserva relações entre eventos discretos (ex: correlacionar solicitações de certificado e emissão para detectar abuso de certificados), permitindo que o LLM identifique ataques que requerem correlação cruzada.
• Avaliação Comparativa de Custos e Desempenho: Avaliaram 8 configurações de LLMs (incluindo Claude Sonnet 4, DeepSeek V3, GPT-4/5, Llama 3.1 e Cisco Foundation-Sec-8B) em cenários de malware e ataques ao Active Directory.

4. Resultados Experimentais

A. Análise de Tráfego de Malware (4 Cenários)

• Desempenho: Os modelos Claude Sonnet 4 e DeepSeek V3 alcançaram 100% de recall (recuperação) em todos os quatro cenários de malware.
• Modelos Locais: O Llama 3.1:70b (local) atingiu 95% de recall, e o Cisco Foundation-Sec-8B atingiu 90%, demonstrando viabilidade para ambientes com restrições de privacidade de dados.
• Custo-Efetividade: O DeepSeek V3 foi o vencedor absoluto, oferecendo a mesma precisão do Claude Sonnet 4, mas com um custo 15 vezes menor ($0,008 vs $0,12 por análise).
• Ablação (RAG vs. Sem RAG):
  • Sem RAG: Quando os LLMs analisaram logs brutos (dentro do limite de contexto), eles identificaram o host vítima, mas falharam em 100% na detecção da infraestrutura de ataque (domínios maliciosos, servidores C2), pois esses dados estavam fora da janela de contexto ou enterrados no ruído.
  • Com RAG: A pré-processamento e recuperação foram essenciais para identificar toda a cadeia de ataque.

B. Análise de Ataques ao Active Directory (AD)

• Cenário: Um ataque multi-etapa simulado (Red Team) envolvendo abuso de certificados (ESC1), falsificação de tickets Kerberos e movimento lateral.
• Detecção de Passos: O sistema alcançou 100% de precisão e 82% de recall na detecção dos passos do ataque.
• Reconstrução Semântica: O sistema conseguiu distinguir entre operações legítimas individuais e uma exploração coordenada (ex: identificar a discrepância entre o Subject e o SAN em certificados para detectar elevação de privilégio).
• Recomendações de Defesa: As recomendações geradas pelo LLM cobriram 100% dos tipos de ações defensivas necessárias para conter o ataque (ex: revogar certificados, resetar KRBTGT), embora ocasionalmente sugerissem ações operacionalmente inviáveis (como desabilitar a conta de Administrador), exigindo revisão humana.

5. Significado e Conclusões

• Necessidade do RAG: O estudo prova que LLMs não podem analisar logs de segurança brutos diretamente; a extração de indicadores e a recuperação aumentada são fundamentais para superar limites de contexto e ruído.
• Capacidade de Raciocínio vs. Treinamento de Domínio: Modelos especializados em segurança (Cisco 8B) não superaram modelos de propósito geral (DeepSeek, Claude). Isso sugere que a capacidade de raciocínio do modelo é mais crítica do que o pré-treinamento específico de domínio para tarefas forenses complexas.
• Viabilidade Operacional: O sistema é rápido o suficiente para análise em tempo quase real (1-2 minutos por incidente de malware; <1 minuto por janela de 5 minutos em AD), permitindo que analistas foquem na resposta em vez da triagem de dados.
• Custo-Benefício: A combinação de RAG com provedores de LLM de baixo custo (como DeepSeek) torna a análise automatizada de incidentes acessível e escalável para organizações.

Em resumo, o trabalho demonstra que combinar filtragem baseada em consultas direcionadas com recuperação aumentada por LLMs permite uma análise de incidentes de segurança precisa, econômica e interpretável, superando as limitações das abordagens tradicionais e do uso direto de LLMs em dados brutos.