DEFENGRAPH: Knowledge Graph-Enhanced LLMs for Blue Team Cyber Defense

Resumo Técnico: DEFENGRAPH

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) mostram-se promissores para a tomada de decisão em cibersegurança, mas sofrem de limitações críticas em ambientes de alto risco e evolução temporal. Especificamente, são propensos a alucinações, têm dificuldade com o raciocínio temporal e carecem de fundamentação em contextos específicos de sistemas. As abordagens tradicionais de Recuperação Aumentada por Geração (RAG), que dependem de similaridade superficial ou baseada em embeddings, frequentemente recuperam documentos irrelevantes (por exemplo, recuperando um ticket de incidente de Windows para um alerta de Linux) que confundem o raciocínio do LLM. Além disso, os dados de cibersegurança são caracterizados por uma baixa relação sinal-ruído, contendo vastas quantidades de logs benignos ou enganosos (por exemplo, senhas digitadas incorretamente) que os métodos padrão de recuperação de Grafos de Conhecimento (KG) não conseguem filtrar eficazmente. O desafio central é criar um sistema que possa fundamentar as saídas do LLM tanto em conhecimento de domínio de longo prazo quanto em contextos de eventos em tempo real e em evolução, para fornecer estratégias de defesa fiéis e temporalmente conscientes.

Metodologia: O Framework DEFENGRAPH
Os autores propõem o DEFENGRAPH, um framework de RAG potencializado por Grafos de Conhecimento de camada dupla, projetado para apoiar defensores de Blue Team. O sistema integra representações de conhecimento estruturado com geração baseada em LLM através do seguinte pipeline:

1. Construção de Grafo de Conhecimento de Camada Dupla:

   • Grafo de Conhecimento Estático (SKG): Codifica o conhecimento de infraestrutura de longo prazo, arquitetura de sistemas, comportamentos típicos de atacantes e playbooks defensivos históricos derivados de blueprints de cyber ranges e documentação.
   • Grafo de Conhecimento Dinâmico (DKG): Captura eventos de segurança em evolução temporal, rastros de atacantes e ações de tickets de defensores registradas durante exercícios ao vivo. Os nós incluem alertas, tickets, IPs e arquivos, com arestas codificando relações temporais e semânticas.

2. Processo de Recuperação Baseado em Grafo (GRP):
   Ao receber um alerta de SIEM (Wazuh), o sistema constrói um grafo de consulta e recupera subgrafos relevantes do SKG e do DKG usando:

   • Correspondência de Triplas Baseada em Semântica (STM): Utiliza modelos de linguagem pré-treinados para codificar e combinar triplas (entidade, relação, entidade) entre a consulta e a base de conhecimento.
   • Pontuação de Propagação de Caminho (PMC): Agrega características de triplas vizinhas para calcular pontuações de correspondência de caminho, identificando os caminhos mais prováveis de serem relevantes.
   • Composição de Subgrafo: Mescla os caminhos com melhor correspondência em subgrafos, amostrando vizinhos de 2 saltos (2-hop) para capturar o contexto circundante.

3. Filtragem Contextual e Reclassificação Baseada em LLM:
   Para lidar com o ruído inerente aos subgrafos recuperados, o DEFENGRAPH emprega dois módulos impulsionados por LLM:

   • Filtro Contextual (CF): Avalia os caminhos recuperados contra o contexto específico do alerta para pontuar e selecionar as entidades e caminhos mais relevantes, filtrando nós "cinzentos" irrelevantes.
   • Reclassificador de Raciocínio (Reasoning Re-ranker): Reordena os caminhos filtrados com base na sua relevância para o alerta e no conhecimento histórico, incorporando a Atribuição de Peso Temporal. Isso atribui pesos maiores a entidades mais próximas no tempo em relação à consulta, garantindo que o sistema priorize ameaças recentes e em evolução.

4. Geração de Atividade de Defesa:
   Os caminhos de raciocínio finais e classificados são incorporados ao prompt do LLM para gerar estratégias de mitigação acionáveis e conscientes do contexto que se alinham com as práticas defensivas humanas.

Principais Contribuições

• Framework DEFENGRAPH: Um novo framework de KG-RAG temporal que combina conhecimento de domínio estático com dados de eventos dinâmicos em tempo real para gerar estratégias de defesa conscientes do contexto.
• Dataset ACDC Cyber Range: A construção e o lançamento de um dataset abrangente de cibersegurança derivado de exercícios reais de Red vs. Blue team em um ambiente de porto marítimo simulado. Inclui mais de 8,2 milhões de logs de firewall, 6,1 milhões de alertas de Wazuh, 326 tickets de resposta a incidentes e rastros de Red Team, representando uma fonte de dados realista, ruidosa e heterogênea.
• Ganhos de Desempenho: Demonstração de que o DEFENGRAPH melhora significativamente a fidelidade e a interpretabilidade das saídas do LLM em múltiplos modelos (GPT-4o, LLaMA-3, DeepSeek-R1, QWen-3), produzindo recomendações de defesa que se alinham mais proximamente com a verdade fundamental (ground truth) escrita por humanos.

Resultados Experimentais
O framework foi avaliado no dataset ACDC utilizando quatro LLMs líderes e comparado contra baselines incluindo LLM-only, Hybrid RAG e GraphRAG. As principais descobertas incluem:

• Recall de Raciocínio (RAR): No GPT-4o, o DEFENGRAPH melhorou o recall de raciocínio de 61,45% (apenas SKG) para 73,49% (Completo). Ganhos semelhantes foram observados em outros modelos (ex: LLaMA-3: 46,99% → 61,45%).
• Recall de Ação de Ticket (TAR): O sistema recuperou uma proporção significativamente maior de ações de defesa da verdade fundamental. No GPT-4o, o TAR aumentou de 52,17% para 72,46%.
• Precisão e Taxas de Falha: Embora a precisão (TAP) tenha visto ganhos moderados (24,49% → 29,24% no GPT-4o), o sistema manteve uma baixa taxa de ação de falha (abaixo de 4%), com erros consistindo principalmente de sobre-reações ou falsos positivos que são facilmente identificáveis por defensores humanos.
• Robustez de Cold-Start: Em cenários sem histórico de tickets prévio (reset do DKG), o sistema manteve fortes capacidades de raciocínio, embora o recall de ação tenha caído, destacando a importância do contexto dinâmico para o alinhamento preciso de ações.
• Estudos de Ablação: Os resultados confirmaram que tanto o SKG quanto o DKG são essenciais; remover o DKG reduziu o TAR em ~20%, enquanto remover o SKG causou uma queda de ~25%, demonstrando a necessidade de ambos a estrutura histórica e o contexto em tempo real.

Significância
O artigo posiciona o DEFENGRAPH como uma solução de estado da arte para suporte à decisão em cibersegurança fundamentado e temporalmente consciente. Ao contrário de sistemas anteriores baseados em KG que focam em detecção de intrusão, rastreamento de ataque ou estruturação de inteligência de ameaças, o DEFENGRAPH visa diretamente a geração de etapas de mitigação acionáveis e alinhadas a tickets. Ao integrar um grafo de camada dupla com filtragem e reclassificação baseadas em LLM, o framework aborda a fragilidade do RAG tradicional em domínios estruturados e ruidosos, permitindo que os LLMs forneçam um raciocínio fiel que reflete tanto a topologia estática do sistema quanto a evolução dinâmica de um ataque. Os autores afirmam que esta abordagem preenche a lacuna entre a compreensão habilitada por KG e a orientação de resposta operacionalmente útil para Blue Teams.