Resumo Técnico: Operacionalizando Inteligência de Ameaças Cibernéticas com GraphRAG

1. Declaração do Problema

O desafio central abordado é a lacuna operacional entre a publicação de relatórios de Inteligência de Ameaças Cibernéticas (CTI) e a implantação de regras de detecção eficazes. Embora os relatórios contenham comportamentos de atacantes, ferramentas e Táticas, Técnicas e Procedimentos (TTPs) detalhados, as tentativas automatizadas de converter esses dados em regras de detecção dependem frequentemente de Recuperação Aumentada por Geração padrão (RAG Padrão). Esses sistemas tipicamente extraem apenas IOCs (Indicadores de Comprometimento) simples e de baixo nível, como endereços IP, nomes de domínio e hashes de arquivos.

De acordo com o framework "Pyramid of Pain" (Pirâmide da Dor), esses IOCs de baixo nível (a base da pirâmide) são baratos e rápidos para os atacantes rotacionarem (frequentemente em horas ou dias), tornando as detecções obsoletas rapidamente. Em contraste, padrões comportamentais e TTPs (o topo da pirâmide) são caros para os atacantes alterarem. O artigo postula que os pipelines atuais falham ao não priorizar esses vestígios duradouros do topo da pirâmide, resultando em planos de caça (hunting plans) com vidas operacionais curtas.

2. Metodologia

O estudo compara duas arquiteturas de recuperação para gerar planos de caça de ameaças a partir de relatórios de CTI, mantendo todas as outras variáveis constantes (o modelo de geração, o prompt de geração e o modelo de avaliação).

2.1 Arquitetura do Sistema

O pipeline é totalmente on-premise, rodando em uma única estação de trabalho com três endpoints locais servidos via vLLM:

• Geração de Plano: openai/gpt-oss-20b
• Embedding: Qwen/Qwen3-Embedding-8B
• Julgamento: fdtn-ai/Foundation-Sec-8B-Instruct (um modelo ajustado para cibersegurança)

2.2 Back-ends de Recuperação

Três pipelines foram avaliados:

1. RAG Padrão (Baseline): Divide o relatório em blocos de 600 palavras com sobreposição de 80 palavras. Ele recupera os 8 melhores blocos baseados na similaridade de cosseno em relação à consulta e os concatena para o modelo de geração.
2. GraphRAG Local Search: Constrói um grafo de conhecimento (entidades: ator, malware, técnica, vulnerabilidade, domínio, IP, arquivo, setor; e seus relacionamentos) durante a indexação. A recuperação envolve a travessia do grafo a partir de entidades incorporadas na consulta para reunir relacionamentos, unidades de texto e resumos de comunidades.
3. GraphRAG Global Search: Sintetiza respostas consultando o LLM com lotes de resumos de comunidades (gerados via detecção de comunidade de Leiden) e re-resumindo as respostas parciais.

2.3 Processamento de Dados

• Ingestão: Uma rotina de pós-limpeza de três passagens (_post_clean) remove marcas d'água, cabeçalhos, rodapés e marcadores TLP de PDFs para evitar a alucinação de entidades inexistentes pelo LLM.
• Geração: Um prompt "blindado" (V2) instrui o modelo a agir como um analista principal, produzindo um plano com seções específicas: resumo da campanha, cadeia de detecção comportamental (Primária), lista de IOCs (Frágil), cobertura ATT&CK, análise de resiliência à rotação de IOCs e mitigação de falsos positivos. Crucialmente, cada detecção deve incluir uma etiqueta de nível da Pirâmide e consultas específicas (Splunk SPL/Microsoft Sentinel KQL).

2.4 Avaliação (LLM-as-Judge)

Um sistema de avaliação de múltiplos turnos utiliza o modelo Foundation-8B para graduar os planos contra uma rubrica de 10 pontos dividida em dois níveis:

• Nível 1 (Qualidade de Fundação): Completude geral e correção técnica.
• Nível 2 (Resiliência da Pirâmide da Dor): A métrica primária, medindo a dependência de TTPs de alto nível versus IOCs de baixo nível.
• Verificações de Robustez: Para mitigar erros aritméticos do modelo 8B, os totais dos níveis são recomputados programaticamente a partir de pontuações individuais de critérios, em vez de confiar na soma do modelo. A avaliação é dividida em quatro turnos para gerenciar limites de contexto.

2.5 Corpus Experimental

O estudo utilizou nove relatórios reais de CTI de quatro fornecedores (CrowdStrike, Cyble, EclecticIQ, Mandiant) cobrindo diversos tipos de campanhas (APT, e-crime, avisos de vulnerabilidade). Um estudo de caso profundo focou em um relatório da APT28 (FancyBear).

3. Principais Resultados

Os experimentos produziram descobertas consistentes em relação à durabilidade dos planos de detecção gerados:

• Resiliência à Rotação de IOC: No estudo de caso da APT28, quando todos os IOCs (IPs, domínios, hashes) no relatório foram rotacionados (simulando a evasão de um atacante), o plano do GraphRAG manteve 100% de suas detecções disparando, enquanto o plano do RAG Padrão manteve disparos em apenas 29%.
• Mudança de Nível da Pirâmide: O estudo de caso da APT28 demonstrou explicitamente que o plano do GraphRAG manteve as detecções disparando em níveis mais altos da Pirâmide (L4–L7) após a rotação de IOCs, enquanto o plano do RAG Padrão não o fez. Repetir a comparação em nove relatórios reais de quatro fornecedores confirmou o mesmo padrão geral: os planos do GraphRAG consistentemente alcançaram níveis mais altos e difíceis de evitar da pirâmide em comparação ao RAG Padrão, mesmo quando os dois sistemas atingiram pontuações totais semelhantes. No entanto, o detalhamento específico dos níveis da Pirâmide (L4–L7 vs. L1–L3) para todos os nove relatórios não foi detalhado explicitamente no texto, com o experimento de amplitude confirmando a tendência em vez de fornecer uma comparação granular nível por nível para cada relatório.
• Sensibilidade do Prompt: Embora a arquitetura de recuperação (GraphRAG vs. Padrão) tenha sido o fator dominante, o estudo observou que a redação do prompt de geração influenciou significativamente o resultado. Um prompt "blindado" foi necessário para impor a adesão estrita aos requisitos de detecção comportamental.
• Modos de Falha: O estudo identificou modos de falha específicos intrínsecos ao pipeline:
  • GraphRAG Global Search: Falhou silenciosamente em relatórios curtos (menos de 3–4 comunidades), produzindo respostas quase vazias.
  • Modelo Juiz: O modelo juiz 8B exibiu erros aritméticos na soma de pontuações e falhas de parsing de JSON em saídas longas, necessitando da estratégia de recomputação programática e avaliação de múltiplos turnos.

4. Contribuições

O artigo apresenta quatro contribuições específicas:

1. Pipeline Reproduzível: Um pipeline totalmente on-premise que converte PDFs de CTI em planos de caça de ameaças usando três back-ends de recuperação distintos (GraphRAG Local, GraphRAG Global, RAG Padrão) impulsionados por um prompt unificado e LLMs locais.
2. Harness de Avaliação Especializado: Um sistema de LLM-as-Judge de múltiplos turnos adaptado para engenharia de detecção, apresentando um modelo juiz do domínio de cibersegurança com pisos/tetos de pontuação explícitos e um procedimento de contagem passo a passo para evitar o "reward hacking" por planos que são bem escritos, mas carecem de IOCs substantivos.
3. Avaliações Empíricas:
   • Um estudo de caso profundo de um aviso da APT28 fornecendo pontuações por critério.
   • Um experimento de amplitude através de nove relatórios reais de quatro fornecedores confirmando o padrão de superioridade de resiliência do GraphRAG.
4. Caracterização de Modos de Falha: Uma análise detalhada de modos de falha específicos do pipeline (GraphRAG Global em textos curtos, erros de aritmética/JSON do modelo 8B) que são distintos da comparação arquitetônica central.

5. Significância e Alegações

O artigo alega que a recuperação consciente de grafos de conhecimento é a fundação arquiteturalmente correta para gerar automaticamente planos de caça implantáveis em um SOC. Os resultados demonstram que a mudança da recuperação por similaridade vetorial para a recuperação baseada em grafos altera fundamentalmente a natureza do output gerado, movendo-o de regras frágeis dependentes de IOCs para estratégias de caça baseadas em comportamento e duradouras.

Os autores enfatizam que, embora o back-end de recuperação seja crítico, a redação do prompt de geração é "quase tão importante quanto" o próprio mecanismo de recuperação. O estudo não pretende resolver todos os desafios de operacionalização de CTI, mas fornece evidências de que o GraphRAG estende significativamente o tempo de vida operacional dos planos de detecção automatizados ao alinhá-los com o framework "Pyramid of Pain".