Resumo Técnico: GRID – Representação em Grafos de Dados de Inteligência para Construção de Grafos de Conhecimento de Texto de Segurança

1. Declaração do Problema

O artigo aborda a necessidade crítica de que a Inteligência de Ameaças Cibernéticas (CTI) seja estruturada em grafos de conhecimento (KGs) computáveis e rastreáveis para auxiliar agentes de segurança e Modelos de Linguagem de Grande Escala (LLMs) no raciocínio sobre evidências conectadas. Embora artigos de CTI não estruturados (blogs, relatórios) contenham detalhes ricos sobre comportamentos de ataque e evolução de malware, as abordagens existentes enfrentam quatro desafios principais:

1. Falta de Integração de Domínio: LLMs de propósito geral frequentemente carecem de conhecimento específico do domínio de segurança, especialmente em escalas de modelos menores, forçando a dependência de APIs comerciais caras.
2. Escassez de Dados: Há uma falta de conjuntos de dados de alta qualidade e publicamente disponíveis que forneçam pares alinhados de texto de CTI e seus respectivos grafos de conhecimento verdadeiros (ground-truth) para treinamento ponta a ponta.
3. Sinais de Recompensa Caros: A extração de documento para grafo ponta a ponta é uma tarefa de geração aberta. O design de recompensas de aprendizado por reforço (RL) é difícil; usar um LLM como juiz para pontuar saídas completas de grafos a cada etapa de treinamento incorre em custos proibitivos.
4. Aprendizado Superficial: LLMs tendem a depender de sobreposições lexicais superficiais em vez de uma compreensão semântica profunda de aliases de entidades, hierarquias e restrições de relação dentro das narrativas de CTI.

2. Metodologia

Os autores propõem o GRID (Representação em Grafos de Dados de Inteligência), um framework ponta a ponta projetado para construir grafos de conhecimento de segurança a partir de texto de longa forma usando um LLM de 4B parâmetros (Qwen3-4B-Instruct-2507). O framework consiste em quatro componentes principais:

A. Anotação Automática de Alinhamento Artigo-Grafo

Para resolver o problema da escassez de dados sem rotulagem manual massiva, o GRID introduz um loop de duas etapas anotar-e-revisar:

1. Extração Rastreável: Um LLM extrai um grafo de conhecimento de um artigo bruto de CTI sob restrições estritas de "comprovável pelo texto", preservando âncoras de evidência verbais (trechos do texto fonte).
2. Revisão Condicionada ao KG: O artigo original é reescrito por um LLM para remover conteúdo de segurança não capturado pelo grafo extraído, mantendo o contexto não relacionado à segurança e as âncoras protegidas.
   Este processo produz pares $(a', G')$ de alta qualidade, onde o artigo revisado $a'$ está explicitamente alinhado com o grafo $G'$.

B. Reformulação do Banco de Tarefas para Treinamento RL

Em vez de recompensar diretamente a geração completa do grafo, o GRID reformula o objetivo de aprendizado em um banco de tarefas scriptado para reduzir custos e estabilizar recompensas:

• Questões de Múltipla Escolha: Gera questões de quatro opções onde a verdade fundamental é um subconjunto de opções corretas. Os distratores são projetados como casos de "quase acerto" ou "alucinação" (ex.: entidades corretas, mas relações erradas).
• Alvos Regex: Converte cada aresta do grafo verdade fundamental em um alvo regex de nível de tripla.
• Mecanismo de Recompensa: As recompensas são calculadas com base em correspondências exatas para tarefas de escolha e taxas de correspondência normalizadas para tarefas regex. Isso substitui a pontuação de grafo inteiro cara por verificações locais de nível de tarefa mais baratas.

C. Modelagem de Complexidade do Artigo

O framework atribui uma pontuação de complexidade escalar a cada artigo com base no comprimento, contagens de entidades/relações e estatísticas de conectividade do grafo. Isso permite treinamento ordenado por complexidade do artigo, permitindo que o agente de RL progrida de exemplos mais fáceis para mais difíceis.

D. Inferência Guiada por Ontologia

O GRID emprega uma ontologia específica de CTI (inspirada no STIX, mas refinada para extração prática) que define tipos de entidades (ex.: threat-actor, malware, vulnerability) e famílias de relações. Esta ontologia guia o LLM para:

• Inferir relações implícitas com base em categorias tipadas e hierarquia.
• Impor a verdade comprovável pelo texto, proibindo conclusão externa ou elevação de sujeito.
• Normalizar aliases e relações para garantir consistência estrutural.

E. Protocolo de Avaliação

O sistema utiliza um avaliador LLM-como-juiz para avaliação automática. O juiz pontua precisão e recall com base em regras "comprováveis pelo texto", exigindo que o modelo cite evidências de texto de suporte para cada aresta prevista. Este avaliador foi calibrado contra três revisores humanos, alcançando 86,0% de concordância.

3. Contribuições Principais

1. Pipeline de Dados Automático: Um algoritmo inovador para gerar alinhamentos artigo-grafo rastreáveis sem anotação manual em grande escala, criando efetivamente um conjunto de dados supervisionado a partir de artigos brutos de CTI.
2. Estratégia RL de Baixo Custo: Uma abordagem de "Banco de Tarefas" que reformula a extração de grafos aberta em questões de múltipla escolha e correspondência regex, reduzindo significativamente o custo computacional do treinamento RL em comparação com a pontuação online LLM-como-juiz.
3. Extração Guiada por Ontologia: Um framework que integra uma ontologia específica de segurança para guiar o LLM, melhorando a compreensão semântica e reduzindo alucinações sem depender de classificação de rótulos fechados.
4. Benchmark Unificado: A criação de um benchmark composto por 249 artigos de CTI de cinco fontes distintas (GRID, CASIE, CTINexus, MalKG, SecureNLP) com um protocolo de avaliação automática confiável.

4. Resultados Experimentais

Os autores avaliaram o GRID no benchmark unificado usando um modelo de 4B parâmetros.

• Desempenho vs. Baselines: O principal Modelo de Recompensa do Banco de Tarefas alcançou:
  • 84,62% de precisão média por fonte.
  • 64,91% de recall médio por fonte.
  • 68,53% de F1 Médio.
  • Alcançou o melhor recall entre todas as baselines e um escore F1 superior quase empatado com o concorrente mais forte (CTINexus), enquanto usava aproximadamente 40% dos tokens de inferência.
• Estudos de Ablação (RQ2 e RQ3):
  • A abordagem de Recompensa do Banco de Tarefas superou um modelo de Recompensa End2End (treinado com pontuação online LLM-como-juiz) em 11,06 pontos de recall e 10,47 pontos de F1, sendo significativamente mais barato ($60 vs. $942 em custos de treinamento).
  • A remoção do ramo regex (Somente Escolha) reduziu o recall em 31 pontos, provando a necessidade de correspondência de nível de tripla.
  • Tanto a reescrita de artigos quanto o treinamento ordenado por complexidade foram mostrados como necessários para o desempenho ótimo; a remoção de qualquer um resultou em recompensas de treinamento e pontuações de teste mais baixas.

5. Significado e Alegações

O artigo afirma que o GRID fornece uma solução de baixo custo e escalável para equipar LLMs menores e de código aberto com conhecimento do domínio de segurança. Seu significado reside em:

• Eficiência de Custos: Ao desacoplar a construção de supervisão (offline, custo único) do treinamento (banco de tarefas reutilizável), o GRID evita os custos proibitivos de RL online com julgamento de grafo completo.
• Desempenho: Demonstra que um modelo de 4B, quando supervisionado adequadamente por meio deste framework, pode superar ou igualar pipelines maiores ou mais complexos (como CTINexus) em recall e F1, sendo ao mesmo tempo mais eficiente.
• Confiabilidade: O framework enfatiza a extração e avaliação "comprováveis pelo texto", garantindo que os grafos de conhecimento gerados estejam fundamentados no texto fonte e não alucinados a partir de conhecimento externo.

Os autores concluem que sua abordagem conecta com sucesso a lacuna entre texto de segurança não estruturado e grafos de conhecimento estruturados, oferecendo um pipeline prático para agentes de segurança e sistemas de inteligência de ameaças.