Resumo Técnico: TACTIC-KG

Definição do Problema

A construção de Grafos de Conhecimento de Cibersegurança (CSKGs) a partir de relatórios de Inteligência de Ameaças Cibernéticas (CTI) enfrenta desafios significativos devido à natureza não estruturada, heterogênea e ruidosa do texto de origem. Embora os Grandes Modelos de Linguagem (LLMs) tenham sido aplicados para automatizar essa extração, abordagens monolíticas que dependem de modelos únicos e grandes frequentemente sofrem com altos custos de implantação, controle limitado e desempenho instável. Especificamente, esses sistemas lutam contra:

• Alucinação e Fidelidade: Gerar triplas plausíveis, mas não sustentadas (ex: inferir papéis de atacantes ou ligações temporais não declaradas explicitamente).
• Sobre-Completude: Forçar artificialmente a conectividade do grafo para criar cadeias de ataque completas, mesmo quando as evidências são parciais ou desconectadas.
• Compensações de Tamanho de Contexto: Janelas de contexto grandes podem diluir a atenção em modelos leves, enquanto janelas pequenas levam a erros de omissão.

Sistemas de última geração existentes (ex: CTINEXUS) frequentemente dependem de Aprendizado em Contexto (ICL) com modelos massivos (ex: 671B de parâmetros) ou pipelines complexos de geração aumentada por recuperação (RAG), que podem ser frágeis, caros e sensíveis à qualidade da recuperação.

Metodologia: Estrutura TACTIC-KG

O artigo apresenta o TACTIC-KG, uma estrutura agêntica que reformula a construção de CSKG como um processo de raciocínio controlado e de múltiplos estágios. Em vez de uma única tarefa de inferência monolítica, a estrutura decompõe o fluxo de trabalho em agentes de LLM especializados e leves (3B–8B de parâmetros) usando Low-Rank Adaptation (LoRA). O princípio central de design é "fidelidade antes da conectividade."

Arquitetura do Fluxo de Trabalho

O pipeline processa relatórios brutos de CTI através dos seguintes estágios:

1. Fragmentação Semântica (Semantic Chunking): Relatórios longos são segmentados em limites de sentença ou discurso com sobreposição controlada para preservar a coerência semântica local e evitar a diluição do contexto.
2. Agente Extrator (Extractor Agent): Gera triplas candidatas $(h, r, t)$ estritamente fundamentadas nos fragmentos de texto. Ele não realiza tipagem ou raciocínio global, evitando abstração prematura.
3. Agente de Tipagem (Typer Agent): Atribui tipos semânticos conformes à ontologia (ex: MALOnt, STIX 2.1) às entidades com base no contexto local e na semântica da relação. Ele opera dentro de um espaço de rótulos fechado para evitar o desvio da ontologia.
4. Agente Verificador (Verifier Agent): Atua como um estágio de filtragem, realizando classificação binária para determinar se uma tripla tipada é SUPORTADA ou NÃO_SUPORTADA por evidências textuais explícitas ou implícitas. Ele impõe uma suposição de mundo fechado, rejeitando relações plausíveis, mas não declaradas.
5. Agente Curador (Curator Agent): Realiza a sanitização final, incluindo deduplicação, normalização de entidades (resolução de alias) e reparo estrutural mínimo. Ele introduz novas arestas apenas quando logicamente necessário e sustentado por evidências, atuando como uma barreira de fogo estrutural contra alucinações.

Implementação Técnica

• Especialização de Modelo: A estrutura utiliza modelos leves (ex: Ministral-3B, Ministral-8B, Qwen3-8B) ajustados via LoRA. Isso permite adaptadores modulares e específicos para cada agente, reduzindo a pegada de memória GPU e permitindo atualizações independentes.
• Estratégia de Treinamento:
  • Extratores são treinados em relatórios fragmentados com formatos de saída JSON estritos.
  • Tipadores são treinados sob um espaço de rótulos fechado incorporado nos prompts.
  • Verificadores são treinados como classificadores binários ao nível de tripla em corpora anotados para distinguir relações suportadas de não suportadas.
  • Curadores são treinados para prever conjuntos mínimos de triplas de ponte para conectar componentes do grafo sem alucinar arestas não suportadas.

Principais Contribuições

1. Decomposição Agêntica: O artigo propõe a mudança da geração monolítica para um sistema multi-agente onde extração, tipagem, verificação e curadoria são tratadas por agentes especializados. Isso reduz a entropia da tarefa e localiza os riscos de alucinação.
2. Imposição de Fidelidade: Ao separar explicitamente a geração da verificação e ao impor uma suposição de mundo fechado ao nível da tripla, o TACTIC-KG reduz significamente as relações alucinadas e a sobre-completude.
3. Desempenho de Baixo Custo: A estrutura demonstra que modelos leves (3B–8B), quando especializados via LoRA e orquestrados em um pipeline multi-agente, podem superar ou igualar modelos monolíticos muito maiores (ex: DeepSeek-V3.1 671B) em qualidade de extração e consistência de grafo.
4. Fundamentação em Ontologia: O sistema integra restrições de ontologia (MALOnt) diretamente nos estágios de tipagem e verificação, garantindo que os grafos resultantes sejam estruturalmente consistentes e acionáveis.

Resultados Experimentais

A estrutura foi avaliada em relatórios de CTI anotados por humanos (benchmarks CTI-HAL e CTINEXUS) contra baselines de última geração, incluindo CTINEXUS com vários modelos grandes (DeepSeek-V3.1, Kimi-K2, Devstral-2).

• Qualidade de Extração: O TACTIC-KG alcançou F1-scores mais altos e melhorou significativamente o recall em comparação com as baselines monolíticas. Por exemplo, no TEST2, a variante Ministral-3-8B alcançou um F1 de 78 e Similaridade de Grafo de 63, superando o DeepSeek-V3.1 (F1: 66, Grafo: 52).
• Recall vs. Precisão: A especialização de agentes permitiu o controle explícito sobre a compensação entre precisão e recall. Os extratores alcançaram alto recall (até 90%), enquanto os verificadores e curadores mantiveram a precisão estável, filtrando alucinações sem sacrificar a cobertura.
• Tipagem e Fundamentação: O TACTIC-KG demonstrou precisão de tipagem superior (Precisão de Tipagem Parcial de até 72% vs. 69% para o DeepSeek) e melhor fundamentação semântica, atribuído à redução da carga cognitiva dos agentes individuais e à verificação ciente da ontologia.
• Eficiência de Dados: A estrutura exigiu apenas dados de treinamento moderados (aproximadamente 200 fragmentos) para atingir um desempenho forte, provando que a diversidade de dados é mais crítica do que o volume bruto.
• Design Híbrido: Experimentos mostraram que o uso de um modelo de raciocínio mais forte compartilhado para verificação e curadoria (mantendo a extração especializada) aumentou ainda mais a estabilidade e a consistência.

Significância e Alegações

O artigo afirma que o TACTIC-KG oferece uma alternativa robusta e de baixo custo às abordagens de LLM monolítico para a construção de CSKG. Ao tratar o problema como um processo de raciocínio multi-agente controlado, a estrutura:

• Minimiza a Alucinação: A verificação e curadoria explícitas impedem a propagação de fatos não sustentados.
• Melhora a Estabilidade: Agentes modulares reduzem a variância de desempenho frequentemente vista em modelos de passagem única e grandes.
• Viabiliza a Implantação: O uso de modelos leves torna o sistema viável para organizações com recursos computacionais limitados, incluindo potenciais aplicações empresariais onde a privacidade de dados exige implantação local.

Os autores concluem que, embora a precisão total de tipagem continue sendo um desafio para todos os sistemas, a decomposição das tarefas em agentes especializados fornece um equilíbrio superior de precisão, estabilidade e eficiência de custo para a construção de Grafos de Conhecimento de Inteligência de Ameaças Cibernéticas acionáveis.