Resumo Técnico: CTIConnect

Declaração do Problema

A Inteligência de Ameaças Cibernéticas (CTI) é essencial para a defesa proativa, mas o ecossistema é caracterizado por um volume massivo e uma heterogeneidade extrema. Ele abrange bases de conhecimento estruturadas (CVE, CWE, CAPEC, MITRE ATT&CK) e relatórios de ameaças não estruturados de fornecedores, que utilizam esquemas, vocabulários e níveis de abstração fundamentalmente diferentes. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam fortes capacidades de raciocínio, os benchmarks existentes falham ao avaliar LLMs em configurações de recuperação aumentada (RAG) realistas. Os benchmarks atuais, como o CTIBench e o SEvenLLM, dependem de configurações de livro fechado (testando apenas a memória paramétrica) ou focam na extração de um único relatório, ignorando a necessidade crítica de recuperar e sintetizar informações através de diversas fontes cruzadas.

Um desafio específico identificado é o gap semântico entre fontes: consultas expressas em um vocabulário (ex: prosa narrativa de analistas) falham sistematicamente em corresponder à evidência relevante codificada em outro (ex: entradas de taxonomia formal). Esse gap faz com que a recuperação baseada em embeddings padrão falhe, pois as estratégias de Geração Aumentada por Recuperação (RAG) de propósito geral não conseguem transpor as incompatibilidades léxicas e estruturais inerentes ao domínio de CTI.

Metodologia

Construção do Benchmark (CTIConnect)

Os autores construíram o CTIConnect, um ambiente de avaliação unificado que integra cinco fontes heterogêneas de CTI em 1.860 pares de QA (pergunta e resposta) verificados por especialistas. O pipeline de construção envolve três estágios:

1. Anotação de Correlação de Sementes: Correlações de verdade fundamental (ground-truth) são estabelecidas a partir de fontes autoritativas (mapeamentos MITRE/NVD) ou através de dupla anotação de especialistas para dados não estruturados.
2. Síntese de QA com Restrição de Template: As correlações são transformadas em perguntas e respostas específicas para tarefas usando templates de prompt para garantir consistência de formato e reduzir alucinações.
3. Controle de Qualidade de Múltiplas Camadas: Uma combinação de filtragem baseada em LLM, verificação independente por profissionais da área e adjudicação final por um analista sênior de CTI garante alta qualidade dos dados.

Paisagem de Tarefas

O benchmark cobre nove tarefas em três categorias, representando todas as direções de cruzamento de fontes em análise de CTI:

• Vinculação de Entidades (Estruturado $\to$ Estruturado): Mapeamento de entradas entre taxonomias (ex: CVE para CWE, CAPEC para ATT&CK). As tarefas incluem Mapeamento de Causa Raiz (RCM), Instanciação de Fraqueza (WIM), Derivação de Técnica de Ataque (ATD) e Descoberta de Superfície de Exploração (ESD).
• Atribuição de Entidades (Não Estruturado $\to$ Estruturado): Fundamentar descrições narrativas em entradas de taxonomia formal. As tarefas incluem Atribuição de Técnica de Ataque (ATA) e Atribuição de Catálogo de Vulnerabilidade (VCA).
• Síntese de Múltiplos Documentos (Não Estruturado $\to$ Não Estruturado): Agregação de inteligência dispersa em múltiplos relatórios de fornecedores. As tarefas incluem Perfilamento de Ator de Ameaça (TAP), Análise de Linhagem de Malware (MLA) e Construção de História de Campanha (CSC).

Estratégias de Recuperação

O estudo avalia três configurações de recuperação:

1. Livro Fechado (CB): Baseline utilizando apenas conhecimento paramétrico.
2. RAG Vanilla (VR): Embedding direto de consultas brutas sem transformação.
3. Estratégias Específicas de Domínio (DS): Abordagens customizadas projetadas para abordar gaps semânticos específicos:
   • Extrair-então-Recuperar (EtR): Para Vinculação de Entidades, o LLM extrai o conteúdo semântico e o canonicaliza em frases-chave alinhadas com a base de conhecimento alvo antes da recuperação.
   • Decompor-então-Recuperar (DtR): Para Atribuição de Entidades, a entrada é decomposta em comportamentos atômicos, cada um canonicalizado e recuperado independentemente antes da agregação.
   • RAG Guiado por CSKG: Para Síntese de Múltiplos Documentos, um Grafo de Conhecimento de Cibersegurança (CSKG) é usado para resolver aliases de entidades (ex: "APT29" $\equiv$ "Cozy Bear") e classificar relatórios com base em entidades canônicas em vez de fragmentos de texto bruto.

Resultados Experimentais

Configuração de Avaliação

Dez LLMs de última geração (abrangendo famílias de código aberto e proprietárias, ex: GPT-5, LLaMA-3-405B, Claude-Sonnet-4) foram avaliados em um subconjunto de 691 pares, com verificação no benchmark completo de 1.860 pares para modelos representativos.

Principais Descobertas

1. Ganhos de Desempenho: Estratégias específicas de domínio superam significativamente o RAG Vanilla. Os ganhos foram de até +35,2% para Vinculação de Entidades, +16,0% para Atribuição de Entidades e +11,3% para Síntese de Múltiplos Documentos.
2. Gargalos Específicos de Tarefa:
   • Vinculação de Entidades: O gargalo é primariamente a infraestrutura de recuperação. Uma vez que a evidência correta é recuperada via canonicalização, mesmo modelos menores podem realizar a tarefa com precisão próxima ao teto (média DS: 97%).
   • Atribuição de Entidades: O gargalo muda para o raciocínio do modelo. Esta tarefa exige a decomposição de narrativas e a inferência de causas raízes; o escalonamento do tamanho do modelo gera ganhos significativos (até +29,5% de modelos 8B para 405B), e a recuperação incorreta degrada diretamente a precisão.
   • Síntese de Múltiplos Documentos: O desempenho é limitado tanto pela recuperação (lidar com aliasing) quanto pelo raciocínio do modelo (sintetizar relatos conflitantes).
3. Análise do Gap Semântico: O RAG Vanilla falha devido a um "gap semântico entre fontes".
   • A Vinculação de Entidades possui um pequeno gap de similaridade (0,06), mas sofre com problemas de discriminação de candidatos.
   • A Atribuição de Entidades possui um gap moderado (0,31) devido ao descompasso de vocabulário.
   • A Síntese de Múltiplos Documentos possui o maior gap (0,43) devido ao aliasing de entidades e ruído em nível de fragmento (chunk).
4. Propósito Geral vs. Específico de Domínio: Paradigmas de recuperação de propósito geral fortes (Retrieve-then-Rerank, IRCoT) fecham apenas 1–5% do gap de desempenho. Isso confirma que a ponte do gap semântico de CTI requer intervenções estruturais (canonicalização, decomposição, resolução de entidades) em vez de melhorias genéricas de recuperação.
5. Escalonamento de Modelo: O escalonamento do tamanho do modelo beneficia a Atribuição de Entidades desproporcionalmente (+19,2% de ganho médio) em comparação com a Vinculação de Entidades (+3,4%) ou Síntese (+2,7%). Modelos menores de código aberto podem igualar modelos proprietários de fronteira em tarefas com gargalo de recuperação se a estratégia de recuperação for otimizada.

Significância e Alegações

O artigo afirma que o CTIConnect é o primeiro benchmark de recuperação aumentada para CTI que avalia sistematicamente LLMs através de fontes heterogêneas. Sua principal contribuição é demonstrar que uma abordagem de recuperação "tamanho único" é insuficiente para CTI. Em vez disso, sistemas de CTI eficazes requerem arquiteturas de recuperação conscientes da tarefa que apliquem intervenções estruturais específicas (canonicalização, decomposição, resolução de aliases) para transpor os gaps semânticos entre diversas fontes de dados.

Os autores sustentam que essas descobertas fornecem orientações acionáveis para o design de arquiteturas de recuperação de conhecimento escaláveis, sugerindo que, para ambientes com restrição de recursos, investir em infraestrutura de recuperação específica de domínio pode render retornos maiores do que simplesmente escalar o tamanho do modelo. Os resultados permanecem estáveis através de divisões temporais (2008–2025), indicando a relevância do benchmark para o panorama de ameaças em constante evolução.