Beyond Single Reports: Evaluating Automated ATT&CK Technique Extraction in Multi-Report Campaign Settings

Título: Além de Relatórios Únicos: Avaliação da Extração Automatizada de Técnicas ATT&CK em Cenários de Campanha com Múltiplos Relatórios

1. Problema e Motivação

As grandes campanhas de ciberataques são documentadas através de múltiplos relatórios de Inteligência de Ameaças Cibernéticas (CTI) provenientes de fontes diversas (agências governamentais, pesquisadores independentes, equipes de resposta a incidentes). Enquanto alguns relatórios oferecem uma visão estratégica de alto nível, outros fornecem detalhes forenses técnicos.

• O Desafio: A extração manual de técnicas de ataque (mapeadas para o framework MITRE ATT&CK) em escala é impraticável. Métodos automatizados existentes focam predominantemente na análise de relatórios individuais.
• A Lacuna: Analisar relatórios isoladamente resulta em uma visão fragmentada do comportamento da campanha, deixando técnicas de ataque e seus controles de mitigação correspondentes não detectados. Além disso, a falta de padronização nos conjuntos de dados anteriores torna difícil comparar o desempenho dos métodos.
• Objetivo: O estudo visa replicar e comparar o desempenho de 29 métodos de extração de técnicas ATT&CK de última geração em um cenário de campanha multi-relatório, em contraste com avaliações anteriores de relatório único.

2. Metodologia

Os autores realizaram uma replicação conceitual e extensão do estudo de Büchel et al. [10], avaliando 29 métodos automatizados divididos em três abordagens principais:

1. Reconhecimento de Entidades Nomeadas (NER): Abordagens baseadas em regras e pipelines sintáticos/semânticos.
2. Classificação Baseada em Codificadores (Encoder-based): Modelos pré-treinados como BERT e RoBERTa que tratam a extração como uma tarefa de classificação de texto.
3. LLMs Baseados em Decodificadores (Decoder-based): Modelos de Linguagem Grande (LLMs) que utilizam prompting (zero-shot, few-shot), RAG (Retrieval-Augmented Generation) e Fine-Tuning (SFT) para gerar previsões.

Configuração Experimental:

• Dataset de Teste: 90 relatórios CTI filtrados do conjunto de dados CTIfecta, cobrindo três campanhas de alto perfil: SolarWinds, XZ Utils e Log4j.
• Dataset de Treinamento: O conjunto AnnoCTR foi utilizado para treinamento/ajuste fino, complementado com amostras do MITRE para cobrir técnicas ausentes, evitando o viés de distribuição de cauda longa do CTIfecta.
• Avaliação em Nível de Campanha: Em vez de avaliar relatórios isoladamente, as previsões de todos os relatórios de uma mesma campanha foram agregadas (união das técnicas previstas) e comparadas com o conjunto de "ground truth" (técnicas reais) daquela campanha.
• Métricas de Análise:
  • Métricas de desempenho: Precisão, Revocação (Recall) e F1-Score.
  • Análise de Erros: Estudo de falsos positivos (FP) e falsos negativos (FN) com foco em similaridade semântica entre descrições de técnicas (usando embeddings e t-SNE).
  • Impacto nos Controles: Mapeamento das técnicas extraídas para controles P-SSCRM (Proactive Software Supply Chain Risk Management) para quantificar a cobertura de mitigação.
  • Saturação de Desempenho: Análise incremental para determinar quantos relatórios são necessários para atingir a saturação de desempenho.

3. Principais Contribuições

1. Estudo de Replicação em Nível de Campanha: Primeira avaliação sistemática de métodos automatizados de extração de ATT&CK agregando múltiplos relatórios de uma mesma campanha.
2. Métricas de Cobertura de Controles: Introdução de métricas que quantificam não apenas a precisão técnica, mas o impacto direto na cobertura de controles de mitigação (P-SSCRM).
3. Limiares de Saturação Empíricos: Definição do número mínimo de relatórios necessários para que os métodos atinjam a saturação de desempenho (geralmente entre 10-15 relatórios).
4. Caracterização de Relatórios: Identificação de quais propriedades textuais e estruturais (ex: densidade técnica, origem do autor) maximizam a extração.
5. Análise de Erros Semânticos: Caracterização sistemática de como a sobreposição semântica entre técnicas ATT&CK leva a erros de classificação.

4. Resultados Chave

• Desempenho (RQ1):

  • A agregação de múltiplos relatórios melhorou o F1-Score em aproximadamente 26% em comparação com a análise de relatório único.
  • NER e LLMs (Decoder-based) beneficiaram-se significativamente do cenário multi-relatório.
  • Classificadores Baseados em Codificadores (Encoder) sofreram degradação de desempenho no cenário multi-relatório, possivelmente devido à dificuldade em lidar com a variabilidade semântica entre relatórios.
  • Saturação: A maioria dos métodos atinge a saturação de desempenho após 5 a 15 relatórios. No entanto, para campanhas complexas como XZ Utils, os LLMs podem precisar de até 30 relatórios.

• Erros e Similaridade Semântica (RQ2):

  • Até 33,3% das classificações incorretas ocorrem entre técnicas semanticamente similares que compartilham a mesma tática (ex: T1587 vs. T1588).
  • Aproximadamente 79,2% dos erros de falsos positivos ocorrem dentro das mesmas fronteiras táticas (ex: Evasão de Defesa, Descoberta).

• Impacto nos Controles de Mitigação (RQ3):

  • Existe uma discrepância crítica: mesmo o melhor método (LLM com RAG) que cobre ~90% das técnicas, falha em cobrir 23% dos controles de mitigação necessários.
  • Erros de extração propagam-se desproporcionalmente para lacunas nos controles, deixando organizações expostas a vulnerabilidades não mitigadas.
  • Há lacunas sistemáticas nos grupos de Governança (G), Implantação (D) e Ambiente (E) do framework P-SSCRM.

• Características dos Relatórios (RQ5):

  • Relatórios mais longos e com detalhes técnicos densos (hashes, IPs, termos específicos) contribuem consistentemente para melhor desempenho, mesmo que tenham pontuações de legibilidade mais baixas.
  • Relatórios de agências governamentais (ex: CISA) e fornecedores comerciais estabelecidos (ex: Google, Apache) dominam os relatórios que levam à saturação de desempenho.
  • A data de publicação e a legibilidade (escala Flesch) não mostraram correlação consistente com o desempenho.

5. Significado e Implicações

• Para Pesquisadores: É imperativo abandonar avaliações baseadas em relatórios únicos. Novas métricas devem focar na cobertura de controles e na saturação em cenários multi-relatório.
• Para Praticantes de Segurança:
  • Estratégia de Coleta: Não é necessário coletar todos os relatórios disponíveis; 10-15 relatórios de fontes técnicas densas (governo/vedores) geralmente são suficientes para saturação.
  • Seleção de Ferramentas:
    • Analistas de SOC/Resposta a Incidentes: Devem preferir métodos NER para alta precisão (menos falsos positivos).
    • Analistas de Threat Intel/Engenharia de Detecção: Devem preferir LLMs para maior cobertura de técnicas e recall, aceitando uma taxa maior de falsos positivos.
  • Curadoria de Dados: Relatórios com baixa legibilidade (devido a jargão técnico) não devem ser descartados; eles contêm a informação crítica necessária para a extração precisa.

Conclusão: O estudo demonstra que a agregação de múltiplos relatórios CTI é essencial para uma visão completa das campanhas de ataque, mas que os métodos atuais ainda têm limitações significativas na cobertura de controles de mitigação, exigindo uma abordagem que vá além da simples extração de técnicas para incluir a análise de mitigação em nível de controle.