Vendor-Conditioned Contrastive Learning for Predicting Organizational Cyber Threat Targets

Resumo Técnico: TRACE – Aprendizado Contrastivo Condicionado a Fornecedores para Previsão de Alvos Organizacionais de Ameaças Cibernéticas

Declaração do Problema
Os ciberataques causam danos financeiros massivos, com custos globais projetados para atingir US$ 15,6 trilhões anuais até 2029. Embora a Inteligência de Ameaças Cibernéticas (CTI) dependa fortemente da análise de fóruns de hackers, onde atores maliciosos compartilham códigos de exploração e técnicas, existe uma lacuna crítica na pesquisa atual: identificar quais organizações específicas são alvo dessas explorações. Trabalhos anteriores focaram na identificação de explorações, mapeamento para MITRE ATT&CK ou detecção multilíngue, mas raramente na previsão de alvos organizacionais. Além disso, modelos existentes frequentemente falham em considerar a mudança de distribuição temporal. À medida que novos fornecedores, produtos e vulnerabilidades surgem, a linguagem usada em postagens de exploração evolui. Modelos treinados em dados históricos podem aprender padrões que se tornam pouco confiáveis quando aplicados a postagens futuras, tornando necessários protocolos de avaliação que testem a generalização prospectiva em vez da precisão estática.

Metodologia
Para abordar esses desafios, os autores propõem o TRACE (Representação Temporal e Classificação de Explorações), um framework projetado para prever alvos organizacionais mantendo robustez contra a deriva temporal.

1. Construção de Dados:

   • Os autores construíram um corpus de grande escala e múltiplas fontes, aproveitando o conjunto de dados HackerSignal, que agrega 8,7 milhões de postagens de 35 fontes (incluindo fóruns de hackers, bancos de dados de exploração e mercados da darknet) abrangendo três décadas (1990–2026).
   • A partir disso, um subconjunto de 352.866 postagens em inglês de fontes ricas em explorações foi selecionado para extração de entidades.
   • Um glossário curado contendo mais de 150 padrões de nomes de fornecedores e produtos foi utilizado para extrair e normalizar referências a fornecedores, mapeando-os para sete categorias organizacionais (ex: CMS/Código Aberto, Software Empresarial, Plataforma Web, Rede/IoT, Móvel, Jogos, Banco de Dados).
   • Esse processo resultou em um conjunto de dados padrão-ouro de 129.126 amostras.
   • Divisão Temporal: Para simular a implantação no mundo real e evitar vazamento de dados, os dados foram divididos cronologicamente: treinamento em postagens anteriores a 2022 (125.963 amostras), validação em 2022–2023 e teste em 2024+ (Fora da Distribuição/OOD).

2. Arquitetura do Modelo (TRACE):

   • Codificador Base: O framework utiliza o CySecBERT, um codificador BERT-base pré-treinado especificamente em corpora de cibersegurança para lidar com vocabulário especializado (CVEs, comandos de shell, payloads ofuscados).
   • Design de Dupla Cabeça:
     • Cabeça de Classificação: Uma camada linear mapeia a representação [CLS] do codificador para os logits das sete categorias organizacionais, otimizada via perda de entropia cruzada padrão ($L_{CE}$).
     • Cabeça de Projeção Contrastiva: Um MLP de duas camadas projeta a representação em um espaço de 128 dimensões. Esta cabeça é otimizada usando uma perda Contrastiva Supervisionada (SupCon) ($L_{SC}$).
   • Objetivo Condicionado a Fornecedores: Diferentemente da classificação padrão, a perda contrastiva agrupa amostras por identidade do fornecedor em vez de categoria organizacional. Ela atrai embeddings de postagens que discutem o mesmo fornecedor e empurra fornecedores diferentes para longe. Isso aproveita a observação de que postagens de exploração para o mesmo fornecedor compartilham vocabulário específico e padrões de código que atravessam categorias mais amplas.
   • Objetivo de Treinamento: A perda total é uma soma ponderada: $L = L_{CE} + \lambda L_{SC}$, onde $\lambda = 0,1$. Isso garante que a classificação permaneça o objetivo principal, enquanto o objetivo contrastivo molda o espaço de embeddings para ser coerente com o fornecedor.

Principais Contribuições

1. Corpus de Grande Escala e Múltiplas Fontes: A criação de um conjunto de dados rotulado de 129.126 amostras derivado de 9 bancos de dados de exploração e fóruns de hackers distintos, cobrindo três décadas de dados.
2. Aprendizado Contrastivo Condicionado a Fornecedores: A introdução de uma estratégia de ajuste fino que usa a identidade do fornecedor como um sinal de supervisão auxiliar. Essa abordagem incentiva o modelo a aprender representações que preservam a estrutura em nível de fornecedor, melhorando a generalização sob mudança de distribuição temporal.
3. Avaliação Temporal OOD: Um protocolo de avaliação rigoroso que testa o desempenho do modelo em dados futuros (2024+), demonstrando a capacidade do framework de lidar com a linguagem de exploração em evolução.

Resultados Experimentais
O framework TRACE foi avaliado contra 17 modelos de referência, incluindo ML clássico (Naive Bayes, SVM, Regressão Logística), arquiteturas de aprendizado profundo (RNN, LSTM, CNN, Transformers) com embeddings GloVe e FastText, e transformers pré-treinados (BERT, RoBERTa, ModernBERT, CySecBERT).

• Desempenho: O TRACE alcançou um Macro F1-score de 97,00% e uma precisão de 98,65% no conjunto de teste temporal OOD, superando significativamente todas as linhas de base.
• Comparação com Linhas de Base:
  • Adaptação de Domínio: O pré-treinamento específico de domínio provou ser crítico. O CySecBERT (F1=94,45%) superou significativamente o BERT de propósito geral (89,29%) e o RoBERTa (84,36%).
  • Embeddings: Para as linhas de base de aprendizado profundo, embeddings FastText treinados no corpus de explorações superaram consistentemente os embeddings GloVe genéricos (ex: BiLSTM: 81,84% vs. 63,11%).
  • Ganho Contrastivo: O objetivo contrastivo condicionado a fornecedores proporcionou um impulso substancial sobre o ajuste fino padrão do CySecBERT, melhorando o F1-score em 2,55 pontos percentuais (de 94,45% para 97,00%).
• Análise por Categoria: O TRACE mostrou a melhoria mais significativa em categorias de baixo suporte, particularmente Jogos (F1 aumentou de 72,34% para 91,80%), ao aprender representações coerentes com o fornecedor que separaram melhor classes raras.

Significado e Alegações
O artigo afirma que o TRACE fornece um mecanismo robusto para CTI proativa, permitindo que as partes interessadas identifiquem rapidamente quais indústrias estão sendo alvo de explorações emergentes. O estudo destaca que a escolha do embedding é o fator mais significativo no desempenho do modelo; o pré-treinamento específico de domínio e os embeddings treinados no corpus são essenciais para lidar com o jargão especializado das comunidades de hackers.

Os autores enfatizam que sua avaliação temporal OOD oferece uma avaliação realista da utilidade do modelo, pois modelos treinados em dados históricos estáticos frequentemente falham quando implantados contra ameaças em evolução. Ao integrar a estrutura em nível de fornecedor no objetivo de aprendizado, o TRACE demonstra que metadados auxiliares podem aprimorar o poder discriminativo das representações para previsão de alvos organizacionais, mesmo quando o vocabulário-alvo e os padrões mudam ao longo do tempo.

Limitações
Os autores observam que sua rotulagem baseada em glossário, embora de alta precisão, pode perder fornecedores que não estão no dicionário. Além disso, a taxonomia de 7 categorias agrega organizações em grupos amplos, o que pode borrar fronteiras (ex: distinguir entre Plataformas Web e CMS de Código Aberto). Os baixos números de amostras para categorias como Banco de Dados (2 amostras de teste) e Jogos (30 amostras de teste) limitam a confiabilidade estatística das métricas por categoria para essas classes específicas.