Resumo Técnico: HackerSignal

Declaração do Problema

A cibersegurança aplicada moderna enfrenta um desafio central na compreensão de como as ameaças cibernéticas surgem, se propagam e se relacionam com vulnerabilidades. Sinais que rastreiam essa trajetória estão distribuídos em fontes heterogêneas baseadas em texto, incluindo fóruns de hackers, bancos de dados públicos de exploits, avisos oficiais de vulnerabilidade (por exemplo, NVD, CISA KEV) e commits de correção de código aberto. Conjuntos de dados públicos existentes neste domínio geralmente abrangem apenas uma única camada ou um subconjunto dessas fontes e são frequentemente proprietários. Além disso, conjuntos de dados estruturados que vinculam o discurso da comunidade hacker a registros formais de vulnerabilidade estão amplamente ausentes na literatura pública. Benchmarks atuais frequentemente carecem de rigor temporal, falhando em avaliar como os modelos se generalizam para ameaças que não existiam no momento do treinamento, e sofrem frequentemente de problemas de vazamento de dados que inflacionam as alegações de desempenho.

Metodologia

Os autores apresentam o HackerSignal, um corpus e benchmark de grande escala, estruturado temporalmente e multi-fonte, projetado para vincular o discurso da comunidade hacker ao ciclo de vida completo da vulnerabilidade CVE.

Construção do Conjunto de Dados

• Escala e Escopo: O conjunto de dados agrega 7,45 milhões de documentos exatos desduplicados de 64 identificadores públicos de fóruns e fontes, abrangendo uma hierarquia de 8 camadas de fontes e uma janela de 36 anos (1990–2026).
• Camadas de Fontes: O corpus integra:
  1. Comunidades de hackers e segurança (6,97 milhões de linhas, incluindo mercados da darkweb e painéis de segurança).
  2. Referências de vulnerabilidade (NVD).
  3. Arquivos de exploits (por exemplo, ExploitDB).
  4. Referências de Q&A de exploits.
  5. Referências de avisos.
  6. Divulgações de bug-bounty.
  7. Referências de commits de correção.
  8. Referências de exploração (CISA KEV).
• Unificação: Todas as fontes são normalizadas em um esquema JSONL comum unificado por um namespace compartilhado de identificadores CVE. Um índice CVE separado mapeia registros para referências via chaves estrangeiras, permitindo junções entre fontes.
• Pré-processamento: A coleta de dados envolveu APIs oficiais, ingestão de conjuntos de dados públicos existentes e raspagem ética da web. As etapas de processamento incluíram normalização Unicode, remoção de HTML, substituição de URLs, colapso de espaços em branco e filtragem de conteúdo não em inglês e posts curtos (<20 caracteres). Desduplicação exata (SHA-256) e quase-desduplicação (MinHash-LSH) foram aplicadas.
• Divisões Temporais: Para garantir generalização prospectiva, os dados são divididos temporalmente:
  • Tarefa 1 & 3: Treino (<2022), Validação (2022–2023), Teste (2024+).
  • Tarefa 2: Treino (<2020), Validação (2020–2022), Teste (≥2023).

Tarefas de Benchmark

O artigo define três tarefas de benchmark para avaliar a generalização fora da distribuição (OOD) temporal:

1. Recuperação de Vinculação CVE (CVE-R): Uma tarefa de fundamentação de entidade entre fontes onde o modelo recupera a descrição correta do CVE do corpus NVD (340 mil entradas) dada uma consulta de texto de exploit/aviso.
   • Baselines: BM25, codificadores bi-densos (MiniLM, mpnet, BGE, E5) e uma abordagem híbrida esparsa+densa.
2. Classificação de Tipo de Exploit (ETC): Uma tarefa de classificação de 8 classes que prevê tipos de vulnerabilidade (por exemplo, Injeção, XSS, Corrupção de Memória, RCE) a partir de texto de exploit.
   • Baselines: Classificadores de bolsa de palavras (Árvore de Decisão, TF-IDF+LR, SVM), RNNs (RNN, GRU, LSTM, BiLSTM) e um transformer específico de domínio (SecBERT).
3. Generalização Temporal (TG): Uma tarefa de recuperação estrita idêntica à Tarefa 1, mas com uma restrição de disjunção CVE ($C_{train} \cap C_{test} = \emptyset$). Os modelos devem generalizar para descrições de vulnerabilidade inteiramente inéditas, prevenindo a memorização de entradas CVE específicas.

Protocolos de Avaliação

• Auditorias de Vazamento: Os autores auditam explicitamente vazamentos temporais e de fonte, verificando programaticamente a disjunção CVE.
• Escada de Baselines: Seguindo as metodologias BEIR e WILDS, a avaliação emprega uma escada heterogênea de modelos que vai de léxicos (BM25) a arquiteturas densas e híbridas.
• Métricas: Tarefas de recuperação usam Recall@k e Recíproca Média de Classificação (MRR); classificação usa Macro-F1 e F1 por classe.

Resultados Chave

• Recuperação de Vinculação CVE (Tarefa 1): O modelo E5-base-v2 alcançou o melhor desempenho com um MRR de 0,587, superando a abordagem híbrida BM25+mpnet (0,567) e outros codificadores bi-simétricos. Isso sugere que o treinamento assimétrico com prefixos de consulta/passage é particularmente eficaz para fundamentação CVE entre fontes.
• Classificação de Tipo de Exploit (Tarefa 2): O modelo BiLSTM alcançou o melhor Macro-F1 de 0,871, superando a melhor baseline de bolsa de palavras (SVM em 0,799) e o SecBERT específico de domínio (0,846). Isso indica que o contexto bidirecional é crucial para texto de exploit, enquanto o pré-treinamento específico de domínio ofereceu apenas benefícios modestos sobre arquiteturas padrão.
• Generalização Temporal (Tarefa 3): Sob condições estritas de disjunção CVE, o E5-base-v2 novamente liderou com um MRR de 0,602. Os modelos geralmente mantiveram ou melhoraram o desempenho em comparação com a Tarefa 1, confirmando que as divisões temporais preveniram efetivamente a memorização significativa dos dados de treinamento.

Contribuições Chave

1. Um Corpus de CTI Fundamentado Temporalmente: Um conjunto de dados de 7,45 milhões de documentos abrangendo oito camadas de fontes com metadados de vinculação CVE, suportando diversas tarefas de PLN além dos três benchmarks (por exemplo, sumarização de código de exploit, modelagem de tópicos).
2. Três Tarefas de Benchmark: Um conjunto de tarefas com divisões de treino/validação/teste temporais projetadas para testar generalização progressivamente mais difícil, incluindo recuperação entre fontes, classificação de 8 classes e avaliação prospectiva de disjunção CVE.
3. Artefatos de Governança e Transparência: Uma escada completa de modelos, diagnósticos de atalhos de fonte, pacotes de auditoria manual, uma ficha de dados e um adendo de governança de lançamento para garantir integridade e prevenir vazamento de dados.

Significado e Alegações

O artigo posiciona o HackerSignal como um recurso fundamental para inteligência de ameaças cibernéticas (CTI) fora da distribuição temporal. Seu significado principal reside em:

• Ponte da Lacuna: Está entre os primeiros benchmarks públicos a mapear a trajetória completa do discurso da comunidade hacker para registros formais de vulnerabilidade e correções de software.
• Avaliação Rigorosa: Ao impor divisões temporais e restrições de disjunção CVE, aborda a questão comum de alegações infladas de benchmark causadas por vazamento de dados e avaliação não prospectiva.
• Foco em Pesquisa Defensiva: O conjunto de dados é explicitamente curado para pesquisa defensiva, com regras de governança proibindo o ajuste fino de modelos automatizados de exploit ou a desanonimização de usuários.

Os autores reconhecem limitações, observando que as vinculações CVE são derivadas de metadados e não adjudicadas por especialistas (introduzindo ruído), que a recuperação multilíngue não foi avaliada e que rerankers de modelos de linguagem grandes não foram incluídos devido aos custos computacionais. No entanto, o lançamento do código, dados e metadados Croissant visa apoiar futuras extensões em sumarização de código de exploit, análise de interação comunitária e extração de CTI multilíngue.