A Unified Evaluation of Learning-Based Similarity Techniques for Malware Detection

Título: Uma Avaliação Unificada de Técnicas de Similaridade Baseadas em Aprendizado para Detecção de Malware

1. O Problema

Os sistemas modernos de análise de malware operam em escala massiva, processando bilhões de arquivos. As técnicas tradicionais de detecção baseadas em hashes criptográficos exatos (como MD5 e SHA-256) são ineficazes para tarefas de triagem, atribuição de famílias e agrupamento (clustering), pois qualquer alteração mínima no código (empacotamento, recompilação, reordenação de instruções) gera um hash completamente diferente.

Embora técnicas de similaridade aproximada (como hashes difusos: ssdeep, sdhash, TLSH) e métodos baseados em aprendizado de máquina (embeddings) existam, eles têm sido avaliados de forma isolada, utilizando conjuntos de dados e critérios de avaliação díspares. Não havia um benchmark unificado e reprodutível que comparasse diretamente hashes clássicos com embeddings aprendidos (neural e baseados em árvores) sob as mesmas métricas e condições, dificultando a escolha da melhor abordagem para cargas de trabalho reais de segurança.

2. Metodologia

Os autores propõem um framework experimental unificado para comparar técnicas de similaridade heterogêneas utilizando o conjunto de dados EMBER (1 milhão de arquivos PE estáticos) e sua extensão EmberSim.

Pré-processamento e Engenharia de Features

• Normalização Estrutural: Transformação de metadados JSONL hierárquicos (cabeçalhos PE, imports, seções) em vetores numéricos de comprimento fixo.
• Vectorização: Uso de Bag-of-Words para imports e exports (limite de vocabulário de 2.048) e codificação categórica para rótulos como avclass.
• Limpeza: Remoção de identificadores (hashes) e duplicatas para garantir integridade experimental.

Abordagens Avaliadas

O estudo compara quatro categorias principais de representações:

1. Hashes Difusos Clássicos: ssdeep (usado como baseline).
2. Autoencoders (AE): Rede neural não supervisionada para redução de dimensionalidade (compressão de 256 features para um espaço latente de 8 dimensões).
3. Classificadores Binários (Deep Learning): Rede neural totalmente conectada que gera embeddings de 128 dimensões a partir da camada oculta, treinada para distinguir malware de benigno.
4. Classificadores Baseados em Árvores (XGBoost):
   • Modelos para classificação binária e multi-classe (famílias AVClass).
   • Extração de embeddings baseada nos índices das folhas terminais (leaf-index embeddings) das árvores, onde a similaridade é definida pelo caminho percorrido nas árvores.

Métricas de Avaliação

• Classificação: Acurácia, Precisão, Recall, F1-Score e AUC.
• Similaridade e Clustering:
  • Label Homogeneity@K: Porcentagem de vizinhos nos Top-K que compartilham o mesmo rótulo.
  • Métricas internas de clustering: Silhouette Score, Davies-Bouldin Index e Calinski-Harabasz Index.
  • Distância: Utilização consistente da distância Euclidiana (L2) para todas as representações contínuas, garantindo comparabilidade justa.

3. Principais Contribuições

1. Framework de Benchmarking Unificado: Primeira avaliação reprodutível que coloca hashes clássicos e embeddings de aprendizado de máquina lado a lado em um único conjunto de dados.
2. Pipeline de Engenharia de Features Rigoroso: Desenvolvimento de um processo de transformação de metadados PE complexos para vetores numéricos padronizados.
3. Análise Comparativa de Embeddings: Avaliação de três abordagens distintas (Autoencoder, DL Supervisionado, XGBoost) para extração de representações latentes.
4. Validação Empírica: Demonstração de que métodos baseados em aprendizado superam significativamente os métodos clássicos em tarefas de similaridade, embora existam trade-offs específicos.

4. Resultados Chave

Desempenho de Classificação

• XGBoost superou as redes neurais em todas as métricas de classificação binária (Acurácia de 97,76% vs. 96,04% para DL) e multi-classe (AVClass).
• O XGBoost mostrou-se superior para tarefas de detecção binária de alta precisão devido à sua capacidade de lidar com interações não lineares em metadados estruturados.

Desempenho de Similaridade e Clustering

• Superioridade dos Embeddings: Os métodos baseados em aprendizado (especialmente Autoencoders e Redes Neurais) superaram drasticamente o ssdeep.
  • Homogeneidade de Rótulo (Top-K): Autoencoders e Redes Neurais alcançaram >80% de homogeneidade em consultas Top-K, enquanto o ssdeep ficou em torno de 40%.
• Estrutura do Espaço Latente:
  • Redes Neurais: Produziram espaços com melhor separação entre famílias (Silhouette Score positivo e alto) e maior coesão intra-classe.
  • XGBoost (Leaf-Index): Embora excelente para classificação, o espaço de similaridade derivado das folhas das árvores mostrou-se menos estruturado para clustering de famílias finas (Silhouette negativo para AVClass), indicando sobreposição significativa entre famílias no espaço Euclidiano.
• Viés de Treinamento: Quando o XGBoost foi treinado com o rótulo AVClass como feature de entrada, a homogeneidade atingiu quase 98%, mas isso foi identificado como um "atalho de supervisão" (o modelo estava memorizando o rótulo em vez de aprender similaridade estrutural), o que não é viável em cenários operacionais onde o rótulo é desconhecido.

5. Significado e Conclusão

O estudo conclui que nenhuma abordagem única domina em todas as dimensões:

• Para detecção binária (malware vs. benigno), modelos baseados em árvores (XGBoost) são preferíveis devido à sua alta acurácia e eficiência.
• Para agrupamento, triagem e busca de similaridade (identificar famílias de malware), embeddings aprendidos (especialmente de redes neurais ou autoencoders) são superiores, oferecendo espaços de características geometricamente mais estruturados e robustos.

Implicação Prática: Plataformas eficazes de análise de malware e caça a ameaças não devem depender de um único método. Elas devem integrar técnicas complementares: usar hashes difusos ou modelos baseados em árvores para triagem rápida e detecção binária, e utilizar embeddings de aprendizado profundo para tarefas que exigem agrupamento fino e descoberta de relações estruturais complexas entre amostras.

Trabalho Futuro

Os autores sugerem futuras investigações para incluir dados de análise dinâmica (comportamento em tempo de execução), testar em corpora de binários brutos (para comparar diretamente com hashes de bytes) e avaliar a escalabilidade desses embeddings em sistemas de busca aproximada de vizinhos (ANN) para bilhões de amostras.