Building an Adversarial Malware Dataset by Family and Type: Generation, Evasion, and Poisoning Evaluation

Resumo Técnico: Construção de um Conjunto de Dados de Malware Adversarial por Família e Tipo

Declaração do Problema
O campo da detecção de malware depende cada vez mais de classificadores de aprendizado de máquina (ML), porém esses sistemas são vulneráveis a ataques adversariais, onde agentes maliciosos modificam executáveis para evadir a detecção enquanto preservam a funcionalidade. Existe uma lacuna significativa na comunidade de pesquisa: há uma falta de conjuntos de dados de grande escala, publicamente disponíveis, contendo binários de malware do mundo real que tenham sido sistematicamente transformados em amostras adversariais. Geradores adversariais existentes frequentemente exigem configurações complexas, recursos computacionais significativos ou falham em escalar para tamanhos de conjuntos de dados significativos. Além disso, a suscetibilidade de pipelines de detecção baseados em ML a ataques de envenenamento de dados — onde dados de treinamento são contaminados com amostras mal rotuladas — permanece subexplorada em escala.

Metodologia
Os autores construíram um conjunto de dados abrangente de malware adversarial derivado da coleção pública RawMal-TF, que contém arquivos PE (Portable Executable) do mundo real rotulados por família (17 famílias distintas) ou por tipo (14 tipos, por exemplo, trojan, spyware).

1. Seleção e Implantação do Gerador:
   O estudo utilizou um conjunto de cinco geradores automatizados de malware adversarial: Pesidious, MAB-Malware, AMG, GAMMA Sections (do SecML Malware) e MalwareTotal.

   • Classificadores Alvo: A maioria dos geradores visou o classificador EMBER (2018). Para aumentar a diversidade e o desafio, o MalwareTotal também foi adaptado para visar o EMBER2024, um conjunto de recursos e modelo mais novos e robustos.
   • Infraestrutura: Os autores implantaram esses geradores em um ambiente containerizado (Docker) em um servidor NVIDIA DGX Station A100. Eles desenvolveram um script personalizado de "harness" para gerenciar a execução paralela, monitorar travamentos de processos e lidar com restrições de recursos.
   • Modificações: Vários geradores exigiram ajustes de código para funcionar no ambiente Linux, incluindo a substituição de empacotadores específicos do Windows pelo PEzor multiplataforma e o re-treinamento de agentes para suportar novos classificadores alvo.

2. Seleção e Filtragem de Amostras:

   • O pipeline processou amostras de origem para gerar variantes adversariais.
   • Um algoritmo de seleção (Algoritmo 1) foi empregado para escolher a única melhor variante adversarial por arquivo de origem. O critério primário foi a pontuação EMBER (menor é melhor para evasão), com uma restrição secundária sobre o aumento do tamanho do arquivo (preferindo uma razão $\le$ 1,5x, com um limite rígido de 25 MB).
   • O conjunto de dados inclui amostras independentemente de seu status de classificação original (malicioso ou benigno) para garantir diversidade, desde que tenham sido modificadas com sucesso.
   • Casos patológicos (por exemplo, saídas não modificadas, amostras colapsadas onde entradas diferentes produzem saídas idênticas) foram detectados e filtrados.

3. Métricas de Avaliação:

   • Desempenho de Evasão: Medido pela redução nas pontuações EMBER e pela porcentagem de amostras classificadas como benignas.
   • Evasão de Antivírus: Avaliada contra o VirusTotal (VT), analisando especificamente as taxas de detecção em todos os motores disponíveis e em uma lista curada de "Top 10" de AVs comerciais.
   • Sobrecarga: Medida pelo aumento no tamanho do arquivo.

4. Experimentos de Envenenamento de Dados:
   Os autores conduziram experimentos de treinamento para avaliar o impacto do envenenamento de dados. Eles injetaram amostras adversariais no conjunto de treinamento de um classificador LightGBM (treinado em recursos do RawMal-TF) sob condições variadas:

   • Fração Envenenada: A porcentagem dos dados de treinamento substituída por amostras adversariais (variando de 0,1% a 20%).
   • Taxa de Transferibilidade ($\tau$): A proporção de amostras maliciosas injetadas que foram mal rotuladas como benignas. $\tau=0$ representa treinamento adversarial (rótulos corretos), enquanto $\tau=1$ representa o envenenamento máximo (rótulos incorretos).

Principais Contribuições

• Conjunto de Dados AdvMal-TF: O lançamento de dois conjuntos de dados de grande escala, publicamente disponíveis:
  • Rotulados por Família: 44.347 amostras adversariais.
  • Rotulados por Tipo: 33.596 amostras adversariais.
  • Ambos os conjuntos de dados incluem metadados ricos, incluindo pontuações EMBER, pontuações EMBER2024 e classificações do VirusTotal.
• Pipeline de Geração Escalável: Um framework robusto e containerizado para executar múltiplos geradores adversariais em paralelo, abordando problemas de confiabilidade comuns em ferramentas de malware de nível de pesquisa.
• Análise de Envenenamento: Evidência empírica quantificando a vulnerabilidade de classificadores de malware a ataques de envenenamento de dados em pequena escala e a eficácia do treinamento adversarial com rótulos corretos.

Resultados

• Taxas de Evasão:
  • Contra o classificador EMBER, o conjunto de dados rotulado por família alcançou uma taxa de evasão de 98,35% para amostras originalmente detectadas, e o conjunto de dados rotulado por tipo alcançou 92,20%.
  • GAMMA Sections e Pesidious foram particularmente eficazes contra AVs comerciais no VirusTotal, embora as taxas de evasão variassem significativamente por gerador e alvo.
  • Geradores visando o EMBER2024 alcançaram taxas de sucesso menores, destacando a robustez aumentada do modelo mais recente.
• Sobrecarga de Tamanho de Arquivo: GAMMA Sections produziu os maiores aumentos no tamanho do arquivo (frequentemente >1000%), enquanto MalwareTotal ofereceu o melhor equilíbrio entre redução de pontuação e aumento de tamanho.
• Impacto do Envenenamento:
  • Alta Vulnerabilidade: Injetar amostras totalmente mal rotuladas ($\tau=1.0$) representando apenas 0,5% dos dados de treinamento aumentou a taxa de evasão do classificador re-treinado de uma linha de base de 26,1% para 92,8% no conjunto de dados rotulado por família.
  • Treinamento Adversarial: Por outro lado, injetar amostras adversariais corretamente rotuladas ($\tau=0$) reduziu consistentemente as taxas de evasão abaixo da linha de base, atuando como treinamento adversarial eficaz.
  • Estabilidade da Métrica: As pontuações F1 permaneceram enganosamente estáveis mesmo à medida que as taxas de evasão colapsavam, indicando que métricas padrão podem falhar em detectar a degradação induzida por envenenamento na robustez adversarial.
• Características do Conjunto de Dados: O conjunto de dados rotulado por família mostrou sinais de sobreajuste (alta pontuação F1 de linha de base, mas pouca generalização entre conjuntos de dados), enquanto o conjunto de dados rotulado por tipo demonstrou maior diversidade e desempenho de linha de base mais realista.

Significado
O artigo afirma que o conjunto de dados AdvMal-TF preenche uma lacuna crítica de recursos ao fornecer binários adversariais do mundo real, com funcionalidade preservada, em escala. Os autores afirmam que este recurso facilitará pesquisas futuras sobre:

1. Malware Adversarial: Compreensão das capacidades e limitações das técnicas atuais de evasão.
2. Envenenamento de Dados: Avaliação da robustez de pipelines de detecção contra contaminação de dados de treinamento.
3. Robustez Defensiva: Habilitando o desenvolvimento de classificadores mais resilientes através do treinamento adversarial com amostras corretamente rotuladas.

O trabalho destaca que, embora os geradores atuais lutem contra classificadores avançados como o EMBER2024, a disponibilidade de conjuntos de dados diversos e de grande escala é essencial para avançar estratégias defensivas. Os autores concluem que a qualidade dos dados de treinamento (especificamente a correção dos rótulos) é tão crítica quanto o volume de dados na determinação da robustez do classificador.