A Hybrid Approach For Malware Classification Using Secondary Features Fusion

Resumo Técnico: Uma Abordagem Híbrida para Classificação de Malware Usando Fusão de Características Secundárias

Definição do Problema
A rápida evolução do malware, caracterizada por polimorfismo, ofuscação e variantes de dia zero (zero-day), torna os métodos tradicionais de detecção insuficientes. Os softwares antivírus existentes frequentemente falham em detectar amostras variadas ou em classificá-las em famílias específicas, dificultando a mitigação eficaz. Embora o aprendizado de máquina (ML) tenha sido aplicado à detecção de malware, permanecem desafios relacionados à generalização de características entre diferentes famílias, o desequilíbrio de classes em conjuntos de dados e a dependência exclusiva de análise estática ou dinâmica. Além disso, o amplamente utilizado conjunto de dados do Desafio de Classificação de Malware da Microsoft carece de exemplos benignos, limitando sua utilidade para a detecção binária (benigno vs. malicioso) juntamente com a classificação multi-classe de famílias.

Metodologia
Os autores propõem uma abordagem híbrida que aborda duas etapas distintas: engenharia de características e modelagem. A metodologia envolve as seguintes etapas:

1. Extensão e Preparação do Conjunto de Dados:

   • O estudo modifica o conjunto de dados Microsoft Kaggle adicionando 1.609 arquivos desassemblados (.asm) benignos aos 10.868 exemplares de malware existentes distribuídos em nove famílias.
   • Esta extensão permite tanto a classificação binária (malware vs. benigno) quanto a classificação multi-classe (famílias de malware específicas).
   • A amostragem aleatória estratificada com reposição é empregada para mitigar os problemas de desequilíbrio de classes inerentes ao conjunto de dados original.

2. Extração de Características:

   • Características Primárias: O sistema extrai chamadas de Interface de Programação de Aplicação (API), importações de Bibliotecas de Vínculo Dinâmico (DLL) e mnemônicos de Códigos de Operação (OpCode) da seção .text dos arquivos desassemblados.
   • Características Secundárias:
     • OpCodes: Extraídos como unigramas, filtrados via seleção baseada em dicionário (removendo OpCodes irregulares/customizados) e, em seguida, transformados em quad-gramas de comprimento fixo e n-gramas de comprimento variável.
     • APIs e DLLs: A análise combinatória determinou que bi-gramas são o tamanho ideal para estas características, equilibrando precisão e custo computacional.
   • Redução de Ruído: Uma análise de frequência é realizada para descartar características com ocorrência baixa (limiar < 50), garantindo que apenas características representativas sejam retidas.

3. Seleção de Características:

   • Um processo de seleção em duas etapas é implementado:
     • Seleção Primária: Filtragem baseada em dicionário e análise de frequência para remover características irregulares e raras.
     • Seleção Secundária: Avaliação de métodos de filtro (Entropia de Shannon), wrapper (proposta de Seleção Regressiva usando Random Forest e Regularized Greedy Forest) e embedded (Lasso, XGBoost).
     • Um algoritmo de seleção regressiva customizado é proposto para remover iterativamente as características menos importantes até que um número mínimo de características seja atingido, otimizando o conjunto de características para algoritmos específicos.

4. Fusão de Características:

   • Em vez de selecionar um único melhor conjunto de características, os autores realizam a fusão de características ao tomar a união das melhores características de todas as representações (bi-gramas de API, bi-gramas de DLL, quad-gramas e n-gramas de comprimento variável) para criar uma matriz de entrada abrangente.

5. Fusão de Algoritmos (Ensemble):

   • Dez classificadores base são avaliados, incluindo CART, Naive Bayes, SVM, Regressão Logística, kNN, Redes Neurais, Random Forest, AdaBoost, XGBoost e LightGBM.
   • Um ensemble baseado em votação ponderada é construído utilizando os cinco melhores classificadores com desempenho.
   • Os pesos para cada classificador são determinados usando Programação de Mínimos Quadrados Sequenciais (SLSQP) para minimizar o log loss no conjunto de teste.
   • A predição final é derivada calculando a média geométrica das saídas de probabilidade ponderadas dos membros do ensemble.

Principais Contribuições

• Modificação do Conjunto de Dados: Extensão do conjunto de dados Microsoft com amostras benignas para facilitar tarefas de classificação binária e multi-classe.
• Engenharia de Características: Utilização de uma combinação de chamadas de API, importações de DLL e n-gramas de OpCode (especificamente quad-gramas e n-gramas de comprimento variável) como características primárias e secundárias.
• Seleção de Características Customizada: Proposição de um algoritmo de seleção regressiva e avaliação de uma abordagem híbrida que combina métodos de filtro, wrapper e embedded para identificar as características mais valiosas.
• Estratégia de Dupla Fusão: Implementação tanto da fusão de características (combinando diversos conjuntos de características) quanto da fusão de algoritmos (ensemble de votação ponderada) para aumentar a robustez da detecção.
• Avaliação Abrangente: Fornecimento de uma comparação detalhada contra métodos de estado da arte, incluindo os vencedores da competição original da Microsoft Kaggle e outros estudos recentes.

Resultos Experimentais
O método proposto foi avaliado em uma configuração de hardware padrão (Intel i7-8700, 16GB RAM) sem aceleração de GPU.

• Métricas de Desempenho: O modelo de ensemble alcançou uma acurácia de 99,72%, uma Área Sob a Curva (AUC) de 0,989 e um log loss de 0,01.
• Comparação com o Estado da Arte:
  • Comparado aos vencedores da competição original da Microsoft Kaggle (que alcançaram um log loss de ~0,0023), o modelo proposto obteve um log loss ligeiramente superior (0,01), mas com requisitos de recursos computacionais significativamente menores (desktop padrão vs. Google Compute Engine com 104GB de memória).
  • Os autores argumentam que a abordagem da equipe vencedora dependia fortemente de características de arquivos criptografados e hiperparâmetros codificados (hard-coded) específicos para a competição, o que pode limitar a generalização. Em contraste, a abordagem proposta utiliza características (API, DLL, n-gramas de comprimento variável) que são rastreáveis à funcionalidade do arquivo e generalizam melhor.
  • Comparado a um estudo de Ahmadi et al. (2016), o método proposto oferece melhor generalização ao evitar características que variam significativamente com mudanças no conjunto de dados (ex: contagens de instruções dependentes do tamanho do arquivo) e ao utilizar um processo de seleção de características mais robusto.

Significância e Alegações
O artigo afirma que a abordagem híbrida proposta automatiza efetivamente a detecção de malware e a classificação de famílias. A significância reside na demonstração de que:

1. A Fusão de Características de características secundárias (n-gramas) com características primárias (API/DLL) cria uma matriz de entrada mais robusta do que usar qualquer tipo de característica isolada.
2. A Fusão de Algoritmos via ensemble de votação ponderada supera os classificadores base individuais, alcançando alta acurácia mesmo em máquinas com recursos limitados.
3. A abordagem é generalizável e prática para implantação no mundo real, pois não depende dos massivos recursos computacionais ou da engenharia de características específica de competições (como a intensidade de pixels de arquivos criptografados) usados pelas soluções de alto nível do Kaggle.
4. A inclusão de arquivos benignos permite um fluxo de trabalho de segurança completo: primeiro determinar se um arquivo é malicioso e, subsequentemente, identificar sua família específica para mitigação direcionada.

Os autores concluem que, embora seu log loss seja ligeiramente superior ao do vencedor da competição, seu método oferece uma solução mais sustentável, generalizável e eficiente em termos de recursos para a classificação de malware. Trabalhos futuros planejam investigar a fusão entre características de dados hexadecimais e desassemblados, além de incluir amostras criptografadas no conjunto de treinamento.