Comparison of Multiple Classifiers for Android Malware Detection with Emphasis on Feature Insights Using CICMalDroid 2020 Dataset

Resumo Técnico: Comparação de Múltiplos Classificadores para Detecção de Malware em Android com Ênfase em Insights de Características Usando o Conjunto de Dados CICMalDroid 2020

Declaração do Problema
Os ciclos rápidos de lançamento de lojas de aplicativos públicas permitem que malwares de Android se espalhem mais rapidamente do que os scanners tradicionais baseados em assinaturas conseguem reagir. Embora os métodos de detecção iniciais dependessem de sinais estáticos (manifestos, permissões) ou análise dinâmica (chamadas de sistema), o campo mudou em direção a grandes conjuntos de características e representações aprendidas. No entanto, permanece a necessidade de detectores confiáveis que utilizem conjuntos de dados abrangentes, avaliações rigorosas e drivers de decisão interpretáveis para evitar as armadilhas de assinaturas manuais e sandboxing pesado.

Metodologia
O estudo utilizou o conjunto de dados CICMalDroid 2020, composto por 17.341 aplicativos Android coletados entre 2017 e 2018. O conjunto de dados inclui cinco classes: Benigno, Adware, Malware Bancário, Malware de SMS e Riskware.

• Extração de Características: Os autores construíram um vetor de características híbrido fundindo dados estáticos e dinâmicos.
  • Características Estáticas: Derivadas de logs JSON cobrindo intents, permissões, serviços, contagem de arquivos, ofuscação e tags de métodos.
  • Características Dinâmicas: Capturadas via introspecção de máquina virtual CopperDroid, incluindo chamadas de sistema, chamadas de binder e comportamentos compostos (ex: acesso ao sistema de arquivos, leitura/escrita de rede).
  • Processamento: Os vetores iniciais eram massivos (50.621 estáticos, 470 dinâmicos). Após o limiar de variância (0.1) e o tratamento de valores ausentes, os vetores foram reduzidos para 301 características estáticas e 263 dinâmicas, concatenados em um vetor híbrido de 564 dimensões, e normalizados via L2.
• Design Experimental:
  • Divisão de Dados: Uma divisão estratificada de 70% para treinamento e 30% para teste.
  • Esquemas de Pré-processamento: Três abordagens foram avaliadas:
    1. Original: Características híbridas brutas.
    2. PCA: Análise de Componentes Principais retendo 95% da variância.
    3. LDA: Análise Discriminante Linear projetando em eixos de separação de classes.
  • Classificadores: Sete modelos foram testados: XGBoost, CatBoost, Random Forest, Extra Trees, HistGradientBoosting, K-Nearest Neighbors (KNN) e Support Vector Machines (SVM).
  • Métricas de Avaliação: Acurácia, Precisão, Recall, F1-score e matrizes de confusão.

Principais Contribuições

1. Utilização de Conjunto de Dados: Montou e processou um conjunto de dados híbrido equilibrado de mais de 17.000 apps com metadados ricos e logs de comportamento através de múltiplas famílias de malware.
2. Análise Exploratória: Realizou análise extensa incluindo distribuição de classes, mapas de calor de correlação e visualizações (LDA e t-SNE) para compreender as relações entre características e a separabilidade das classes.
3. Benchmarking Abrangente: Avaliou sete classificadores sob três esquemas distintos de pré-processamento, estabelecendo linhas de base de desempenho.
4. Interpretabilidade: Empregou uma árvore de decisão substituta de profundidade dois para identificar e resumir os principais drivers das decisões do modelo.

Resultos

• Desempenho dos Classificadores:
  • Características Originais: Métodos de boosting de gradiente superaram todos os outros. O XGBoost alcançou o maior desempenho com 0.9747 de acurácia, 0.9703 de precisão, 0.9731 de recall e 0.9716 de F1. O HistGradientBoosting seguiu de perto (0.9741 de acurácia, 0.9708 de F1). CatBoost e Random Forest foram ligeiramente inferiores, mas competitivos (~0.968 de acurácia). KNN e SVM ficaram significativamente atrás (acurácia < 0.89).
  • PCA: A redução de dimensionalidade via PCA degradou o desempenho em todos os modelos. A acurácia do XGBoost caiu para 0.9164 e o F1 para 0.8988, sugerindo que o sinal útil, particularmente das características dinâmicas, foi perdido.
  • LDA: O LDA manteve acurácias na casa dos 90 (ex: XGBoost em 0.9221) e esclareceu clusters separáveis nas projeções, mas não igualou o desempenho do conjunto de características original.
• Insights Específicos por Classe: O malware de SMS (a maior classe) alcançou pontuações F1 quase perfeitas em todos os modelos. As classes Adware e Benigno mostraram F1 scores mais baixos, particularmente após a redução de dimensionalidade.
• Importância das Características: Uma análise de árvore substituta revelou que nome do pacote (package name), atividade principal (main activity) e SDK alvo (target SDK) foram os principais drivers para a tomada de decisão.

Significância e Alegações
O artigo estabelece bases supervisionadas de alta fidelidade para detecção de malware em Android. Alega que características híbridas ricas combinadas com boosting de gradiente (especificamente XGBoost) oferecem uma fundação prática e interpretável para implantação. O estudo destaca que, embora a redução de dimensionalidade (PCA/LDA) possa revelar padrões distintos, ela frequentemente sacrifica a acurácia de detecção ao remover sinais críticos. Além disso, a identificação de características de metadados (como nomes de pacotes) como drivers primários ressalta a necessidade de cautela em relação ao potencial de spoofing por atacantes. Os autores concluem que seus achados fornecem uma linha de base robusta e interpretável, sugerindo que trabalhos futuros devem focar em atualizações de datasets e na exploração de modelos semi-supervisionados ou baseados em transformers.