Comparison of Multiple Classifiers for Android Malware Detection with Emphasis on Feature Insights Using CICMalDroid 2020 Dataset

Resumen Técnico: Comparación de Múltiples Clasificadores para la Detección de Malware en Android con Énfasis en el Conocimiento de Características utilizando el Conjunto de Datos CICMalDroid 2020

Planteamiento del Problema
Los ciclos de lanzamiento rápidos de las tiendas de aplicaciones públicas permiten que el malware de Android se propague más rápido de lo que los escáneres tradicionales basados en firmas pueden reaccionar. Si bien los métodos de detección tempranos dependían de señales estáticas (manifiestos, permisos) o análisis dinámico (llamadas al sistema), el campo se ha desplazado hacia grandes conjuntos de características y representaciones aprendidas. Sin embargo, sigue existiendo la necesidad de detectores confiables que utilicen conjuntos de datos exhaustivos, evaluaciones rigurosas y motores de decisión interpretables para evitar las trampas de las firmas manuales y el pesado uso de sandboxing.

Metodología
El estudio utilizó el conjunto de datos CICMalDroid 2020, que comprende 17,341 aplicaciones de Android recolectadas entre 2017 y 2018. El conjunto de datos incluye cinco clases: Benigno, Adware, Malware bancario (Banking malware), Malware de SMS (SMS malware) y Riskware.

• Extracción de Características: Los autores construyeron un vector de características híbrido combinando datos estáticos y dinámicos.
  • Características Estáticas: Derivadas de registros JSON que cubren intents, permisos, servicios, conteo de archivos, ofuscación y etiquetas de métodos.
  • Características Dinámicas: Capturadas mediante la introspección de la máquina virtual CopperDroid, incluyendo llamadas al sistema, llamadas de binder y comportamientos compuestos (por ejemplo, acceso al sistema de archivos, lectura/escritura de red).
  • Procesamiento: Los vectores iniciales eran masivos (50,621 estáticos, 470 dinámicos). Tras el umbral de varianza (0.1) y el manejo de valores faltantes, los vectores se redujeron a 301 características estáticas y 263 dinámicas, concatenadas en un vector híbrido de 564 dimensiones, y normalizadas mediante L2.
• Diseño Experimental:
  • División de Datos: Una división estratificada de 70% para entrenamiento y 30% para prueba.
  • Esquemas de Preprocesamiento: Se evaluaron tres enfoques:
    1. Original: Características híbridas puras.
    2. PCA: Análisis de Componentes Principales reteniendo el 95% de la varianza.
    3. LDA: Análisis Discriminante Lineal proyectando sobre ejes de separación de clases.
  • Clasificadores: Se probaron siete modelos: XGBoost, CatBoost, Random Forest, Extra Trees, HistGradientBoosting, K-Nearest Neighbors (KNN) y Support Vector Machines (SVM).
  • Métricas de Evaluación: Precisión (Accuracy), Precisión (Precision), Exhaustividad (Recall), puntuación F1 y matrices de confusión.

Contribuciones Clave

1. Utilización de Conjunto de Datos: Ensamblado y procesamiento de un conjunto de datos híbrido equilibrado de más de 17,000 aplicaciones con metadatos ricos y registros de comportamiento a través de múltiples familias de malware.
2. Análisis Exploratorio: Realización de un extenso análisis que incluye la distribución de clases, mapas de calor de correlación y visualizaciones (LDA y t-SNE) para comprender las relaciones entre características y la separabilidad de las clases.
3. Benchmarking Exhaustivo: Evaluación de siete clasificadores bajo tres esquemas distintos de preprocesamiento, estableciendo líneas base de rendimiento.
4. Interpretabilidad: Empleo de un árbol de decisión sustituto de profundidad dos para identificar y resumir los principales impulsores de las decisiones del modelo.

Resultos

• Rendimiento de los Clasificadores:
  • Características Originales: Los métodos de potenciación de gradiente (gradient boosting) superaron a todos los demás. XGBoost logró el mayor rendimiento con 0.9747 de precisión (accuracy), 0.9703 de precisión (precision), 0.9731 de exhaustividad (recall) y 0.9716 de F1. HistGradientBoosting le siguió de cerca (0.9741 de precisión, 0.9708 de F1). CatBoost y Random Forest fueron ligeramente inferiores pero competitivos (~0.968 de precisión). KNN y SVM quedaron significativamente rezagados (precisión < 0.89).
  • PCA: La reducción de dimensionalidad mediante PCA degradó el rendimiento en todos los modelos. La precisión de XGBoost cayó a 0.9164, y el F1 a 0.8988, sugiriendo que se perdió señal útil, particularmente de las características dinámicas.
  • LDA: El LDA mantuvo una precisión en los niveles medios de los noventa (por ejemplo, XGBoost en 0.9221) y aclaró los grupos separables en las proyecciones, pero no igualó el rendimiento del conjunto de características original.
• Información Específica por Clase: El malware de SMS (la clase más grande) alcanzó puntuaciones F1 casi perfectas en todos los modelos. Las clases Adware y Benigno mostraron puntuaciones F1 más bajas, particularmente tras la reducción de dimensionalidad.
• Importancia de las Características: Un análisis de árbol sustituto reveló que el nombre del paquete (package name), la actividad principal (main activity) y el SDK objetivo (target SDK) fueron los impulsores clave para la toma de decisiones.

Significancia y Reivindicaciones
El artículo establece líneas base supervisadas de alta fidelidad para la detección de malware en Android. Reivindica que las características híbridas ricas junto con la potenciación de gradiente (específicamente XGBoost) ofrecen una base práctica e interpretable para el despliegue. El estudio destaca que, si bien la reducción de dimensionalidad (PCA/LDA) puede revelar patrones distintos, a menudo sacrifica la precisión de detección al eliminar señales críticas. Además, la identificación de características de metadatos (como los nombres de paquetes) como impulsores primarios subraya la necesidad de precaución ante el posible engaño (spoofing) por parte de los atacantes. Los autores concluyen que sus hallazgos proporcionan una línea base robusta e interpretable, sugiriendo que el trabajo futuro debería centrarse en la actualización de los conjuntos de datos y la exploración de modelos semi-supervisados o basados en transformadores.