A Hybrid Approach For Malware Classification Using Secondary Features Fusion

Resumen Técnico: Un Enfoque Híbrido para la Clasificación de Malware Mediante la Fusión de Características Secundarias

Planteamiento del Problema
La rápida evolución del malware, caracterizada por el polimorfismo, la ofuscación y las variantes de día cero, hace que los métodos de detección tradicionales sean insuficientes. El software antivirus existente a menudo falla al detectar muestras variadas o al clasificarlas en familias específicas, lo que dificulta una mitigación efectiva. Si bien se ha aplicado el aprendizaje automático (ML) a la detección de malware, persisten desafíos con respecto a la generalización de características entre diferentes familias, el desequilibrio de clases en los conjuntos de datos y la dependencia exclusiva del análisis estático o dinámico. Además, el ampliamente utilizado conjunto de datos del Desafío de Clasificación de Malware de Microsoft carece de ejemplos benignos, lo que limita su utilidad para la detección binaria (benigno vs. malicioso) junto con la clasificación multifamiliar.

Metodología
Los autores proponen un enfoque híbrido que aborda dos etapas distintas: ingeniería de características y modelado. La metodología involucra los siguientes pasos:

1. Extensión y Preparación del Conjunto de Datos:

   • El estudio modifica el conjunto de datos de Microsoft Kaggle añadiendo 1,609 archivos desensamblados benignos (.asm) a los 10,868 ejemplos de malware existentes distribuidos en nueve familias.
   • Esta extensión permite tanto la clasificación binaria (malware vs. benigno) como la clasificación multiclase (familias de malware específicas).
   • Se emplea el muestreo aleatorio estratificado con reemplazo para mitigar los problemas de desequilibrio de clases inherentes al conjunto de datos original.

2. Extracción de Características:

   • Características Primarias: El sistema extrae llamadas a la Interfaz de Programación de Aplicaciones (API), importaciones de Bibliotecas de Enlace Dinámico (DLL) y mnemónicos de Códigos de Operación (OpCode) de la sección .text de los archivos desensamblados.
   • Características Secundarias:
     • OpCodes: Extraídos como unigramas, filtrados mediante una selección basada en un diccionario (eliminando OpCodes irregulares o personalizados) y luego transformados en quad-gramas de longitud fija y n-gramas de longitud variable.
     • APIs y DLLs: El análisis combinatorio determinó que los bi-gramas son el tamaño óptimo para estas características, equilibrando la precisión y el costo computacional.
   • Reducción de Ruido: Se realiza un análisis de frecuencia para descartar características con baja ocurrencia (umbral < 50), asegurando que solo se conserven las características representativas.

3. Selección de Características:

   • Se implementa un proceso de selección de dos etapas:
     • Selección Primaria: Filtrado basado en diccionario y análisis de frecuencia para eliminar características irregulares y raras.
     • Selección Secundaria: Evaluación de métodos de filtro (Entropía de Shannon), envolvente (selección hacia atrás propuesta utilizando Random Forest y Regularized Greedy Forest) y embebidos (Lasso, XGBoost).
     • Se propone un algoritmo de selección hacia atrás personalizado que elimina iterativamente las características menos importantes hasta alcanzar un recuento mínimo de características, optimizando el conjunto de características para algoritmos específicos.

4. Fusión de Características:

   • En lugar de seleccionar un único mejor conjunto de características, los autores realizan la fusión de características tomando la unión de las mejores características de todas las representaciones (bi-gramas de API, bi-gramas de DLL, quad-gramas y gramas de longitud variable) para crear una matriz de entrada integral.

5. Fusión de Algoritmos (Ensemble):

   • Se evalúan diez clasificadores base, incluyendo CART, Naive Bayes, SVM, Regresión Logística, kNN, Redes Neuronales, Random Forest, AdaBoost, XGBoost y LightGBM.
   • Se construye un ensamble basado en votación ponderada utilizando los cinco clasificadores con mejor desempeño.
   • Los pesos para cada clasificador se determinan mediante Programación de Mínimos Cuadrados Secuenciales (SLSQP) para minimizar la pérdida logarítmica (log loss) en el conjunto de prueba.
   • La predicción final se deriva calculando la media geométrica de las salidas de probabilidad ponderadas de los miembros del ensamble.

Contribuciones Clave

• Modificación del Conjunto de Datos: Extensión del conjunto de datos de Microsoft con muestras benignas para facilitar tareas de clasificación tanto binaria como multiclase.
• Ingeniería de Características: Utilización de una combinación de llamadas API, importaciones de DLL y n-gramas de OpCode (específicamente quad-gramas y gramas de longitud variable) como características primarias y secundarias.
• Selección de Características Personalizada: Propuesta de un algoritmo de selección hacia atrás y evaluación de un enfoque híbrido que combina métodos de filtro, envolvente y embebidos para identificar las características más valiosas.
• Estrategia de Fusión Dual: Implementación tanto de la fusión de características (combinación de diversos conjuntos de características) como de la fusión de algoritmos (ensamble de votación ponderada) para mejorar la robustez de la detección.
• Evaluación Exhaustiva: Provisión de una comparación detallada contra métodos de vanguardia, incluyendo los ganadores del desafío original de Microsoft Kaggle y otros estudios recientes.

Resultos Experimentales
El método propuesto fue evaluado en una configuración de hardware estándar (Intel i7-8700, 16GB RAM) sin aceleración de GPU.

• Métricas de Desempeño: El modelo de ensamble logró una precisión del 99.72%, un Área Bajo la Curva (AUC) de 0.989 y una pérdida logarítmica de 0.01.
• Comparación con el Estado del Arte:
  • Comparado con los ganadores de la competencia original de Microsoft Kaggle (quienes lograron un log loss de ~0.0023), el modelo propuesto logró un log loss ligeramente superior (0.01) pero con requisitos de recursos computacionales significativamente menores (escritorio estándar vs. Google Compute Engine con 104GB de memoria).
  • Los autores argumentan que el enfoque del equipo ganador dependía fuertemente de características de archivos cifrados e hiperparámetros codificados de forma rígida específicos para la competencia, lo que potencialmente limita la generalización. En contraste, el enfoque propuesto utiliza características (bi-gramas de API, DLL y n-gramas de longitud variable) que son trazables a la funcionalidad del archivo y generalizan mejor.
  • Comparado con un estudio de Ahmadi et al. (2016), el método propuesto ofrece una mejor generalización al evitar características que varían significamente con los cambios en el conjunto de datos (por ejemplo, conteos de instrucciones dependientes del tamaño del archivo) y al utilizar un proceso de selección de características más robusto.

Significancia y Reivindicaciones
El artículo afirma que el enfoque híbrido propuesto automatiza eficazmente la detección de malware y la clasificación de familias. La significancia radica en la demostración de que:

1. La Fusión de Características de características secundarias (n-gramas) con características primarias (API/DLL) crea una matriz de entrada más robusta que el uso de un solo tipo de característica.
2. La Fusión de Algoritmos mediante un ensamble de votación ponderada supera a los clasificadores base individuales, logrando una alta precisión incluso en máquinas con recursos limitados.
3. El enfoque es generalizable y práctico para el despliegue en el mundo real, ya que no depende de los masivos recursos computacionales o de la ingeniería de características específica de la competencia (como la intensidad de píxeles de archivos cifrados) utilizados por las soluciones de alto nivel de Kaggle.
4. La inclusión de archivos benignos permite un flujo de trabajo de seguridad completo: primero determinar si un archivo es malicioso y, posteriormente, identificar su familia específica para una mitigación dirigida.

Los autores concluyen que, si bien su log loss es ligeramente superior al del ganador de la competencia, su método ofrece una solución más sostenible, generalizable y eficiente en recursos para la clasificación de malware. Se planea para trabajos futuros investigar la fusión entre características de datos hexadecimales y desensamblados, así como incluir muestras cifradas en el conjunto de entrenamiento.