FARM: Few-shot Adaptive Malware Family Classification under Concept Drift

Resumen Técnico: FARM (Few-shot Adaptive Recognition of Malware)

1. El Problema: Desgaste del Modelo y Deriva de Concepto

El dominio del malware es inherentemente dinámico. Los modelos de clasificación tradicionales sufren una degradación significativa de su rendimiento cuando se enfrentan a entornos en evolución, un fenómeno conocido como deriva de concepto (concept drift). Este problema se manifiesta de dos formas principales en la detección de malware de Windows Portable Executable (PE):

• Deriva de Covariada (Intra-clase): Los autores de malware modifican el comportamiento o las características de familias existentes para evadir la detección, manteniendo la identidad de la familia pero alterando sus patrones estadísticos.
• Deriva de Etiqueta (Inter-clase): Emergencia de familias de malware completamente nuevas y desconocidas que no estaban presentes en el conjunto de datos de entrenamiento original.

Los desafíos actuales incluyen la dificultad de actualizar modelos sin reentrenamiento costoso, la escasez de datos etiquetados para nuevas amenazas y la falta de fiabilidad de las puntuaciones de confianza de los clasificadores (que a menudo son sobreconfiados incluso ante muestras desconocidas).

2. Metodología: El Marco FARM

FARM propone un marco unificado que integra la detección de deriva y la adaptación del modelo en un solo pipeline, diseñado específicamente para malware PE de Windows. La arquitectura se divide en tres fases principales:

A. Fase de Entrenamiento: Autoencoder de Tripleta

• Se utiliza un Autoencoder de Tripleta que combina una función de pérdida de reconstrucción (MSE) con una pérdida de tripleta.
• Objetivo: Mapear las características de alto dimensión (basadas en el conjunto de características EMBER) a un espacio latente de baja dimensión (32 dimensiones) donde las muestras de la misma familia estén cercanas y las de diferentes familias estén separadas.
• La pérdida de tripleta asegura que la distancia entre una muestra ancla y una positiva (misma familia) sea menor que la distancia a una negativa (familia diferente) por un margen $\alpha$.

B. Fase de Detección de Deriva

• Una vez proyectadas las muestras en el espacio latente, se aplica el algoritmo de agrupamiento DBSCAN (Density-Based Spatial Clustering of Applications with Noise).
• Ventaja de DBSCAN: No requiere especificar el número de clusters de antemano y puede identificar subestructuras densas dentro de una familia, además de distinguir entre ruido y puntos centrales.
• Umbral Dinámico: Para cada cluster, se calcula un umbral de aceptación basado en la distancia máxima de las muestras inliers al centroide del cluster. Si una nueva muestra excede este umbral, se marca como "desviada" (drifted) en lugar de forzar su asignación a una clase conocida.

C. Fase de Adaptación de Deriva
El sistema emplea una estrategia de dos niveles para manejar las muestras desviadas:

1. Adaptación Few-Shot (Respuesta Rápida):
   • Las muestras desviadas se almacenan en un búfer.
   • Cuando el búfer alcanza un umbral mínimo (ej. 10 muestras), se aplica DBSCAN nuevamente para encontrar grupos cohesivos.
   • Si se detecta un cluster estable, se genera un prototipo (media de las embeddings) que representa una nueva familia o variante evolucionada.
   • El clasificador actualiza sus prototipos para incluir esta nueva clase sin reentrenar el encoder subyacente, permitiendo la clasificación inmediata con pocos ejemplos etiquetados.
2. Reentrenamiento Completo (Consolidación a Largo Plazo):
   • Cuando se acumula una cantidad suficiente de muestras de una nueva familia (ej. 100 muestras), se desencadena un reentrenamiento completo del autoencoder.
   • Esto integra formalmente la nueva familia en el espacio latente, recalculando los centroides y umbrales para una representación más robusta y estable.

3. Contribuciones Clave

• Marco Unificado: FARM es el primer enfoque que integra la detección de deriva (covariada y de etiqueta) y la adaptación few-shot en un solo pipeline para malware PE de Windows.
• Detección sin Confianza del Clasificador: Utiliza distancias en un espacio métrico aprendido (triplet autoencoder) y agrupamiento DBSCAN en lugar de depender de las puntuaciones de softmax, lo que evita el problema de la sobreconfianza.
• Adaptación Eficiente: Permite reconocer nuevas familias de malware con solo un pequeño número de muestras etiquetadas (few-shot), reduciendo la dependencia de la anotación manual masiva.
• Evaluación Temporal: Se evalúa en un conjunto de datos con marcas de tiempo (BenchMFC), simulando escenarios realistas de evolución del malware a lo largo de los años.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos BenchMFC, utilizando una subfamilia de 16 familias de malware (8 para entrenamiento, 8 para evaluación de deriva).

• Detección de Deriva:
  • En escenarios de deriva de etiqueta (familias nuevas), FARM logró detectar el 84% de las muestras desconocidas como desviadas, superando a métodos baselines como CADE y variantes de percentiles.
  • En deriva de covariada (familias evolucionadas), el modelo identificó correctamente el 31.9% de las muestras como desviadas, manteniendo un error de clasificación bajo (5.8%) en las muestras que sí clasificó.
• Adaptación Few-Shot:
  • Tras la adaptación few-shot, el modelo alcanzó un F1 promedio de 0.85 en familias no vistas.
  • Familias como imali, lydra y wannacry mostraron F1 superiores a 0.95.
  • Se observó que aumentar el número de muestras de soporte de 1 a 5 shots mejora significativamente la precisión, con rendimientos decrecientes más allá de 10 muestras.
• Reentrenamiento:
  • Tras el reentrenamiento completo con datos acumulados, el rendimiento mejoró a un F1 promedio de 0.94 (un aumento del 10.6% respecto a la adaptación few-shot).
  • En general, la adaptación mejoró el F1 en un 5.6% en escenarios de deriva de covariada.

5. Significado e Impacto

Este trabajo es significativo porque aborda la brecha entre la investigación académica sobre deriva de concepto y la necesidad operativa de mantener sistemas de seguridad efectivos en el tiempo.

• Viabilidad Operativa: Demuestra que es posible mantener la precisión de la clasificación de malware en entornos dinámicos sin necesidad de reentrenar modelos masivos constantemente ni depender de grandes volúmenes de datos etiquetados.
• Robustez: La combinación de aprendizaje métrico y agrupamiento denso ofrece una solución más robusta frente a la evolución de amenazas que los clasificadores estáticos tradicionales.
• Limitaciones y Futuro: El estudio reconoce que la calidad de la detección depende de la separabilidad en el espacio latente (ej. dificultades con la familia vobfus debido a similitudes funcionales con familias conocidas) y que la selección de hiperparámetros de DBSCAN es crítica. Futuras líneas de trabajo incluyen la extensión a malware empaquetado y la mejora de la interpretabilidad de las decisiones de deriva.

En conclusión, FARM establece un nuevo estándar para la clasificación de malware adaptativa, ofreciendo un equilibrio práctico entre la respuesta inmediata a nuevas amenazas y la consolidación a largo plazo de la inteligencia de seguridad.