A Unified Evaluation of Learning-Based Similarity Techniques for Malware Detection

1. El Problema

En el panorama actual de ciberseguridad, las empresas gestionan miles de millones de archivos en millones de puntos finales. Los métodos tradicionales de detección basados en hashes criptográficos exactos (como MD5 o SHA-256) son insuficientes para tareas avanzadas como la caza de amenazas o el análisis forense. Esto se debe a que los atacantes utilizan técnicas de ofuscación, empaquetado, recompilación y reordenamiento de instrucciones que alteran un solo bit, generando un hash completamente diferente para una muestra de malware funcionalmente idéntica.

Existe una necesidad crítica de técnicas de similitud aproximada que puedan identificar relaciones entre binarios a pesar de estas transformaciones menores. Sin embargo, las técnicas existentes (desde hashes difusos clásicos hasta métodos de aprendizaje automático modernos) se han evaluado de forma aislada, utilizando conjuntos de datos y criterios dispares, lo que impide una comparación justa y una comprensión clara de sus compensaciones (trade-offs) en entornos reales.

2. Metodología

Los autores presentan un marco experimental unificado y reproducible para comparar técnicas de similitud clásicas y basadas en aprendizaje.

• Conjunto de Datos: Se utilizaron los conjuntos de datos EMBER (1 millón de muestras con metadatos estáticos de archivos PE) y EmberSim (que añade etiquetas AVClass). Los datos se procesaron mediante ingeniería de características rigurosa: normalización estructural, aplanamiento de esquemas JSONL y vectorización numérica (codificación de categorías y vectorización "bag-of-words" para importaciones y secciones).
• Enfoques Evaluados:
  1. Hashing Difuso Clásico: Se utilizó ssdeep como línea base para la comparación.
  2. Autoencoders (AE): Un modelo no supervisado de redes neuronales diseñado para reducción de dimensionalidad, comprimiendo los metadatos PE en un espacio latente de 8 dimensiones.
  3. Clasificadores Binarios (Deep Learning): Una red neuronal profunda totalmente conectada entrenada para distinguir malware/benigno, utilizando la capa de embeddings (128 dimensiones) como representación latente.
  4. Clasificadores XGBoost: Modelos de árboles de decisión impulsados por gradiente para clasificación binaria y multiclase (familias AVClass). Se extrajeron embeddings basados en los índices de las hojas terminales de los árboles (100 dimensiones).
• Métricas de Evaluación:
  • Clasificación: Precisión, Recall, F1-score y AUC.
  • Similitud y Agrupamiento: Se evaluó la calidad del espacio de embeddings utilizando métricas internas de agrupamiento: Puntuación Silueta, Índice Davies-Bouldin y Índice Calinski-Harabasz.
  • Homogeneidad de Etiquetas (Label Homogeneity@K): Mide qué porcentaje de los K vecinos más cercanos comparten la misma etiqueta de familia o tipo (malware/benigno) que la muestra de consulta.

3. Contribuciones Clave

1. Marco de Referencia Unificado: Es el primer estudio reproducible que compara lado a lado hashes difusos clásicos y diversas técnicas de embeddings de aprendizaje automático bajo un mismo conjunto de datos y métricas.
2. Procesamiento de Metadatos PE: Desarrollo de un pipeline de ingeniería de características estandarizado para transformar metadatos estáticos complejos y jerárquicos en vectores numéricos fijos.
3. Análisis Comparativo de Embeddings: Evaluación sistemática de tres enfoques distintos (Autoencoders no supervisados, clasificadores profundos y embeddings de índices de hojas de XGBoost).
4. Validación Empírica: Demostración de que los enfoques basados en aprendizaje, especialmente los Autoencoders no supervisados, superan significativamente a los métodos clásicos en tareas de recuperación de similitud.

4. Resultados Principales

• Superioridad de las Representaciones Latentes: Los Autoencoders no supervisados lograron una homogeneidad de etiquetas superior al 80% en consultas de similitud Top-K, en comparación con aproximadamente el 40% obtenido por el método clásico ssdeep.
• Rendimiento en Clasificación:
  • XGBoost demostró ser superior para tareas de clasificación pura, alcanzando una precisión del 97.76% en detección binaria y un 90.55% en clasificación multiclase (familias AVClass).
  • Los modelos de Deep Learning obtuvieron resultados ligeramente inferiores en clasificación directa (96.04% en binaria), pero generaron espacios de embeddings estructuralmente superiores.
• Calidad del Espacio de Similitud:
  • Aunque XGBoost clasificó mejor, sus embeddings (basados en proximidad de árboles) mostraron una mala separación geométrica en el espacio euclidiano para familias de malware (puntuación Silueta negativa de -0.47), indicando una superposición significativa entre familias.
  • Por el contrario, los embeddings de Deep Learning mostraron una cohesión de grupo mucho más fuerte y una separación inter-familia más clara (Puntuación Silueta positiva de 0.32).
• Impacto de las Características (AVClass): Se observó que entrenar XGBoost con la etiqueta AVClass como característica de entrada inflaba artificialmente la homogeneidad (98%), revelando un "atajo de supervisión" donde el modelo memorizaba la etiqueta en lugar de aprender similitud estructural. Sin esta etiqueta, el rendimiento de XGBoost caía drásticamente en comparación con las redes neuronales.

5. Significancia y Conclusiones

El estudio concluye que no existe un enfoque único que domine en todas las dimensiones:

• XGBoost es la opción preferida para clasificación de alta precisión (determinar si un archivo es malicioso y a qué familia pertenece).
• Deep Learning (Embeddings) es superior para tareas de agrupamiento, búsqueda de similitud y recuperación de vecinos, ya que genera espacios latentes con mejor estructura geométrica y cohesión semántica.

La implicación principal para la industria es que las plataformas modernas de análisis de malware y caza de amenazas no deben depender de un solo método. En su lugar, deben integrar técnicas complementarias: utilizar modelos basados en árboles para la clasificación rápida y modelos de aprendizaje profundo para la generación de embeddings que permitan una búsqueda de similitud robusta y efectiva contra ofuscaciones avanzadas.

El trabajo también identifica limitaciones, como la dependencia de metadatos estáticos preextraídos (sin acceso a los binarios crudos para comparar con hashes de bytes como TLSH), y sugiere futuras líneas de trabajo hacia el análisis dinámico y la búsqueda aproximada a escala masiva.