Resumen Técnico: Sobre la Fiabilidad y Estabilidad de los Métodos Selectivos en Tareas de Clasificación de Malware

Planteamiento del Problema

Los clasificadores de malware modernos, particularmente aquellos adaptados para el desplazamiento de distribución (distribution drift), suelen reportar métricas de rendimiento prometedoras (por ejemplo, F1, FPR). Sin embargo, estas métricas reflejan principalmente la precisión predictiva base bajo condiciones de cambio estáticas o aisladas, ignorando la fiabilidad operativa y la estabilidad en un despliegue del mundo real.

En entornos operativos (por ejemplo, aprendizaje activo o clasificación selectiva), las propias estimaciones de confianza del modelo sirven como la única señal para la toma de decisiones una vez que no se dispone de etiquetas de verdad fundamental (ground-truth). Un sistema confiable debe garantizar que las predicciones de alta confianza sean probablemente correctas y que las puntuaciones de baja confianza (o de alta Distribución Fuera de Serie/OOD) señalen con precisión las instancias que requieren revisión humana. Los paradigmas de evaluación actuales no verifican si las funciones de confianza permanecen calibradas y estables bajo un desplazamiento temporal sostenido. Como señaló Goodhart [15], "Cuando una medida se convierte en un objetivo, deja de ser una buena medida". Optimizar para métricas de titularidad como el F1 suele enmascarar deficiencias en el ranking de confianza, lo que conduce a:

1. Recursos mal dirigidos: El aprendizaje activo desperdicia presupuestos de anotación en muestras no informativas.
2. Fragilidad operativa: La clasificación selectiva falla al rechazar instancias propensas a errores, o inversamente, al rechazar predicciones correctas.
3. Cargas de trabajo impredecibles: Los mecanismos de rechazo fallan al rastrear las cuotas de objetivos bajo el desplazamiento.

El artículo argumenta que, bajo el desplazamiento de distribución, las redes neuronales son propensas a una severa descalibración, asignando alta confianza a predicciones incorrectas en entradas OOD, socavando así la premisa central de la clasificación selectiva y el aprendizaje activo.

Metodología: El Marco de Trabajo Aurora

Para abordar estas brechas, los autores proponen Aurora, un marco diseñado para evaluar clasificadores de malware basándose en la calidad de la confianza y la resiliencia operativa en lugar de solo la precisión en un punto determinado en el tiempo.

1. Entorno de Evaluación

El marco emplea un protocolo de evaluación temporal no estacionario que simula el despliegue en el mundo real:

• Datos: Tres conjuntos de datos de malware de Android (APIGraph, AndroZoo, Transcendent) con diversos grados de severidad de desplazamiento.
• Protocolo: Un bucle mensual donde un modelo es evaluado en los datos de un nuevo mes ($M_i$), consulta un presupuesto de anotación fijo ($B_{Mi}$) de las muestras más inciertas, recibe etiquetas y se actualiza.
• Restricciones: No hay etiquetas de verdad fundamental disponibles durante la fase en línea; las decisiones dependen únicamente de las puntuaciones de confianza del modelo. Un umbral de rechazo fijo ($\rho$) se calibra en una ventana rodante de puntuaciones no etiquetadas para simular un presupuesto de anotación mensual o una tasa de error objetivo.

2. Métricas

Aurora introduce un conjunto multidimensional de métricas categorizadas en tres pilares:

• Fiabilidad (Calidad de la Confianza):

  • AURC (Área Bajo la Curva de Riesgo-Cobertura): Mide qué tan efectivamente las puntuaciones de confianza clasifican las instancias por su probabilidad real de clasificación errónea. Un AURC más bajo indica un mejor ranking (los errores se identifican correctamente como de baja confianza).
  • AURC[F1]*: Una variante operativa de AURC que utiliza el riesgo basado en F1 ($1 - \text{F1}$) en lugar de la tasa de error. Esto detecta si la abstención perjudica desproporcionadamente a una clase (por ejemplo, rechazando muestras de malware mientras se mantienen las benignas), algo que el AURC estándar podría pasar por alto.
  • Frecuencia de Beneficio (BF):* La proporción de meses donde la clasificación selectiva (abstención) mejora el F1 sobre una línea base sin rechazo.

• Estabilidad (Robustez Temporal):

  • $\sigma[\text{F1}]$: Desviación estándar de las puntuaciones mensuales de F1, midiendo la volatilidad del rendimiento.
  • Tendencia de Mann-Kendall ($\tau$): Una prueba no paramétrica que detecta tendencias de rendimiento monotónicas (mejora, degradación o estabilidad) a lo largo del tiempo.
  • Consistencia de Rechazo:
    • $\Delta\text{Rej}^*$: Sesgo entre las cuotas de rechazo reales y las objetivo.
    • $\sigma[\text{Rej}]^*$: Desviación estándar de los rechazos realizados, midiendo la predictibilidad de la carga de trabajo del analista.

3. Modelos Evaluados

El marco evalúa cuatro marcos de trabajo de código abierto de última generación (SOTA):

• Drebin: SVM lineal sobre características estáticas.
• DeepDrebin: Red totalmente conectada sobre características de Drebin.
• CADE: Aprendizaje contrastivo con puntuación OOD basada en distancia.
• HCC: Aprendizaje contrastivo jerárquico con restricciones a nivel de familia.

El estudio también investiga el impacto de la curación de datos, comparando modelos entrenados con el conjunto de datos inicial completo ($B_0 = \text{Full}$) frente a un conjunto submuestreado ($B_0 = 4800$).

Resultados Clave

La evaluación revela una desconexión significativa entre las métricas de rendimiento de titularidad y la fiabilidad operativa.

1. Calibración de Confianza vs. Precisión

• El F1 no implica fiabilidad: Los modelos con puntuaciones F1 similares suelen exhibir valores de AURC notablemente distintos (hasta 10 veces de diferencia). Por ejemplo, en el conjunto de datos APIGraph, CADE y DeepDrebin tenían puntuaciones F1 comparables, pero el AURC de CADE era 6 veces peor, indicando que sus puntuaciones de confianza no clasificaban correctamente los errores.
• Desequilibrio de Clase en el Rechazo: El AURC[F1]* reveló que algunos modelos (por ejemplo, HCC) clasificaban bien los errores totales pero rechazaban desproporcionadamente una clase (por ejemplo, malware), degradando la calidad de la detección equilibrada.
• Fallo de la Puntuación OOD: La puntuación OOD basada en la distancia de CADE (que asume que los errores se correlacionan con la distancia de los centros de los clústeres) falló empíricamente. Las curvas de Riesgo-Cobertura mostraron que las clasificaciones erróneas a menudo ocurrían cerca de los centros de los clústeres (alta confianza), contradiciendo la premisa central de CADE.

2. Estabilidad Temporal y Consistencia de Rechazo

• Inestabilidad Catastrófica: CADE exhibió una inestabilidad extrema en el comportamiento de rechazo. En el conjunto de datos Transcendent, CADE-MSP sobrepasó su cuota de rechazo en un promedio de 3,375 muestras (objetivo de 400) con una variabilidad masiva ($\sigma[\text{Rej}]^* \approx 3347$), lo que lo hace inadecuado para operaciones de presupuesto fijo.
• Oscilación Frágil vs. Adaptación Robusta: Mientras que algunos modelos mostraron un F1 alto, sus métricas de estabilidad ($\sigma[\text{F1}]$ y $\tau$) revelaron una degradación sistemática o una oscilación errática bajo el desplazamiento. DeepDrebin, por el contrario, demostró una adaptación robusta con tendencias de mejora constantes en ciertos conjuntos de datos.
• Beneficio de la Abstención: La clasificación selectiva no fue universalmente beneficiosa. CADE logró una Frecuencia de Beneficio (BF*) de <5% en varias configuraciones, lo que significa que la abstención perjudicó activamente el rendimiento en la mayoría de los meses.

3. La Perspectiva de Pareto

Al evaluar los métodos a través de múltiples dimensiones (F1, AURC, $\sigma[\text{F1}]$, $\tau$), ningún método único dominó todas las condiciones.

• DeepDrebin (con submuestreo) e HCC-MSP (con submuestreo) emergieron consistentemente como Pareto-óptimos, ofreciendo los mejores compromisos entre rendimiento, estabilidad y fiabilidad.
• Ventaja del Submuestreo: Contraintuitivamente, entrenar en un conjunto de datos inicial submuestreado ($B_0 = 4800$) a menudo superó el entrenamiento con el primer año de datos completo, sugiriendo que grandes volúmenes de datos históricos pueden impedir la adaptación a nuevos patrones de desplazamiento.
• Complejidad vs. Utilidad: El enfoque de red neuronal más simple (DeepDrebin) a menudo superó a los marcos complejos (CADE, HCC) que dependen de etiquetas de familia costosas y un entrenamiento extensivo, consumiendo una fracción de su presupuesto computacional.

Significado y Reivindicaciones

El artículo sostiene que la dependencia actual de las métricas de precisión estática (F1, FPR) es insuficiente para evaluar la confiabilidad de los clasificadores de malware en entornos dinámicos.

1. Revisión de Supuestos: La fragilidad observada en los marcos SOTA sugiere que los supuestos subyacentes sobre la calibración de la confianza y la detección de OOD (por ejemplo, las métricas basadas en la distancia) pueden necesitar una revisión.
2. Realidad Operativa: El comportamiento de un modelo en despliegue está condicionado por la calidad y estabilidad de su ranking basado en la confianza, no solo por su precisión en el laboratorio.
3. Cambio Metodológico: Los autores abogan por un cambio en la evaluación de modelos de seguridad hacia una evaluación multidimensional que incluya la calibración de la confianza, la estabilidad temporal y la consistencia del rechazo.
4. Implicaciones Prácticas: Los hallazgos sugieren que los "mejores" métodos dependen de las prioridades operativas (por ejemplo, predictibilidad de la carga de trabajo vs. tasa de detección bruta). Un método que domina bajo F1 puede ser superado cuando se consideran la fiabilidad y la estabilidad.
5. La Simplicidad Gana: El estudio destaca que los marcos complejos que dependen de etiquetas de familia no se traducen necesariamente en robustez de despliegue, y que los baselines más simples con una curación de datos estratégica pueden ser más efectivos.

En conclusión, el artículo plantea que "cuando el F1 se convierte en el objetivo, deja de ser una buena medida de la confiabilidad", y que marcos como Aurora son necesarios para exponer los riesgos ocultos de desplegar métodos de clasificación selectiva bajo el desplazamiento de distribución.