Resumen Técnico: Por qué la clasificación de algoritmos de detección de anomalías no es tan fiable como se podría pensar

Planteamiento del problema

La detección de anomalías (AD, por sus siglas en inglés) es un dominio del aprendizaje automático de misión crítica con aplicaciones en la detección de fraude, la prevención de fallos y la intrusión en redes. A pesar de la proliferación de algoritmos propuestos —que van desde métodos estadísticos clásicos hasta modelos de aprendizaje profundo y modelos fundacionales—, muchos de los nuevos enfoques reclaman un rendimiento de vanguardia (SOTA). Sin embargo, estos reclamos suelen basarse en configuraciones de referencia que no están alineadas entre los estudios. Esta falta de comparabilidad plantea serias preocupaciones sobre la reproducibilidad y la fiabilidad de los benchmarks de AD. El problema central abordado es la inestabilidad de la clasificación de los algoritmos: si el algoritmo "mejor" es un hallazgo robusto o un artefacto de las elecciones específicas del diseño experimental.

Metodología

Para investigar la estabilidad de las clasificaciones de AD, los autores realizaron un análisis sistemático utilizando el siguiente marco:

• Algoritmos: Se seleccionaron siete algoritmos de AD representativos y computacionalmente ligeros para permitir evaluaciones repetidas extensas: KNN, LOF, Isolation Forest (IFOR), HBOS, PCA, CBLOF y SEAN.
• Conjuntos de datos: El estudio utilizó 690 conjuntos de datos de la suite de benchmarks OddBench. Para gestionar los costes computacionales (particularmente para los métodos basados en distancia), los conjuntos de datos se limitaron a 5,000 instancias muestreadas aleatoriamente.
• Métrica de inestabilidad de clasificación: Se introdujo una nueva métrica, $\sigma_{rank}$, para cuantificar la estabilidad de la clasificación. Se define como la media de la desviación estándar del rango de un algoritmo a través de diversas configuraciones de referencia:
  $$\sigma_{rank} = \text{media}_{algo} \left( \text{desviación\_estándar}_{configuración} \left( \text{Rango}(algo, configuración) \right) \right)$$
  Un valor bajo indica clasificaciones estables, mientras que un valor alto sugiere que las clasificaciones dependen altamente del diseño experimental.
• Fuentes de variabilidad: El estudio aisló y simuló el impacto de cuatro factores específicos, variándolos mientras se mantenían los demás constantes:
  1. Selección de conjuntos de datos: Variar el número y la composición de los conjuntos de datos (subconjuntos de 25, 100 y 400).
  2. Métrica de evaluación: Comparar ROC-AUC frente a AUCPR.
  3. Selección de hiperparámetros: Muestreo aleatorio de configuraciones de hiperparámetros.
  4. Selección de la semilla aleatoria: Variar la semilla aleatoria para el muestreo de datos y la inicialización.

Resultados clave

El análisis revela que las clasificaciones de los algoritmos en la detección de anomalías son altamente inestables y sensibles a las elecciones experimentales:

• Volatilidad de la clasificación: Las clasificaciones cambian sustancialmente entre diferentes configuraciones. Sorprendentemente, cinco de los siete algoritmos estudiados alcanzaron el primer puesto en más del 10% de todas las configuraciones evaluadas. Por el contrario, HBOS y CBLOF rara vez aparecieron como los métodos con mejor rendimiento (HBOS una vez en 1,016 configuraciones; CBLOF nunca).
• Viabilidad de los reclamos de "SOTA": Los resultados sugieren que es comparativamente fácil construir configuraciones de referencia donde un algoritmo competitivo parezca estar a la vanguardia. En los experimentos, muestrear tan solo ocho configuraciones aleatorias fue suficiente para encontrar una configuración donde un algoritmo específico superara a todos los demás.
• Factores dominantes de inestabilidad:
  • Selección de conjuntos de datos e hiperparámetros: Estos son los principales motores de la incertidumbre en la clasificación. La elección de los hiperparámetros introduce una incertidumbre sustancial, un factor que los autores señalan que es probablemente subestimado para los métodos clásicos y que sería aún más pronunciado para los métodos modernos de aprendizaje profundo con espacios de hiperparámetros más grandes.
  • Cantidad de conjuntos de datos: Aumentar el número de conjuntos de datos reduce la inestabilidad, pero el efecto se satura. El estudio sugiere que se requieren aproximadamente 200 conjuntos de datos para reducir la inestabilidad total de la clasificación a un nivel fiable ($\sigma_{rank} \approx 0.2$).
  • Factores menores: La selección de la semilla aleatoria tiene un impacto insignificante, y la elección entre métricas de evaluación comunes (ROC-AUC vs. AUCPR) tiene un efecto menor, aunque notable, en comparación con las elecciones de conjuntos de datos y de hiperparámetros.
• Magnitud de la incertidumbre: La inestabilidad observada ($\sigma_{rank} \approx 0.34$) es significativa dado que la diferencia de clasificación promedio entre el mejor y el peor algoritmo del estudio fue de solo 1.51 posiciones. Una incertidumbre de 0.34 rangos representa una fracción grande de la brecha de rendimiento total.

Significado y recomendaciones

El artículo argumenta que la noción de un algoritmo de detección de anomalías universalmente "mejor" a menudo no es robusta y depende en gran medida de las elecciones de construcción del benchmark. En consecuencia, las mejoras menores en las clasificaciones de los benchmarks deben interpretarse con cautela.

Basándose en estos hallazgos, los autores proponen las siguientes recomendaciones para la investigación futura:

1. Escala de evaluación: Los futuros estudios de referencia deberían utilizar al menos 200 conjuntos de datos para asegurar la estabilidad de la clasificación.
2. Sensibilidad de hiperparámetros: Los benchmarks deberían evaluar explícitamente los algoritmos bajo diversas configuraciones de hiperparámetros en lugar de depender de una única configuración seleccionada manualmente.
3. Reporte de inestabilidad: Los estudios deberían incluir una puntuación de inestabilidad (como la $\sigma_{rank}$ propuesta) para cuantificar la fiabilidad de sus conclusiones.
4. Cambio de enfoque: La comunidad de investigación debe priorizar la robustez, la reproducibilidad y la comprensión de las condiciones específicas bajo las cuales los algoritmos funcionan bien, en lugar de centrarse primordialmente en mejoras marginales en las clasificaciones de los benchmarks.

Los autores concluyen que solo se puede asumir una mejora tangible en la detección de anomalías cuando se observan mejoras mayores a través de una gran cantidad de conjuntos de datos y estas permanecen invariantes ante las elecciones de diseño.