Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

Resumen Técnico: Probando la Prueba: Inestabilidad de la Dirección de la Puntuación en la Detección de Anomalías por División de Clases

1. Planteamiento del Problema

La evaluación de división de clases dentro del mismo conjunto de datos es un protocolo estándar en la detección de anomalías (AD), donde clases semánticas específicas se designan como "normales" y otras como "anómalas" para simular la detección de distribución fuera de la muestra (OOD). Aunque resulta atractivo para evitar fuentes de datos externas, este artículo argumenta que el protocolo puede volverse mal planteado en un sentido operativo preciso cuando la clase "anómala" elegida se solapa significativamente con la mezcla "normal" en el espacio de representación.

El modo de fallo central identificado es la inestabilidad de la dirección de la puntuación dependiente de la clase. Cuando la clase anómala retenida se encuentra dentro o cerca de las regiones de alta densidad de la mezcla normal, las puntuaciones de anomalía pueden colapsar hacia el azar (AUROC $\approx$ 0.5) o, lo que es más crítico, invertirse (AUROC < 0.5). En tales regímenes, la dirección de la "anomalidad" (si una puntuación alta o baja indica una anomalía) depende de la clase anómala específica y desconocida. En consecuencia, las conclusiones de los puntos de referencia (benchmarks) se vuelven frágiles, recompensando potencialmente métodos que explotan peculiaridades específicas del conjunto de datos en lugar de demostrar capacidades de detección OOD robustas e incondicionales.

2. Metodología

Los autores proponen un marco para diagnosticar y cuantificar esta inestabilidad sin requerir entrenamiento adicional.

Diagnóstico: Filtración de Clase de Vecindad
El artículo introduce una métrica sencilla, libre de entrenamiento, llamada filtración de clase de vecindad ($L_k$) para cuantificar el solapamiento entre los colectivos condicionados por clase en un espacio de representación fijo $r(x)$.

• Definición: Para una muestra $x_i$, la filtración $\ell_k(i)$ es la fracción de sus $k$ vecinos más cercanos (en el espacio de representación) que pertenecen a una clase semántica diferente.
• Agregación: El índice a nivel de conjunto de datos $L_k$ es el promedio de la filtración a través de todas las muestras.
• Racional: Una alta filtración indica que la geometría local no se alinea con la estructura de la clase semántica. Si una clase anómala ocupa regiones densamente pobladas por muestras normales, las puntuaciones de AD estándar (basadas en la distancia a la normalidad o densidad local) fallarán al separarlas de manera consistente.

Métricas de Inestabilidad
Para caracterizar la fiabilidad del benchmark, los autores definen varias estadísticas basadas en el protocolo "K-1 vs. 1" (iterando a través de cada clase como la clase anómala retenida):

• Dispersión de AUROC: Varianza de las puntuaciones AUROC a través de diferentes clases retenidas.
• Tasa de Cercanía al Azar ($\rho_{rnd}$): La frecuencia de las puntuaciones AUROC que caen cerca de 0.5.
• Tasa de Inversión ($\rho_{inv}$): La frecuencia de las puntuaciones AUROC que caen por debajo de 0.5.
• Tasa de Inestabilidad de Dirección ($\rho_{dir}$): Una medida de qué tan a menudo la dirección de puntuación preferida (desviación positiva o negativa del azar) cambia dependiendo de la clase anómala.

Configuración Experimental
El estudio evalúa tres conjuntos de datos de complejidad creciente:

1. Fashion-MNIST: Utilizado como control negativo (bajo solapamiento).
2. CIFAR-10: Complejidad intermedia.
3. Imagenette: Alta complejidad.

Estos se prueban en dos espacios de representación:

• Espacio de Píxeles: Entradas puras vectorizadas.
• Espacio Latente de VAE: Características codificadas de un Autoencoder Variacional entrenado solo con el grupo normal.

Se aplican tres evaluadores de AD incondicionales estándar: k-Vecinos más Cercanos (kNN), Bosque de Aislamiento (Isolation Forest) y Factor de Vecindad Local (LOF).

3. Resultados Clave

Los resultados empíricos demuestran una fuerte correlación entre la alta filtración de vecindad y la inestabilidad del benchmark:

• Fashion-MNIST: Exhibe una baja filtración ($L_k \approx 0.24$) y un comportamiento estable, con bajas tasas de inversión e inestabilidad de dirección.
• CIFAR-10 e Imagenette: Exhiben una alta filtración ($L_k > 0.76$) tanto en el espacio de píxeles como en el latente. Estos conjuntos de datos muestran tasas de inversión sustanciales (hasta 50%) y tasas de inestabilidad de dirección (hasta 63%).
• Consistencia: La inestabilidad persiste a través de diferentes familias de evaluadores (kNN, Isolation Forest, LOF) y espacios de representación, lo que sugiere que el fallo es inherente al solapamiento geomético de los datos y no un defecto de un detector específico.
• Varianza por Clase: En el espacio de píxeles de CIFAR-10, clases anómalas específicas producen puntuaciones AUROC significativamente por debajo del azar, mientras que otras producen puntuaciones muy por encima del azar, a pesar de utilizar la misma convención de puntuación.

4. Contribuciones

El artículo realiza tres contribuciones principales:

1. Formalización de un Modo de Fallo: Identifica y formaliza la inestabilidad de la dirección de la puntuación dependiente de la clase como un modo de fallo práctico de la evaluación de división de clases dentro del mismo conjunto de datos, impulsada por el solapamiento normal-anómalo.
2. Diagnóstico Libre de Entrenamiento: Propone el índice de filtración de vecindad ($L_k$) como un chequeo previo a la evaluación para predecir cuándo un benchmark de división de clases es probable que produzca clasificaciones poco fiables o invertidas.
3. Validación Empírica: Valida el fenómeno a través de una matriz controlada de conjuntos de datos, representaciones y evaluadores, demostrando que la alta filtración predice la inestabilidad independientemente del método de AD utilizado.

5. Significado y Reivindicaciones

El artículo argumenta que los benchmarks de división de clases no deben tratarse como evidencia incondicional de la capacidad de detección de anomalías. En su lugar, deben verse como pruebas de estrés dependientes de la geometría.

• Rechazo de la "Re-inversión": Los autores refutan la noción de que un "mejor" método de AD pueda simplemente "re-invertir" los rankings para corregir un bajo AUROC. Si la dirección de la anomalidad depende del tipo de anomalía desconocida, un método que logra un alto AUROC en una división específica puede estar explotando correlaciones idiosincrásicas entre las etiquetas de clase y la geometría, en lugar de aprender una noción de atipicidad independiente de la clase.
• Interpretación de los Benchmarks: El índice de filtración sirve como un chequeo de precondición. Una baja filtración respalda la interpretación de que el AUROC mide la separación de la mezcla normal. Una alta filtración, junto con altas tasas de inversión o inestabilidad de dirección, indica que el benchmark está sondeando una geometría superpuesta en lugar de una anomalía semántica consistente.
• Recomendación: Los autores sugieren que los futuros benchmarks de división de clases deberían reportar diagnósticos de filtración e inestabilidad de dirección antes de que sus resultados sean utilizados para reclamar capacidades de detección OOD incondicionales.