VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space

Resumen Técnico: VAE con Coordenadas Hiperesféricas para Detección de Anomalías

Enunciado del Problema
Los Autoencoders Variacionales (VAE) se utilizan ampliamente para la detección de anomalías (AD) mediante la codificación de datos en un espacio latente de menor dimensión. La suposición estándar es que un VAE entrenado reconstruirá bien los datos dentro de la distribución (ID), pero fallará con datos fuera de la distribución (OOD) o anómalos. Sin embargo, en espacios latentes de alta dimensión (HD), los VAE estándar sufren el fenómeno de "concentración de la medida". Cuando las muestras se codifican en una prior gaussiana de alta dimensión, tienden a concentrarse en los "ecuadores" de la hiperesfera latente en lugar de cerca del origen o una dirección específica. Esto resulta en un vasto hipervolumen disperso donde los datos normales se distribuyen uniformemente a través de bandas ecuatoriales. En consecuencia, distinguir anomalías se vuelve difícil porque la distancia entre muestras normales y anomalías no exhibe la concentración esperada, y las "colas" de la distribución son cortas, lo que hace ineficaz la separación mediante métricas de distancia estándar.

Metodología
Los autores proponen una formulación novedosa del espacio latente del VAE utilizando coordenadas hiperesféricas para mitigar los problemas de dispersión y volumen inherentes a los espacios cartesianos de alta dimensión.

1. Transformación de Coordenadas: En lugar de modelar la posterior latente en coordenadas cartesianas ($\mu, \sigma$), el método transforma estas en coordenadas hiperesféricas que consisten en un radio $r$ y $n-1$ coordenadas angulares $\phi_k$. La transformación se implementa mediante un script vectorizado y diferenciable en PyTorch para mantener la eficiencia.
2. Compresión del Hipervolumen: La innovación central radica en reformular el término de pérdida de Divergencia de Kullback-Leibler (KLD).
   • En un VAE estándar, la prior es una gaussiana estándar, lo que implícitamente fomenta que las muestras se sitúen en los ecuadores de la hiperesfera debido a la geometría de los volúmenes de alta dimensión.
   • El método propuesto establece una prior específica para las coordenadas angulares ($\phi_k$) de modo que la media del coseno de estos ángulos se impulse hacia 1 ($a_{\mu,k} = 1$). Esto fuerza a las muestras latentes a alejarse de los ecuadores y dirigirse hacia una dirección específica de "polo norte" en la hiperesfera.
   • Al comprimir las muestras latentes hacia una sola dirección, el método crea una "isla" densa y compacta de datos normales en una región de hipervolumen significativamente reducido.
3. Función de Pérdida: La pérdida total combina el error de reconstrucción (MSE) con un término KLD modificado calculado en coordenadas hiperesféricas. El término KLD se descompone en pérdidas para las coordenadas angulares ($\phi_k$) y la coordenada radial ($r$). La pérdida angular fomenta que las muestras se alineen con la dirección objetivo, mientras que la pérdida radial asegura que las muestras se sitúen en una superficie hiperesférica específica (radio $\sqrt{n}$).
4. Puntuación de Anomalías: Tras entrenar con datos normales, las anomalías se detectan codificando una muestra de consulta y midiendo su distancia al cúmulo de medias latentes normales. Los autores utilizan una métrica de distancia simple de k-Vecinos Más Cercanos (k-NN) (con $k=3$) sobre las medias latentes. Debido a que los datos normales se comprimen en una isla densa, la distancia a esta isla sirve como una puntuación de anomalía robusta.

Contribuciones Clave

• Formulación Hiperesférica: El artículo introduce un método para convertir las variables latentes del VAE de coordenadas cartesianas a hiperesféricas, desentrelazando efectivamente las dimensiones y permitiendo una compresión de volumen dirigida.
• Mecanismo de Compresión de Volumen: A diferencia de los métodos que solo comprimen el radio o un solo ángulo (similar a las distribuciones von Mises-Fisher), este enfoque comprime todas las coordenadas angulares hiperesféricas. Esto permite una reducción mucho más rápida del hipervolumen latente, creando una representación más densa de los datos normales.
• Marco Unificado: El método es aplicable tanto a escenarios OOD totalmente incondicional (sin etiquetas de subclase disponibles) como OOD condicional (etiquetas de subclase disponibles). En el caso condicional, el sistema de coordenadas se reorienta para cada clase para formar cúmulos compactos para cada clase ID específica.
• Ablación de vMF: Los autores demuestran que su método engloba los enfoques basados en von Mises-Fisher (vMF) como un caso especial (comprimiendo solo un ángulo) y muestran que comprimir todos los ángulos produce resultados superiores.

Resultados Experimentales
El método se evaluó tanto en conjuntos de datos complejos del mundo real como en puntos de referencia estándar:

• OOD Totalmente Incondicional:
  • Mars Rover Mastcam: Detección de características de paisaje inusuales. El método propuesto (Comp.VAE + k-NN) logró un AUROC de 0.764, superando a los VAE estándar, Autoencoders y la variante vMF.
  • Galaxy Zoo: Detección de galaxias inusuales. El método logró un AUROC de 0.789, superando nuevamente a las líneas base existentes.
• OOD Condicional:
  • CIFAR-10 vs. CIFAR-100 (Near-OOD): El método logró una reducción significativa en la Tasa de Falsos Positivos al 95% de Tasa de Verdaderos Positivos (FPR95) en comparación con los métodos más avanzados, alcanzando un FPR95 de 23.2 (vs. 50.1 para SNN y 58.3 para KNN).
  • Imagenette vs. Clases Cercanas de ImageNet: En un escenario Near-OOD desafiante, el método logró el mejor rendimiento tanto en FPR95 (78.8) como en AUROC (68.3) entre las configuraciones probadas, superando a la variante basada en vMF.
• Visualización: Las visualizaciones 3D del espacio latente confirman que, mientras los VAE estándar distribuyen los datos uniformemente sobre la esfera (ecuadores), el método propuesto comprime con éxito los datos en una isla densa y compacta, haciendo que la separación de clases y la detección de anomalías sean más intuitivas.

Significado y Afirmaciones
El artículo afirma que la limitación principal de los VAE estándar en la detección de anomalías es la dispersión geométrica de los espacios latentes de alta dimensión, donde los datos normales ocupan las vastas regiones ecuatoriales de la hiperesfera. Al reformular el espacio latente en coordenadas hiperesféricas y comprimir activamente el volumen hacia una dirección específica, los autores demuestran que:

1. Es posible crear una "isla densa" de datos normales, haciendo que la separación de anomalías mediante métricas de distancia simples (k-NN) sea significativamente más efectiva.
2. Este enfoque mejora el rendimiento tanto en tareas de detección OOD incondicional como condicional sin requerir aprendizaje contrastivo complejo ni cambios arquitectónicos más allá de la transformación de coordenadas.
3. El método proporciona una solución teórica y práctica a la "maldición de la dimensionalidad" en modelos generativos para la detección de anomalías, ofreciendo resultados de vanguardia en métricas FPR95 en varios puntos de referencia mientras mantiene una implementación relativamente simple basada en componentes estándar de VAE.

Los autores señalan que, aunque la transformación de coordenadas añade una sobrecarga computacional (aproximadamente un 32% más lento por época para 200 dimensiones), la ganancia en el rendimiento de detección justifica el costo. Concluyen que controlar y reducir la dispersión del manifold latente de alta dimensión es un factor crítico para mejorar no solo la detección de anomalías, sino potencialmente otras tareas como la clasificación y la generación.