Wasserstein normalized autoencoder for anomaly detection

La visión general: Encontrar una aguja en un pajar (sin saber cómo es la aguja)

Imagina que eres un guardia de seguridad en un aeropuerto masivo. Cada día, miles de personas pasan por tu control de seguridad. Sabes exactamente cómo es un viajero "normal": lleva una mochila, viste un abrigo, tal vez tiene un café. Estas son tus partículas del Modelo Estándar (el fondo o background).

Pero ocasionalmente, alguien pasa cargando algo extraño, tal vez una caja brillante o un traje hecho de tela invisible. Esto es la Nueva Física (la señal). El problema es que no sabes exactamente cómo es esa "caja brillante". Podría ser cualquier cosa. Si intentas enseñarle a tu sistema de seguridad a detectar un tipo específico de caja brillante, podrías pasar por alto un tipo diferente.

Así que decides enseñarle a tu sistema únicamente cómo es lo "normal". Si algo no encaja con el patrón "normal", lo marcas como una anomalía. Esto se llama Detección de Anomalías.

El problema: El robot "demasiado servicial"

El artículo trata sobre un tipo específico de IA llamada Autoencoder (Autoencodificador). Piensa en un Autoencoder como un robot que intenta memorizar la foto de un viajero normal, comprimirla en una nota diminuta y luego volver a dibujar la foto a partir de esa nota.

El objetivo: Si el robot ve a un viajero normal, debería redibujarlo perfectamente (error bajo). Si ve a un alienígena extraño, debería tener dificultades para redibujarlo (error alto), y tú marcas al alienígena.
El fallo: A veces, el robot es demasiado bueno. Si el alienígena es en realidad más simple que los viajeros normales (tal vez el alienígena es solo una mancha gris lisa, mientras que los viajeros normales tienen patrones complejos), el robot podría aprender accidentalmente a redibujar al alienígena perfectamente también.
El resultado: El robot piensa que el alienígena es normal porque puede redibujarlo fácilmente. El sistema de seguridad falla. En el artículo, llaman a esto "Reconstrucción de Outliers" (Outlier Reconstruction). Es como un falsificador que es tan bueno copiando pinturas que accidentalmente falsifica una obra maestra tan bien que el museo piensa que es real.

El primer intento: El robot "normalizado" (NAE)

Para solucionar esto, los científicos probaron un robot más inteligente llamado Autoencoder Normalizado (NAE).

En lugar de solo intentar redibujar la imagen, este robot intenta aprender la probabilidad de cómo es un viajero normal. Utiliza un truco matemático que involucra una "Cadena de Markov" (piensa en ella como un paseo aleatorio) para generar ejemplos "negativos" falsos. Se pregunta a sí mismo: "Si invento un viajero aleatorio, ¿se parece a los reales que he visto?"

El objetivo: Intenta asegurarse de que cualquier cosa que parezca "extraña" (baja probabilidad) reciba una "puntuación de error" alta.
El nuevo fallo: Este robot es inestable. A veces, se confunde y empieza a "divergir". Podría decidir que la mejor manera de ganar el juego es hacer que todo sea difícil de redibujar, o podría colapsar en un estado donde redibuja todo perfectamente, incluyendo a los alienígenas extraños, solo para minimizar su propia puntuación matemática. Es como un estudiante que, en lugar de estudiar, decide hacer trampa memorizando la clave de respuestas de una manera que rompe el examen.

La solución: El robot "Wasserstein" (WNAE)

Esta es la principal contribución del artículo. Los científicos introdujeron el Autoencoder Normalizado Wasserstein (WNAE).

Para entender esto, imagina que tienes dos pilas de arena:

Pila A: Viajeros reales (tus datos de entrenamiento).
Pila B: La suposición actual del robot de cómo son los viajeros (su distribución aprendida).

En los métodos antiguos, el robot solo intentaba que las formas de las pilas coincidieran. Pero a veces, el robot hacía trampa creando una pila que se veía similar pero que en realidad estaba en el lugar equivido.

La distancia de Wasserstein es una forma de medir el "costo" de mover la arena de la Pila B a la Pila A. Imagina que tienes que transportar granos de arena de una pila a la otra. La distancia de Wasserstein pregunta: "¿Cuál es el esfuerzo mínimo (distancia x peso) requerido para convertir mi pila falsa en la pila real?"

Cómo funciona el WNAE:

No solo intenta redibujar la imagen; intenta minimizar el "esfuerzo" necesario para que sus datos falsos se vean exactamente como los datos reales.
Si el robot intenta hacer trampa y redibujar un alienígena extraño perfectamente, el "esfuerzo" (distancia de Wasserstein) para mover los datos de ese alienígena de vuelta a la pila "normal" se vuelve enorme.
El robot se ve obligado a dejar de hacer trampa. Aprende que la única forma de minimizar el esfuerzo es aprender estrictamente la forma de la pila "normal" y dejar de lado lo "extraño".

Por qué esto es importante para el artículo

Los científicos probaron esto en CMS, un detector de partículas gigante en el CERN (el Gran Colisionador de Hadrones). Estaban buscando Jets Semivisibles (SVJs).

El escenario: Imagina un chorro de partículas (como el spray de una manguera) que es mitad visible (partículas estándar) y mitad invisible (Materia Oscura).
El desafío: Estos chorros se parecen mucho a los chorros normales de quarks superiores (un fondo común). Los robots estándar fallaron al distinguirlos porque seguían "reconstruyendo" los chorros extraños como si fueran normales.
El resultado: El WNAE fue capaz de aprender la distribución de los chorros "normales" perfectamente sin haber visto ni un solo chorro "extraño" durante el entrenamiento. Logró marcar con éxito los jets de materia oscura invisible como anomalías.

La conclusión

El artículo afirma que, al usar la distancia de Wasserstein como el maestro, construyeron un robot que:

No hace trampa: No puede simplemente aprender a redibujar cosas extrañas perfectamente para bajar su puntuación.
Es estable: No se bloquea ni se confunde como la versión anterior "Normalizada".
Es agnóstico a la señal: No necesita saber cómo es la cosa "extraña". Solo sabe cómo es lo "normal", y cualquier cosa que no encaje en ese molde es marcada.

En resumen, arreglaron un sistema de seguridad defectuoso dándole una mejor forma de medir qué tan "lejos" está una persona sospechosa de la multitud, asegurando que incluso el intruso más hábilmente disfrazado sea capturado.

Resumen Técnico: Autoencoder Normalizado de Wasserstein para la Detección de Anomalías

Planteamiento del Problema
El aprendizaje automático no supervisado, particularmente los Autoencoders (AE), es una herramienta poderosa para identificar nueva física en el Gran Colisionador de Hadrones (LHC) al separar eventos de fondo del Modelo Estándar (SM) de posibles señales más allá del Modelo Estándar (BSM) sin depender de hipótesis específicas de la señal. Sin embargo, los AE estándar sufren un modo de fallo crítico conocido como "reconstrucción de valores atípicos" (outlier reconstruction). En este escenario, la red aprende a reconstruir puntos de datos anómalos (outliers) con un error bajo, a menudo porque estos valores atípicos son menos complejos que los datos de entrenamiento (un fenómeno denominado "sesgo de complejidad") o simplemente porque la red es libre de minimizar el error de reconstrucción en regiones del espacio de fase fuera de la distribución de entrenamiento. Esto resulta en una pérdida de poder de discriminación, donde el error de reconstrucción no logra distinguir entre el fondo y la señal.

Intentos previos para abordar esto mediante Autoencoders Normalizados (NAE), que enmarcan el error de reconstrucción del AE como una función de energía dentro de una distribución de Boltzmann, también han enfrentado desafíos. El entrenamiento de los NAE suele presentar inestabilidad numérica, incluyendo la divergencia de la función de pérdida y el "colapso de modo" (mode collapse), donde la red aprende una distribución de probabilidad que se solapa significablemente con la señal, lo que nuevamente conduce a un pobre desempeño en la detección de anomalías. Además, los entrenamientos de NAE existentes carecen de una condición de parada robusta e independiente de la señal para prevenir el sobreentrenamiento y la reconstrucción de valores atípicos.

Metodología
Los autores introducen el Autoencoder Normalizado de Wasserstein (WNAE), un modelo probabilístico novedoso diseñado para superar las limitaciones tanto de los AE estándar como de los NAE. La metodología procede de la siguiente manera:

Marco Probabilístico: Al igual que el NAE, el WNAE trata el error de reconstrucción del AE $l_\theta(x)$ como una función de energía $E_\theta(x)$ . El modelo define una distribución de probabilidad normalizada $p_\theta(x)$ utilizando la distribución de Boltzmann: $p_\theta(x) = \frac{1}{\Omega_\theta} \exp(-E_\theta(x))$ .
Monte Carlo por Cadenas de Markov (MCMC): Para aprender la distribución $p_\theta$ , el modelo emplea un algoritmo de Monte Carlo de Langevin para muestrear ejemplos "negativos" de $p_\theta$ . Estos ejemplos se generan iterativamente utilizando el gradiente de la función de energía con respecto a las características de entrada.
El Objetivo de la Distancia de Wasserstein: La innovación central es el uso de la distancia de Wasserstein-1 (Distancia del Moviente de la Tierra) como el objetivo directo de entrenamiento. En lugar de minimizar la log-verosimilitud negativa (que implica una función de partición intratable y conduce a la inestabilidad), el WNAE minimiza la distancia de Wasserstein $W(p_{data}, p_\theta)$ $W (p_{d a t a}, p_{θ})$ entre la distribución de datos de entrenamiento $p_{data}$ $p_{d a t a}$ y la distribución del modelo $p_\theta$ $p_{θ}$ .
- La función de pérdida se define como la distancia de Wasserstein entre los ejemplos positivos (de $p_{data}$ ) y los ejemplos negativos (de $p_\theta$ ).
- Este enfoque aprovecha la dualidad de Kantorovich-Rubinstein, permitiendo una función de pérdida estable y diferenciable que no sufre de los problemas de gradientes desvanecientes o colapso de modo comunes en otros modelos generativos.
Dinámica de Entrenamiento: El entrenamiento involucra dos fases: un ajuste grueso donde la distancia de Wasserstein disminuye bruscamente a medida que el modelo se adapta a los datos físicos, seguido de una fase de ajuste fino. Se emplea un programador de la tasa de aprendizaje para asegurar la estabilidad. Crucialmente, la distancia de Wasserstein sirve como una condición de parada independiente de la señal; el entrenamiento se detiene cuando la distancia comienza a aumentar, indicando el inicio de un colapso de modo o reconstrucción de valores atípicos.

Caso de Estudio y Datos
El algoritmo se aplica a la búsqueda de Jets Semivisibles (SVJ), una firma de modelos de valle oculto (hidden valley models) donde las partículas del sector oscuro producen jets que contienen tanto partículas visibles del Modelo Estáltar como estados de materia oscura invisibles.

Fondo: Producción de top-antitop ( $t\bar{t}$ ) simulada con jets adicionales.
Señal: Eventos SVJ generados mediante un mediador escalar bifundamental, con variaciones en la fracción invisible ( $r_{inv}$ ) y la masa del mediador ( $m_\Phi$ ).
Características: La entrada consiste en 8 variables de subestructura de jet (por ejemplo, ejes mayor/menor, polinomios de flujo de energía, $N$ -subjettiness, masa de softdrop) derivadas de la reconstrucción de flujo de partículas.

Resultados Clave

Fallo del AE Estándar: Cuando se entrena en el fondo de $t\bar{t}$ , un AE estándar falla en discriminar los SVJ del fondo, arrojando un puntaje de Área Bajo la Curva (AUC) cercano a 0.5 (adivinación aleatoria) debido a la reconstrucción de valores atípicos.
Inestabilidad del NAE: Aunque el NAE mejora inicialmente la discriminación, sufre de divergencia de la pérdida y colapso de modo. El AUC se degrada con el tiempo a medida que la energía negativa diverge, y el modelo no logra distinguir la señal del fondo sin una condición de parada dependiente de la señal.
Desempeño del WNAE: El WNAE demuestra un entrenamiento estable y convergente.
- Logra un fuerte desempeño de clasificación a través de un amplio rango de hipótesis de señal SVJ, con puntajes AUC significativamente más altos que el AE estándar y comparables o superiores al NAE en su punto óptimo.
- La distancia de Wasserstein se correlaciona efectivamente con el puntaje AUC, proporcionando una condición de parada fiable que evita que el modelo aprenda la distribución de la señal.
- El WNAE mitiga el sesgo de complejidad. A diferencia de los AE estándar, que tienen dificultades cuando la señal es menos compleja que el fondo, el WNAE identifica con éxito los jets de quarks top como anomalías incluso cuando se entrena con señales SVJ, demostrando su capacidad para aprender la verdadera densidad de probabilidad de los datos de entrenamiento en lugar de solo minimizar el error de reconstrucción.

Significancia y Reivindicaciones
El artículo afirma que el WNAE aborda directamente el modo de fallo fundamental de la reconstrucción de valores atípicos en la detección de anomalías basada en autoencoders. Al minimizar la distancia de Wasserstein entre la distribución de los datos de entrenamiento y la distribución aprendida por el modelo, el algoritmo asegura que las regiones del espacio de fase distintas de los datos de entrenamiento reciban errores de reconstrucción elevados.

Los autores enfatizan que el WNAE permanece completamente no supervisado e independiente de la señal. No requiere conocimiento de la hipótesis de la señal durante el entrenamiento, ni depende de una regularización ad-hoc para estabilizar la pérdida del NAE. El método proporciona una herramienta robusta, estable y efectiva para la detección de anomalías en la física de altas energías, capaz de identificar firmas de nueva física como los jets semivisibles frente a fondos complejos del Modelo Estándar. El artículo concluye que, si bien el WNAE es estable para la tarea estudiada, aún puede estar sujeto a limitaciones genéricas de los modelos de detección de anomalías, tales como el solapamiento de las distribuciones de señal y fondo, o la contaminación de los datos de entrenamiento con anomalías, aunque ofrece una vía para el refinamiento autosupervisado en tales casos.