Signal-Aware Contrastive Latent Spaces for Anomaly Detection

Este artículo propone un método de detección de anomalías para la física de partículas que utiliza aprendizaje contrastivo supervisado para construir un espacio latente de baja dimensión y sensible a la señal, mejorando significativamente la sensibilidad de descubrimiento tanto para modelos de nueva física conocidos como desconocidos en el LHC.

Lo esencial

Imagina que estás en una fiesta masiva y ruidosa (el LHC, el acelerador de partículas más grande del mundo). Tu trabajo es encontrar a un intruso que se parece a nadie más en la sala. El problema es que hay miles de personas hablando, bailando y moviéndose a la vez, y la sala tiene demasiadas dimensiones para que tu cerebro pueda procesarlo todo.

En la física de partículas, esto se llama detección de anomalías. Quieren encontrar "nueva física" (señales de partículas que no conocemos) entre millones de colisiones normales (el fondo o "background").

Aquí es donde entra este nuevo artículo de Runze Li, Benjamin Nachman y Dennis Noll. Vamos a explicar su solución con una analogía sencilla.

1. El Problema: La Fiesta Caótica

Imagina que intentas encontrar a un amigo que lleva un sombrero rojo en una fiesta donde hay 100 tipos de ropa diferentes. Si intentas mirar a todos los detalles de cada persona al mismo tiempo (su altura, peso, tono de voz, qué lleva en la mano, etc.), te abrumas. Cuantos más detalles (dimensiones) tengas, más difícil es distinguir lo normal de lo raro.

Los métodos antiguos intentaban describir la "fiesta normal" (el modelo estándar) para ver qué se salía de la norma. Pero si la fiesta es muy compleja (muchas dimensiones), esa descripción se vuelve borrosa e imprecisa.

2. La Solución: El "Traductor" Inteligente (Espacio Latente)

Los autores proponen crear un traductor inteligente (un modelo de aprendizaje automático) que no solo mira la fiesta, sino que la resuma en una lista corta y clara de características.

• La idea clave: En lugar de solo enseñarle al traductor cómo se ve la gente "normal" (fondo), le enseñan también cómo se ven diferentes tipos de intrusos (señales de física más allá del modelo estándar).
• La técnica: Usan algo llamado "aprendizaje contrastivo supervisado". Imagina que le dices al traductor: "Mira, estos dos grupos de gente son muy diferentes, sepáralos. Y estos otros dos grupos son muy parecidos, agrúpalos".

3. El Entrenamiento: La Clase de "Detectives"

Para entrenar a este traductor, los científicos simularon una fiesta gigante en una computadora:

1. El Fondo: Simularon millones de colisiones normales (Standard Model).
2. Las Señales: Simularon muchos tipos de "intrusos" hipotéticos (supersimetría, nuevos bosones, etc.).

El traductor aprende a comprimir toda esa información compleja en un mapa pequeño y ordenado (un espacio latente de baja dimensión).

• En este mapa, la gente "normal" se agrupa en un solo barrio tranquilo.
• Los diferentes tipos de "intrusos" se agrupan en otros barrios distintos.
• Lo genial es que el mapa está regulado: es tan ordenado que es fácil de dibujar y entender, pero lo suficientemente detallado para que los intrusos no se mezclen con la gente normal.

4. La Prueba: ¿Funciona con intrusos que no conocemos?

Aquí está la magia. Los científicos probaron tres escenarios:

• Escenario A (Entrenado con todo): Le mostraron al traductor todos los tipos de intrusos posibles.
  • Resultado: ¡Funciona perfecto! Encuentra a los intrusos casi siempre. Es como tener un mapa con todas las rutas de escape marcadas.
• Escenario B (Interpolación): Le mostraron al traductor un tipo de intruso, pero con un tamaño diferente al que vio en el entrenamiento (por ejemplo, un intruso de 400 GeV cuando solo vio de 300 y 500).
  • Resultado: ¡El traductor adivina! Como entendió la "forma" del intruso, puede deducir cómo se vería una versión intermedia.
• Escenario C (Extrapolación): Le mostraron muchos tipos de intrusos, pero ocultaron un tipo totalmente nuevo que nunca vio antes.
  • Resultado: ¡Sigue funcionando! Aunque nunca vio ese intruso específico, el mapa que aprendió es tan bueno que el intruso nuevo cae en una zona "rara" del mapa, lejos de la gente normal. Esto es increíble porque significa que el sistema puede detectar cosas que ni siquiera sabíamos que existían.

5. El Resultado Final: Encontrar la Aguja en el Pajarraco

Al final, usan este mapa ordenado para aplicar un filtro (llamado CATHODE).

• Si el mapa está bien ordenado, es muy fácil decir: "Esta persona no encaja en ningún barrio conocido".
• Los resultados muestran que este método es mucho más sensible que los métodos anteriores. Puede encontrar señales que antes eran invisibles, elevando la posibilidad de descubrimiento de "casi imposible" a "muy probable".

En Resumen

Los autores crearon un sistema de navegación para el mundo de las partículas. En lugar de perderse mirando miles de detalles confusos, el sistema aprende a resumir la realidad en un mapa simple, entrenado viendo tanto lo normal como muchos tipos de "rarezas".

Lo más importante es que este mapa es tan inteligente que, incluso si aparece un tipo de rareza que nunca antes habían visto, el sistema sabe que algo anda mal y alerta a los físicos. Es un paso gigante hacia encontrar la "nueva física" en el LHC y más allá.

Resumen técnico

Resumen Técnico: Espacios Latentes Contrastivos Conscientes de la Señal para la Detección de Anomalías

1. El Problema

En la física de partículas, la detección de anomalías es crucial para descubrir nueva física (más allá del Modelo Estándar, o BSM). Sin embargo, los enfoques de detección de anomalías débilmente supervisados basados en estimación de densidad (como CATHODE) enfrentan un desafío fundamental: la maldición de la dimensionalidad.

• A medida que aumenta el número de dimensiones en el espacio de características de los eventos de colisión, la fidelidad de la estimación de densidad se degrada rápidamente.
• Los métodos anteriores a menudo se limitaban a un pequeño número de características (aprox. 10) para mantener la viabilidad de la estimación de densidad, perdiendo información valiosa contenida en espacios de características de alta dimensión.
• Además, muchos métodos existentes son agnósticos a la señal, lo que puede resultar en representaciones latentes que no capturan eficazmente las diferencias sutiles entre el fondo y posibles señales BSM.

2. Metodología Propuesta

Los autores proponen un enfoque de dos etapas que combina el aprendizaje contrastivo supervisado con la detección de anomalías débilmente supervisada.

A. Construcción del Espacio Latente (Etapa 1):

• Enfoque: Se utiliza Aprendizaje Contrastivo Supervisado para mapear representaciones de eventos de alta dimensión a un espacio latente de baja dimensión (6 dimensiones).
• Entrenamiento: El codificador (basado en una arquitectura Particle Transformer) se entrena con una función de pérdida compuesta:
  1. Pérdida Contrastiva Supervisada: Atrae eventos del mismo proceso físico y repele eventos de procesos diferentes. A diferencia de trabajos anteriores, este entrenamiento incluye explícitamente un conjunto diverso de señales BSM hipotéticas junto con los fondos del Modelo Estándar (SM).
  2. Regularización KL (Kullback-Leibler): Se añade una divergencia KL hacia una distribución gaussiana unitaria. Esto asegura que el espacio latente sea "modelable" por modelos generativos posteriores, facilitando la estimación de densidad.
• Entradas: Se utilizan 11 objetos físicos (jets, electrones, muones, $E_T^{miss}$) con 12 características cada uno, más características de alto nivel. Las momentos de los fotones se excluyen deliberadamente de la entrada del transformador para evitar correlaciones directas con la masa invariante ($m_{\gamma\gamma}$) y prevenir el "esculpido" de fondo.

B. Detección de Anomalías (Etapa 2 - CATHODE):

• Una vez obtenido el espacio latente regularizado, se aplica el método CATHODE (Classifying Anomalies Through Outer Density Estimation).
• Proceso:
  1. Se divide el espacio de masa invariante en una Región de Señal (SR) y una Región Lateral (SB).
  2. Se entrena un modelo de flujo normalizado (Normalizing Flow - NF) en la SB para estimar la densidad del fondo en el espacio latente.
  3. Se interpolan los datos de fondo a la SR.
  4. Un clasificador (CWoLa - Classification Without Labels) distingue entre los datos reales en la SR y la estimación de fondo generada. Los eventos clasificados como "datos" son candidatos a anomalías.

3. Configuraciones de Evaluación

Para probar la generalización del método, se evaluaron cuatro configuraciones de entrenamiento:

1. In Dataset (ID): Todas las señales BSM y fondos se incluyen en el entrenamiento. (Referencia óptima).
2. Interpolation (IP): Se excluye un punto de masa específico de un modelo BSM conocido, pero se incluye la topología. Prueba la interpolación dentro de un espacio de parámetros conocido.
3. Extrapolation (EP): Se excluye una topología de señal BSM completa del entrenamiento. Prueba la generalización a clases de física totalmente nuevas.
4. Background Only: Solo se incluyen procesos del Modelo Estándar en el entrenamiento (línea base sin información de señal).

4. Resultados Clave

Los resultados se validaron en un estado final de diphoton ($\gamma\gamma$) utilizando datos simulados de colisiones protón-protón a 13 TeV.

• Estructura del Espacio Latente:

  • Las proyecciones unidimensionales muestran distribuciones de fondo suaves y aproximadamente gaussianas, validando la regularización KL.
  • Las señales BSM están claramente separadas del fondo en el espacio latente, incluso en proyecciones 1D.
  • Las visualizaciones t-SNE confirman que las señales no incluidas en el entrenamiento (configuraciones IP y EP) ocupan regiones distintas del fondo, demostrando capacidad de generalización.

• Control de "Esculpido" (Sculpting Check):

  • Se verificó que el método no introduce falsas estructuras (bumps) en el espectro de masa invariante ($m_{\gamma\gamma}$).
  • El área bajo la curva (AUC) para distinguir el fondo generado del fondo real fue de 0.504, indicando que la estimación de densidad es fiel y no distorsiona el espectro.

• Mejora en Sensibilidad (SIC - Significance Improvement Characteristic):

  • Configuración ID: Comparado con el trabajo previo [22] (que usaba un VAE simple y menos características), el método propuesto mejora la sensibilidad (SIC) en un ~40% para los modelos de prueba. Permite puntos de trabajo más estrictos (ej. $\epsilon_B = 0.1\%$) sin introducir ruido.
  • Configuración IP: Logra un rendimiento casi idéntico al caso ID para puntos de masa no vistos, demostrando que el espacio latente generaliza bien dentro de topologías conocidas.
  • Configuración EP: Supera significativamente a la línea base de "solo fondo" para topologías de señal nunca vistas. Esto demuestra que incluir señales diversas en el entrenamiento mejora la capacidad de detectar nuevas clases de física no presentes durante el entrenamiento.

• Comparativa de Información:

  • Un análisis de matrices de confusión mostró que el codificador contrastivo retiene casi toda la información relevante para distinguir señales BSM del fondo (pérdida de información de solo ~5% comparado con un clasificador totalmente supervisado), superando a los conjuntos de características reducidos de trabajos anteriores.

5. Contribuciones y Significancia

• Superación de la Limitación de Dimensionalidad: El método permite utilizar espacios de características de alta dimensión (más de 100 características) sin sacrificar la fidelidad de la estimación de densidad, gracias a la compresión inteligente en un espacio latente regularizado.
• Sensibilidad a Señales No Vistas: La inclusión de señales BSM diversas en el entrenamiento contrastivo no solo mejora la detección de esas señales específicas, sino que crea un espacio latente que generaliza a topologías de señal completamente nuevas (extrapolación), algo que los métodos puramente no supervisados o de "solo fondo" no logran.
• Viabilidad para el LHC: Esta estrategia ofrece un camino viable para la búsqueda de nueva física en el Gran Colisionador de Hadrones (LHC) y futuros colisionadores, donde la complejidad de los datos y la necesidad de detectar señales sutiles son críticas.
• Marco Híbrido: Combina exitosamente la fuerza del aprendizaje supervisado (para la estructura del espacio latente) con la robustez de la detección de anomalías débilmente supervisada (para la estimación de fondo basada en datos reales).

En conclusión, el trabajo demuestra que un espacio latente "consciente de la señal", construido mediante aprendizaje contrastivo supervisado y regularizado, es una herramienta poderosa para elevar la sensibilidad de las búsquedas de nueva física desde niveles inaccesibles hasta el régimen de descubrimiento.