Sensitivity to New Physics Phenomena in Anomaly Detection: A Study of Untunable Hyperparameters

Este artículo evalúa sistemáticamente la sensibilidad de cuatro métodos de detección de anomalías semisupervisados ante hiperparámetros no ajustables en la búsqueda de física más allá del Modelo Estándar y propone una prueba de permutación no paramétrica robusta para la evaluación estadística.

Lo esencial

Imagina que eres un detective intentando encontrar a un ladrón único, diminuto e invisible en una multitud masiva de 10 millones de personas inocentes. No sabes qué aspecto tiene el ladrón, no sabes qué lleva puesto, e incluso ignoras si realmente está allí. Solo sabes cómo son las personas "normales".

Esto es exactamente el desafío que enfrentan los físicos de partículas en el Gran Colisionador de Hadrones (LHC). Chocan protones entre sí para crear una tormenta de partículas. La mayor parte del tiempo, estas partículas se comportan exactamente como predice el "Modelo Estándar" (el libro de reglas de la física). Pero a veces, una partícula nueva y desconocida podría aparecer: una señal de "Nueva Física". El objetivo es detectar a ese extraño sin saber de antemano qué aspecto tiene.

Este artículo es un estudio sobre cómo construir las mejores herramientas para "detectar diferencias" (llamadas algoritmos de Detección de Anomalías), específicamente centrándose en un problema espinoso: ¿Qué tanto importa el ajuste de la "perilla" interna de la herramienta si no puedes regularla?

Aquí está el desgino de sus hallazgos utilizando analogías sencillas:

1. Las Herramientas: Cuatro Formas Diferentes de Detectar al Ladrón

Los investigadores probaron cuatro algoritmos computacionales diferentes, cada uno con una forma distinta de entender lo que es "normal":

• Auto-Codificadores (AE) y Deep-SVDD: Piensa en estos como artistas de la memoria de alta tecnología. Han sido entrenados para memorizar los rostros de los 10 millones de personas inocentes. Cuando entra una persona nueva, el artista intenta dibujarla de memoria. Si el dibujo no se parece en nada a la persona real (un alto "error de reconstrucción"), el artista grita: "¡Anomalía!".
• Bosque de Aislamiento (iForest): Imagina un juego de "Cortar el Pastel". Sigues rebanando la multitud al azar. La gente normal está en el centro de la multitud, por lo que toma muchas rebanadas aislarlos. Un ladrón parado solo en el borde se aislaría con solo una o dos rebanadas. El algoritmo cuenta cuántos cortes tomó para aislar a una persona. Menos cortes = más sospechoso.
• Puntuación de Valores Atípicos basada en Histogramas (HBOS): Esto es como un censista. Cuenta cuántas personas caen en categorías específicas (por ejemplo, "con sombrero", "sosteniendo un bolso"). Si una persona cae en una categoría que está casi vacía, es marcada como una anomalía.

2. El Problema: Las Perillas "No Regulables"

Cada una de estas herramientas tiene un ajuste que es difícil de regular porque no tienes una "clave de respuestas de prueba" (ya que aún no sabes cómo es la nueva física).

• Para los Artistas de la Memoria, es el tamaño de su "cuaderno de bocetos" (cuántos detalles pueden recordar).
• Para el Cortador de Pasteles, es el número de rebanadas que se le permite hacer.
• Para el Censista, es cuántas categorías crea.

Los investigadores preguntaron: "Si cambiamos estos ajustes, ¿cambia drásticamente nuestra capacidad para encontrar al ladrón?"

3. Los Hallazgos: Una Estabilidad Sorprendente

El estudio encontró algo tranquilizador: las herramientas son sorprendentemente robustas.

• El Mito del "Punto Medio Ideal": Podrías pensar que existe un ajuste perfecto (ni muy grande, ni muy pequeño) para el cuaderno de bocetos o el número de rebanadas. Los investigadores descubrieron que, para la mayoría de las señales, esto no importa mucho. Ya sea que el cuaderno sea pequeño o enorme, el artista detecta al ladrón casi el mismo tiempo.
• Profundo vs. Superficial: Las herramientas más simples (iForest y HBOS) y las herramientas de aprendizaje profundo más complejas (AE y Deep-SVDD) se comportaron de manera similar. Las herramientas complejas no se volvieron mágicamente mucho mejores solo por ser más "profundas".
• La Regla de la "Mejor Característica": El estudio demostró que estos algoritmos inteligentes son básicamente tan buenos como la mejor medida física individual que podrías tomar (como "¿qué tan pesada es esta partícula?"). Logran encontrar al ladrón sin necesidad de que se les diga cuál es la mejor medida.

4. El Giro: Importa Cómo Midas el "Éxito"

Esta es la parte más crítica del artículo. Los investigadores probaron dos formas diferentes de juzgar si las herramientas estaban funcionando:

• Método A (La Puntuación Estándar): Utilizaron una puntuación estándar llamada ROC AUC. Esto es como un profesor calificando un examen donde conoce las respuestas correctas.
  • Resultado: Las herramientas se veían geniales, y los ajustes no importaban mucho.
• Método B (La Prueba del Mundo Real): Utilizaron una Prueba de Permutación con un nuevo estadístico llamado Cramér (Cr). Esto es como un juez mirando dos pilas de evidencia (una pila de personas conocidas como inocentes, una pila de datos mixtos) y preguntando: "¿Son estas dos pilas estadísticamente diferentes?".
  • Resultado: Aquí es donde las cosas se pusieron interesantes. Las herramientas de Aprendizaje Profundo (los Artistas de la Memoria) de repente se vieron mucho mejores que las herramientas simples.
  • ¿Por qué? Las herramientas simples dan puntuaciones que están "limitadas" (no pueden ser muy altas). Las herramientas profundas dan puntuaciones que pueden ser infinitamente altas si la anomalía es lo suficientemente extraña. La nueva prueba estadística (Cr) es muy buena captando estos valores atípicos extremos de "cola larga", mientras que la vieja puntuación estándar los pasaba por alto.

5. La Conclusión: No Apuestes a un Solo Caballo

El artículo concluye con algunos puntos clave para los físicos:

1. No te estreses demasiado por las "perillas": Dado que el rendimiento no cambia drásticamente con diferentes ajustes, no necesitas pasar años tratando de encontrar el ajuste perfecto para tu detector de anomalías.
2. Usa la regla adecuada: Si quieres encontrar nueva física, no uses solo la "puntuación de prueba" estándar (ROC AUC). Usa la nueva prueba estadística (Cramér) porque es mejor para detectar los valores atípicos extremos y extraños que las herramientas de aprendizaje profundo encuentran.
3. Combina tus herramientas: Diferentes herramientas detectan cosas diferentes. El "Artista de la Memoria" (AE) y el "Buscador de Centros Profundos" (Deep-SVDD) a veces detectan tipos de anomalías distintos. Usarlos juntos es mejor que usar solo uno.

En resumen: El artículo nos dice que estas herramientas de detección de anomalías son sólidas y confiables. No necesitan una regulación perfecta para funcionar, pero sí necesitan la "regla" estadística adecuada para medir su éxito, y usar una combinación de diferentes herramientas ofrece la mejor oportunidad de atrapar al ladrón invisible.

Resumen técnico

Resumen Técnico: Sensibilidad a Fenómenos de Nueva Física en la Detección de Anomalías

Planteamiento del Problema
La búsqueda de física más allá del Modelo Estándar (BSM) en experimentos de colisionadores depende cada vez más de estrategias independientes del modelo para evitar omitir señales inesperadas. Aunque las técnicas de Detección de Anomalías (AD) se han estudiado extensamente para identificar desviaciones de las distribuciones del Modelo Estándar (SM), la sensibilidad de estos métodos a los hiperparámetros "no ajustables" no ha sido comparada sistemáticamente. En entornos semi-supervisados, donde los modelos se entrenan únicamente con datos de fondo del SM sin acceso a etiquetas de señal, los hiperparámetros como las dimensiones del espacio latente o el número de bins no pueden optimizarse mediante métricas de validación estándar. Consecuentemente, existe una falta de comprensión sobre cómo estos parámetros fijos influyen en la capacidad de los modelos de AD para detectar nueva física. Además, la interpretabilidad estadística sigue siendo un desafío, ya que las puntuaciones de anomalía carecen de medidas de significancia bien definidas para búsquedas agnósticas a la señal.

Metodología
Este estudio investiga cuatro métodos de AD semi-supervisados entrenados exclusivamente con eventos de fondo del SM simulados (colisiones protón-protón a $\sqrt{s}=13$ TeV, con dos leptones, un jet de fondo y una $H_T$ grande). Los métodos evaluados incluyen:

1. Auto-Encoders (AE): Redes neuronales profundas entrenadas para minimizar el error de reconstrucción.
2. Deep Support Vector Data Description (Deep-SVDD): Redes profundas que mapean los datos a una hiperesfera para minimizar la distancia desde un centro.
3. Histogram-based Outlier Score (HBOS): Un método superficial que estima la densidad de probabilidad mediante histogramas de características.
4. Isolation Forest (iForest): Un método basado en árboles que aísla anomalías mediante particiones aleatorias.

Los modelos fueron probados contra seis diversos benchmarks de BSM (Quarks de tipo vectorial pesados, Cambio de Flavour Neutro, Radión de Randall-Sundrum, Modelo de Dos Higgs Doble y Modelo Simétrico Izquierda-Derecha).

El análisis procede en dos etapas:

1. Sensibilidad de Hiperparámetros: Los autores evalúan la sensibilidad de cada método a hiperparámetros específicos no ajustables (p. ej., dimensión del espacio latente para AE/Deep-SVDD, número de estimadores para iForest, número de bins para HBOS) utilizando el Área Bajo la Curva de la Característica de Operación del Receptor (ROC AUC) como métrica de discriminación.
2. Significancia Estadística: Para abordar la falta de etiquetas de señal en búsquedas reales, el artículo propone una prueba de permutación no paramétrica utilizando estadísticas agnósticas a la señal. Se introducen dos estadísticas de prueba:
   • $M_\Delta$: La diferencia máxima entre las funciones de distribución acumulativa empíricas (eCDF), inspirada en la prueba de Kolmogorov-Smirnov.
   • Estadístico de Cramér ($Cr$): La integral de la diferencia al cuadrado entre las eCDF, notable por su sensibilidad a las colas de las distribuciones.
     La prueba de permutación evalúa la hipótesis nula ($H_0$) de que la muestra de análisis (datos) y la muestra de control (simulación SM) se originan de la misma distribución.

Contribuciones Clave

• Análisis Sistemático de Hiperparámetros: El artículo proporciona un estudio comparativo de cómo los hiperparámetros no ajustables afectan el rendimiento de cuatro arquitecturas distintas de AD a través de múltiples escenarios de BSM.
• Desacoplamiento de la Reconstrucción y la Sensibilidad: El estudio demuestra que para los Auto-Encoders, una mejor calidad de reconstrucción del fondo (medida por $R^2$) no necesariamente se correlaciona con una mejor discriminación de la señal. La sensibilidad depende de la diferencia relativa en el error de reconstrucción entre la señal y el fondo, más que en la calidad absoluta de la reconstrucción del fondo.
• Marco Estadístico Agnóstico a la Señal: Los autores introducen un marco de prueba estadística robusto utilizando pruebas de permutación y el estadístico $Cr$. Esto permite la evaluación de evidencia de nueva física sin conocimiento previo de la hipótesis de la señal, abordando las limitaciones del ROC AUC en contextos agnósticos a la señal (p. ej., insensibilidad a distribuciones simétricas).

Resultados

• Estabilidad de Hiperparámetros: En la mayoría de los signals BSM y métodos de AD, la elección de hiperparámetros no ajustables resultó en una variación insignificante en el ROC AUC. Los métodos semi-supervisados generalmente funcionaron tan bien como la característica única más discriminante para cada señal, independientemente de la configuración específica de los hiperparámetros.
• Divergencia de Métricas: Aunque los métodos superficiales (HBOS, iForest) a menudo superaron al Deep-SVDD en términos de ROC AUC, la prueba de permutación utilizando el estadístico $Cr$ reveló que los métodos de aprendizaje profundo (AE y Deep-SVDD) lograron p-valores más bajos (mayor sensibilidad) para muchos signals. Esta discrepancia se atribuye a la naturaleza de cola larga de las puntuaciones de anomalía de aprendizaje profundo, que el estadístico $Cr$ captura efectivamente, mientras que las puntuaciones acotadas de los métodos superficiales y el estadístico $M_\Delta$ no lo hacen.
• Eficacia del Estadístico de Prueba: El estadístico $M_\Delta$ no logró producir evidencia de nuevos fenómenos (p-valores medianos $> 0.05$) en todos los signals y métodos. En contraste, el estadístico $Cr$ identificó con éxito desviaciones, particularmente para los modelos de aprendizaje profundo, resaltando la importancia crítica de seleccionar un estadístico de prueba apropiado para el dominio del discriminante.
• Complementariedad: Los resultados indican una complementariedad de sensibilidad entre AE y Deep-SVDD, sugiriendo que diferentes métodos de AD capturan distintas nociones de anomalías.

Significancia y Afirmaciones
El artículo afirma que la elección de hiperparámetros no ajustables en modelos de AD semi-supervisados impacta significativamente la sensibilidad de la búsqueda, aunque este impacto no siempre es monótono o predecible mediante métricas estándar como ROC AUC. Los autores argumentan que depender de un solo modelo o métrica es insuficiente; en su lugar, deben explorarse estrategias que agreguen resultados de modelos con diversos hiperparámetros.

Crucialmente, el trabajo establece una vía para búsquedas puramente semi-supervisadas mediante la introducción de una prueba estadística capaz de rechazar la hipótesis de "solo SM" sin supuestos específicos de la señal. Los autores concluyen modestamente que, si bien su prueba de permutación y el estadístico $Cr$ ofrecen un método robusto para cuantificar desviaciones, el teorema de "no hay almuerzo gratis" se aplica: ningún modelo de AD o configuración de hiperparámetros único supera a todos los demás para cada tarea, lo que requiere enfoques metodológicos diversos en futuras búsquedas.