How to pick the best anomaly detector?

Este artículo presenta la métrica ARGOS basada en datos, una herramienta teóricamente fundamentada y empíricamente robusta para seleccionar los modelos de detección de anomalías más sensibles de manera agnóstica al modelo, demostrando su superioridad sobre métricas existentes como la pérdida de entropía cruzada binaria en tareas tales como el ajuste de hiperparámetros y la selección de características.

Lo esencial

Imagina que eres un detective intentando encontrar a un ladrón único, diminuto e invisible que se esconde en medio de una multitud masiva de 1.000.000 de personas inocentes. Esto es esencialmente lo que los físicos en el Gran Colisionador de Hadrones (LHC) hacen cuando buscan "nueva física" (como una nueva partícula) escondida dentro de un mar de datos ordinarios.

El problema no es solo encontrar al ladrón; es que no saben qué aspecto tiene el ladrón. No pueden decir: "Busquen a un tipo con un sombrero rojo". En su lugar, tienen que usar programas informáticos (detectores de anomalías) para detectar a cualquiera que parezca raro o fuera de lugar en comparación con la multitud.

Durante mucho tiempo, los científicos tuvieron un gran problema: ¿Cómo decidir qué programa informático es el mejor detective?

Normalmente, para probar a un detective, le darías una fila de criminales conocidos y verías quién los atrapa. Pero en este caso, los "criminales" (la nueva física) son desconocidos. Si pruebas a tu detective con un criminal falso, podrías elegir a un detective que es excelente atrapando a ese criminal falso específico, pero pésimo encontrando al criminal real.

Este artículo presenta una forma nueva y astuta de elegir al mejor detective sin necesidad de ver nunca al criminal. Lo llaman ARGOS.

La idea central: El "Modelo de Fondo" (Background Template)

Para entender ARGOS, imagina que tienes una multitud masiva de personas inocentes (el "Fondo"). También tienes un área específica donde es probable que el ladrón se esté escondiendo (la "Región de la Señal").

• La forma antigua (Pérdida BCE): Tradicionalmente, los científicos entrenaban a sus computadoras preguntándoles: "¿Puedes notar la diferencia entre este criminal falso y la multitud inocente?". Usaban una puntuación llamada "Entropía Cruzada Binaria" (BCE). El problema es que esta puntuación es como un profesor calificando a un estudiante en un examen cuyas respuestas ya conoce. La computadora se vuelve muy buena detectando diferencias diminutas y aleatorias entre la multitud y el criminal falso, pero falla al detectar la verdadera extrañeza del ladrón real. Es como un estudiante que memoriza las respuestas del examen pero reprueba el examen real.

• La nueva forma (ARGOS): ARGOS cambia las reglas del juego. En lugar de pedirle a la computadora que distinga entre dos grupos, le pregunta: "Si eliges al 10% de las personas más extrañas de la multitud, ¿cuántas de ellas están realmente en la 'Zona del Ladrón' en comparación con cuántas esperarías por puro azar?"

Piénsalo de esta manera:

1. Tienes un mapa de dónde debería estar el ladrón (la Región de la Señal).
2. Tienes un "Modelo de Fondo", que es un mapa perfecto de cómo luce la multitud inocente en esa misma área.
3. ARGOS verifica: "Si elijo a las personas con aspecto más sospechoso, ¿el número de personas que encuentro en la 'Zona del Ladrón' aumenta significativamente más de lo que se esperaría de la multitud inocente?"

Si la respuesta es "Sí, mucho más de lo esperado", ARGOS le da a ese detective una puntuación alta. Si la respuesta es "No, es solo ruido aleatorio", la puntuación es baja.

¿Por qué es mejor ARGOS?

Los autores probaron esta nueva métrica contra el estándar antiguo (BCE) utilizando tres tipos diferentes de "detectives" (modelos de aprendizaje automático) y tres formas diferentes de crear el mapa de la "multitud inocente".

Esto es lo que encontraron, usando analogías simples:

1. Elegir el mejor "Día de Entrenamiento" (Selección de Épocas)
Imagina entrenar a un detective durante 100 días. En el día 10, puede que esté bien. En el día 50, es excelente. En el día 90, puede que se confunda y empiece a ver fantasmas (sobreajuste o overfitting).

• La forma antigua: La puntuación BCE les decía que dejaran de entrenar en el día 20 porque la "puntuación de la prueba" parecía buena. Pero el detective en realidad solo estaba memorizando la prueba, no aprendiendo a detectar al ladrón.
• La nueva forma (ARGOS): ARGOS esperó hasta el día 50. Ignoró los detalles pequeños y confusos y se centró en el panorama general: "¿Estamos encontrando realmente más personas en la zona del ladrón?". Seleccionó con éxito los días en los que el detective era verdaderamente agudo.

2. Ajustar los parámetros del detective (Hiperparámetros)
Los detectives tienen ajustes (como qué tan sensibles son sus ojos).

• La forma antigua: Ajustar los parámetros para minimizar la "puntuación de la prueba" a menudo hacía que el detective fuera demasiado sensible al ruido. Marcaban a personas inocentes como sospechosas solo porque parpadeaban de forma diferente.
• La nueva forma (ARGOS): Ajustar los parámetros para maximizar ARGOS hizo que el detective fuera mejor ignorando el ruido y centrándose en las anomalías reales. Fue mucho más estable, especialmente cuando el "ladrón" era muy difícil de encontrar (señal baja).

3. Elegir al detective adecuado (Selección de Arquitectura)
A veces tienes que elegir entre un detective humano, un robot o un perro.

• La forma antigua: La puntuación BCE a menudo elegía el tipo de "detective" equivocado, lo que llevaba a resultados inconsistentes. A veces elegía un robot que era excelente en la prueba pero inútil en el campo.
• La nueva forma (ARGOS): Seleccionó consistentemente la arquitectura que mejor funcionaba en el escenario real, incluso cuando el mapa de la "multitud inocente" no era perfecto.

La prueba del "Mundo Real"

Los autores no hicieron esto solo con datos perfectos y ficticios. Utilizaron un conjunto de datos realista llamado "LHC Olympics", que simula las condiciones ruidosas y desordenadas de un experimento de física real.

Encontraron que incluso cuando el "Modelo de Fondo" (el mapa de la multitud inocente) no era perfecto, ARGOS seguía funcionando. Era robusto. No se confundía con el ruido.

La conclusión

El artículo afirma que ARGOS es la mejor herramienta que tenemos actualmente para elegir el mejor detector de anomalías para encontrar nueva física.

• Es "Agnóstico al Modelo": No le importa qué tipo de nueva física estés buscando. Solo busca cualquier cosa extraña.
• Es "Basado en Datos": No necesitas saber cómo es la señal para usarlo. Solo necesitas un buen mapa del fondo.
• Supera al estándar antiguo: En cada prueba que realizaron (elegir días de entrenamiento, ajustar parámetros, elegir modelos), ARGOS logró mejores resultados que la tradicional puntuación de "Entropía Cruzada Binaria".

En resumen, si estás tratando de encontrar una aguja en un pajar sin saber qué aspecto tiene la aguja, ARGOS es la nueva y más inteligente forma de elegir el imán que la encontrará.

Resumen técnico

Resumen Técnico: Selección del Mejor Detector de Anomalías mediante la Métrica ARGOS

Planteamiento del Problema
La rápida proliferación de métodos de aprendizaje automático (ML) agnósticos al modelo para la detección de anomalías en el Gran Colisionador de Hadrones (LHC) —tales como autoencoders y clasificadores débilmente supervisados— ha creado un desafío significativo: cómo seleccionar objetivamente el "mejor" detector de anomalías para un conjunto de datos dado sin depender de modelos de señal específicos. Actualmente, el campo carece de un enfoque sistemático para la optimización de modelos. Los investigadores suelen depender de métricas como la pérdida de Entropía Cruzada Binaria (BCE) o el Área Bajo la Curva (AUC), las cuales requieren etiquetas de verdad y señales de referencia. Sin embargo, en un escenario de detección de anomalías real, la señal es desconocida; depender de señales de referencia específicas para ajustar los modelos conlleva el riesgo de sesgar la búsqueda contra las señales reales presentes en los datos. En consecuencia, los análisis experimentales existentes a menudo carecen de una optimización sistemática de modelos, recurriendo por defecto a parámetros de las publicaciones originales del método o utilizando conjuntos pequeños de señales de referencia para el reajuste.

Metodología: La Métrica ARGOS
Para abordar esto, los autores introducen ARGOS (Above Random Gain Of SIC), una métrica totalmente impulsada por los datos diseñada para seleccionar el detector de anomalías más sensible. La métrica requiere únicamente los datos no etiquetados y una Plantilla de Fondo (BT) —una muestra de eventos que siguen la distribución del fondo del Modelo Estándar (SM) en la región de la señal (SR).

ARGOS se define como:
$$\text{ARGOS} = \frac{\epsilon_{SR}}{\sqrt{\epsilon_{BT}}} - \sqrt{\epsilon_{BT}}$$
donde $\epsilon_{SR}$ y $\epsilon_{BT}$ son las eficiencias de selección de eventos en la región de la señal y en la plantilla de fondo, respectivamente, para un determinado umbral de puntuación de anomalía.

El análisis teórico demuestra que, para una plantilla de fondo ideal, ARGOS es monotónico con la Característica de Mejora de Significancia (SIC), definida como $\text{SIC} = \epsilon_S / \sqrt{\epsilon_B}$. A diferencia de la SIC, que no puede calcularse para datos reales no etiquetados, la ARGOS es accesible utilizando únicamente los datos y la plantilla de fondo. Los autores argumentan que maximizar ARGOS maximiza efectivamente la sensibilidad a señales desconocidas, permitiendo simultáneamente la optimización del punto de trabajo del detector de anomalías.

Configuración Experimental
Los autores evaluaron ARGOS utilizando el conjunto de datos de R&D LHC Olympics 2020 (LHCO), que presenta $10^6$ eventos de fondo de dijets QCD y señales de resonancia $W'$ inyectadas ($m_{W'} = 3.5$ TeV). Probaron tres métodos distintos para la construcción de la plantilla de fondo:

1. Detector de Anomalías Idealizado (IAD): Utiliza eventos de fondo simulados (BT perfecta).
2. CWoLa Hunting: Utiliza datos de bandas laterales (sidebands) cortas adyacentes a la región de la señal.
3. CATHODE: Utiliza la estimación de densidad condicional para interpolar las distribuciones de las bandas laterales hacia la región de la señal.

Se emplearon tres arquitecturas de clasificador: Perceptrones Multicapa (MLP), HistGradientBoosting (HGB) y AdaBoost. El estudio se centró en la detección de anomalías resonantes débilmente supervisada, donde un clasificador distingue entre conjuntos de etiquetas mixtas.

Resultados Clave
El artículo compara ARGOS frente a la pérdida BCE estándar y la métrica supervisada de "max SIC" a través de cuatro tareas de optimización:

1. Selección de Épocas: Al seleccionar las mejores épocas de entrenamiento para el ensamblaje, los modelos optimizados mediante ARGOS superaron consistentemente a los seleccionados mediante BCE. La BCE a menudo falló en identificar las épocas óptimas, particularmente en inyecciones de señal bajas, debido a que está dominada por la clase de fondo mayoritaria y es propensa al sobreentrenamiento sobre fluctuaciones estadísticas. ARGOS, al centrarse en eventos de alta puntuación de anomalía, siguió mucho más de cerca la verdadera sensibilidad de la señal (max SIC).
2. Optimización de Hiperparámetros: En búsquedas aleatorias sobre espacios de hiperparámetros, ARGOS mostró una fuerte correlación con la verdadera max SIC, superando significativamente a la BCE. La optimización de la BCE a menudo condujo a configuraciones subóptimas que minimizaban la pérdida sobre las diferencias del fondo en lugar de mejorar la sensibilidad de la señal.
3. Selección de Arquitectura: Al elegir entre diferentes arquitecturas de clasificadores (NN vs. HGB vs. AdaBoost), ARGOS seleccionó arquitecturas que arrojaron un rendimiento casi idéntico al referente de max SIC supervisado. En contraste, la selección basada en BCE resultó en una mayor varianza de rendimiento y, en algunos casos (por ejemplo, CWoLa Hunting), seleccionó arquitecturas inferiores.
4. Selección de Características: Un estudio de prueba de concepto demostró que ARGOS podía identificar con éxito los conjuntos de características más sensibles (por ejemplo, razones de subjettiness extendido) sin conocimiento previo de la señal, seleccionando de manera fiable el conjunto "Extended 3" en inyecciones de señal altas.

Significancia y Reivindicaciones
Los autores afirman que ARGOS proporciona una base teórica sólida para la selección de modelos en la detección de anomalías, ofreciendo una alternativa robusta y basada en datos a las métricas que dependen de etiquetas de verdad. La principal significancia de este trabajo es la demostración de que ARGOS puede seleccionar robustamente el modelo de detección de anomalías más sensible, ajustar hiperparámetros y elegir arquitecturas sin introducir un sesgo de señal.

El artículo enfatiza que ARGOS no se limita al contexto de supervisión débil probado, sino que es aplicable a cualquier método de detección de anomalías (incluyendo autoencoders y estimadores de densidad) siempre que se disponga de una plantilla de fondo. Concluyen que, si bien actualmente es más efectivo con plantillas de fondo precisas, representa un paso crítico hacia una optimización sistemática y agnóstica al modelo en las búsquedas de física de altas energías. Señalan que se requiere trabajo futuro para estudiar los posibles sesgos introducidos por plantillas de fondo imperfectas en las tareas de selección de características.