Resumen Técnico: Definición de una Resolución Mínima para Análisis No Agrupados (Unbinned)

Planteamiento del Problema

Los análisis de colisionadores de alta energía (HEP) dependen cada vez más de modelos de Aprendizaje Automático (ML) para estimar procesos de fondo en espacios de características de alta dimensión y no agrupados (unbinned). Si bien estas técnicas mejoran el poder estadístico, introducen una vulnerabilidad crítica: la especificación errónea del modelo de fondo.

Cuando un modelo de fondo basado en datos o en simulación $p(x|\theta_b)$ no coincide perfectamente con el verdadero fondo $p_{true}(x)$, esto puede conducir a sesgos sistemáticos. Específicamente, si el modelo subestima la densidad de probabilidad en regiones donde el fondo y la señal se solapan (a menudo debido a artefactos de entrenamiento o sesgos arquitectónicos que "derraman" densidad hacia las colas), la razón de verosimilitud señal-fondo se sobreestima. Esto resulta en una falsa sobreestimación de la intensidad de la señal ($\hat{\mu}_s$), lo que puede conducir a falsos descubrimientos. Cuantificar y corregir estos sesgos es difícil porque suelen ser no gaussianos, difíciles de parametrizar y dependen de la distribución de entrenamiento específica del modelo de ML.

Metodología: Verosimilitud de Resolución Mínima (MRL)

El artículo propone el método de Verosimilitud de Resolución Mínima (MRL) como una solución conservadora para mitigar la sobreestimación de la señal causada por la modelización errónea del fondo. La filosofía central es intercambiar incertidumbres sistemáticas por incertidumbres estadísticas mediante la definición de una Región Fiducial de Señal (FSR) que excluye las regiones donde el modelo de fondo no es fiable.

La metodología procede de la siguiente manera:

1. Región de Calibración: Se requiere una región que contenga solo fondo (o una distribución más cercana al fondo real que el modelo). Esta región se utiliza para validar el modelo de fondo.
2. Comparación del Volumen de Verosimilitud: El método compara la distribución acumulada de los valores de verosimilitud del modelo de fondo, $L = p(x|\theta_b)$, entre:
   • Muestras generadas por el modelo de fondo (Toys).
   • Muestras de la Región de Calibración (que representan el verdadero fondo).
3. Determinación de $L_{min}$: Se define un umbral crítico de verosimilitud, $L_{min}$, que es el valor donde la discrepancia entre la función de supervivencia predicha por el modelo y la función de supervivencia del fondo real es máxima:
   $$L_{min} \equiv \arg \max_{L_c} | f(L_c | \theta_b) - f(L_c | true_b) |$$
   donde $f(L_c)$ es la fracción de eventos con verosimilitud mayor que $L_c$.
   • Interpretación: $L_{min}$ corresponde al "punto de cruce" donde el modelo de fondo transiciona de subestimar a sobreestimar la densidad del fondo. Los eventos con verosimilitudes por debajo de este umbral se consideran no fiables.
4. Región Fiducial de Señal (FSR): Los eventos en la Región de Señal con $p(x|\theta_b) < L_{min}$ son descartados. El análisis estadístico se realiza únicamente sobre los eventos restantes.
5. Verosimilitud Modificada: La función de verosimilitud extendida se redefine para incluir términos de eficiencia ($\epsilon$) que contabilizan la fracción de señal y fondo retenidos dentro de la FSR. Estas eficiencias se estiman utilizando la Región de Calibración y simulaciones de tipo "toy".

Contribuciones Clave

• Definición de MRL: Una prescripción formal para definir un corte basado en datos ($L_{min}$) que aísla la región donde el modelo de fondo es confiable, convirtiendo efectivamente las incertidumbres sistemáticas no cuantificables en incertidumbres estadísticas debidas a la reducción del tamaño de la muestra.
• Justificación Teórica: El artículo demuestra que $L_{min}$ corresponde matemáticamente al punto de cruce entre las regiones donde el modelo subestima y sobreestima el fondo, proporcionando un criterio robusto de exclusión.
• Integración con Parámetros de Nuisance: El marco acomoda parámetros de nuisance (por ejemplo, incertidumbres de forma) mediante el reponderado de la verosimilitud, permitiendo el perfilado incluso después de aplicar el corte FSR.
• Utilidad Diagnóstica: El método sirve como herramienta diagnóstica para identificar cuándo el sesgo de un modelo es lo suficientemente significativo como para invalidar un análisis, forzando una estimación conservadora (consistente con cero) en lugar de un descubrimiento sesgado.

Resultados

Los autores validan el método MRL utilizando dos ejemplos de tipo "toy" y una aplicación realista a búsquedas de di-Higgs utilizando la técnica HI-SIGMA.

Ejemplos Toy

1. Caso Gaussiano 1D:
   • Cuando la desviación estándar del modelo de fondo estaba mal especificada, un ajuste estándar sobreestimó significativamente la intensidad de la señal.
   • La aplicación de MRL redujo este sesgo, obteniendo estimaciones de la intensidad de la señal consistentes con el valor real (o cero para señales pequeñas), aunque con una mayor incertidumbre debido a la reducción del recuento de eventos.
   • Las pruebas de cobertura mostraron que, mientras que el ajuste sesgado fallaba en cubrir el parámetro real, el ajuste corregido por MRL restauraba la cobertura para señales moderadas a grandes, aunque seguía siendo conservador para señales muy pequeñas.
2. Caso Exponencial/Gaussiano 2D:
   • En un escenario 2D que imita la cinemática de di-Higgs, el modelo sesgado también condujo a una sobreestimación significativa de la señal.
   • MRL corrigió con éxito el sesgo en diferentes intensidades de señal. Sin embargo, para escenarios de señal "Rara" (baja estadística), el método fue altamente conservador, resultando frecuentemente en estimaciones consistentes con cero y subcobertura, lo que resalta el compromiso entre la eliminación del sesgo y el poder estadístico.

Aplicación Realista: HI-SIGMA (Búsqueda de Di-Higgs)

• El método se aplicó a un conjunto de datos de di-Higgs ($hh \to b\bar{b}\gamma\gamma$) utilizando Flujos Normalizantes condicionales (cNF) para la estimación del fondo.
• Sin Enmascaramiento (Masking): La aplicación inicial de MRL sin enmascaramiento de bandas laterales (sidebands) resultó en un corte excesivamente conservador que eliminó la mayor parte de los eventos de señal, provocando grandes incertidumbres y una pérdida de sensibilidad.
• Con Enmascaramiento: Al combinarse con una técnica de enmascaramiento de bandas laterales (previamente demostrada para mejorar HI-SIGMA), MRL eliminó eficazmente las regiones problemáticas de las bandas laterales. El ajuste resultante fue insesgado (o consistente con cero) con incertidumbres menores que un ajuste de solo masa, aunque mayores que el ajuste estándar de HI-SIGMA.
• Pseudo-experimentos: En un conjunto limitado de pseudo-experimentos, MRL evitó consistentemente los falsos descubrimientos en regímenes de baja señal, forzando la estimación de la intensidad de la señal a ser consistente con cero cuando el sesgo del fondo era demasiado severo para ser confiable.

Significado y Reivindicaciones

El artículo afirma que MRL ofrece un "parche" conservador para análisis no agrupados de alta dimensión donde los modelos de fondo son imperfectos. Su principal importancia radica en:

1. Mitigación del Sesgo: Evita el peligroso escenario de falsos descubrimientos de señal causados por la subestimación del fondo en la región de señal.
2. Compromiso de Incertidumbre: Intercambia explícitamente el sesgo sistemático del modelo por la incertidumbre estadística (reducción de la estadística efectiva), un intercambio que los autores argumentan es preferible a los errores sistemáticos no cuantificados.
3. Poder Diagnóstico: Proporciona una métrica cuantitativa ($L_{min}$ y la fracción de diferencia asociada) para evaluar la fiabilidad de un modelo de fondo antes de extraer conclusiones físicas.

Los autores son modestos respecto al alcance del método, señalando que no es una solución definitiva ("be-all, end-all"). Reconocen que para intensidades de señal muy bajas, el método puede ser demasiado conservador, pudiendo enmascarar señales reales. Sugieren que el trabajo futuro podría explorar cortes más suaves (enmascaramiento) en lugar de exclusiones estrictas y realizar más pruebas con mayor estadística para refinar la definición de $L_{min}$. Se prevé que el método sea aplicable no solo a fondos basados en datos, sino también como diagnóstico para la Inferencia Basada en Simulación (SBI) y tareas de Detección de Anomalías.