Confidence, Statistical Evidence and Relative Belief with Applications to a Problem in Particle Physics

Este artículo aplica inferencias de creencia relativa, las cuales satisfacen tanto el ordenamiento de verosimilitud bayesiano como los requisitos de confianza frecuentistas, para construir intervalos de incertidumbre para un modelo de señal con fondo de Poisson en física de partículas, demostrando sus ventajas sobre el enfoque estándar de Feldman-Cousins.

Lo esencial

Imagina que eres un detective tratando de resolver un misterio en una habitación muy ruidosa. El "misterio" es si se ha creado una nueva y rara partícula en un experimento de física. El "ruido" es la radiación de fondo que siempre está ahí, incluso cuando no está pasando nada nuevo.

Este artículo, escrito por Michael Evans y Siqi Zheng, trata sobre cómo distinguir entre un descubrimiento real y simplemente ruido aleatorio, y cómo medir qué tan seguros podemos estar de esa respuesta.

Aquí está el desgón de su argumento utilizando analogías simples:

1. El objetivo: Encontrar la señal en el ruido

En la física de partículas, los científicos cuentan eventos. A veces ven muchos eventos. ¿Es porque se encontró una nueva partícula (la Señal) o simplemente porque el ruido de fondo se hizo más fuerte (el Fondo)?

Los autores argumentan que el trabajo principal de la estadística no es solo dar un número; es revelar evidencia. Se preguntan: ¿Los datos realmente apuntan hacia una nueva partícula, o es solo un golpe de suerte?

2. La forma antigua: El intervalo "Feldman-Cousins"

Durante mucho tiempo, los físicos han utilizado un método llamado Intervalo de Confianza de Feldman-Cousins (FCCI).

• La analogía: Imagina que estás tratando de adivinar el peso de un objeto oculto. El FCCI es como una red de seguridad. Dice: "Si repitiéramos este experimento 100 veces, 95 de esas redes atraparían el peso real".
• El problema: Los autores argumentan que, si bien esta red es buena para atrapar la verdad a largo plazo, no siempre te dice lo que los datos actuales están diciendo realmente.
  • A veces, la red incluye pesos que los datos dicen que son improbables (violando el "ordenamiento de verosimilitud").
  • A veces, la red se comporta de manera extraña. Por ejemplo, si ves cero eventos, el FCCI podría hacerse más pequeño si asumes que el ruido de fondo es mayor. Los autores dicen que esto no tiene sentido: si no ves nada, tu incertidumbre sobre la nueva partícula no debería reducirse solo porque crees que el ruido de fondo es más fuerte.

3. La nueva forma: "Creencia Relativa" y la "Región Plausible"

Los autores proponen un enfoque diferente llamado Creencia Relativa.

• La analogía: Imagina que tienes una corazonada (una Previa) sobre dónde podría estar la nueva partícula. Luego, obtienes nuevos datos (la Evidencia).
  • La Creencia Relativa pregunta: "¿Cuánto cambió mi corazonada después de ver los datos?".
  • Si los datos hacen que un valor específico sea mucho más probable de lo que era antes, eso es evidencia a favor.
  • Si los datos hacen que un valor sea mucho menos probable, eso es evidencia en contra.
• La Región Plausible: Este es el nuevo "intervalo" de los autores. Es una lista de todos los valores que los datos han aumentado en nuestra creencia.
  • Piensa en ello como una "Lista de sospechosos". La Región Plausible solo incluye sospechosos que la evidencia ha hecho más probables que antes de que comenzara la investigación.
  • Si un sospechoso está en la lista, los datos lo apoyan. Si no lo está, los datos no lo apoyan.

4. Por qué la nueva forma es mejor (según el artículo)

Los autores afirman que la Región Plausible es superior para la ciencia por tres razones principales:

1. Respeta la evidencia: La Región Plausible es siempre una "Región de Verosimilitud". Esto significa que nunca incluye un valor que los datos digan que es menos probable que otro valor fuera de la región. El antiguo FCCI a veces rompe esta regla.
2. Evita el absurdo: El FCCI a veces puede producir un resultado que cubre todos los valores posibles (todo el espacio de parámetros). Los autores dicen que esto es absurdo porque si dices "podría ser cualquier cosa", no has aprendido nada. La Región Plable nunca hace esto; siempre reduce las opciones basándose en lo que los datos realmente apoyan.
3. Maneja mejor el ruido: En sus ejemplos, cuando el ruido de fondo es alto o desconocido, la Región Plausible se mantiene estable y lógica. El FCCI, sin embargo, puede comportarse de manera errática (como reducirse cuando no debería).

5. Verificando el trabajo: "Sesgo" y "Fiabilidad"

Los autores saben que a los científicos les preocupa la fiabilidad (preocupaciones frecuentistas). No se limitan a decir: "Confíen en nuestras matemáticas". También realizan "Verificaciones de Sesgo".

• La analogía: Antes de ir a un viaje de pesca, revisas tu bote para asegurarte de que no se hundirá.
• La verificación: Calculan, antes de realizar el experimento, qué tan seguido podría fallar su método.
  • Sesgo en contra: ¿Qué tan seguido perdemos un descubrimiento real?
  • Sesgo a favor: ¿Qué tan seguido afirmamos un descubrimiento cuando no hay uno?
• Muestran que, al elegir la cantidad adecuada de datos (tamaño de la muestra), pueden hacer que estos errores sean muy pequeños, asegurando que su "Región Plausible" sea fiable, al igual que los métodos antiguos, pero sin los fallos lógicos.

6. Prueba del mundo real: El experimento de neutrinos

El artículo pone a prueba esto en un experimento histórico real (Karmen II) donde los científicos buscaban oscilaciones de neutrinos.

• El resultado: En la primera parte del experimento, los datos eran débiles y los resultados dependían mucho de las suposiciones iniciales. Pero a medida que llegaban más datos, la "Región Plausible" se estabilizó y dio una respuesta clara: No había evidencia de una señal.
• Los autores señalan que su método manejó el "ruido de fondo" (que era incierto) de una manera mucho más natural de lo que los antiguos métodos podrían haberlo hecho.

Resumen

El artículo argumenta que, si bien el método antiguo de "Intervalo de Confianza" es bueno para las tasas de error a largo plazo, a menudo falla al representar con precisión lo que los datos actuales nos están diciendo.

Los autores proponen la Creencia Relativa como una herramienta mejor. Crea una Región Plausible que sigue estrictamente la lógica de la evidencia: solo incluye los valores que los datos han hecho más creíbles. Demuestran que este método no solo es lógicamente sólido, sino también lo suficientemente fiable como para satisfacer los estrictos estándares científicos, convirtiéndolo en una mejor forma de reportar descubrimientos en la física de partículas.

Resumen técnico

Resumen Técnico: Confianza, Evidencia Estadística y Creencia Relativa con Aplicaciones a un Problema en Física de Partículas

Planteamiento del Problema
El artículo aborda la dificultad fundamental en el análisis estadístico de la definición y cuantificación de la "evidencia estadística", particularmente en el contexto de experimentos de física de partículas que involucran conteos con distribución de Poisson con ruido de fondo. Los autores critican el uso predominante de los Intervalos de Confianza de Feldman-Cousins (FCCI) y otras regiones de confianza frecuentistas. Si bien estos métodos satisfacen los requisitos de cobertura de muestreo repetido (frecuentistas), los autores argumentan que no logran representar adecuadamente la evidencia estadística. Específicamente, los FCCI pueden violar el orden de la verosimilitud (excluyendo valores de parámetros con una verosimilitud mayor que los incluidos) y pueden producir regiones "impropias" (por ejemplo, cubriendo todo el espacio de parámetros o excluyendo valores respaldados por los datos) cuando los parámetros están restringidos (por ejemplo, $\lambda \ge 0$). El problema central es reconciliar el objetivo de evidencia de revelar qué indican los datos con el objetivo conductual de asegurar la fiabilidad de la inferencia bajo el muestreo repetido.

Metodología: Inferencia de Creencia Relativa
Los autores proponen y aplican la Inferencia de Creencia Relativa, un marco bayesiano fundamentado en el Principio de Evidencia. Este principio establece que existe evidencia a favor de una hipótesis $H$ si la probabilidad posterior supera la probabilidad a priori ($P(H|data) > P(H)$), y evidencia en contra si la posterior es menor.

Componentes metodológicos clave:

1. Razón de Creencia Relativa (RB): Definida como $RB(\psi | x) = \frac{\pi(\psi|x)}{\pi(\psi)} = \frac{m(x|\psi)}{m(x)}$, donde $\pi$ es la distribución a priori, $\pi(\cdot|x)$ es la posterior y $m$ es la verosimilitud marginal.
   • $RB > 1$: Evidencia a favor.
   • $RB < 1$: Evidencia en contra.
   • $RB = 1$: Sin evidencia en ningún sentido.
2. Región Plausible: El conjunto de valores de parámetros donde $RB > 1$. Esta región está garantizada para ser una región de verosimilitud (que respeta el orden de la verosimilitud) y contiene todos los valores con evidencia a su favor.
3. Estimación: El valor que maximiza la RB, el cual coincide con la Estimación de Máxima Verosimilitud (MLE) bajo el modelo marginal.
4. Cálculos de Sesgo: Para abordar la fiabilidad frecuentista, los autores emplean cálculos de sesgo a priori:
   • Sesgo en Contra: La probabilidad a priori de no encontrar evidencia a favor de un valor verdadero (análogo al error Tipo I).
   • Sesgo a Favor: La probabilidad a priori de encontrar evidencia a favor de un valor falsamente significativo (análogo al error Tipo II).
     Estos se utilizan en el diseño experimental para seleccionar tamaños de muestra que aseguren inferencias fiables.
5. Verificación de Conflicto Prior-Datos: La metodología incluye una verificación (Evans y Moshonov, 2006) para asegurar que la distribución a priori no sitúe al parámetro verdadero en las colas de la distribución a priori respecto a los datos observados. Si se detecta un conflicto, la distribución a priori se modifica.

Aplicación a la Física de Partículas
La metodología se aplica al problema de la detección de una nueva señal de partícula ($\lambda$) en medio de un ruido de fondo ($b$), modelado como $X \sim \text{Poisson}(\lambda + b)$. Se analizan dos escenarios:

1. Fondo Conocido ($b$ es conocido): Se coloca una distribución Gamma sobre $\lambda$. Se construye el intervalo plausible y se evalúan sus propiedades de cobertura frecuentista y de sesgo.
2. Fondo Desconocido ($b$ es desconocido): Se colocan distribuciones Gamma independientes tanto para $\lambda$ como para $b$. Se integra el parámetro de molestia $b$ para formar un modelo marginal para $\lambda$. Se aplica el mismo marco de creencia relativa.

Resultos Clave

• Violación del Orden de Verosimilitud por parte de FCCI: El artículo demuestra, mediante ejemplos (incluyendo modelos discretos y medias normales), que los FCCI a menudo violan el orden de la verosimilitud. Por ejemplo, un FCCI puede excluir un valor de parámetro $\theta_3$ mientras incluye un $\theta_2$, incluso cuando la verosimilitud de los datos es mayor bajo $\theta_3$ que bajo $\theta_2$.
• Propiedad de las Regiones Plausibles: A diferencia de los FCCI, las regiones plausibles derivadas de la creencia relativa nunca son iguales a todo el espacio de parámetros (a menos que la verosimilitud sea plana, en cuyo caso la región es vacía). Estas respetan estrictamente el orden de la verosimilitud.
• Comparación de Desempeño:
  • En simulaciones con fondo conocido, el intervalo plausible logra niveles de confianza frecuentista comparables a los de los FCCI (por ejemplo, >90% para $n=10$) manteniendo la propiedad de ser una región de verosimilitud.
  • El intervalo plausible exhibe un "sesgo a favor" significativamente menor (probabilidad de cubrir valores falsamente significativos) en comparación con los FCCI a través de varios tamaños de muestra y umbrales de diferencia significativa ($\delta$).
  • Los FCCI exhiben sensibilidad a la tasa de fondo $b$ cuando se observan cero eventos (el límite superior disminuye a medida que $b$ aumenta), un comportamiento que el intervalo plausible evita.
• Aplicación en el Mundo Real (Karmen II): El método se aplicó a los datos de oscilación de neutrinos de Karmen II. Utilizando una estrategia bayesiana secuencial, el intervalo plausible se estabilizó robustamente tras el segundo experimento, confirmando una fuerte evidencia para la señal nula ($\lambda=0$) independientemente de los supuestos iniciales de la distribución a priori. Los autores señalan que una comparación directa con FCCI es estructuralmente inapropiada aquí debido a la naturaleza secuencial de los datos y al tratamiento de $b$ como un parámetro de molestia.

Significancia y Reivindicaciones
El artículo sostiene que las inferencias de creencia relativa ofrecen un marco más apropiado para los contextos científicos que las regiones de confianza tradicionales porque abordan directamente la definición de evidencia.

• Evidencia vs. Error: Los autores argumentan que, mientras que las regiones de confianza están diseñadas para medir tasas de error (conductuales), no necesariamente reflejan la evidencia. Las regiones de creencia relativa satisfacen el Principio de Evidencia (Teorema 1), asegurando que cualquier intervalo reportado respete el orden de la verosimilitud.
• Integración de Enfoques: La metodología combina con éxito el enfoque de evidencia (inferencia basada en el cambio de creencia) con el enfoque conductual (diseño basado en el control de sesgo). Los cálculos de sesgo a priori aseguran que las inferencias resultantes sean fiables bajo el muestreo repetido, satisfaciendo los requisitos frecuentistas sin sacrificar la coherencia de la interpretación de evidencia.
• Robustez: El enfoque es robusto a la elección de la distribución a priori, siempre que no exista un conflicto entre la distribución a priori y los datos. La inclusión de la verificación de conflictos y la capacidad de modificar la distribución a priori asegura que las inferencias sean impulsadas por los datos y no por elecciones subjetivas de la distribución a priori.

En conclusión, los autores postulan que la región plausible, derivada de la creencia relativa, proporciona un resumen de evidencia superior para los problemas de física de partículas (y la inferencia estadística general) al asegurar que los intervalos reportados sean consistentes con la función de verosimilitud y que su fiabilidad sea cuantificada y controlada durante la fase de diseño experimental.