Confidence intervals for the Poisson distribution

Este artículo busca mitigar la confusión existente entre los físicos sobre la descripción de resultados de muestreo Poisson comparando diversos métodos y recomendando el uso de los intervalos de confianza propuestos por Garwood debido a su comportamiento intuitivo y tratamiento consistente.

Lo esencial

¡Hola! Imagina que eres un detective en un laboratorio de física. Tu trabajo es contar cosas muy raras: partículas que aparecen de vez en cuando, como luciérnagas en una noche oscura. A veces ves muchas, a veces pocas, y a veces... ¡nada!

El problema es que estas "luciérnagas" (los datos) siguen unas reglas matemáticas un poco caprichosas llamadas distribución de Poisson. Y aquí es donde entra el caos: los físicos llevan años discutiendo sobre cómo contar y reportar estas luciérnagas de manera que todos entiendan lo que realmente pasó.

Este artículo es como un manual de instrucciones para poner orden en ese caos. El autor, Frank Porter, nos dice: "Oigan, hay demasiada confusión. Vamos a decidir cuál es la mejor manera de contar estas luciérnagas sin inventar historias falsas".

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

1. El Gran Conflicto: "Describir" vs. "Adivinar"

Imagina que lanzas una moneda al aire y sale "cara".

• La forma de "Describir" (La favorita del autor): Decir: "Lanzaste la moneda y salió cara. Aquí tienes un rango de posibilidades de lo que podría haber pasado si hubiéramos lanzado la moneda mil veces más". Es un reporte objetivo de lo que viste.
• La forma de "Adivinar" (Interpretación): Decir: "¡Estoy 95% seguro de que la moneda está trucada!". Esto es un salto de fe.

El autor dice: Dejemos de adivinar y empecemos a describir. En la ciencia, primero debemos ser honestos sobre lo que vimos (descripción) antes de intentar decir qué significa realmente (interpretación). Si mezclamos ambas cosas, terminamos con conclusiones confusas.

2. El Problema de las "Reglas del Juego"

Para contar estas luciérnagas, los físicos usan "Intervalos de Confianza". Imagina que es como lanzar una red para atrapar la verdad.

• Si la red es muy pequeña, puedes atrapar la verdad, pero a veces se te escapa (es arriesgado).
• Si la red es enorme, siempre atrapas la verdad, pero es tan grande que no te dice mucho (es aburrido y poco útil).

El autor revisa muchas formas diferentes de hacer estas redes (métodos estadísticos) y las pone a prueba. ¿Cuál es la mejor?

3. Las Candidatas a la Medalla de Oro

El autor examina varias "redes" propuestas por diferentes escuelas de pensamiento:

• Las redes "Bayesianas": Son como usar una intuición previa. "Creo que no hay muchas luciérnagas, así que mi red empieza pequeña". El autor dice: "No, eso es adivinar. Queremos ser objetivos".
• Las redes "Feldman-Cousins" (muy populares en física): Son inteligentes, pero a veces hacen trampa. Si ves muy pocas luciérnagas, la red se encoge hasta casi desaparecer, dando la falsa impresión de que tienes una precisión milimétrica cuando en realidad solo tuviste mala suerte. Es como decir que tienes un mapa perfecto de un desierto cuando en realidad solo has dado dos pasos.
• Las redes "Garwood" (La ganadora): Esta es la red clásica, un poco más grande y "conservadora".

4. ¿Por qué gana la red "Garwood"?

El autor prueba todas las redes con una serie de pruebas de estrés (como si fueran un coche en una carrera de obstáculos):

1. ¿Son justas? (¿Atrapan la verdad el 95% de las veces?).
2. ¿Son lógicas? (¿Si veo más luciérnagas, la red se hace más grande de forma ordenada?).
3. ¿Dan resultados sensatos? (¿Si cambio un poco la hipótesis, el resultado cambia de forma brusca y extraña?).

El veredicto:
La mayoría de las redes modernas intentan ser más pequeñas y precisas, pero a cambio de romper la lógica. A veces, si cambias un poquito el número de confianza (de 95% a 96%), la red salta de golpe, o el resultado se vuelve ilógico. Es como si un termómetro dijera 20°C y, al subir un grado, dijera 50°C de golpe. ¡Eso no sirve!

La red Garwood es un poco más "gorda" (tiene un margen de error un poco más grande), pero es sólida, lógica y honesta.

• Nunca te da resultados que no tengan sentido.
• Si cambias un poco los números, el resultado cambia suavemente.
• Si ves más datos, la red se ajusta de forma ordenada.

5. La Analogía del "Corte de la Pizza"

Imagina que quieres cortar una pizza (tus datos) para compartirla.

• Algunos métodos dicen: "¡Cortemos la pizza en trozos perfectos y pequeños!". Pero si intentas cortar la pizza de forma muy precisa, a veces te quedas sin pizza en la mesa (intervalos vacíos o negativos) o te cortas el dedo (resultados ilógicos).
• El método Garwood dice: "Cortemos la pizza en trozos un poco más grandes de lo necesario, pero asegúrate de que todos los trozos sean comestibles y que nadie se quede sin nada". Es un poco más de desperdicio (conservadurismo), pero es seguro y justo para todos.

6. La Conclusión Final

El autor nos da un consejo muy claro:

"Usad el método de Garwood."

¿Por qué? Porque en la ciencia, es mejor ser un poco más "conservador" (tener una red un poco más grande) a ser "inteligente" pero cometer errores que hagan que los resultados parezcan mágicos o falsos.

Además, el autor advierte sobre algo peligroso: No mezcles los resultados de diferentes experimentos simplemente promediando sus "redes". Es como intentar promediar dos mapas dibujados a mano sin saber cómo se dibujaron; el resultado final será un desastre. Si quieres promediar, debes volver a los datos crudos (las luciérnagas individuales) y hacer el cálculo desde el principio.

En resumen

Este artículo es un llamado a la honestidad estadística. Nos dice que dejemos de buscar el método más "elegante" o "pequeño" que nos dé resultados bonitos, y empecemos a usar el método que, aunque sea un poco más grande y aburrido, nunca miente y siempre se comporta bien.

La lección para la vida: A veces, es mejor tener una respuesta un poco más amplia pero segura, que una respuesta muy precisa que resulta ser falsa. ¡Mejor una red grande y honesta que una pequeña y trampa!

Resumen técnico

Resumen Técnico: Intervalos de Confianza para la Distribución de Poisson

1. Planteamiento del Problema

La distribución de Poisson es fundamental en las ciencias físicas, especialmente en experimentos de baja estadística (conteos escasos) como las búsquedas de nuevos fenómenos o partículas. A pesar de su simplicidad, existe una confusión considerable en la comunidad física sobre cómo describir correctamente los resultados obtenidos mediante muestreo de Poisson.

El autor identifica dos problemas centrales:

1. Distinción entre Descripción e Interpretación: Muchos métodos confunden la descripción objetiva del resultado de una medición (frecuentista) con la inferencia sobre el valor verdadero del parámetro (bayesiana o de "grado de creencia"). El objetivo de este trabajo es puramente descriptivo: proporcionar un marco para reportar el resultado de una observación sin hacer afirmaciones sobre la "verdad" del parámetro subyacente.
2. Elección del Método: Existen múltiples técnicas para construir intervalos de confianza (Garwood, Sterne, Feldman-Cousins, CLs, métodos bayesianos, etc.), cada una optimizando diferentes propiedades (longitud, cobertura, anidamiento), lo que lleva a resultados dispares y falta de consenso.

2. Metodología y Marco Teórico

El autor adopta un enfoque estrictamente frecuentista para la estadística descriptiva. Se definen las siguientes propiedades deseables para un intervalo de confianza en el contexto de Poisson:

• Exactitud (Exactness): El intervalo debe garantizar que la probabilidad de cobertura sea al menos $1-\alpha$ (no debe subcobrir). Se rechazan aproximaciones asintóticas (como la normal) para casos de baja estadística.
• Conectividad: El intervalo debe ser un rango continuo de valores.
• Contención del Estimador de Máxima Verosimilitud (MLE): El intervalo debe contener el valor $\hat{\theta} = n - b$ (donde $n$ es el conteo observado y $b$ el fondo conocido).
• Cobertura Óptima: Minimizar la sobre-cobertura (intervalos excesivamente grandes) sin violar la exactitud.
• Longitud: Preferencia por intervalos más cortos, pero con una escala intuitiva (proporcional a $\sqrt{n}$).
• Orden y Anidamiento: Si el nivel de confianza aumenta, el intervalo debe crecer (anidamiento estricto) y los límites deben ser funciones continuas y monótonas del nivel de confianza.
• Validez de los p-valores: Los p-valores derivados del intervalo deben ser continuos y bimonótonos (comportamiento intuitivo al variar la hipótesis nula).

Análisis Comparativo:
El autor evalúa exhaustivamente varios métodos:

• Métodos Convencionales: Intervalo de Garwood (fiducial), Sterne, Crow & Gardner, Blaker, Kabaila-Byrne, y pruebas de razón de verosimilitud (LR) y puntuación (Score).
• Métodos de Física de Partículas: Método CLs y Feldman-Cousins (FC).
• Métodos Bayesianos: Intervalos con priores uniformes y de Jeffreys (analizados bajo propiedades de frecuencia).
• Aproximaciones: Intervalos basados en $\sqrt{n}$.

3. Contribuciones Clave y Resultados

A. Defensa de la Estadística Descriptiva vs. Inferencial
El autor argumenta que la estadística frecuentista debe usarse para describir la medición (el dato observado $n$), no para inferir el valor verdadero $\theta$.

• Se permite evaluar la función de verosimilitud en regiones "no físicas" (ej. $\theta < 0$) para mantener la suficiencia estadística del estimador. Restringir el intervalo a valores físicos (como hace Feldman-Cousins) puede oscurecer la descripción de fluctuaciones negativas del fondo y reducir la utilidad descriptiva.
• Se critica el uso de métodos interpretativos (como CLs o FC) para la descripción pura, ya que introducen sesgos o comportamientos contra-intuitivos en la escala de precisión.

B. Evaluación de Métodos Específicos

• Intervalo de Garwood: Es exacto, conectado, estrictamente anidado, continuo en el nivel de confianza y produce p-valores bien comportados (continuos y bimonótonos). Sin embargo, tiende a sobre-cobrir (ser más conservador y largo) que otros métodos.
• Intervalos Crow & Gardner / Sterne / Blaker: Ofrecen una mejor cobertura (menor sobre-cobertura) y longitudes más cortas que Garwood. Sin embargo, sufren de defectos graves:
  • No garantizan el anidamiento estricto.
  • Los límites no son continuos ni monótonos respecto al nivel de confianza (un pequeño cambio en el CL puede cambiar drásticamente el intervalo).
  • Los p-valores derivados son discontinuos o mal definidos.
  • En algunos casos, excluyen el estimador de máxima verosimilitud.
• Método Feldman-Cousins (FC) y CLs:
  • FC: Diseñado para evitar la elección de intervalos unilaterales vs. bilaterales basada en el resultado. Sin embargo, en presencia de fondo, produce intervalos artificialmente pequeños (cercanos a cero) cuando ocurren fluctuaciones negativas, sugiriendo una precisión injustificada. Además, no es continuo respecto al nivel de confianza.
  • CLs: Es muy conservador (sobre-cubre significativamente) y está diseñado para exclusiones, no para descripción.
• Intervalos Bayesianos: No garantizan la cobertura frecuentista exacta y su interpretación depende de la elección del prior, lo cual no se ajusta al objetivo descriptivo objetivo.

C. El Problema del Promedio de Observaciones
El autor demuestra que promediar intervalos de confianza reportados (usando pesos inversos a la varianza estimada) es peligroso. Si se promedian intervalos de Garwood (que sobre-cubren), el intervalo resultante puede terminar sub-cubriendo severamente. La única forma correcta de promediar es volver a los conteos originales y las distribuciones de Poisson subyacentes, no a los intervalos ya calculados.

4. Recomendación Final y Conclusión

Tras analizar las compensaciones (trade-offs), el autor concluye que ningún método satisface todas las propiedades deseables simultáneamente. Sin embargo, se priorizan las propiedades de consistencia lógica y comportamiento intuitivo sobre la optimización de la longitud o la cobertura mínima.

• Recomendación: Se recomienda utilizar el Intervalo de Garwood para la descripción de resultados de muestreo de Poisson.
• Justificación:
  1. Es el único intervalo exacto de dos colas que garantiza anidamiento estricto y continuidad respecto al nivel de confianza.
  2. Proporciona p-valores bien comportados (continuos y bimonótonos), esenciales para una descripción coherente.
  3. Contiene siempre el estimador de máxima verosimilitud.
  4. Aunque es más largo (sobre-cubre) que otros métodos, este conservadurismo es preferible a los comportamientos erráticos (discontinuidades, p-valores no intuitivos) de los métodos "optimizados" como Crow & Gardner o Feldman-Cousins.
  5. Es el método predeterminado en herramientas estándar como MATLAB (poissfit) y R (poisson.exact), facilitando la reproducibilidad.

Significado:
El artículo proporciona un marco riguroso para resolver la confusión actual en la física de partículas y otras ciencias. Al enfatizar la distinción entre descripción y interpretación, y al abogar por la consistencia matemática (anidamiento, continuidad) sobre la mera eficiencia de longitud, el autor establece que el Intervalo de Garwood es la opción más robusta y menos propensa a malentendidos para reportar resultados de conteos de Poisson, incluso a costa de intervalos ligeramente más amplios.