Either a Confidence Interval Covers, or It Doesn't (Or Does It?): A Model-Based View of Ex-Post Coverage Probability

Este artículo desafía la interpretación estrictamente comportista de los intervalos de confianza de Neyman, argumentando que es posible y coherente asignar probabilidades post-data a la cobertura de un intervalo individual mediante un enfoque basado en modelos predictivos.

Lo esencial

Imagina que eres un meteorólogo. Cada mañana, miras los datos y dices: "Hay un 80% de probabilidad de que llueva mañana". Si al día siguiente llueve, ¿podemos decir que tu predicción fue "correcta" o "incorrecta" en el sentido de que la lluvia tenía que caer?

Según la interpretación clásica y estricta de los Intervalos de Confianza (una herramienta estadística muy usada), la respuesta es un rotundo "no". La lógica tradicional dice: "Una vez que el día ha pasado y ha llovido, la lluvia o no llovió. No hay probabilidad. O cayó, o no cayó. Fin de la historia".

El autor de este artículo, Scott Lee, dice: "Espera un momento. Eso es demasiado rígido y nos está quitando herramientas útiles".

Aquí te explico la idea central del artículo usando analogías sencillas:

1. El Problema: La Regla del "O Sí o No"

En estadística, cuando calculamos un intervalo de confianza (digamos, para estimar la altura promedio de los árboles en un bosque), la regla tradicional nos dice:

• Antes de medir: "Este método funciona el 95% de las veces a largo plazo".
• Después de medir: "Ya tenemos el número. O el intervalo contiene la altura real o no. No podemos decir 'hay un 95% de probabilidad de que esté bien' porque ya sabemos el resultado (aunque no sepamos cuál es)".

Lee argumenta que esta regla, aunque matemáticamente "correcta" en un sentido muy estricto, es como decir: "Como ya compraste el boleto de lotería y el sorteo ya ocurrió, no tiene sentido hablar de tus probabilidades de ganar". Si aplicamos esta lógica a la vida real, nos volvemos inútiles.

2. Las Analogías del Autor (Los Experimentos Mentales)

Para demostrar que la regla estricta es problemática, Lee usa tres historias divertidas:

A. El Gato y los Premios (La Caja de Galletas)

Imagina una caja llena de galletas. Sabemos que el 75% son de marisco (el favorito del gato) y el 25% de pollo. El gato, Sophie, suele dormir si come marisco, pero no siempre.

• Pregunta: ¿Qué probabilidad hay de que Sophie duerma después de comer una galleta que sacamos de la caja?
• Respuesta Lógica: Calculamos un promedio basado en la caja (80% de probabilidad de que duerma).
• Respuesta "Estricta": La galleta ya es de marisco o de pollo. Como no sabemos cuál es, la probabilidad debería ser 0 o 1 (porque el hecho ya está decidido).
• El absurdo: Si seguimos la regla estricta, no podemos predecir si Sophie dormirá ni usar esa información para cuidarla. Pero en la vida real, usamos el 80% para tomar decisiones. La realidad es que, aunque el sabor de la galleta ya está fijo, nuestra ignorancia sobre ella sigue siendo real y medible.

B. El Chocolatero y la Máquina de Trufas

Imagina una máquina que rellena trufas de chocolate. A veces falla y deja la trufa vacía. Hay un sensor que detecta si están vacías, pero no es perfecto.

• El dilema: La máquina produce una trufa. El sensor aún no ha sonado. ¿Qué probabilidad hay de que la siguiente trufa esté bien llena?
• La paradoja: Si decimos "la trufa actual ya está llena o vacía", la probabilidad de la siguiente trufa cambia drásticamente dependiendo de cuál sea la actual. Pero como no sabemos cuál es, la única forma de tener una respuesta útil y coherente es usar la probabilidad de diseño (el promedio de la máquina), no la probabilidad "fija" de un evento que no hemos observado.

3. La Solución: Dos Niveles de "Mirada"

Lee propone que no debemos elegir entre "probabilidad" y "certeza", sino entender que hay dos niveles de información en el mismo modelo matemático:

1. El Nivel del Diseño (La Vista de Águila): Imagina que ves una película de la máquina funcionando durante 100 años. Ves que el 95% de las trufas salen bien. Este es el Intervalo de Confianza clásico. Es una promesa sobre el proceso a largo plazo.
2. El Nivel del Observador (La Vista de Cerca): Ahora estás en la fábrica, mirando una trufa específica que acaba de salir. No sabes si está bien llena. Tienes información parcial.
   • La estadística tradicional dice: "No puedes hablar de probabilidad aquí, solo de 0 o 1".
   • Lee dice: "¡Sí puedes! Tu probabilidad es una predicción basada en lo que sabes". Es como decir: "Basado en cómo funciona esta máquina y en que no he visto el resultado, mi mejor apuesta es que hay un 90% de chance de que esté bien".

4. ¿Por qué importa esto?

Si aceptamos la regla estricta ("o cubre o no cubre"), nos encontramos en situaciones ridículas:

• Un médico no podría decirle a un paciente: "Hay un 80% de probabilidad de que tengas gripe" después de un test positivo, porque "ya tienes gripe o no la tienes".
• Un científico no podría evaluar la calidad de un experimento recién terminado sin tener que esperar a ver el "resultado final" (que a veces nunca se conoce con certeza absoluta).

La conclusión de Lee es simple:
La estadística no es solo sobre lo que es en la realidad física (que es fija), sino sobre lo que sabemos y lo que podemos predecir basándonos en modelos.

Un intervalo de confianza no es solo una caja mágica que "funciona el 95% de las veces". Es también una herramienta de predicción. Cuando miramos un resultado ya obtenido, podemos (y debemos) decir: "Dado mi modelo y mis datos, tengo un cierto grado de confianza de que esto es correcto". No es un error decirlo; es una forma más rica y útil de entender la incertidumbre.

En resumen:
No tengas miedo de hablar de probabilidades incluso después de que los datos estén ahí. A veces, la "probabilidad" no es sobre si el evento es aleatorio (porque ya pasó), sino sobre cuánta información tenemos para entenderlo. La estadística debe servir para ayudarnos a tomar decisiones en un mundo donde no lo sabemos todo, no para decirnos que "ya no hay nada que calcular".

Resumen técnico

Resumen Técnico: Una Visión Basada en Modelos de la Probabilidad de Cobertura Post-Datos

1. El Problema

El artículo aborda una tensión fundamental en la inferencia frecuentista, específicamente en la interpretación de los Intervalos de Confianza (IC) introducidos por Jerzy Neyman en 1937.

• La Tesis Tradicional (Neyman): La justificación de un IC de nivel $1-\alpha$reside en sus propiedades de cobertura a largo plazo (frecuencia). Una vez que los datos se han observado y se ha generado un intervalo específico, la probabilidad de que cubra el parámetro$\theta$ (fijo pero desconocido) se considera degenerada: o es 1 (cubre) o es 0 (no cubre). Bajo esta visión, hacer afirmaciones probabilísticas post-datos (ex-post) sobre un intervalo individual se considera conceptualmente inválido o una falacia.
• La Tensión: Esta interpretación "o lo cubre o no" entra en conflicto con la práctica estadística real y la intuición. En escenarios del mundo real (como diagnósticos médicos o predicciones), los estadísticos frecuentistas calculan y utilizan probabilidades para eventos que ya han ocurrido pero cuyos resultados específicos no se han observado (ej. "¿Cuál es la probabilidad de que este paciente tenga gripe dado su resultado positivo?").
• La Pregunta Central: ¿Es legítimo restringir la interpretación de un IC realizado únicamente a la probabilidad degenerada $\{0, 1\}$, o el marco frecuentista permite, y de hecho requiere, afirmaciones probabilísticas post-datos más matizadas basadas en el modelo subyacente?

2. Metodología

El autor emplea una combinación de experimentos mentales intuitivos y argumentación formal basada en la teoría de la probabilidad de Kolmogorov para desmantelar la interpretación estricta de Neyman.

• Experimentos Mentales (Sección 2):

  • Dr. I-Don't-No: Un caso de diagnóstico médico donde, bajo la lógica estricta "o lo tiene o no", el Valor Predictivo Positivo (VPP) colapsa a un valor desconocido de 0 o 1, haciendo inútil la prueba diagnóstica para la toma de decisiones clínicas.
  • The Cat Tasting Treats: Un escenario con un gato y premios de sabores desconocidos. Muestra cómo condicionar en el resultado real (el sabor específico del premio) divide la probabilidad en dos ramas degeneradas, mientras que la probabilidad no condicionada (diseño) sigue siendo útil y bien definida para predecir comportamientos futuros.
  • We're in Deep Truffle Now: Un sistema de fabricación de trufas con sensores imperfectos. Ilustra que condicionar en el estado real actual (lleno o hueco) genera probabilidades condicionales que pueden contradecir la probabilidad de diseño para eventos futuros, creando paradojas si se rechaza la probabilidad no condicionada.

• Análisis Formal (Sección 3):

  • Microestados y Secuencias Infinitas: El autor recastea la construcción de ICs utilizando secuencias infinitas de ensayos i.i.d. (independientes e idénticamente distribuidos). Define un "microestado" como una secuencia completa y fija de todos los intervalos posibles generados.
  • Indicadores de Cobertura: Se define un indicador de cobertura $Z_\theta(X) \in \{0, 1\}$.
  • Niveles de Condicionamiento: Se demuestra matemáticamente que la probabilidad de cobertura de diseño ($1-\alpha$) y la probabilidad condicional degenerada ($0$o$1$) son simplemente diferentes niveles de condicionamiento dentro del mismo modelo de probabilidad:
    $$E_\theta[Z_\theta(X)] = E_\theta[E_\theta[Z_\theta(X) | X]] = 1-\alpha$$
  • El autor argumenta que elegir condicionar en el valor realizado de $X$ (el nivel más fino de la $\sigma$-álgebra) es una elección epistémica, no una imposición matemática que prohíba otros niveles de condicionamiento.

3. Contribuciones Clave

1. Refutación de la Regla Normativa Estricta: El artículo demuestra que insistir en que la única interpretación válida post-datos es la degenerada $\{0, 1\}$ conduce a inconsistencias lógicas y prácticas en otros usos de la probabilidad frecuentista (como en los experimentos mentales presentados). Si se aplica estrictamente, se pierde la capacidad de hacer inferencias útiles sobre eventos futuros basados en el estado actual.
2. Reinterpretación de la Cobertura como Probabilidad Predictiva: Se propone que el concepto de "confianza" debe entenderse no solo como una tasa de error a largo plazo, sino como una probabilidad predictiva o un pronóstico probabilístico basado en el modelo.
3. Distinción de Capas de Probabilidad: El autor introduce una distinción clara entre tres capas de probabilidad en la inferencia frecuentista:
   • (i) Probabilidad de Diseño (Incondicional): $1-\alpha$, asociada al procedimiento global.
   • (ii) Condicionales Degenerados: $0$o$1$, dados los datos completos y el estado real del mundo (conocimiento omnisciente).
   • (iii) Probabilidad Predictiva (Basada en Información): Una probabilidad intermedia que refleja la incertidumbre del observador dado el conjunto de información disponible post-datos, sin conocer el resultado final oculto.
4. Regula "Suave" para Afirmaciones Post-Datos: Se propone una regla heurística: solo se debe condicionar en información post-ensayo si esta reduce realmente la incertidumbre sobre el resultado. Si la información disponible no revela el estado oculto (ej. el intervalo no da pistas sobre si cubre o no), la probabilidad de diseño ($1-\alpha$) sigue siendo la afirmación probabilística más coherente y útil.

4. Resultados Principales

• Coherencia Matemática: La probabilidad de cobertura de diseño ($1-\alpha$) no desaparece mágicamente al observar los datos. Sigue siendo una propiedad válida del modelo que describe la frecuencia esperada de éxito para un intervalo generado bajo condiciones similares.
• Inconsistencia del "O lo cubre o no": Tratar la interpretación degenerada como la única válida prohíbe el uso de la maquinaria matemática misma que define las tasas de error a largo plazo (que son esperanzas de indicadores no degenerados).
• Solución a la Tensión: Es posible y necesario hacer afirmaciones probabilísticas post-datos sobre la cobertura de un intervalo individual, siempre que se especifique claramente el nivel de información (la $\sigma$-álgebra) en el que se basa dicha afirmación.
• Validación de la Práctica Actual: La práctica de calcular valores predictivos (como en medicina) o probabilidades de eventos pasados no observados es compatible con el frecuentismo, siempre que se entienda como una inferencia basada en el modelo y no como una declaración sobre la "aleatoriedad física" del evento ya ocurrido.

5. Significancia e Implicaciones

• Para la Práctica Estadística: El artículo libera a los estadísticos de la rigidez dogmática que les impide comunicar la incertidumbre post-datos de manera intuitiva. Permite interpretar un IC no solo como un objeto binario, sino como una predicción con un nivel de confianza asociado ($1-\alpha$) que sigue siendo relevante incluso después de la construcción del intervalo.
• Para la Filosofía de la Probabilidad: Cuestiona la dicotomía estricta entre probabilidades "físicas" (propensión) y "epistémicas" (creencia). Sugiere que el frecuentismo, cuando se entiende correctamente a través de la teoría de modelos de Kolmogorov, puede acomodar afirmaciones probabilísticas sobre eventos ocurridos pero no observados sin abandonar sus principios fundamentales.
• Nueva Definición de "Confianza": Propone redefinir la "confianza" como una probabilidad predictiva. Esto alinea la teoría de Neyman con la idea de que un estadístico, actuando como un observador no oráculo, está haciendo la mejor estimación posible sobre la probabilidad de éxito de un intervalo dado la información disponible, diferenciando esto del estado de conocimiento omnisciente (donde la probabilidad es 0 o 1).

En conclusión, Scott Lee argumenta que la frase "o cubre o no cubre" es demasiado restrictiva y que la teoría de la confianza frecuentista, correctamente interpretada a través de la estructura de los modelos de probabilidad, permite y requiere un conjunto más amplio de afirmaciones probabilísticas post-datos para ser coherente y útil en la inferencia estadística.