Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals

Este artículo propone interpretar los intervalos de confianza desde una perspectiva de pronóstico probabilístico, argumentando que el nivel nominal (1-α) constituye la predicción óptima y única de cobertura para un intervalo específico bajo reglas de puntuación estrictamente propias, ofreciendo así una interpretación frecuentista que resuelve paradojas interpretativas sin recurrir a priores subjetivos.

Lo esencial

Imagina que eres un meteorólogo. Cada mañana, miras tus instrumentos y dices: "Hay un 70% de probabilidad de lluvia".

Si al final del día llueve, ¿significa que tu predicción de "70%" estaba mal? No. Significa que tu predicción fue correcta en el sentido de que, de todas las veces que dijiste "70%", llovió aproximadamente el 70% de las veces.

Este es el corazón del artículo de Scott Lee: redefinir los "Intervalos de Confianza" no como una declaración de verdad absoluta, sino como un pronóstico de probabilidad.

Aquí te explico las ideas clave usando analogías sencillas:

1. El Problema: La Paradoja del "Sí o No"

En estadística tradicional (la forma en que nos enseñan en la escuela), hay una regla estricta sobre los intervalos de confianza. Cuando calculas un intervalo (digamos, entre 10 y 20 grados) para estimar algo desconocido (la temperatura real), la estadística clásica dice:

• Opción A: La temperatura real está dentro de ese intervalo (100% seguro).
• Opción B: La temperatura real NO está dentro (0% seguro).

Como la temperatura real es un número fijo que ya existe (aunque no lo sepamos), una vez que el intervalo está hecho, la respuesta es un "Sí" o un "No" definitivo. Por lo tanto, los estadísticos clásicos dicen: "No puedes decir que hay un 95% de probabilidad de que esté dentro. O está o no está. Punto."

El problema: Esto es frustrante. Si te dicen que tienes un 95% de confianza, pero luego te dicen "no puedes usar ese número para pensar en este caso específico", sientes que te están engañando. Es como si un meteorólogo dijera: "Hay un 70% de lluvia, pero una vez que sale el sol, no puedes decir que hubo un 70% de probabilidad, solo puedes decir 'llovió' o 'no llovió'".

2. La Solución: La "Confianza" como Pronóstico

Scott Lee propone cambiar la perspectiva. En lugar de ver el intervalo como una declaración de verdad, véelo como un pronóstico deportivo.

Imagina que eres un apostador en un partido de fútbol.

• El Diseño (La Regla del Juego): Sabes que tu equipo gana el 95% de los partidos cuando juega bajo ciertas condiciones.
• El Evento (El Partido): Hoy juegan. ¿Ganarán?
• La Predicción: Antes de ver el resultado, tu mejor predicción es "95% de probabilidad de victoria".

Lee dice: El intervalo de confianza es exactamente eso: un pronóstico.

• Antes de ver los datos: Tu pronóstico es "95%".
• Después de ver los datos (el intervalo): Sigues teniendo un pronóstico de "95%", a menos que el intervalo te dé una pista extra.

3. La Analogía del "Juego de las Conchas" (Monty's Hell)

El artículo usa un juego divertido para explicar esto. Imagina un juego de azar con 3 tazas invertidas. Debajo de una hay un premio.

• Tú eliges una taza.
• El presentador (que sabe dónde está el premio) levanta una de las otras dos tazas que está vacía.
• Ahora te ofrece cambiar tu taza por la que queda.

La lección:
Si sigues la lógica estricta de "o está o no está" (como hacía el estadístico Neyman), te quedarías congelado y no cambiarías de taza, perdiendo dinero a largo plazo.
Pero si usas la probabilidad de diseño (sabes que cambiar te da 2/3 de chance de ganar), tomas la decisión correcta.

En los intervalos de confianza, la "probabilidad de diseño" es el 1 - α (por ejemplo, 95%). Lee dice que debemos usar ese 95% como nuestra apuesta inteligente, incluso después de ver el intervalo, porque es la mejor predicción que tenemos basada en cómo se construyó el juego.

4. ¿Cuándo podemos cambiar el pronóstico? (El Submarino Perdido)

Aquí viene la parte más interesante. ¿Es el 95% siempre la respuesta?
Lee dice que sí, a menos que el intervalo mismo te dé información extra.

Imagina un submarino perdido en el océano.

• Escenario A: Lanzamos dos burbujas y calculamos un intervalo. Si el intervalo es muy estrecho (las burbujas están muy juntas), sabemos que el submarino debe estar cerca. Si es muy ancho, hay más incertidumbre.
• El Truco: En algunos diseños matemáticos, el tamaño del intervalo nos dice algo sobre la probabilidad de que sea correcto.
  • Si el intervalo es muy pequeño, quizás la probabilidad de que sea correcto es menor que el 95% estándar (porque es difícil acertar con un intervalo tan pequeño).
  • Si el intervalo es muy grande, quizás la probabilidad es mayor.

La analogía:
Imagina que un meteorólogo dice "70% de lluvia".

• Si sale un sol radiante y el cielo está azul (información extra), ajustas tu pronóstico a "10%".
• Si el cielo se pone negro y el viento cambia (otra información extra), ajustas a "90%".

En estadística, si el tamaño o la forma del intervalo te da una pista "limpia" (que no depende de saber el valor secreto), puedes ajustar tu pronóstico de "95%" a algo más preciso. Pero si el intervalo es como los típicos de los libros de texto (donde el tamaño no da pistas), tu mejor apuesta sigue siendo el 95% original.

5. Conclusión: ¿Qué debes hacer cuando ves un intervalo?

El autor nos da un consejo práctico para la vida real:

1. No te obsesiones con el "Sí o No": No te tortures pensando "¿está dentro o no?". Eso es imposible de saber sin ver el valor secreto.
2. Trátalo como un pronóstico: Di: "Este intervalo tiene un 95% de probabilidad de haber acertado, basado en cómo se construyó".
3. Busca pistas: ¿El intervalo es inusualmente grande o pequeño? Si el diseño matemático lo permite, ajusta tu pronóstico. Si no, quédate con el 95%.

En resumen:
Scott Lee nos invita a dejar de ver los intervalos de confianza como un veredicto final de un juez (donde solo hay culpable o inocente) y empezar a verlos como el pronóstico de un experto meteorólogo. A veces el pronóstico es un número fijo (95%), y a veces podemos afinarlo si las nubes nos dan más pistas. Pero en ambos casos, es una herramienta útil para navegar la incertidumbre, no un misterio filosófico sin solución.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals" (La confianza como pronóstico: Una interpretación decisionista de los intervalos de confianza) de Scott Lee.

1. Planteamiento del Problema

El artículo aborda una de las confusiones más persistentes en la inferencia estadística frecuentista: cómo interpretar un intervalo de confianza (IC) específico una vez que ha sido construido y los datos observados.

• La postura tradicional de Neyman: Jerzy Neyman, inventor de los IC, argumentaba que para un intervalo realizado, la cobertura es un hecho determinista (0 o 1). Por lo tanto, no se debe asignar ninguna probabilidad no degenerada a la cobertura ex post. La única afirmación válida es declarar que el intervalo "cubre" el parámetro, basándose en la propiedad de largo plazo (1-α) del procedimiento.
• El conflicto: Esta visión genera frustración en estudiantes y practicantes. Si el intervalo o no cubre, ¿qué significa la "confianza" del 95%? Algunos argumentan que el IC mantiene su probabilidad nominal, otros que la pierde por completo, y otros sugieren que se está estimando el propio intervalo y no el parámetro.
• La brecha: Existe una desconexión entre la garantía de diseño (largo plazo) y la incertidumbre del investigador sobre un caso individual, sin recurrir a priores bayesianas o grados de creencia subjetivos.

2. Metodología

El autor propone un marco decisionista y de pronóstico probabilístico utilizando reglas de puntuación estrictamente propias (strictly proper scoring rules).

• Reformulación del problema: En lugar de ver la cobertura como un evento binario fijo, se trata como una variable aleatoria de Bernoulli $Z$.
  • Nivel 1 (Condicionado): Dado el intervalo realizado $I(x)$, $Z \in \{0, 1\}$ (degenerado).
  • Nivel 2 (Diseño): La probabilidad de cobertura incondicional es $1-\alpha$.
  • Nivel 3 (Pronóstico): La "confianza" se define como una probabilidad predictiva de que $Z=1$, basada en la información disponible.
• Herramientas Teóricas:
  • Se utiliza una regla de puntuación estrictamente propia $S(q, z)$ (como la puntuación Brier o logarítmica) para evaluar la calidad de un pronóstico $q$.
  • El objetivo es minimizar el riesgo esperado (pérdida) $E[S(q, Z)]$.
  • Se demuestra que el pronóstico óptimo $q^*$ es la esperanza condicional de la cobertura: $q^* = P(\text{Cobertura} | \text{Información})$.
• Experimentos de Pensamiento y Simulación:
  • "Monty's Hell": Una variación del problema de Monty Hall para ilustrar cómo ignorar la probabilidad de diseño lleva a decisiones subóptimas.
  • El submarino perdido (Morey et al. 2016): Se reanaliza este ejemplo clásico de paradoja de IC utilizando simulaciones para demostrar cómo estadísticas libres de $\theta$ (como el ancho relativo del intervalo) permiten refinar el pronóstico de cobertura.

3. Contribuciones Clave

1. La Confianza como Pronóstico Óptimo:

   • Se demuestra que el nivel nominal $1-\alpha$ es el pronóstico constante único óptimo para la cobertura bajo cualquier regla de puntuación estrictamente propia, tanto antes como después de observar los datos (en ausencia de información adicional).
   • Esto valida el uso de $1-\alpha$ como una predicción probabilística legítima, incluso ex post, sin violar los principios frecuentistas.

2. Refinamiento Basado en el Diseño (Estadísticas Libres de $\theta$):

   • El autor introduce la posibilidad de actualizar el pronóstico si existe una estadística $T(X)$ derivada del intervalo que sea libre de $\theta$ (su distribución no depende del parámetro desconocido) y que esté correlacionada con la cobertura.
   • Teorema 3.1: Si $P(\theta \in I(X) | T(X)) = g(T(X))$ para todo $\theta$, entonces $g(T(X))$ es el pronóstico condicional óptimo que minimiza el riesgo estrictamente mejor que el pronóstico constante $1-\alpha$.

3. Resolución de Paradojas:

   • El marco resuelve la aparente incoherencia en ejemplos como el del "submarino perdido". Muestra que, aunque el IC tiene una cobertura marginal del 50%, la cobertura condicional dada el ancho del intervalo puede ser significativamente diferente (ej. 33% para intervalos estrechos), y usar esta información condicional mejora el pronóstico.

4. Distinción de Capas de Probabilidad:

   • Clarifica que existen tres capas de interpretación que no son mutuamente excluyentes:
     1. La realidad binaria (0 o 1) condicionada a los datos completos.
     2. La garantía de diseño (1-α) promediada sobre la distribución muestral.
     3. La probabilidad predictiva basada en la información parcial disponible (el pronóstico).

4. Resultados Principales

• **Optimalidad de $1-\alpha$:** En modelos de ubicación-escala no acotados y translation-invariantes (comunes en la práctica, como la media normal), el pronóstico óptimo *ex post* sigue siendo$1-\alpha$, ya que el ancho o la posición del intervalo no aportan información adicional sobre la cobertura.
• Mejora en Diseños Acotados: En diseños con ventanas finitas (como el modelo uniforme del submarino), el ancho relativo del intervalo es una estadística libre de $\theta$.
  • Las simulaciones muestran que pronosticar la cobertura basándose en el ancho condicional reduce drásticamente la puntuación Brier (pérdida) en comparación con usar siempre 0.5 o siempre 1.
  • Por ejemplo, para un intervalo de ancho 2.5m en un submarino de 10m, la cobertura real es ~33%, no 50%. Ignorar esta información resulta en un pronóstico subóptimo.
• Análisis de Intervalos Anidados: Se demuestra que cuando dos intervalos de confianza se anidan, la probabilidad de cobertura conjunta cambia sistemáticamente dependiendo de cuál contiene al otro, y esta información puede ser utilizada para refinar pronósticos sin necesidad de priores bayesianas.

5. Significado e Implicaciones

• Para la Práctica Estadística:

  • Ofrece una guía práctica: Si un procedimiento genera estadísticas libres de $\theta$ que predicen la cobertura (como el ancho en modelos acotados), el investigador debe actualizar su pronóstico de confianza. Si no existen tales estadísticas (modelos estándar), el pronóstico óptimo sigue siendo el nivel nominal.
  • Desmitifica la idea de que los IC son "ininterpretables" ex post. Son interpretables como pronósticos de largo plazo condicionados a la información disponible.

• Para la Enseñanza:

  • Sugiere un cambio pedagógico: Enseñar primero el concepto de "procedimiento de confianza" como un generador de eventos de Bernoulli, y luego mostrar cómo los intervalos específicos (t, Wald, etc.) son instancias de esto.
  • Ayuda a resolver la confusión de los estudiantes sobre si un intervalo "cubre o no", permitiendo afirmar simultáneamente: "Este intervalo específico o cubre o no (hecho), pero mi mejor predicción de que cubre es $1-\alpha$ (o un valor refinado)".

• Filosófico:

  • Mantiene la pureza frecuentista. La "confianza" no se convierte en una probabilidad subjetiva (grado de creencia), sino en una probabilidad relativa a la información (information-relative) definida por las frecuencias límite en clases de referencia específicas del diseño. Esto permite un enfoque objetivista que reconoce la incertidumbre del agente sin recurrir al subjetivismo bayesiano.

En conclusión, el artículo propone que la "confianza" debe entenderse como un pronóstico probabilístico óptimo para la cobertura de un intervalo, derivado puramente de las propiedades de diseño del procedimiento estadístico, ofreciendo una solución coherente y matemáticamente rigurosa a los dilemas interpretativos clásicos de los intervalos de confianza.