Post-Hoc Large-Sample Statistical Inference

Este artículo desarrolla una teoría de inferencia post-hoc en el régimen asintótico que permite generar conjuntos de confianza y valores-p válidos bajo niveles de significancia dependientes de los datos, superando las limitaciones de las metodologías no asintóticas al requerir supuestos más débiles y ofrecer resultados más precisos.

Lo esencial

Imagina que eres un detective investigando un crimen. Tu trabajo es encontrar la verdad (el parámetro estadístico) basándote en las pruebas que encuentras (los datos).

En la estadística tradicional, tienes una regla estricta: antes de mirar ninguna prueba, debes decidir qué tan estricto serás. Digamos que decides: "Solo aceptaré una conclusión si tengo un 95% de certeza". Una vez que haces ese cálculo y obtienes tu resultado, la investigación termina. Si el resultado es confuso o no te convence, no puedes decir: "Bueno, déjame ser un poco más flexible, ahora acepto un 90% de certeza" y volver a calcular. Eso se consideraría "hacer trampa" o manipular los datos para obtener el resultado que querías.

El problema: A veces, los resultados iniciales son aburridos o poco claros. Los investigadores se ven tentados a ajustar sus reglas "a posteriori" (después de ver los datos) para obtener una respuesta más clara. La estadística clásica dice que esto es peligroso porque aumenta las posibilidades de cometer errores.

La solución de este papel:
Los autores (un equipo brillante de universidades como CMU, Inria y Berkeley) han creado una nueva herramienta que permite ser un detective más flexible sin cometer trampa. Permiten que decidas qué tan estricto quieres ser después de ver las pruebas, manteniendo la integridad científica.

Aquí te explico cómo funciona usando analogías sencillas:

1. El problema de las "Reglas Fijas" (La estadística clásica)

Imagina que estás en una carrera de obstáculos. Antes de empezar, el juez te dice: "Si cruzas la meta en menos de 10 segundos, ganas una medalla de oro. Si tardas más, no ganas nada".

• Si llegas en 10.5 segundos, pierdes.
• Si el juez te permite cambiar la regla a la mitad de la carrera y decir: "Bueno, como llegaste en 10.5, ahora la regla es 11 segundos y te doy la medalla", el sistema se rompe. Todos podrían esperar a ver cuánto tardan y luego pedir la regla que les favorezca.

2. La nueva herramienta: Los "Valores E" (E-values)

Los autores usan algo llamado Valores E. Imagina que en lugar de una medalla fija, tienes una máquina expendedora de credibilidad.

• Cada vez que miras un dato, la máquina te da un número.
• Si el número es alto, significa que los datos son muy convincentes.
• La magia de los Valores E es que puedes decidir qué tan alto debe ser el número para considerar que ganaste, incluso después de ver el resultado.
• Es como si el juez dijera: "Puedes mirar tu tiempo, y si decides que 10.5 segundos es suficiente para ganar, ¡está bien! Pero la máquina de credibilidad ya ha calculado que, estadísticamente, no estás mintiendo".

3. El truco de los "Grandes Números" (Asintótico)

El papel se centra en situaciones donde tienes muchos datos (grandes muestras).

• La vieja forma (No asintótica): Para tener seguridad absoluta con pocos datos, necesitas reglas muy rígidas y suposiciones estrictas (como saber exactamente cómo se comportan los datos). Es como intentar adivinar el clima de un año entero basándote en solo un día de lluvia.
• La nueva forma (Asintótica): Cuando tienes millones de datos, las cosas se vuelven más predecibles. Los autores dicen: "No necesitamos reglas tan rígidas si tenemos muchos datos". Usan una técnica llamada convergencia. Imagina que lanzas una moneda muchas veces. Al principio, puede salir cara 7 veces seguidas (suerte). Pero si la lanzas un millón de veces, se acercará mucho al 50%.
  • Los autores crean intervalos de confianza (sus "redes" para atrapar la verdad) que se vuelven más precisos a medida que aumenta la cantidad de datos, permitiendo que el investigador elija su nivel de confianza al final.

4. Las tres estrategias para elegir la "dureza" (Lambda)

El papel propone tres formas de usar esta flexibilidad, como tres estrategias de detective:

• Opción A: La "Apuesta Previa" (Anclaje Ex Ante).
  Imagina que entras a la sala de interrogatorios y dices: "Creo que el sospechoso es culpable con un 99% de certeza". Si te equivocas, no te rindes. Simplemente dices: "Bueno, quizás era un 95%". La nueva herramienta te permite hacer esto sin que el sistema colapse, siempre que tu "apuesta inicial" no fuera totalmente aleatoria. Funciona muy bien en la práctica.

• Opción B: La "Mezcla de Opciones" (Método de Mezclas).
  En lugar de elegir una sola regla, imagina que tienes un mazo de cartas con diferentes niveles de estrictud. En lugar de elegir una carta, usas todas las cartas a la vez promediándolas. Esto es más robusto: si te equivocas en tu predicción de qué tan estricto serás, la mezcla de todas las posibilidades te protege. Es como llevar un paraguas, un impermeable y una gorra; si llueve, te cubres con lo que necesites.

• Opción C: La "Red de Seguridad" (Secuencial).
  Esta es la más potente. Imagina que no solo miras los datos una vez, sino que puedes seguir recolectando pruebas infinitamente y decidir en cualquier momento detenerse y sacar una conclusión. La herramienta de los autores permite esto. Es como tener una red de pesca que se hace más fuerte a medida que sacas más peces, permitiéndote decidir cuándo tirar la red sin que se rompa.

¿Por qué es importante esto?

En la vida real, los científicos, médicos y analistas de negocios a menudo necesitan tomar decisiones basadas en datos que no son perfectos.

• Antes: Si un estudio médico daba un resultado "borroso", el científico tenía que decir "no sabemos" o arriesgarse a ser criticado por cambiar las reglas.
• Ahora: Con esta nueva metodología, pueden decir: "Miramos los datos, y aunque al principio parecía dudoso, si aceptamos un nivel de certeza un poco más bajo (pero aún científicamente válido), podemos sacar una conclusión útil".

En resumen:
Este papel es como darles a los detectives un martillo de goma en lugar de un mazo de hierro. Les permite golpear la verdad con más fuerza y flexibilidad, ajustando su golpe según lo que vean en la escena del crimen, sin romper las reglas del juego ni cometer errores. Es una forma más inteligente y humana de hacer estadística cuando se tienen muchos datos.

Resumen técnico

1. El Problema: La Rigidez del Nivel de Significancia Tradicional

La inferencia estadística clásica, especialmente en el régimen asintótico (cuando el tamaño de la muestra $n \to \infty$), sufre de una limitación fundamental: el nivel de significancia ($\alpha$), que controla la tasa de error tipo I, debe fijarse antes de observar o analizar los datos.

• La limitación: Si un analista calcula un intervalo de confianza (IC) y encuentra que es demasiado ancho para ser concluyente, no puede simplemente recalcularlo con un $\alpha$ mayor (por ejemplo, pasar de 0.01 a 0.05) para obtener un intervalo más estrecho. Hacerlo invalida las garantías estadísticas, ya que el nivel de significancia se convierte en dependiente de los datos ("roving alphas").
• Soluciones existentes y sus fallos: Métodos como el "gasto de alfa" ($\alpha$-spending) permiten múltiples análisis, pero requieren dividir el presupuesto de error $\alpha$ de antemano, lo que reduce drásticamente la potencia estadística de cada prueba individual.
• La propuesta: El artículo busca desarrollar un marco de inferencia que permita elegir $\alpha$ post-hoc (después de ver los datos) sin violar las garantías de error, utilizando herramientas basadas en valores-e (e-values) en un contexto asintótico.

2. Metodología y Marco Teórico

El trabajo extiende el paradigma de los valores-e (que ya eran conocidos por su validez post-hoc en el régimen no asintótico) al régimen de grandes muestras (asintótico).

Conceptos Clave

• Valores-e Asintóticos: Secuencias de variables aleatorias no negativas $(E_n)$ tales que $\limsup_{n\to\infty} \sup_{P} \mathbb{E}_P[E_n] \leq 1$. A diferencia de los valores-e finitos, estos solo requieren que la esperanza se acote en el límite.
• Control de Riesgo vs. Probabilidad de Error: En lugar de controlar la probabilidad de error para un $\alpha$ fijo, el método controla el riesgo post-hoc:
  $$\sup_{P} \limsup_{n\to\infty} \mathbb{E}_P \left[ \sup_{\alpha > 0} \frac{\mathbb{I}\{\theta \notin H_n(\alpha)\}}{\alpha} \right] \leq 1$$
  Esto permite que un analista busque el $\alpha$ más pequeño posible que rechace la hipótesis nula, manteniendo la validez.
• Uniformidad Distribucional: El artículo distingue entre garantías puntuales (válidas para cada distribución individual) y garantías uniformes (válidas simultáneamente para una clase de distribuciones), lo cual es crucial para la robustez en la práctica.

Construcción de Intervalos de Confianza Post-Hoc Asintóticos (APH-CIs)

Los autores demuestran que cualquier intervalo de confianza post-hoc válido debe derivarse de un valor-e asintótico (Proposición 2.6). Presentan tres métodos principales para construir estos valores-e:

1. Variable-e IWR (Ignatiadis-Wang-Ramdas):

   • Basada en la estadística $E_n^{iwr}(\theta; \lambda) = \exp\left( \lambda \frac{S_n(\theta)}{V_n(\theta)} - \frac{\lambda^2}{2} \right)$.
   • Estrategia de Parámetro $\lambda$:
     • Anclaje Ex Ante: Fijar $\lambda$ basado en una suposición inicial de $\alpha_0$. Funciona bien en la práctica incluso si el $\alpha$ real difiere, debido a la naturaleza logarítmica del ancho del intervalo.
     • Método de Mezclas: Integrar sobre una distribución de $\lambda$ (usando una mezcla de Gaussianas truncadas) para eliminar la dependencia de un $\lambda$ fijo, logrando un ancho asintótico óptimo $\Theta(\sqrt{\log(1/\alpha)/n})$.

2. Variable-e R-WS (Ruf-Waudby-Smith):

   • Utiliza una técnica de recorte (truncation) combinada con una Ley de los Grandes Números (SLLN) no asintótica.
   • Define $E_n^{r-ws}$ truncando una mezcla de procesos supermartingala.
   • Ventaja: Requiere solo momentos $2+\delta$ (más débil que la asunción de momentos finitos estrictos) y proporciona garantías más fuertes: es un proceso-e asintótico, lo que permite inferencia secuencial y post-hoc simultánea (validez en cualquier momento de parada).

3. Contribuciones Principales

1. Teoría Asintótica Post-Hoc: Establecen las bases teóricas para la inferencia post-hoc en grandes muestras, demostrando que los valores-e asintóticos son necesarios y suficientes para construir intervalos de confianza y valores-p válidos bajo selección de $\alpha$ dependiente de los datos.
2. Construcción de APH-CIs: Proponen y analizan dos familias de intervalos:
   • Basados en IWR: Ofrecen el mejor rendimiento en términos de anchura (estrechez) para rangos razonables de $\alpha$.
   • Basados en R-WS: Ofrecen garantías más fuertes (secuenciales) y requieren suposiciones de momentos más débiles, aunque son ligeramente más amplios.
3. Inferencia Secuencial Post-Hoc: Introducen el concepto de secuencia de confianza asintótica post-hoc (APH-CS) y proceso-e asintótico, unificando la inferencia post-hoc con la inferencia secuencial (time-uniform).
4. Resultados de Uniformidad: Demuestran que sus métodos son válidos de manera uniforme sobre clases de distribuciones (bajo suposiciones de momentos acotados), evitando comportamientos patológicos en distribuciones "maliciosas".

4. Resultados y Simulaciones

Los autores validan sus métodos mediante simulaciones extensas:

• Comparación de Anchura:
  • Los APH-CIs basados en IWR (con anclaje ex ante) son los más estrechos y competitivos, acercándose al ancho del Intervalo de Wald (que no es válido post-hoc) con una diferencia mínima (generalmente < 0.05) para $n=10^4$.
  • Los APH-CIs basados en R-WS son más amplios, pero esto es el "precio" por ofrecer garantías de validez secuencial (válidos para cualquier momento de parada).
• Robustez: Los métodos funcionan bien tanto para datos Gaussianos como para datos con colas pesadas (distribución t de Student), siempre que se cumplan las condiciones de momentos.
• Control de Riesgo: En experimentos de "p-hacking" (donde un analista busca iterativamente el $\alpha$ más bajo para rechazar la hipótesis), los métodos tradicionales (Wald) fallan catastróficamente (riesgo >> 1), mientras que los APH-CIs mantienen el riesgo controlado por debajo de 1, cumpliendo la garantía teórica.
• Comparación con Métodos No Asintóticos: Los intervalos asintóticos propuestos tienen anchos comparables o mejores que los intervalos de Bernstein finitos para datos acotados, pero sin requerir el conocimiento de cotas estrictas de los datos, siendo válidos para cualquier distribución con varianza finita.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Flexibilidad Práctica: Permite a los científicos y analistas realizar decisiones basadas en datos de manera más flexible (ajustando el nivel de confianza según la claridad de los resultados) sin sacrificar la integridad estadística.
• Puente Teórico: Conecta dos áreas de la estadística moderna que a menudo se tratan por separado: la inferencia post-hoc (control de falsos descubrimientos y valores-e) y la inferencia asintótica (el estándar de oro en aplicaciones a gran escala).
• Herramienta para la Ciencia Reproducible: Al ofrecer garantías rigurosas frente a la selección de hipótesis y el ajuste de parámetros post-hoc, estos métodos mitigan el problema de la "crisis de replicación" y el p-hacking en campos como la epidemiología, la medicina y las ciencias sociales.
• Implementación: Los autores proporcionan implementaciones en Python, facilitando la adopción inmediata por parte de la comunidad estadística y de ciencia de datos.

En resumen, el artículo redefine cómo se puede realizar la inferencia estadística en grandes muestras, transformando el nivel de significancia de una restricción rígida pre-experimento a una herramienta dinámica post-experimento, manteniendo al mismo tiempo garantías de error frecuentes rigurosas.