Asymptotics of cut distributions and robust modular inference using Posterior Bootstrap

Este artículo estudia las distribuciones cortadas desde una perspectiva asintótica, demostrando un teorema de Bernstein-von Mises y proponiendo un algoritmo basado en el Posterior Bootstrap que ofrece regiones creíbles con cobertura asintótica frecuentista nominal, todo ello ilustrado mediante experimentos numéricos en diversos ejemplos, incluida la inferencia causal.

Lo esencial

Imagina que eres un chef intentando crear el plato perfecto, pero tienes dos fuentes de información muy diferentes:

1. El Chef Experto (Módulo 1): Sabe exactamente cómo preparar la salsa base. Es un maestro en su campo.
2. El Ayudante Novato (Módulo 2): Sabe cómo cocinar el guiso principal, pero a veces comete errores o usa ingredientes de mala calidad.

En el mundo de la estadística tradicional (Bayesiana), el chef y el ayudante se sientan juntos en la misma mesa y discuten todo el tiempo. Si el ayudante comete un error al cocinar el guiso, el chef experto podría empezar a dudar de su propia receta para la salsa, pensando: "Quizás mi salsa no es tan buena si el guiso sale mal". Esto es lo que los autores llaman "feedback" (retroalimentación). El problema es que si el ayudante es malo, arruina la confianza en el experto.

El Problema: Cuando la mala información contamina la buena

Los autores de este paper se dan cuenta de que a veces, en la vida real, no queremos que el ayudante novato arruine la opinión del experto. Queremos que el experto haga su salsa, y luego el ayudante use esa salsa para hacer el guiso, sin que el ayudante pueda decirle al experto cómo cambiar la salsa.

A esto le llaman "Inferencia Modular" o "Cortar la retroalimentación". Es como poner una pared de cristal entre la cocina de la salsa y la del guiso.

La Solución: Tres formas de cocinar sin contaminarse

El paper estudia tres formas diferentes de hacer esto y ve cuál funciona mejor cuando tenemos mucha data (muchos ingredientes).

1. La "Posterior Cut" (La Pared de Cristal Perfecta)

Esta es la forma teórica ideal. Es como si el experto hiciera su salsa, la sellara en un frasco, y luego el ayudante usara ese frasco para cocinar, sin poder abrirlo ni tocarlo.

• El problema: Es muy difícil de calcular en la computadora. Es como intentar adivinar el sabor exacto de una sopa sin poder probarla, solo mirando los ingredientes.

2. La "Aproximación de Laplace" (La Receta Simplificada)

Como calcular la "Pared de Cristal" es tan difícil, los autores proponen una aproximación matemática. Imagina que en lugar de calcular el sabor exacto, usas una receta simplificada que dice: "Asumamos que la salsa es una curva perfecta y suave".

• Ventaja: Es muy rápida de calcular.
• Desventaja: A veces la realidad es "rara" (la salsa no es una curva perfecta, es irregular), y esta aproximación puede fallar si no tenemos cuidado. Los autores dan fórmulas para saber cuánto se equivoca esta receta simplificada.

3. El "Posterior Bootstrap" (El Método de los Múltiples Intentos)

Esta es la estrella del show. Imagina que, en lugar de cocinar una sola vez, haces 1,000 versiones diferentes del plato.

• En cada versión, le das un poco más de importancia a algunos ingredientes y menos a otros (como si fueran dados).
• El experto hace su salsa para cada una de las 1,000 versiones.
• El ayudante hace su guiso para cada una de las 1,000 versiones.
• Al final, miras los 1,000 platos resultantes y ves cuál es el promedio.

¿Por qué es genial?

• Es fácil de programar (solo necesitas optimizar, no calcular integrales imposibles).
• Lo más importante: Funciona mejor que los otros métodos cuando el modelo está "roto" (cuando el ayudante es muy malo). Garantiza que, si repites el experimento muchas veces, tus conclusiones serán correctas estadísticamente.

Analogía Final: El Tribunal

Imagina un juicio:

• El Juez (Módulo 1): Decide si el acusado es culpable basándose en la evidencia A.
• El Fiscal (Método 2): Usa esa decisión para pedir una sentencia basada en la evidencia B.

Si el Fiscal tiene una mala evidencia (B) y le dice al Juez: "Oye, como mi evidencia B es mala, quizás tu evidencia A también está mal", el Juez podría cambiar su veredicto injustamente. Eso es el feedback que queremos evitar.

• El método Cut: El Juez dicta sentencia y se va a casa. El Fiscal usa esa sentencia y hace su trabajo.
• El método Bootstrap: En lugar de un solo juicio, hacemos 1,000 juicios simulados con diferentes jurados. Al final, miramos la mayoría de las sentencias. Si el Fiscal es malo, este método nos protege mejor de que nos den una sentencia injusta.

Conclusión Simple

Los autores nos dicen:

1. A veces, mezclar toda la información a la vez nos lleva a conclusiones erróneas si una parte de la información es mala.
2. Es mejor "cortar" la información y tratar los problemas por separado.
3. Para hacerlo en la práctica, el método del Bootstrap (múltiples intentos) es el más robusto y confiable, especialmente cuando los modelos no son perfectos.

Es como decir: "No dejes que el error de uno arruine la visión del otro. Trabaja en pasos, y si tienes dudas, hazlo muchas veces de diferentes formas para estar seguro".

Resumen técnico

Resumen Técnico: Asintótica de distribuciones cortadas e inferencia modular robusta usando Posterior Bootstrap

1. El Problema: Fallas en la Inferencia Bayesiana Estándar

En muchos problemas estadísticos complejos, los modelos se construyen a partir de múltiples componentes o módulos (por ejemplo, estimación de propensiones en inferencia causal, o modelos PK/PD en farmacología). La inferencia bayesiana estándar (modelo conjunto) combina todos los módulos en una única distribución posterior.

• El desafío: Si algún componente del modelo está mal especificado (misspecification), el error puede propagarse a través de los parámetros compartidos, contaminando la inferencia en todos los módulos y llevando a resultados insatisfactorios o sesgados.
• La solución existente: La inferencia modular (o "cutting feedback") propone estimar parámetros en un módulo y luego "pegarlos" en los siguientes, cortando el flujo de información inversa. Esto evita que un módulo mal especificado corrompa a los demás. Sin embargo, las distribuciones posteriores cortadas (cut posteriors) son computacionalmente difíciles de manejar (requieren MCMC anidado o integración intratable) y su comportamiento asintótico bajo mal especificación no estaba completamente caracterizado.

2. Metodología y Marco Teórico

Los autores estudian un modelo con dos módulos ($\theta_1$ y $\theta_2$) y dos conjuntos de datos ($x_1, x_2$).

• Definición de la Distribución Cortada: Se define la distribución posterior cortada $\pi_{cut}(\theta_1, \theta_2)$ eliminando el término de retroalimentación del segundo módulo sobre el primero:
  $$\pi_{cut}(\theta_1, \theta_2) \propto \pi(\theta_1|x_1) \pi(\theta_2|\theta_1, x_1, x_2)$$
  Aquí, la inferencia sobre $\theta_1$ depende solo de $x_1$, mientras que $\theta_2$ depende de $\theta_1$ y $x_2$.

El artículo aborda tres enfoques principales:

1. Análisis Asintótico (Teorema Bernstein-von Mises): Caracterización de la distribución límite de la posterior cortada.
2. Aproximación de Laplace (Cut-Laplace): Una aproximación gaussiana computacionalmente eficiente.
3. Posterior Bootstrap para Inferencia Modular (PBMI): Un algoritmo basado en remuestreo ponderado para generar muestras de la distribución modular.

3. Contribuciones Clave

A. Teorema Bernstein-von Mises (BvM) para Posteriores Cortadas

• Los autores demuestran que, bajo condiciones de regularidad, la distribución posterior cortada se concentra asintóticamente alrededor del estimador de dos pasos (2SM).
• Resultado crucial: La distribución asintótica es Normal, pero su matriz de covarianza ($H^{-1}$) es diferente de la del estimador de dos pasos estándar ($\Sigma$) y de la posterior conjunta.
• Implicación de cobertura: La posterior cortada proporciona intervalos creíbles con cobertura frecuentista nominal solo si el primer módulo está bien especificado ($I^*_1 = J^*_1$). Si el segundo módulo está mal especificado, la posterior cortada protege al primer módulo, pero la covarianza conjunta puede no tener la cobertura nominal correcta.

B. Aproximación de Laplace (Cut-Laplace)

• Se propone una aproximación gaussiana explícita basada en el estimador 2SM y la matriz de información de Fisher observada.
• Se derivan cotas de error no asintóticas (en distancia de variación total) que cuantifican la precisión de esta aproximación en función del tamaño de la muestra y la dimensión del parámetro.
• Esta aproximación es mucho más barata computacionalmente que el MCMC anidado, pero comparte la limitación de la posterior cortada: su covarianza asintótica puede no coincidir con la del estimador 2SM en escenarios de mal especificación.

C. Posterior Bootstrap para Inferencia Modular (PBMI)

• Se introduce un nuevo algoritmo (PBMI) que utiliza el Weighted Likelihood Bootstrap (remuestreo con pesos exponenciales) aplicado secuencialmente a los módulos.
• Ventaja principal: A diferencia de la posterior cortada y Cut-Laplace, el PBMI recupera la cobertura frecuentista nominal para los intervalos creíbles, incluso bajo mal especificación del modelo.
• Mecanismo: El PBMI genera una distribución en el espacio de parámetros que se concentra en la misma región que la posterior cortada, pero con una covarianza asintótica diferente (que coincide con la del estimador 2SM, $\Sigma$).
• Flexibilidad: Puede capturar distribuciones no gaussianas (sesgadas o multimodales) y permite incorporar información previa de manera controlada mediante hiperparámetros de penalización.

4. Resultados Principales

• Comparación de Covarianzas:
  • En escenarios donde los módulos son independientes o el modelo está bien especificado, la posterior cortada, Cut-Laplace y PBMI convergen a la misma distribución.
  • En escenarios de mal especificación, la covarianza de la posterior cortada ($H^{-1}$) difiere de la covarianza del estimador 2SM ($\Sigma$). El PBMI, al imitar la variabilidad del estimador 2SM, corrige esta discrepancia, ofreciendo intervalos de confianza válidos desde una perspectiva frecuentista.
• Experimentos Numéricos:
  • Ejemplo de juguete: Muestra que Cut-Laplace y PBMI son similares cuando no hay dependencia entre módulos, pero PBMI refleja mayor incertidumbre (y mejor cobertura) cuando hay dependencia y mal especificación.
  • Inferencia Causal (Propensity Scores): En un estudio de datos reales (entrenamiento laboral), el PBMI proporcionó resultados similares a la posterior cortada, pero es computacionalmente más viable cuando la función de verosimilitud del segundo módulo es discontinua (como en la estratificación por quintiles), donde Cut-Laplace falla.
  • Estudio Epidemiológico (HPV y Cáncer): En un caso con muestras pequeñas y sesgo en los datos, la posterior cortada mostró asimetría no capturada por la aproximación de Laplace. El PBMI capturó esta asimetría y proporcionó regiones creíbles más amplias y realistas.

5. Significado y Conclusiones

Este trabajo es fundamental porque:

1. Rigidez Teórica: Proporciona la primera caracterización asintótica completa (BvM y cotas de error) de las distribuciones cortadas, validando su uso bajo mal especificación.
2. Solución Práctica (PBMI): Ofrece una alternativa computacionalmente eficiente y robusta a la inferencia modular. Mientras que la posterior cortada es teóricamente deseable pero difícil de calcular, y Cut-Laplace es rápido pero puede tener cobertura incorrecta, el PBMI ofrece el mejor de ambos mundos: es fácil de implementar (solo requiere optimización), maneja mal especificación correctamente (cobertura nominal) y puede capturar formas de distribución complejas.
3. Guía de Selección: Los autores recomiendan usar PBMI cuando se busca inferencia frecuentista válida en presencia de mal especificación. La posterior cortada sigue siendo útil en muestras pequeñas donde la asintótica no aplica o cuando se desea una interpretación variacional específica, pero PBMI es superior para la construcción de intervalos de confianza robustos.

En resumen, el artículo establece un marco teórico sólido para la inferencia modular y propone el Posterior Bootstrap Modular (PBMI) como el método preferente para obtener inferencias robustas, computacionalmente eficientes y con cobertura frecuentista garantizada en modelos complejos y potencialmente mal especificados.