The Illusion of Learning from Observational Data: An Empirical Bayes Perspective

Aquí presento un resumen técnico detallado del artículo "The Illusion of Learning from Observational Data: An Empirical Bayes Perspective" (La ilusión de aprender de datos observacionales: Una perspectiva Bayesiana Empírica), escrito por Bohan Wu, Sebastian Salazar, Donald P. Green y David M. Blei.

1. El Problema: La Ilusión de Aprendizaje

El artículo aborda un problema fundamental en la inferencia causal: la dificultad de combinar evidencia de experimentos aleatorizados (el estándar de oro) con estudios observacionales (abundantes y baratos pero sesgados).

• El Dilema: Cuando un investigador tiene un experimento aleatorizado y múltiples estudios observacionales sobre el mismo efecto causal, surge la pregunta: ¿Pueden los datos observacionales mejorar la estimación del efecto causal?
• La Ilusión: Siguiendo el trabajo de Gerber, Green y Kaplan (2004a), los autores demuestran que, si no se tiene información previa sobre la distribución del sesgo en los estudios observacionales (es decir, si se asume un prior "plano" o no informativo sobre el sesgo), los estudios observacionales no aportan información a la estimación del efecto causal.
• El Mecanismo: En un modelo Bayesiano jerárquico, si el sesgo $b$ tiene un prior plano, la media posterior del efecto causal $\theta$ permanece idéntica a la estimación del experimento solo ($\hat{\theta} = y_e$), y la varianza posterior no disminuye. Los datos observacionales parecen relevantes, pero en realidad crean una "ilusión" de aprendizaje sin mejorar la inferencia.

2. Metodología: Enfoque Bayesiano Empírico (EB)

Los autores proponen un marco Bayesiano Empírico para superar esta ilusión. La idea central es tratar los sesgos de los estudios observacionales como muestras de una población y aprender la distribución de esa población a partir de los datos.

A. Modelos Jerárquicos Analizados

Se define un modelo donde:

• $y_e \sim N(\theta, \sigma_e^2)$: Estimación experimental.
• $y_{o,j} \sim N(\theta + b_j, \sigma_{o,j}^2)$: Estimaciones observacionales con sesgo $b_j$.
• $b_j \sim N(\mu, \gamma^2)$: Distribución de los sesgos (el prior a aprender).

El análisis evalúa tres escenarios:

1. Prior Plano en el Sesgo (La Ilusión): Si se asume $\mu$ y $\gamma^2$ desconocidos con un prior no informativo, la inferencia sobre $\theta$ ignora los datos observacionales.
2. EB con Sesgo de Media Cero (Ruptura parcial): Si se asume que el sesgo promedio es cero ($\mu=0$) y se estima solo la varianza $\gamma^2$ mediante EB, la ilusión se rompe. Los datos observacionales ajustan la estimación y reducen la varianza. Sin embargo, la suposición de media cero es a menudo irrealista en ciencias sociales.
3. EB con Media y Varianza Desconocidas (Retorno de la Ilusión): Si se intenta estimar tanto la media $\mu$ como la varianza $\gamma^2$ usando solo los estudios observacionales y el experimento, la ilusión regresa. La estimación de $\theta$ vuelve a ser solo la del experimento, y la varianza posterior disminuye artificialmente, creando una confianza injustificada (sobreconfianza) en los resultados experimentales.

B. La Solución: Estudios de Calibración

Para romper la ilusión sin asumir que el sesgo promedio es cero, los autores introducen estudios de calibración (o controles negativos).

• Definición: Son estudios observacionales donde el efecto causal verdadero es conocido a priori (generalmente cero).
• Funcionamiento: Al tener un efecto verdadero conocido ($\theta_{cal} = 0$), cualquier estimación no nula en un estudio de calibración se atribuye directamente al sesgo $b_k$.
• Procedimiento:
  1. Se utilizan los estudios de calibración para estimar los hiperparámetros de la distribución del sesgo ($\hat{\mu}, \hat{\gamma}^2$) mediante máxima verosimilitud marginal o ajuste de momentos.
  2. Estos hiperparámetros estimados se fijan y se utilizan en el modelo Bayesiano Empírico para combinar el experimento y los estudios observacionales.
  3. Esto permite que los estudios observacionales informen la estimación de $\theta$ de manera significativa.

3. Contribuciones Clave

1. Formalización Teórica: Formalizan el fenómeno de la "ilusión de aprendizaje" en un modelo Gaussiano jerárquico, demostrando matemáticamente por qué los datos observacionales son inútiles sin información previa sobre el sesgo.
2. Análisis de Supuestos: Demuestran que asumir un sesgo de media cero permite aprender, pero es una suposición débil. Por el contrario, intentar aprender la media y varianza simultáneamente sin datos de calibración lleva a una sobreconfianza peligrosa.
3. Propuesta de Calibración: Introducen el uso de estudios de calibración como un mecanismo necesario para identificar la distribución completa del sesgo (media y varianza), permitiendo que los datos observacionales mejoren la inferencia causal.
4. Consistencia Asintótica: Proban que, con un número creciente de estudios observacionales ($J$) y de calibración ($K$), el estimador Bayesiano Empírico Calibrado (CEB) recupera consistentemente tanto la distribución del sesgo como el efecto causal verdadero, con riesgo (MSE) que tiende a cero.

4. Resultados

Simulaciones

• Se realizaron simulaciones comparando el estimador "Naive" (solo experimento), el "EB Calibrado" y un "Oráculo" (que conoce los hiperparámetros reales).
• Hallazgo: El estimador CEB logra un riesgo asintóticamente nulo ($O(J^{-1})$) a medida que aumenta el número de estudios.
• Eficiencia Relativa: La eficiencia relativa del estimador CEB mejora monótonamente con el tamaño de la muestra, superando significativamente al experimento solo.

Aplicación Semi-Sintética (Datos Reales)

• Contexto: Se utilizó un experimento de campo masivo de Ferraro y Miranda (2013) sobre el uso de agua residencial en Atlanta.
• Diseño:
  • Experimento: Asignación aleatoria de mensajes para reducir el uso de agua.
  • Observacional: Se simuló un estudio observacional induciendo confusión basada en covariables (historial de uso de agua).
  • Calibración: Se creó un "pseudo-tratamiento" (un mensaje placebo) que no tiene efecto causal pero comparte la misma dependencia de las covariables que el tratamiento real.
• Resultados:
  • El modelo de "Ilusión" (sin calibración) produjo una estimación centrada en el experimento reducido pero con una varianza artificialmente baja (intervalo de credibilidad estrecho pero incorrecto), fallando en cubrir el valor verdadero (cobertura del 0.68%).
  • El modelo Calibrado (CEB) recuperó una estimación cercana al valor verdadero (ATE del experimento completo) y proporcionó una incertidumbre bien calibrada (cobertura del 96%).
  • La precisión relativa del CEB fue más de 100 veces superior a la del experimento reducido, demostrando que los datos observacionales, cuando se calibran, pueden ser más informativos que experimentos pequeños.

5. Significado e Implicaciones

• Revolución en la Inferencia Causal: El trabajo proporciona una solución rigurosa al problema de combinar evidencia experimental y observacional. Muestra que la observación no es inherentemente inútil, pero requiere una estrategia de aprendizaje de la estructura del sesgo.
• Valor de los Controles Negativos: Eleva el estatus de los estudios de calibración (controles negativos) de meras herramientas diagnósticas a componentes esenciales para la estimación cuantitativa de efectos causales en entornos de datos masivos.
• Advertencia sobre la Sobreconfianza: Advierte a los investigadores que combinar datos observacionales sin entender la distribución del sesgo (especialmente si se intenta estimar la media del sesgo sin calibración) puede llevar a conclusiones erróneas con intervalos de confianza engañosamente estrechos.
• Aplicabilidad: El método es aplicable en ciencias sociales, epidemiología y economía, donde los experimentos aleatorizados son costosos o poco éticos, pero existen grandes volúmenes de datos observacionales y la posibilidad de diseñar estudios de calibración (por ejemplo, asignando placebos o intervenciones nulas).

En resumen, el artículo demuestra que la "ilusión" de aprender de datos observacionales se rompe únicamente cuando se utiliza un enfoque Bayesiano Empírico alimentado por estudios de calibración que permiten aprender la distribución completa del sesgo, transformando datos observacionales ruidosos en una fuente valiosa de información causal.