Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes

Resumen Técnico: Inferencia Calibrada para el CATE en el Régimen de Pocos Placebos mediante Procesos Gaussianos

Enunciado del Problema
El artículo aborda el desafío de estimar el Efecto Promedio Condicional del Tratamiento (CATE), $\tau(x) = E[Y(1) - Y(0) | X=x]$, con intervalos de incertidumbre calibrados en el "régimen de pocos placebos". Este régimen se define por un desequilibrio severo en los tamaños de muestra entre los brazos de tratamiento ($N_0 \ll N_1$), un escenario común en ensayos clínicos con asignación desigual, pruebas A/B con restricciones presupuestarias y estudios de regímenes raros.

Aunque el X-Learner es el meta-aprendiz estándar para brazos desequilibrados, solo proporciona una estimación puntual. Los autores investigan la extensión natural de hacer la segunda etapa del X-Learner bayesiana para generar intervalos creíbles. Demuestran que este enfoque falla al proporcionar una cobertura calibrada (es decir, los intervalos contienen el efecto verdadero con menos frecuencia que su nivel nominal) específicamente en el régimen de pocos placebos.

Diagnóstico del Fallo
El artículo identifica una causa estructural para la subcobertura de los intervalos del X-Learner bayesiano:

1. Sesgo de Nuisance de Primer Orden: El X-Learner construye pseudo-resultados (por ejemplo, $D_1 = Y - \hat{\mu}_0(X)$) para estimar el efecto del tratamiento. Dado que los modelos de nuisance de aprendizaje automático (como árboles regularizados) intercambian sesgo por varianza, la estimación $\hat{\mu}_0$ no es condicionalmente insesgada. En consecuencia, la media condicional del pseudo-resultado es $\tau(x) - b_0(x)$, donde $b_0(x)$ es el sesgo de regularización del modelo de nuisance ajustado en el pequeño brazo de control.
2. Desplazamiento Posterior: Una regresión bayesiana sobre estos pseudo-resultados sesgados produce una posterior centrada en el objetivo sesgado ($\tau - b_0$) en lugar del efecto verdadero. Dado que el sesgo es un desplazamiento de ubicación, aumentar la varianza posterior (ampliar el intervalo) no corrige la cobertura; el intervalo permanece desplazado de la verdad.
3. Fallo de Puntajes Ortogonales: El remedio estándar para el sesgo de nuisance es regredir un puntaje Neyman-ortogonal, doblemente robusto (DR). Los autores muestran que esto también falla en el régimen de pocos placebos. El régimen induce inherentemente un mal solapamiento (pequeña propensión para el brazo de control, $1-\pi \approx 0$). El término de "segundo orden" del puntaje DR se amplifica por un factor de $1/(1-\pi)^2$, volviendo el término no despreciable. Además, aplicar ponderación por inversa de varianza para estabilizar la alta varianza del brazo de control interrumpe el mecanismo de cancelación entre brazos que garantiza la insesgadez, revertiendo efectivamente el estimador a la forma sesgada del X-Learner.

Metodología: GP-CATE
Para resolver estos problemas, los autores proponen GP-CATE, que abandona el paradigma de estimación puntual más varianza post-hoc en favor de un enfoque completamente bayesiano para las propias funciones de nuisance.

• Modelado: En lugar de ajustar estimaciones puntuales $\hat{\mu}_0$ y $\hat{\mu}_1$, GP-CATE modela la superficie de resultados para cada brazo ($\mu_0$ y $\mu_1$) utilizando Procesos Gaussianos (GP) independientes.
• Construcción Posterior: El GP devuelve una distribución posterior completa sobre la función, compuesta por una media $m_w(x)$ y una desviación estándar puntual $s_w(x)$. La incertidumbre $s_w(x)$ es naturalmente grande donde los datos son escasos (el brazo de control) y pequeña donde los datos son densos.
• Inferencia CATE: La posterior del CATE se deriva como la diferencia de las dos posteriors de los brazos:
  $$\tau(x) | D \sim \mathcal{N}(m_1(x) - m_0(x), s_1(x)^2 + s_0(x)^2)$$
  Esta construcción asegura que la incertidumbre del pequeño brazo de control ingrese a la posterior del CATE directamente como varianza, en lugar de como un sesgo no modelado.
• Estrategia Computacional: Aunque los GP exactos son $O(N^3)$, los autores señalan que en el régimen de pocos placebos, el brazo de control ($N_0$) es pequeño, haciendo que su ajuste exacto sea computacionalmente despreciable. Para el gran brazo de tratamiento ($N_1$), un sustituto escalable (por ejemplo, GP con puntos dispersos/inductores) es suficiente porque la incertidumbre del brazo de control domina la varianza total del CATE.

Contribuciones Clave

1. Diagnóstico: El artículo establece que la subcobertura en los X-Learners bayesianos para datos desequilibrados es causada por un sesgo de nuisance de primer orden proveniente de pseudo-resultados no ortogonales, lo cual desplaza la media posterior.
2. Resultado Negativo: Demuestra que el remedio de puntaje doblemente robusto/ortogonal falla en este régimen debido a la amplificación del solapamiento y a un conflicto fundamental entre la ponderación de eficiencia y la insesgadez, incluso cuando la puntuación de propensión es conocida.
3. Análisis de la Causa Raíz: Los autores argumentan que adjuntar una varianza a una estimación puntual de un nuisance "difícil de aprender" (uno ajustado sobre datos escasos) es estructuralmente defectuoso porque el sesgo de regularización es invisible para las estimaciones de varianza post-hoc.
4. Método y Validación Empírica: GP-CATE se propone como la solución, reemplazando las estimaciones puntuales con posteriors bayesianas. Los resultados empíricos muestran que es el único método probado que logra una cobertura calibrada en todos los diseños (lineales, no lineales y semi-sintéticos de IHDP) en el régimen de pocos placebos.

Resultados Experimentales
Los autores evaluaron GP-CATE frente a Causal Forest, BART y meta-aprendices estándar (X-Learner, DR-Learner) en tres diseños:

• Cobertura: En el régimen de pocos placebos ($N_0=30$), los estimadores de intervalo estándar subcobren severamente. La cobertura de Causal Forest cayó hasta tan bajo como 0.34 en el benchmark IHDP, y BART cayó a 0.59. En contraste, GP-CATE mantuvo una cobertura entre 0.94 y 0.99 en todos los diseños y tamaños de muestra.
• Ancho del Intervalo: Los intervalos calibrados producidos por GP-CATE son significativamente más anchos que los de las alternativas en configuraciones de alta dimensión con pocos controles. Los autores argumentan que esto es una característica, no un error: los intervalos anchos reflejan correctamente la alta incertidumbre inherente a estimar una superficie a partir de datos escasos, whereas los intervalos más estrechos de otros métodos están mal calibrados.
• Precisión Puntual: GP-CATE permanece competitivo en precisión de estimación puntual (medida por $\sqrt{\epsilon PEHE}$), a menudo superando o igualando a Causal Forest y BART, particularmente a medida que $N_0$ aumenta.

Significado y Afirmaciones
El artículo afirma que el régimen de pocos placebos representa un límite estructural donde las propiedades asintóticas oráculo estándar (que asumen un solapamiento fijo) se rompen. El significado del trabajo radica en identificar que la inferencia calibrada en este régimen requiere un modelo de nuisance completamente bayesiano en lugar de una estimación puntual con una varianza corregida.

Los autores enmarcan modestamente su contribución no como una arquitectura de estimador novedosa (señalando que un T-learner bayesiano con GP es similar a trabajos anteriores de Alaa y van der Schaar, 2017), sino como una insight diagnóstica: el fallo de los meta-aprendices en este régimen se debe a la separación de la estimación de sesgo y varianza. GP-CATE se presenta como el estimador que el análisis de la causa raiza hace necesario. El artículo concluye que los practicantes deberían preferir GP-CATE en configuraciones desequilibradas, aceptando intervalos más anchos como el reflejo honesto de la escasez de datos, en lugar de confiar en intervalos más estrechos y mal calibrados de los métodos estándar.