Design-based theory for causal inference from adaptive experiments

Aquí presento un resumen técnico detallado del artículo "Design-based theory for causal inference from adaptive experiments" (Teoría basada en el diseño para la inferencia causal de experimentos adaptativos), escrito por Xinran Li y Anqi Zhao.

1. Planteamiento del Problema

Los diseños experimentales adaptativos (también conocidos como diseños secuenciales) actualizan dinámicamente las probabilidades de asignación de tratamientos basándose en la información acumulada durante el experimento. Ejemplos comunes incluyen los bandits de múltiples brazos, la randomización adaptativa a covariables y la re-randomización secuencial.

El problema central identificado por los autores es que la teoría existente para la inferencia causal en estos contextos se basa predominantemente en el marco de superpoblación, que asume que las unidades son independientes e idénticamente distribuidas (i.i.d.). Esta suposición falla cuando la distribución de las unidades evoluciona con el tiempo (unidades no intercambiables), lo que puede introducir sesgos en las estimaciones. Además, los métodos actuales a menudo requieren condiciones estrictas sobre la convergencia de las probabilidades de tratamiento o de los estimadores de resultados, limitando la aplicación de modelos de "caja negra" avanzados (como los de aprendizaje automático).

2. Metodología y Marco Teórico

El artículo propone un cambio de paradigma hacia un marco de población finita basado en el diseño (design-based finite-population framework). En este enfoque:

• Los resultados potenciales y las covariables se consideran fijos (no aleatorios).
• La única fuente de aleatoriedad es la asignación del tratamiento.
• Esto permite manejar unidades no intercambiables y procesos generadores de datos complejos.

Estimadores Propuestos:
Los autores desarrollan la teoría para dos estimadores clave bajo este marco:

1. Estimador Ponderado por la Inversa de la Propensión (IPW):
   $$\hat{Y}_{t,ipw}(z) = \frac{1(Z_t = z)}{e_t(z)} Y_t$$
   Donde $e_t(z)$ es la probabilidad de asignación condicional a la historia $H_t$.
2. Estimador Aumentado Ponderado por la Inversa de la Propensión (AIPW):
   $$\hat{Y}_{t,aipw}(z) = \hat{Y}_{t,ipw}(z) + \left(1 - \frac{1(Z_t = z)}{e_t(z)}\right) \hat{m}_t(z)$$
   Donde $\hat{m}_t(z)$ es un estimador adaptativo de los resultados (basado en la historia $H_t$). Este estimador combina la robustez del IPW con la eficiencia de la regresión de resultados.

Estructura de Martingala:
Un aporte técnico crucial es el reconocimiento de que, bajo asignación adaptativa, los residuos de los estimadores forman una secuencia de diferencias de martingala. Esto permite aplicar el Teorema Central del Límite para martingalas, incluso cuando las unidades no son i.i.d. y las probabilidades de tratamiento no convergen.

3. Contribuciones Clave

El artículo hace dos contribuciones principales:

A. Teoría de Inferencia para Diseños Adaptativos (Población Finita)

• Generalidad: La teoría se aplica a unidades no intercambiables, probabilidades de tratamiento que no convergen (incluso si se desvanecen) y estimadores de resultados que no convergen (incluyendo modelos de caja negra de aprendizaje automático).
• Nuevos Estimadores de Varianza: Se introduce un nuevo estimador de covarianza para el estimador AIPW. Este estimador es conservador en general, pero se vuelve agudo (sharp) cuando los residuos de la regresión adaptativa de los resultados potenciales sobre las covariables son aditivos entre unidades. Esto reduce la conservadurismo inherente a la inferencia basada en población finita.
• Cobertura de Diseños Específicos: El marco engloba y proporciona garantías teóricas para diseños ampliamente utilizados como bandits de múltiples brazos, randomización adaptativa a covariables y re-randomización secuencial, llenando vacíos teóricos existentes (específicamente en la re-randomización secuencial).

B. Ajuste de Covariables Adaptativo para Diseños No Adaptativos

• Innovación Metodológica: Los autores proponen analizar diseños no adaptativos (como la randomización completamente aleatorizada) como si fueran adaptativos.
• Ventaja: Al utilizar el estimador AIPW adaptativo con una estructura de martingala inducida, se permite la inferencia válida utilizando estimadores de resultados de "caja negra" (machine learning) que, bajo el análisis no adaptativo estándar, requerirían suposiciones de consistencia fuerte o correcciones de Bonferroni complejas. Esto mejora la eficiencia y la validez de la inferencia.

4. Resultados Principales

1. Propiedades de Muestreo: Se demuestra que los estimadores IPW y AIPW son insesgados y consistentes para estimar combinaciones lineales de los promedios de resultados potenciales en la población finita.
2. Normalidad Asintótica: Bajo condiciones de regularidad (convergencia de la varianza y condición de Lindeberg para martingalas), se establece que los estimadores siguen una distribución normal asintótica, permitiendo la construcción de intervalos de confianza tipo Wald.
3. Validez de la Inferencia: Se prueba que los intervalos de confianza construidos tienen una cobertura asintótica correcta, incluso cuando las probabilidades de tratamiento son muy pequeñas o dependen de historias largas.
4. Simulaciones:
   • Ajuste de Covariables: En experimentos simulados, el ajuste adaptativo (AIPW) logra una cobertura válida y intervalos más cortos que los métodos no adaptativos estándar (como el uso de todos los datos para la regresión o el cross-fitting con corrección de Bonferroni), especialmente cuando se utilizan modelos de Random Forest.
   • Re-randomización Secuencial: En un estudio de simulación de re-randomización secuencial, el estimador propuesto mostró una reducción del 70.6% en el error cuadrático medio (RMSE) en comparación con la randomización completamente aleatorizada, manteniendo una cobertura del 94.8%.
   • Probabilidades Desvanecientes: Se ilustra que cuando las probabilidades de tratamiento se desvanecen demasiado rápido (violando ciertas condiciones de regularidad), la normalidad se pierde y la inferencia falla, validando las condiciones teóricas propuestas.

5. Significado e Impacto

Este trabajo es fundamental porque desacopla la inferencia causal de la suposición de i.i.d., que a menudo es irrealista en experimentos adaptativos modernos (como ensayos clínicos dinámicos o pruebas A/B en plataformas digitales).

• Flexibilidad: Permite el uso seguro de técnicas avanzadas de aprendizaje automático (caja negra) para mejorar la eficiencia de los estimadores sin sacrificar la validez estadística.
• Robustez: Proporciona garantías teóricas sólidas para diseños que optimizan objetivos distintos a la estimación causal (como maximizar recompensas en bandits), asegurando que los investigadores aún puedan realizar inferencias causales válidas.
• Aplicabilidad Práctica: La propuesta de usar la estructura adaptativa incluso en diseños no adaptativos ofrece una nueva herramienta metodológica para mejorar la precisión de los experimentos tradicionales, aprovechando la potencia de los modelos predictivos modernos.

En resumen, Li y Zhao establecen un nuevo estándar teórico para la inferencia causal en el contexto de la era de los datos adaptativos, combinando la rigurosidad del diseño experimental clásico con la flexibilidad de los métodos modernos de aprendizaje automático.