Resumen Técnico: Estimación de Efectos de Tratamiento bajo No Estacionariedad mediante el Estimador de Gradiente de Política Truncado

1. Planteamiento del Problema

Los experimentos aleatorios (pruebas A/B) son herramientas estándar para evaluar intervenciones en sistemas dinámicos como plataformas de recomendación, mercados y salud digital. Sin embargo, en estos entornos, las intervenciones suelen inducir efectos de arrastre (o interferencia temporal), donde una acción en el tiempo $t$ influye en los estados y resultados en tiempos futuros $t' > t$. Esto viola el supuesto estándar de independencia a nivel de unidad.

El desafío se ve exacerbado por la no estacionalidad: la dinámica del sistema (kernels de transición y distribuciones de recompensa) varía con el tiempo debido a factores como la evolución de las preferencias de los usuarios, tendencias estacionales o choques externos. En tales entornos markovianos no estacionarios, los enfoques de estimación existentes enfrentan limitaciones significativas:

• Estimadores ingenuos (por ejemplo, Diferencia de Medias) ignoran las dependencias temporales, lo que conduce a un sesgo sustancial.
• Métodos de Evaluación de Política Fuera de Política (OPE) estacionarios (por ejemplo, Diferencia de Q's o estimadores DQ) asumen un entorno estacionario. Al aplicarse a datos no estacionarios, sufren de alto sesgo y varianza porque dependen de supuestos (por ejemplo, observabilidad estacionaria, múltiples trayectorias independientes) que no se cumplen.
• Diseños experimentales complejos (por ejemplo, experimentos de switchback) pueden mitigar la interferencia, pero son difíciles de implementar y requieren un ajuste cuidadoso de la longitud de los intervalos.

El problema central abordado es la estimación del Efecto de Tratamiento Promedio Global (GATE) a partir de una única trayectoria de un sistema no estacionario bajo una política de aleatorización de Bernoulli, sin requerir el conocimiento del espacio de estados o múltiples ejecuciones independientes.

2. Metodología: El Estimador de Gradiente de Política Truncado (TPG)

Los autores proponen el estimador de Gradiente de Política Truncado (TPG), el cual modifica el enfoque estándar de Diferencia de Medias (DM) agregando los resultados sobre un horizonte corto y fijo $k$ en lugar de utilizar recompensas instantáneas.

2.1 Marco Formal

El sistema se modela como un proceso de decisión de Markov (MDP) no estacionario con un horizonte finito $T$.

• Estado/Acción: $X_t \in \mathcal{X}$ (estado), $Z_t \in \{0, 1\}$ (control/tratamiento).
• Dinámica: Las transiciones están gobernadas por kernels dependientes del tiempo $P^t_z$. El sistema satisface un supuesto de tiempo de mezcla (Supuesto 1), donde la influencia de las acciones pasadas decae exponencialmente a una tasa $\gamma \in (0, 1)$.
• Objetivo: El GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$, donde $\pi_1$ y $\pi_0$ son las políticas de siempre-tratamiento y siempre-control.
• Datos: Una única trayectoria generada bajo una política de aleatorización de Bernoulli $\pi_{1/2}$.

2.2 El Estimador

El estimador TPG $\hat{\tau}_k$ se define como:
$$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$$
Cuando $k=0$, esto reduce al estimador de DM ingenuo. Para $k \ge 1$, suma las recompensas sobre una ventana de tamaño $k$.

2.3 Interpretación Teórica

El artículo establece que $\hat{\tau}_k$ es un estimador insesgado de un gradiente de política truncado $\nabla J_k(1/2)$.

• Vista de Gradiente de Política: El gradiente de política estándar $\nabla J(1/2)$ es una aproximación de Taylor de primer orden del GATE. En entornos no estacionarios, el estimador de gradiente completo (donde $k=T$) sufre de un sesgo que escala cuadráticamente con $T$ ($O(T^2)$).
• Truncamiento: Al truncar el horizonte a $k$, el estimador aproxima el gradiente de una política hipotética que cambia a tratamiento o control solo durante los últimos $k$ pasos.
• Descomposición del Sesgo: El sesgo de $\hat{\tau}_k$ respecto al verdadero GATE se descompone en:
  1. Error de Taylor: El error de aproximar el GATE con el gradiente. Escala como $O(k^2)$ (mucho mejor que $O(T^2)$).
  2. Sesgo de Mezcla: El error de la diferencia entre el valor de la política truncada y el verdadero GATE. Decae geométricamente con $k$ debido al supuesto de tiempo de mezcla.

2.4 Estimación de Varianza e Inferencia

El artículo deriva un Teorema del Límite Central (CLT) para el estimador TPG bajo no estacionalidad. Para apoyar la inferencia estadística, los autores desarrollan un estimador de varianza HAC (consistente en heterocedasticidad y autocorrelación) no estacionario. Este estimador permite la construcción de intervalos de confianza utilizando datos de una sola trayectoria, superando la "maldición del horizonte" que afecta a los métodos de OPE estándar en entornos no estacionarios.

3. Contribuciones Clave

1. Nuevo Estimador: Introducción del estimador TPG, que equilibra sesgo y varianza mediante el truncamiento del horizonte de recompensa. No requiere observabilidad del estado y funciona con una única trayectoria.
2. Garantías Teóricas:
   • Compromiso Sesgo-Varianza: El Teorema 1 proporciona límites que muestran que para $k \ge 1$, el estimador TPG logra un compromiso favorable. El sesgo se controla mediante la tasa de mezcla $\gamma$ y la desviación del kernel $\delta$, mientras que la varianza está acotada y no explota con $T$ (a diferencia del estimador no truncado).
   • Normalidad Asintótica: El Teorema 2 establece el CLT para $\hat{\tau}_k$ y demuestra la consistencia del propuesto estimador de varianza HAC bajo condiciones de regularidad leves (estabilidad de media Cesàro-$L^2$).
3. Heurística Práctica: Se propone un algoritmo basado en datos (Apéndice B) para seleccionar el tamaño de truncamiento $k$ post-experimento monitoreando la estabilidad del estimador respecto a su varianza.
4. Validación Empírica: El método se valida en dos casos de estudio realistas:
   • Un simulador de colas basado en datos no estacionarios de llegada de pacientes.
   • Un simulador de escala masiva de viajes compartidos en NYC utilizando datos reales de taxis.

4. Resultados

• MDP de Dos Estados: En simulaciones, el estimador DM ingenuo ($k=0$) exhibió un Error Absoluto Medio (MAE) del ~50%. El gradiente de política no truncado ($k=T$) tuvo signos incorrectos y una varianza masiva. El estimador TPG con un $k$ pequeño (por ejemplo, $k=1$ a $5$) redujo significativamente el sesgo manteniendo una baja varianza.
• Caso de Estudio de Colas: Comparado con el DQ estacionario, LSTD-OPE y los estimadores de switchback con corrección de sesgo, el estimador TPG (con $k=4$ o $5$) se aproximó estrechamente al verdadero GATE. El estimador de varianza HAC propuesto logró una cobertura del 95% casi nominal.
• Caso de Estudio de Viajes Compartidos: En un entorno complejo y no estacionario con datos reales de NYC, el estimador TPG redujo consistentemente el sesgo a través de varios intervalos de switchback (10 a 60 minutos). Superó a los estimadores de switchback de última generación (que eran sensibles a la elección del intervalo) y a los métodos de OPE estacionarios (que fallaron en aprender valores Q confiables). El estimador TPG con $k=2$ o $3$ produjo estimaciones muy cercanas al verdadero GATE.

5. Significado y Reivindicaciones

El artículo afirma que el estimador TPG ofrece una solución simple, práctica y teóricamente fundamentada para la inferencia causal en sistemas dinámicos no estacionarios. Su principal importancia radica en:

• Robustez: Logra un equilibrio favorable entre sesgo y variancia en escenarios donde los métodos existentes (DM ingenuo, OPE estacionario) fallan.
• Factibilidad: Opera con datos de una sola trayectoria sin requerir el conocimiento del espacio de estados, lo que lo hace aplicable a plataformas del mundo real donde la observabilidad total del estado suele ser imposible.
• Inferencia: Proporciona el primer estimador de varianza consistente y CLT para la estimación del efecto de tratamiento en entornos markovianos no estacionarios de una sola trayectoria, permitiendo una inferencia estadística válida.
• Flexibilidad: Puede aplicarse como una herramienta de post-procesamiento para mejorar las estimaciones de pruebas A/B de Bernoulli estándar o diseños más complejos como los de switchback.

Los autores concluyen que la perspectiva del gradiente de política, específicamente a través del truncamiento, proporciona un marco poderoso para diseñar estimadores efectivos bajo dinámicas no estacionarias complejas.