Designing Time Series Experiments in A/B Testing with Transformer Reinforcement Learning

Resumen Técnico: Diseño de Experimentos de Series Temporales en Pruebas A/B con Aprendizaje por Refuerzo basado en Transformers

Planteamiento del Problema
El artículo aborda el desafío de diseñar pruebas A/B para datos de series temporales, un escenario común en plataformas tecnológicas modernas (por ejemplo, servicios de transporte compartido, comercio electrónico) donde las políticas se asignan secuencialmente a lo largo del tiempo. A diferencia de las pruebas A/B estándar donde las unidades son independientes, los experimentos de series temporales sufren de efectos de arrastre (carryover effects): una política implementada en el tiempo $t$ influye en los resultados no solo en $t$, sino también en pasos de tiempo futuros, violando el Supuesto de Valor de Tratamiento de Unidad Estable (S서SUTVA).

Los diseños experimentales existentes para tales escenarios enfrentan dos limitaciones primarias:

1. Utilización Incompleta de la Historia: La mayoría de las estrategias actuales (por ejemplo, diseños de Markov, diseños estáticos, diseños de memoria corta o diseños de switchback) condicionan la asignación del tratamiento únicamente a la observación actual, a la acción inicial, a una historia limitada o al índice de tiempo. No logran aprovechar el contexto histórico completo.
2. Supuestos Restrictivos: Para optimizar el diseño (específicamente para minimizar el Error Cuadrático Medio, o MSE, del estimador del Efecto de Tratamiento Promedio, ATE), los métodos existentes suelen depender de supuestos fuertes sobre el proceso generador de datos, tales como la dinámica de Markov, modelos específicos de series temporales paramétricos (por ejemplo, ARMA) o restricciones sobre la duración de los efectos de arrastre.

El artículo argumenta que no condicionar la asignación a la historia completa conduce a diseños subóptimos debido a las dependencias dinámicas inherentes en los experimentos de series temporales.

Metodología
Los autores proponen un marco de Aprendizaje por Refuerzo con Transformers (TRL, por sus siglas en inglés) para abordar simultáneamente las limitaciones de la utilización de la historia y los supuestos de modelado. La metodología consta de dos componentes principales:

1. Fundamento Teórico (Teorema de Imposibilidad):
   El artículo establece un teorema de imposibilidad que demuestra que, para la clase de estimadores doblemente robustos, cualquier estrategia de asignación de tratamiento que no dependa de la historia completa pasada (observaciones, acciones y resultados) no puede ser óptima. Esto justifica teóricamente la necesidad de un modelo que procese la secuencia completa de datos.

2. Algoritmo de Aprendizaje por Refuerzo con Transformers:

   • Definición del Estado: El estado $S_t$ en el tiempo $t$ se define como la historia completa $\{O_1, A_1, Y_1, \dots, O_t\}$, capturando todas las dependencias temporales.
   • Acción: La acción $A_t \in \{-1, 1\}$ determina si se implementa la política de control o la de tratamiento.
   • Recompensa: La recompensa $R_t$ está diseñada para minimizar directamente el MSE del estimador del ATE. Se define como la desviación cuadrática negativa entre el estimador actual del ATE (calculado con los datos hasta el tiempo $t$) y un estimador de "verdad de campo" de Monte Carlo ($\widehat{ATE}_{mc}$), descontada por un factor $\alpha^{T-t}$.
   • Arquitectura: Los autores emplean un codificador Transformer para resumir el contexto histórico completo en representaciones de estado. Estos estados se introducen en un agente de Red Q-Deep Doble (DDQN). Se elige el Transformer específicamente por su capacidad para manejar entradas de longitud variable y capturar dependencias de largo plazo, aspectos en los que las redes neuronales recurrentes (RNN) pueden presentar dificultades.
   • Optimización: El agente de RL aprende la política óptima $\pi$ que minimiza la recompensa acumulada esperada (lo que corresponde a minimizar el MSE) interactuando con un entorno de simulación. Este enfoque no requiere que los datos satisfagan supuestos de Markov o estructuras paramétricas específicas.

Contribuciones Clave

1. Resultado de Imposibilidad Teórica: El artículo proporciona una prueba formal de que la asignación de tratamiento óptima en experimentos de series temporales (bajo estimación doblemente robusta) requiere condicionarse a la historia completa pasada, lo que hace que los diseños existentes que dependen de una historia parcial sean teóricamente subóptimos.
2. Nuevo Algoritmo (TRL): Los autores introducen un enfoque de RL basado en Transformers que:
   • Condiciona la asignación a la historia completa de los datos.
   • Optimiza directamente el MSE del estimador del ATE sin depender de supuestos de modelado restrictivos (por ejemplo, MDP o modelos ARMA).
3. Validación Empírica: La propuesta se evalúa en tres entornos distintos:
   • Datos sintéticos con variaciones en la varianza y estructuras de transición.
   • Un simulador basado en datos reales construido a partir de un conjunto de datos A/A de una empresa de transporte compartido mediante el uso de wild bootstrap.
   • Un simulador de despacho físico disponible públicamente para transporte compartido.

Resultos
Las evaluaciones empíricas a través de 400 replicaciones de simulación demuestran que el diseño TRL propuesto supera consistentemente a las líneas base existentes, incluyendo:

• Diseños de Markov/No Markov (TMDP/NMDP): Diseños que cambian de tratamiento diariamente.
• Diseños de Switchback: Variantes propuestas por Hu & Wager (HW), Bojinov et al. (BSZ), Xiong et al. (XCT) y Wen et al. (WSY).

Hallazgos clave incluyen:

• TRL logra el MSE más bajo y los intervalos de confianza más cortos en la mayoría de los entornos.
• En entornos con correlación positiva en los resultados (simulador de datos reales), los diseños que cambian diariamente (TMDP/NMDP) funcionan significativamente peor, mientras que TRL se adapta eficazmente.
• Aunque los diseños de switchback reducen el sesgo en comparación con el cambio diario, TRL aún alcanza MSEs más bajos al aprovechar mejor la información histórica para optimizar la estrategia de asignación.

Significancia y Reivindicaciones
El artículo sostiene que su propuesta representa un avance significativo en el diseño experimental para datos de series temporales al:

• Gestionar los Efectos de Arrastre: Manejar eficazmente las dependencias temporales y los efectos retardados sin asumir que estos desaparecen tras un periodo fijo.
• Minimizar los Supuestos: Eliminar la necesidad de supuestos específicos sobre el proceso generador de datos (como la marcovianidad o la linealidad) requeridos por métodos de optimización previos.
• Ganancias Empíricas: Lograr mejoras sustanciales en la precisión de la estimación (MSE) del ATE, lo cual es crítico para detectar efectos de tratamiento pequeños (frecuentemente del 0.5% al 2% en industrias como el transporte compartido) dentro de duraciones experimentales limitadas.

Los autores posicionan este trabajo como un puente entre las arquitecturas modernas de aprendizaje profundo (Transformers) y la inferencia causal, utilizando la potencia computacional para resolver problemas de diseño complejos que anteriormente eran intratables bajo supuestos estadísticos restrictivos.