Randomization Tests in Switchback Experiments

Resumen Técnico: Pruebas de Aleatorización en Experimentos de Switchback

1. Planteamiento del Problema

Los experimentos de switchback (alternancia de tratamiento y control a lo largo del tiempo) son fundamentales en plataformas digitales (mercados, transporte, publicidad) donde la aleatorización a nivel de unidad individual es inviable, los resultados se observan de forma agregada o existe interferencia entre usuarios.

Sin embargo, la inferencia causal en estos entornos enfrenta desafíos críticos:

• Dependencia Temporal y Estacionalidad: Los resultados exhiben dependencia serial, patrones estacionales y choques de colas pesadas, lo que hace que las aproximaciones asintóticas normales (comunes en grandes muestras) sean poco fiables en horizontes temporales cortos y realistas.
• Interferencia Temporal: Los resultados pueden depender de tratamientos pasados (carryover) o de asignaciones futuras anticipadas (anticipation). Esto invalida las pruebas de aleatorización de Fisher estándar (FRT), ya que muchas hipótesis nulas no son "agudas" (sharp), impidiendo la imputación de todos los resultados potenciales faltantes.
• Limitaciones de Muestra: Las decisiones de producto requieren rapidez, lo que a menudo limita el tamaño de la muestra, haciendo que los métodos basados en grandes muestras sean conservadores o inexactos.

2. Metodología Propuesta

Los autores desarrollan un marco de Pruebas de Aleatorización Condicional (CRT, por sus siglas en inglés) que ofrece valores p válidos para muestras finitas y libres de distribución, sin asumir un modelo paramétrico para el proceso de resultados.

Supuestos Fundamentales:

1. No Anticipación: Los resultados en el tiempo $t$ no dependen de asignaciones futuras ($w_{t+1:T}$).
2. Horizonte de Carryover Finito ($m$): Los resultados en $t$ dependen solo de los últimos $m+1$ tratamientos.

Estrategias Clave:

• Pruebas para Efectos Totales (Sección 3.2):

  • Se definen "secciones" predeterminadas (agrupaciones de bloques de diseño) que son constantes bajo la asignación observada.
  • Se identifican unidades focales dentro de estas secciones constantes donde los resultados no están contaminados por carryover externo.
  • Se construye una ley de asignación condicional restringida a estas secciones, permitiendo la imputación de resultados bajo la hipótesis nula.
  • Se utiliza un algoritmo de Monte Carlo para simular la distribución de aleatorización condicional.

• Diagnóstico de Carryover y No Anticipación (Sección 3.3-3.4):

  • Carryover: Se propone un procedimiento secuencial para probar hipótesis nulas anidadas sobre la longitud del carryover ($H_0^m$). Utiliza un mecanismo de "retención alterna" (holdout) para aislar efectos residuales, controlando la tasa de error familiar (FWER).
  • No Anticipación: Se adapta la prueba PIRT (Pairwise Imputation-based Randomization Test) de Zhong (2024). Se restringe la aleatorización a horarios que comparten un prefijo inicial con la asignación observada, creando "tiempos imputables" donde se puede verificar la independencia de los resultados respecto a asignaciones futuras.

• Hipótesis Débiles y Asintóticas (Sección 4):

  • Para efectos promedio, se introducen CRTs estudiantizados (studentized) que permiten probar hipótesis débiles (media cero) incluso cuando la hipótesis nula no es aguda.
  • Se establecen condiciones de estabilidad y momentos para garantizar la validez asintótica, permitiendo manejar la estacionalidad intra-sesión (ej. efectos de día de la semana).

• Análisis de Potencia (Sección 5):

  • Bajo un modelo de superpoblación con efectos de retardo distribuido y ruido AR(1), se derivan aproximaciones analíticas de la potencia.
  • Se demuestra cómo la longitud del bloque, el periodo de "burn-in" y el agrupamiento de secciones afectan la relación señal-ruido.

3. Contribuciones Clave

1. Validez en Muestras Finitas: A diferencia de la literatura previa (ej. Bojinov et al., 2023) que se basa en inferencia asintótica, este marco garantiza la validez exacta de los valores p para muestras finitas bajo mecanismos de asignación conocidos.
2. Robustez a Colas Pesadas: El método no requiere supuestos de normalidad, siendo robusto frente a choques de colas pesadas, un problema común en datos de plataformas.
3. Diagnósticos Integrados: Proporciona herramientas formales para validar los supuestos críticos de no anticipación y estimar el horizonte de carryover, algo que a menudo se asume ciegamente en la práctica.
4. Flexibilidad de Diseño: El marco se extiende naturalmente a otros diseños indexados por tiempo y ofrece guías prácticas para la optimización del diseño experimental (longitud de bloques, agrupamiento).

4. Resultados Principales

• Simulaciones de Tamaño (Size):
  • La prueba CRT propuesta mantiene un control de tamaño cercano al nominal ($\alpha=0.05$) tanto bajo distribuciones Gaussianas como bajo choques de colas pesadas (distribución $t$ de Student).
  • En contraste, las pruebas de Fisher bajo una hipótesis nula aguda mal especificada sufren de sobre-rechazo (over-rejection) en colas pesadas, y las pruebas asintóticas de Horvitz-Thompson tienden a ser excesivamente conservadoras en horizontes realistas.
• Potencia:
  • La CRT propuesta iguala el rendimiento de las pruebas asintóticas bajo ruido Gaussiano y supera a las alternativas corregidas por tamaño bajo perturbaciones de colas pesadas.
  • Los diagnósticos de carryover y no anticipación muestran un control de tamaño preciso y potencia creciente con la magnitud del efecto y el tamaño de la muestra.
• Guías de Diseño:
  • Las aproximaciones de potencia revelan que el agrupamiento excesivo de bloques (para reducir el ruido) puede reducir el número de secciones utilizables, disminuyendo la potencia. Existe un equilibrio óptimo entre la longitud del bloque y el número de repeticiones.
  • Asignaciones equilibradas ($p \approx 0.5$) son generalmente cercanas a óptimas para maximizar la potencia.

5. Significado e Impacto

Este trabajo cierra una brecha metodológica importante entre la teoría de inferencia causal y la práctica operativa en plataformas digitales.

• Operacionalidad: Permite a los equipos de experimentación tomar decisiones rápidas y fiables con muestras modestas, sin depender de supuestos distribucionales que a menudo no se cumplen en la realidad.
• Rigor Científico: Establece un estándar para la inferencia en experimentos con interferencia temporal, proporcionando herramientas para validar los propios supuestos del diseño experimental.
• Generalización: El enfoque de pruebas de aleatorización condicional basado en secciones predeterminadas ofrece un camino unificado para la inferencia exacta en una amplia gama de diseños experimentales con estructura temporal, más allá de los experimentos de switchback estándar.

En resumen, Liu y Zhong ofrecen un marco robusto, flexible y riguroso que transforma la forma en que se analizan los experimentos en entornos de alta interferencia temporal, priorizando la validez finita y la libertad de distribución sobre las aproximaciones asintóticas tradicionales.