Sequentially-Rerandomized Switchback Experiments

Este artículo propone los Experimentos Switchback Reasignados Secuencialmente (SRSB), un nuevo diseño experimental que mejora la precisión y robustez en plataformas digitales al reasignar aleatoriamente los tratamientos en cada periodo para equilibrar variables pronósticas y manejar la heterogeneidad, la no estacionariedad y los efectos de arrastre.

Lo esencial

Imagina que eres el director de una gran cadena de restaurantes (como Airbnb o Uber) y quieres probar una nueva política: ¿cambiar el color de los botones de "Reservar" a rojo aumenta las ventas?

Para saberlo, normalmente harías una prueba A/B: le muestras el botón rojo a la mitad de tus restaurantes y el azul a la otra mitad, y comparas los resultados. Pero en el mundo real, esto es como intentar adivinar el clima solo mirando una sola nube: es difícil, hay muchas variables y el clima cambia todo el tiempo.

Este artículo propone una nueva forma de hacer estas pruebas, llamada Experimentos de "Switchback" Reasignados Secuencialmente (SRSB). Aquí te lo explico con analogías sencillas:

1. El Problema: El Clima Cambia y los Restaurantes son Diferentes

En las grandes plataformas, no tienes millones de restaurantes idénticos. Tienes quizás 100 o 200 ciudades (unidades).

• El problema de la poca gente: Si tienes pocos restaurantes, una prueba estadística normal falla porque no hay suficientes datos.
• El problema de la heterogeneidad: París no es igual a un pueblo pequeño. Si por suerte (o mala suerte) asignas el botón rojo a París y el azul al pueblo, no sabrás si el éxito vino del color o de que París siempre vende más.
• El problema del tiempo: El clima cambia. Quizás el botón rojo funciona bien el lunes pero mal el viernes. Además, lo que pasa hoy puede afectar mañana (un efecto de "resaca" o carryover).

2. La Solución: El "Entrenador Personal" que Revisa el Partido

La idea tradicional es asignar los colores al azar y esperar. La idea de este papel (SRSB) es ser un entrenador inteligente que observa el partido en tiempo real.

Imagina que tienes un equipo de 100 jugadores (tus ciudades).

• El método viejo (Aleatorio): El entrenador grita "¡Rojo para los pares, Azul para los impares!" y espera a ver qué pasa. A veces, por azar, los mejores jugadores terminan en el equipo azul, arruinando la comparación.
• El método nuevo (SRSB): El entrenador mira el marcador de la semana pasada. Ve que el equipo "Rojo" jugó mal la semana pasada no porque el color sea malo, sino porque tenían un día difícil. Entonces, antes de empezar la nueva semana, el entrenador reorganiza los equipos.
  • Mira quién tuvo un buen rendimiento la semana pasada.
  • Asegura de que el equipo "Rojo" y el equipo "Azul" tengan una mezcla similar de jugadores fuertes y débiles, y de que hayan tenido un rendimiento similar la semana anterior.
  • Solo cuando los dos equipos están equilibrados (como si fueran gemelos en términos de historial), deja que jueguen con los nuevos colores.

Si la primera asignación no es justa, la descarta y vuelve a intentar hasta encontrar una que sea perfecta. Esto se hace en cada periodo de tiempo.

3. ¿Qué pasa si hay "Efecto Resaca"? (Carryover)

A veces, lo que haces hoy afecta mañana. Si usas el botón rojo hoy, quizás mañana la gente esté cansada de verlo y compre menos, independientemente de si mañana usas rojo o azul.

El papel propone una versión avanzada llamada "Bloqueada":

• Imagina que divides a tus jugadores en dos grupos: los que jugaron con Rojo ayer y los que jugaron con Azul ayer.
• En lugar de mezclar a todos de nuevo, mantienes a los que jugaron con Rojo ayer juntos y a los que jugaron con Azul ayer juntos.
• Dentro de cada grupo, vuelves a hacer el sorteo inteligente para asegurar que, dentro del grupo de "los que jugaron con Rojo ayer", la mitad siga con Rojo y la otra mitad cambie a Azul, pero asegurando que sean parecidos entre sí.
• Esto crea grupos estables de "quedarse" (Stay groups) que son comparables, eliminando el ruido de la "resaca" del día anterior.

4. ¿Por qué es mejor? (La Analogía de la Carrera)

Imagina que quieres saber si un nuevo tipo de zapatilla hace correr más rápido.

• Aleatorio: Haces correr a 100 personas. Por suerte, los 50 más rápidos terminan con las zapatillas nuevas. ¡Parece que funcionan genial! Pero en realidad, eran rápidos de por sí.
• SRSB: Antes de la carrera, miras sus tiempos de entrenamiento de la semana pasada. Reorganizas los grupos para que en ambos lados haya 25 corredores muy rápidos, 25 promedio y 25 lentos.
  • Ahora, si el grupo de zapatillas nuevas gana, sabes que realmente fue por las zapatillas, no porque tenían a los corredores más rápidos.

En Resumen

Este artículo nos dice que en el mundo digital, donde los datos llegan uno por uno y el entorno cambia, no debemos confiar en el azar simple. Debemos usar la información del pasado (qué pasó ayer, qué características tienen las ciudades) para reajustar la balanza en cada momento.

Es como si el experimento fuera un juego de ajedrez en tiempo real: en lugar de mover piezas al azar, el sistema observa el tablero, calcula quién tiene ventaja y mueve las piezas para asegurar que ambos jugadores tengan exactamente las mismas oportunidades antes de que ocurra el siguiente movimiento.

El resultado: Obtienes respuestas más rápidas, más precisas y con menos "ruido", lo que permite a las empresas tomar mejores decisiones sobre sus productos sin tener que esperar años o gastar millones en pruebas fallidas.

Resumen técnico

Resumen Técnico: Experimentos de Switchback Reasignados Secuencialmente (SRSB)

1. Planteamiento del Problema

Las grandes plataformas en línea y los sistemas de mercado (como Airbnb, Uber o redes publicitarias) suelen evaluar nuevas políticas mediante experimentos a gran escala que randomizan tratamientos a través de unidades operativas (ej. geografías, regiones o clusters) a lo largo de múltiples periodos de tiempo. Sin embargo, el diseño y análisis de estos experimentos enfrentan desafíos significativos que hacen que la prueba A/B estándar sea ineficiente o poco fiable:

• Número limitado de unidades: A menudo hay pocas unidades experimentales (decenas o cientos), lo que invalida la inferencia asintótica basada en un gran número de unidades.
• Heterogeneidad sustancial: Las unidades pueden diferir drásticamente (ej. una región metropolitana frente a zonas rurales), y el desequilibrio en estas características afecta la precisión y la interpretación.
• No estacionariedad y dinámica temporal: Los resultados suelen exhibir estacionalidad, tendencias persistentes y correlación serial.
• Efectos de arrastre (Carryover): Los tratamientos en un periodo pueden influir en los resultados de periodos futuros (ej. una campaña publicitaria con impacto retardado).

Los diseños de switchback tradicionales (que alternan tratamientos en el tiempo) suelen basarse en asignaciones aleatorias simples, lo que no aprovecha la información temporal disponible para mejorar la precisión.

2. Metodología Propuesta: SRSB

Los autores proponen SRSB (Sequentially-Rerandomized Switchback Experiments), un diseño experimental adaptativo que reasigna el tratamiento en cada periodo de tiempo para forzar el equilibrio en variables pronósticas construidas a partir de observaciones pasadas.

Marco Teórico:

• Se adopta una perspectiva de población finita (framework de diseño), donde los resultados potenciales y las covariables se tratan como fijos; la única fuente de aleatoriedad es la asignación del tratamiento.
• Se asumen dos condiciones clave:
  1. Resultados no anticipatorios: Los resultados en el tiempo $t$ no dependen de asignaciones futuras.
  2. Sin efectos de derrame (No spillover): El resultado de una unidad depende solo de su propia trayectoria de tratamiento (SUTVA).

El Algoritmo SRSB:
En lugar de una asignación aleatoria completa en cada periodo $t$, el procedimiento:

1. Construye variables de equilibrio $H_{i,t}$ (ej. covariables actuales $X_{i,t}$ y resultados rezagados $Y_{i,t-1}$) basadas en la información disponible hasta $t$.
2. Genera candidatos de asignación de tratamiento.
3. Calcula la distancia de Mahalanobis entre los grupos de tratamiento y control para las variables $H_{i,t}$.
4. Reasignación (Rerandomization): Acepta la primera asignación que cumple con un umbral de equilibrio predefinido (distancia menor a $c$). Si no se cumple, se descarta y se vuelve a intentar hasta un límite máximo de intentos.
5. Esto asegura que los grupos de tratamiento y control sean comparables en cada periodo, reduciendo la varianza explicada por factores observables.

3. Contribuciones Clave y Extensiones

El artículo desarrolla la teoría y la inferencia para dos escenarios principales:

A. Escenario sin Efectos de Arrastre (Sin Carryover):

• Estimación: Se utiliza un estimador de diferencia de medias promediado en el tiempo.
• Inferencia:
  1. Inferencia por Randomización (Exacta): Válida para muestras finitas $(N, T)$ bajo una hipótesis nula aguda (efecto aditivo constante). Utiliza simulación Monte Carlo para generar la distribución de randomización.
  2. Inferencia Asintótica: A medida que el número de periodos $T \to \infty$, se demuestra la normalidad asintótica del estimador utilizando un Teorema del Límite Central para Martingalas. Esto permite construir intervalos de confianza válidos incluso si $N$ es fijo o crece con $T$.
• Resultado Teórico: Se demuestra que el equilibrio secuencial reduce la varianza del estimador en un factor proporcional a la predictibilidad de las variables de equilibrio ($R^2$).

B. Escenario con Efectos de Arrastre de Primer Orden:

• Desafío: Cuando el resultado en $t$ depende de los tratamientos en $t-1$ y $t$, los grupos de "tratamiento" y "control" simples no son suficientes para estimar efectos de permanencia ("stay" groups: $W_{t-1}=W_t=1$ vs $W_{t-1}=W_t=0$).
• Solución: SRSB Bloqueado (Blocked SRSB):
  • Se estratifica la población en dos bloques basados en el tratamiento anterior ($W_{t-1}=1$ y $W_{t-1}=0$).
  • Dentro de cada bloque, se realiza la reasignación para equilibrar las variables.
  • Esto garantiza que los grupos de "permanencia en tratamiento" y "permanencia en control" sean comparables y estables (tamaño fijo de $N/4$).
• Inferencia: Debido a la dependencia temporal, la secuencia de estimadores no es una martingala simple. Los autores establecen la normalidad asintótica utilizando argumentos de mezclas (mixingales) y sumas de Bernstein, demostrando que el estimador converge a una distribución normal bajo condiciones de regularidad.

4. Resultados de las Simulaciones

Los autores validan el método mediante simulaciones extensas, incluyendo datos semi-sintéticos basados en el Penn World Table (PIB) y modelos de procesos de decisión de Markov (MDP):

• Reducción de Error: En ausencia de efectos de arrastre, SRSB reduce consistentemente el Error Cuadrático Medio (RMSE) en comparación con la randomización completa, especialmente cuando los resultados rezagados y las covariables son altamente predictivos (alta correlación serial).
• Robustez con Carryover: En presencia de efectos de arrastre, la variante Bloqueada (Blocked SRSB) supera significativamente a los diseños no bloqueados y a la randomización completa, proporcionando estimaciones más estables y precisas.
• Sensibilidad al Tamaño del Efecto: En escenarios con efectos de arrastre, la ventaja de SRSB disminuye a medida que aumenta el tamaño del efecto del tratamiento (porque los resultados observados rezagados se vuelven menos predictivos de los resultados potenciales puros), pero sigue siendo superior a la randomización completa en la mayoría de los casos.
• Modelos Complejos: En modelos con estados latentes y efectos de arrastre de orden superior (no lineales), SRSB sigue mostrando menor varianza, aunque el sesgo puede aumentar si la aproximación de primer orden no captura toda la dinámica (sesgo de especificación).

5. Significado e Impacto

Este trabajo es significativo por varias razones:

1. Adaptabilidad Dinámica: Propone un marco donde el diseño experimental se adapta en tiempo real a la información acumulada, superando las limitaciones de los diseños estáticos en entornos dinámicos.
2. Inferencia Rigurosa: Proporciona fundamentos teóricos sólidos (inferencia exacta y asintótica) para diseños que dependen de resultados pasados, un área donde la literatura tradicional a menudo falla.
3. Aplicabilidad Práctica: Ofrece una solución directa para plataformas que operan con pocas unidades geográficas pero muchos periodos temporales, permitiendo decisiones de producto más precisas con menos ruido estadístico.
4. Manejo de Carryover: La introducción del diseño "Bloqueado" resuelve un problema crítico en experimentos de switchback: la comparabilidad de los grupos de permanencia, lo cual es esencial para medir efectos de políticas con persistencia temporal.

En conclusión, SRSB representa un avance sustancial en la metodología de experimentación en línea, combinando la potencia de la reasignación (rerandomization) con la estructura temporal de los experimentos de switchback para lograr una mayor eficiencia estadística y robustez.