📊 statistics

Power-Optimal Covariate Adjustment for Switchback Experiments

Este artículo propone una metodología CUPAC de potencia óptima para experimentos de switchback con tamaños de clúster desiguales que mejora la potencia estadística al equilibrar específicamente la predicción del ruido entre y dentro de las unidades de aleatorización, en lugar de simplemente apuntar a la precisión predictiva general.

Autores originales: Sergei Pankratev

Publicado 2026-09-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sergei Pankratev

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de las plataformas en línea, donde ocurren millones de transacciones cada hora, las empresas dependen de los experimentos para decidir si una nueva función realmente funciona. Imagine una aplicación de entrega de comida probando una nueva forma de trazar rutas para los repartidores. Para saber si el cambio ayuda, la empresa no puede simplemente probarlo en la mitad de sus usuarios e ignorar la otra mitad; los usuarios están demasiado interconectados y el momento de sus pedidos es importante. En su lugar, los investigadores utilizan un método llamado experimento de switchback (de alternancia). En esta configuración, todo el sistema cambia entre la forma antigua y la nueva en ráfagas cortas, como el haz de luz de un faro barriendo el agua. Cada hora, o cada pocos minutos, toda la red cambia al nuevo método, luego vuelve al anterior. Esto crea una serie de bloques de tiempo donde todo el sistema es tratado como una sola unidad.

El objetivo de estos experimentos es medir la diferencia en los resultados, como cuánto tiempo toma entregar la comida, con la mayor precisión posible. Para obtener una señal clara del ruido, los científicos de datos suelen utilizar una técnica llamada ajuste de covariables. Piense en esto como usar un pronóstico del tiempo para predecir la temperatura de hoy. Si conoce la temperatura de ayer y la estación del año, puede predecir la temperatura de hoy mucho mejor que si solo adivinara. En un experimento, los científicos utilizan datos de antes de que comenzara la prueba para predecir qué habría sucedido sin la nueva función. Al comparar los resultados reales con estas predicciones, pueden eliminar las fluctuaciones aleatorias y ver el efecto real del cambio. Este proceso es una práctica estándar, pero asume que cada dato es igualmente importante.

Un nuevo estudio de Sergei Pankratev en DoorDash desafía esta suposición para los experimentos de switchback. La investigación revela que, en este tipo específico de pruebas, la forma estándar de usar datos pasados para limpiar los resultados está omitiendo la parte más importante de la historia. En un experimento de switchback, los datos llegan en fragmentos: un grupo específico de repartidores y clientes durante una hora específica. Estos fragmentos, o celdas, varían enormemente en tamaño. Algunas horas son concurridas con miles de pedidos; otras son tranquilas con solo unos pocos. El método estándar trata cada pedido individual como un punto de datos igual, intentando predecir el resultado de cada pedido individual. Sin embargo, debido a que el experimento cambia todo el sistema a la vez, la verdadera fuente de incertidumbre no son los pedidos individuales, sino las diferencias entre estos bloques de tiempo. El método estándar gasta su esfuerzo intentando predecir el ruido de los pedidos individuales, que el diseño del experimento ya promedia, mientras ignora los grandes cambios entre los bloques de tiempo que realmente determinan si el experimento tiene éxito o fracasa.

Pankratev desarrolló un nuevo enfoque que corrige esta desalineación. En lugar de entrenar el modelo de predicción para que sea preciso para cada pedido, el nuevo método entrena al modelo para que sea preciso para el resultado promedio de cada bloque de tiempo. Obliga a la computadora a prestar atención al panorama general: cómo se comporta el sistema durante una hora concurrida frente a una tranquila. El estudio muestra que este cambio de enfoque no es solo un ajuste menor; es un reponderado fundamental de lo que el modelo aprende. Los investigadores descubrieron que, en situaciones donde los pedidos individuales son altamente impredecibles, el método estándar no logra reducir la incertidumbre del experimento. Deja los resultados difusos y hace difícil determinar si un cambio es real. El nuevo método, por el contrario, agudiza el enfoque en los bloques de tiempo, reduciendo significativamente la incertidumbre y haciendo que el experimento sea mucho más potente.

Para probar esto, los investigadores realizaron miles de experimentos simulados en una computadora. Crearon un mundo digital con 200 ubicaciones diferentes y 24 horas de actividad, generando 4,800 bloques de tiempo distintos. En estas simulaciones, probaron dos formas diferentes de entrenar el modelo de predicción. Un grupo utilizó el método tradicional, que trata cada pedido por igual. El otro grupo utilizó el nuevo método, que prioriza la precisión de los promedios de los bloques de tiempo. También variaron la complejidad de los modelos computacionales, haciéndolos simples con pocos puntos de decisión y complejos con muchos. Los resultados fueron claros y consistentes. Cuando los pedidos individuales eran caóticos e impredecibles, el método tradicional tenía dificultades. Incluso cuando los investigadores hicieron que los modelos computacionales fueran mucho más grandes y potentes, el método tradicional no mejoró mucho. Era como darle un mejor telescopio a alguien que mira la parte equivocada del cielo; el poder extra se desperdiciaba porque el objetivo estaba desalineado.

El nuevo método, sin embargo, prosperó en estas condiciones caóticas. Al centrarse en los bloques de tiempo, el modelo aprendió a predecir los vaivenes del sistema que más importaban. A medida que los modelos crecían, el nuevo método se volvía aún más efectivo, reduciendo constantemente la incertidumbre del experimento. El estudio mostró que esta mejora se tradujo directamente en una mayor probabilidad de detectar un efecto real. En los escenarios más difíciles, donde el ruido era más alto, el nuevo método aumentó el poder estadístico del experimento entre 26 y 35 puntos porcentuales en comparación con la forma antigua. Esto significa que, con la misma cantidad de datos, una empresa podría estar mucho más segura de sus resultados, o podría lograr la misma confianza con muchas menos horas de prueba.

La investigación también abordó una segunda parte del proceso: cómo se calculan las cifras finales después de que el experimento termina. El estudio encontró que usar el nuevo método de entrenamiento no es suficiente por sí solo. Si el modelo se entrena para enfocarse en los bloques de tiempo, pero el cálculo final todavía trata cada pedido como igual, los beneficios se pierden. Los investigadores demostraron que el paso de cálculo también debe ajustarse para coincidir con el entrenamiento. Cuando tanto el entrenamiento como el cálculo están alineados para enfocarse en los bloques de tiempo, el experimento alcanza su pleno potencial. Si están desalineados, las ganancias desaparecen. Esta alineación de dos pasos asegura que el esfuerzo dedicado al entrenamiento del modelo se materialice plenamente en la respuesta final.

Los hallazgos sugieren que, para las empresas que realizan este tipo de experimentos, la forma en que preparan sus datos es tan importante como el diseño del experimento mismo. El estudio no afirma que el método antiguo sea inútil; en situaciones donde el sistema es muy estable y los bloques de tiempo son similares, el método antiguo funciona bien. Pero en el mundo desordenado de las plataformas en línea, donde algunas horas están saturadas y otras vacías, el método antiguo deja mucho valor sobre la mesa. El nuevo enfoque ofrece una forma de extraer más claridad de los mismos datos, convirtiendo una señal ruidosa en una respuesta clara. Es un recordatorio de que, en la ciencia, las herramientas que usamos para medir el mundo deben estar sintonizadas con la naturaleza específica del mundo que estamos midiendo. Al reponderar el enfoque del individuo al grupo, los investigadores han proporcionado una lente más precisa para ver cómo los cambios afectan realmente los sistemas en los que confiamos cada día.

Resumen Técnico: Ajuste de Covariables Óptimo para la Potencia en Experimentos de Switchback

Planteamiento del Problema

En la experimentación en línea, los diseños de switchback asignan el tratamiento a clústeres espaciales cruzados con ventanas de tiempo (celdas) en lugar de a unidades individuales. Aunque las técnicas estándar de reducción de varianza como CUPED (Control Using Pre-Experiment Data) y CUPAC (Control Using Prediction As Covariate) son efectivas en pruebas A/B estándar donde la aleatorización y el análisis ocurren al mismo nivel de unidad, son subóptimas en experimentos de switchback.

El problema central surge de los tamaños de celda desiguales y la estructura jerárquica de los datos. En los experimentos de switchback, la varianza del estimador del efecto del tratamiento está dominada por la variación entre celdas (variación entre las unidades de aleatorización) en lugar del ruido idiosincrásico dentro de la celda. Los modelos CUPAC estándar se entrenan para minimizar el Error Cuadrático Medio (MSE) a nivel de unidad. Debido a que el MSE a nivel de unidad pondera implícitamente de forma igual los errores dentro y entre celdas, el modelo asigna su capacidad finita a reducir el ruido dentro de la celda —variación que el diseño experimental promedia naturalmente— mientras que descuida la señal entre celdas que realmente gobierna la potencia estadística. Además, el coeficiente de ajuste estándar en el momento del análisis se estima típicamente mediante mínimos cuadrados ordinarios (OLS) a nivel de unidad, lo que repite este desalineamiento al subponderar la relación entre celdas.

Metodología

El artículo propone un marco unificado para el CUPAC Óptimo para la Potencia que alinea tanto el objetivo de entrenamiento de la covariable como el ajuste en el momento del análisis con la descomposición de la varianza específica del experimento de switchback.

1. Marco Teórico y Descomposición de la Varianza

El autor formaliza el resultado $y_{b,i}$ para la unidad $i$ en la celda $b$ como un modelo multinivel que contiene efectos de nivel macro (clúster espacial, ventana de tiempo e interacciones) y ruido residual idiosincrásico. Deriva una descomposición exacta de la varianza del estimador del efecto del tratamiento:
$\text{Var}(\hat{\tau}) \approx \frac{4}{JH} \left[ \frac{S_{res}}{\bar{n}} + S_{macro} \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \right]$
Donde:

$\bar{n}$ es la densidad media de las celdas.
$cv^2$ es el cuadrado del coeficiente de variación de los tamaños de las celdas.
$S_{res}$ y $S_{macro}$ representan las porciones de la varianza dentro y entre celdas, respectivamente.

El término $1 + \bar{n}(1 + cv^2)$ actúa como un factor de penalización que infla el peso de la varianza entre celdas en relación con la varianza dentro de las celdas. En entornos típicos de gran escala, este factor puede ser cientos de veces mayor que 1, lo que significa que los errores entre celdas son órdenes de magnitud más costosos para la potencia que los errores dentro de la celda.

2. Pérdida de Entrenamiento Óptima para la Potencia

Para minimizar la varianza del estimador, la covariable de control $g$ debe entrenarse para minimizar una suma ponderada específica de errores de predicción en lugar del MSE estándar a nivel de unidad. El autor define la Pérdida Óptima para la Potencia ( $L_{power}$ ):
$L_{power}(g) = \frac{1}{\bar{n}} \text{MSE}_{within}(g) + \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \text{MSE}_{macro}(g)$
Esta función de pérdida up-pesa explícitamente el error de predicción macro (entre celdas) mediante el factor $1 + \bar{n}(1 + cv^2)$ . Esto obliga al modelo a priorizar el aprendizaje de la señal que varía a través de las unidades de aleatorización, que es el componente que determina la potencia estadística.

3. Coeficiente de Análisis Emparejado

El artículo demuestra que entrenar con $L_{power}$ es insuficiente si el coeficiente de ajuste en el momento del análisis $\theta$ se estima utilizando el OLS estándar a nivel de unidad. El coeficiente óptimo $\theta^*$ también debe estimarse utilizando una función de pérdida que coincida con los pesos de entrenamiento. El autor muestra que el coeficiente OLS estándar a nivel de unidad subpondera la covarianza entre celdas por el mismo factor $1 + \bar{n}(1 + cv^2)$ , invalidando efectivamente las ganancias del entrenamiento optimizado. La solución propuesta es estimar $\theta$ utilizando la misma pérdida compuesta utilizada para el entrenamiento.

Contribuciones Clave

Identificación del Desalineamiento: El artículo identifica que los flujos de trabajo estándar de CUPAC están desalineados con los diseños de switchback porque tratan los errores dentro y entre celdas como igualmente importantes, a pesar de que el diseño hace que los errores entre celdas sean órdenes de magnitud más críticos para la potencia.
Derivación de la Pérdida Óptima para la Potencia: El autor deriva una pérdida de entrenamiento de forma cerrada ( $L_{power}$ ) que es un funcional afín de la varianza del estimador. Minimizar esta pérdida minimiza directamente un límite superior de la varianza realizada del estimador.
Alineación en Dos Etapas: El trabajo establece que tanto la etapa de entrenamiento (función de pérdida) como la etapa de análisis (estimación del coeficiente) deben ser reponderadas por el mismo factor específico del diseño para lograr la máxima potencia.
Límites Teóricos: El artículo prueba que minimizar $L_{power}$ proporciona un límite superior ajustado para la varianza del estimador incluso cuando el coeficiente de análisis se reoptimiza, siempre que la covariable esté calibrada.

Resultados de Simulación

El autor valida el marco utilizando una simulación de Monte Carlo con árboles de gradiente potenciados (LightGBM) a través de diversas capacidades de modelo (número de hojas) y regímenes de varianza ( $S_{macro}$ ).

Dependencia del Régimen de Varianza: Cuando el ruido dentro de la celda domina ( $S_{macro} = 0.15$ ), el MSE estándar a nivel de unidad funciona mal (error relativo estándar $\approx 0.85$ ), mientras que la pérdida óptima para la potencia junto con el coeficiente emparejado logra un error relativo estándar de $\approx 0.51$ . Cuando la variación entre celdas es alta ( $S_{macro} = 0.50$ ), la brecha se reduce, pero el método óptimo sigue siendo superior.
Capacidad del Modelo: Aumentar el tamaño del modelo (de 4 a 255 hojas) no compensa un objetivo de entrenamiento desalineado. Un modelo entrenado con MSE a nivel de unidad falla en mejorar su correlación entre celdas ( $\rho_m$ ) independientemente de su tamaño, porque el criterio de división codicioso (greedy) prioriza la reducción de la varianza dentro de la celda. Por el contrario, la pérdida óptima para la potencia utiliza eficazmente el aumento de capacidad para mejorar $\rho_m$ .
Emparejamiento de Coeficientes: El beneficio del coeficiente emparejado ( $\theta^*$ ) es más pronunciado cuando la capacidad del modelo es limitada. A medida que los modelos crecen y se ajustan bien a ambos niveles, la diferencia entre los coeficientes de nivel de unidad y los emparejados disminuye.

Significado y Reivindicaciones

El artículo afirma que el marco propuesto proporciona una solución fundamentada teóricamente e implementable para maximizar la potencia estadística en experimentos de switchback sin requerir cambios en el diseño experimental mismo.

Practicidad: El método requiere solo el cálculo de dos constantes de diseño ( $\bar{n}$ y $cv^2$ ) a partir de la distribución del tamaño de las celdas para reponderar la pérdida de entrenamiento y el coeficiente de análisis.
Eficiencia: Permite a los profesionales extraer la máxima potencia de los datos existentes, particularmente para métricas con alto ruido dentro de la celda y alta densidad de celdas, donde los métodos estándar son más ineficientes.
Robustez: El enfoque es robusto ante la composición desconocida de la varianza; el método óptimo para la potencia funciona consistentemente bien a través de diferentes regímenes de varianza, mientras que los métodos estándar se degradan significativamente cuando el ruido dentro de la celda predomina.

El autor concluye que este alineamiento es necesario porque el "estándar por defecto" del MSE a nivel de unidad es fundamentalmente incompatible con la estructura de varianza de los experimentos agrupados y con ventanas de tiempo. Al reponderar el objetivo de aprendizaje para que coincida con la descomposición de la varianza del diseño, el método asegura que la capacidad del modelo se emplee en la señal que realmente impulsa la potencia estadística.