Blending Proxy Metrics with a North Star

Resumen Técnico: Combinación de Métricas Proxy con una Estrella Polar (North Star)

Planteamiento del Problema
En la experimentación digital (pruebas A/B), los experimentadores se enfrentan frecuentemente a un compromiso entre la precisión y la alineación con los objetivos comerciales a largo plazo. Las métricas de "estrella polar" (por ejemplo, retención de clientes, ingresos) miden directamente el éxito comercial, pero suelen ser estadísticamente insensibles a las intervenciones del producto, lo que requiere tamaños de muestra prohibitivamente grandes para detectar efectos. Por el contrario, las métricas "proxy" (por ejemplo, interacción del usuario, clics) son más sensibles a las intervenciones y permiten experimentos más rápidos y pequeños, pero pueden no alinearse perfectamente con el objetivo comercial final.

Esto crea un dilema práctico: ¿cuándo deben confiar los experimentadores en la sensible métrica proxy y cuándo en la ruidosa estrella polar? Específicamente, el artículo aborda tres preguntas:

1. ¿Deben utilizarse las métricas proxy incluso en experimentos grandes y poco frecuentes, diseñados para detectar efectos en la verdadera estrella polar?
2. ¿Cómo deben tomarse las decisiones cuando la métrica proxy y la estrella polar arrojan señales contradictorias?
3. ¿Cómo influye la calidad de una métrica proxy en el diseño óptimo de los programas de experimentación (por ejemplo, tamaño de muestra y frecuencia)?

Metodología
El autor propone un marco de "combinación" (blending) óptimo que construye una métrica de decisión como una combinación lineal ponderada de los efectos estimados del tratamiento en la métrica proxy ($\hat{P}$) y la estrella polar ($\hat{Y}$). La estadística combinada se define como:
$$\hat{Z}(A) = A^\top \hat{X} = a \hat{P} + (1-a) \hat{Y}$$
donde $A = (a, 1-a)^\top$ representa los pesos de combinación.

El núcleo de la metodología es la derivación de los pesos óptimos $A^*$ que maximizan los retornos esperados de la métrica de la estrella polar ($Y$) bajo una regla de decisión que "lanza" un tratamiento si $\hat{Z}(A)$ supera un umbral de significancia.

• Marco Teórico: El artículo asume que los verdaderos efectos del tratamiento $X = (P, Y)$ siguen una distribución Gaussiana con media cero y covarianza $\Sigma_X$. Los efectos estimados $\hat{X}$ se observan con ruido de muestreo, modelado como $\hat{X} | X \sim N(X, 2\Omega/n)$, donde $\Omega$ es la varianza de muestreo a nivel de unidad y $n$ es el tamaño de la muestra por brazo.
• Pesos Óptimos: Los pesos óptimos $A^*$ se derivan resolviendo un problema de optimización restringida para maximizar los retornos esperados. La Proposición 1 proporciona una aproximación de forma cerrada para experimentos suficientemente grandes:
  $$\tilde{A} \propto (\Sigma_X + (1 + z^2)2\Omega/n)^{-1}\Gamma$$
  donde $\Gamma = \text{Cov}(X, Y)$ y $z$ es el valor crítico para el nivel de significancia. Esta fórmula revela que los pesos actúan como una regresión lineal penalizada, donde el término de penalización depende de la relación entre la varianza de muestreo dentro del experimento y la varianza estructural entre experimentos.
• Estimación: El artículo describe un procedimiento para estimar estos pesos a partir de datos históricos de experimentos, estimando $\Sigma_X$ (usando métodos no paramétricos, de Bayes empírico o jerárquicos) y $\Omega$, para luego aplicar el estimador de inserción (plug-in estimator).
• Implicaciones en el Diseño de Programas: El análisis se extiende al diseño de programas de experimentación. Demuestra que el retorno promedio por unidad de asignación es decreciente respecto al tamaño de la muestra $n$. Por consiguiente, si una métrica proxy es de alta calidad (excelente relación señal-ruido), los experimentadores deben realizar experimentos más pequeños y frecuentes. Si la proxy es deficiente, deben realizar experimentos más grandes y menos frecuentes para depender más de la estrella polar.

Resultados Clave

• Rendimiento de la Simulación: A través de simulaciones, el enfoque combinado ofrece consistentemente mayores retornos acumulados que las estrategias que dependen exclusivamente de la estrella polar ($a=0$) o de la métrica proxy ($a=1$).
  • En tamaños de muestra pequeños, el peso óptimo se desplaza fuertemente hacia la métrica proxy debido a su superior relación señal-ruido.
  • A medida que el tamaño de la muestra aumenta, el peso óptimo se desplaza suavemente hacia la estrella polar, concentrándose exclusivamente en esta última cuando $n \to \infty$.
• Potencia Estadística y Falsos Positivos:
  • Potencia: La métrica combinada mantiene una alta potencia a través de diversas correlaciones ($\rho$) entre la proxy y la estrella polar. En contraste, una estrategia basada solo en la proxy sufre de baja potencia cuando la correlación estructural es baja, incluso con tamaños de muestra grandes.
  • Falsos Positivos: Una estrategia basada solo en la proxy exhibe un riesgo de falsos positivos que aumenta con el tamaño de la muestra cuando la proxy está desalineada con la estrella polar. La métrica combinada controla la tasa de error de Tipo I, interpolando entre las reglas de la proxy y de la estrella polar, y convergiendo al control de error de la estrella polar a medida que $n$ crece.
• Robustez: Los hallazgos principales se mantienen incluso cuando los efectos del tratamiento siguen distribuciones de cola pesada (por ejemplo, una distribución t multivariante con $\nu=3$), aunque la suposición Gaussiana facilita la derivación de la forma cerrada.

Aplicación Empírica
La metodología fue aplicada a un programa de experimentación real en Netflix, utilizando "clics" como una métrica proxy ($P$) y "reproducciones" (plays) como la estrella polar ($Y$).

• Datos: Análisis de 15 pruebas A/B y 50 brazos de tratamiento.
• Hallazgos: Se encontró que los clics eran aproximadamente seis veces más sensibles que las reproducciones (mayor relación de error estándar). Sin embargo, los pesos de combinación óptimos son dinámicos:
  • Para experimentos pequeños ($n \lesssim 2$ millones), la estrategia óptima asigna el 100% del peso a los clics.
  • Para el tamaño de muestra mediano ($n \approx 5$ millones), la combinación óptima asigna aproximadamente un 52% de peso a los clics y un 48% a las reproducciones.
  • Para experimentos muy grandes ($n = 25$ millones), el peso se desplaza aproximadamente un 90% hacia las reproducciones.
• Resultado: La regla de decisión combinada dominó a las reglas de métrica única en todo el rango observado de tamaños de muestra, demostrando que la incorporación de la información de la estrella polar mejora los retornos incluso cuando la métrica proxy es altamente sensible.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco rigurooso de teoría de la decisión para integrar métricas proxy en las pruebas A/B cuando existe una estrella polar contemporánea pero insensible. Sus principales contribuciones son:

1. Combinación Óptima: Establece que la regla de decisión óptima no es estática, sino que depende de la potencia del experimento (tamaño de la muestra). El peso de la estrella polar debe aumentar a medida que el experimento se hace más grande.
2. Diseño de Programas: Ofrece orientación accionable para el diseño de programas de experimentación, sugiriendo que la calidad de la métrica proxy dicta la escala y frecuencia óptimas de los experimentos.
3. Implementación Práctica: Proporciona un método concreto y estimable para calcular estos pesos utilizando datos históricos, validado por una aplicación en el mundo real en Netflix.

El autor señala que el trabajo asume que los experimentos son independientes e idénticamente distribuidos (i.i.d.) y se basa en suposiciones Gaussianas para los efectos del tratamiento, aunque las simulaciones sugieren robustez ante colas pesadas. Se sugiere como trabajo futuro explorar entornos no i.i.d. y el uso de datos observacionales cuando no se dispone de datos históricos de experimentos.