Blending Proxy Metrics with a North Star

Resumo Técnico: Misturando Métricas de Proxy com uma Estrela do Norte (North Star)

Definição do Problema
Na experimentação digital (testes A/B), os experimentadores frequentemente enfrentam um compromisso entre precisão e alinhamento com os objetivos de negócio de longo prazo. Métricas "estrela do norte" (ex: retenção de clientes, receita) medem diretamente o sucesso do negócio, mas são estatisticamente insensíveis a intervenções de produto, exigindo tamanhos de amostra proibitivamente grandes para detectar efeitos. Por outro lado, métricas "proxy" (ex: engajamento do usuário, cliques) são mais sensíveis a intervenções e permitem experimentos mais rápidos e menores, mas podem não se alinhar perfeitamente ao objetivo de negócio final.

Isso cria um dilema prático: quando os experimentadores devem confiar na proxy sensível e quando devem confiar na estrela do norte ruidosa? Especificamente, o artigo aborda três questões:

1. As proxies devem ser utilizadas mesmo em experimentos grandes e infrequentes, dimensionados para detectar efeitos na verdadeira estrela do norte?
2. Como as decisões devem ser tomadas quando a proxy e a estrela do norte geram sinais conflitantes?
3. Como a qualidade de uma métrica proxy influencia o design ideal dos programas de experimentação (ex: tamanho da amostra e frequência)?

Metodologia
O autor propõe um framework de "mistura" (blending) ideal que constrói uma métrica de decisão como uma combinação linear ponderada dos efeitos de tratamento estimados na proxy ($\hat{P}$) e na estrela do norte ($\hat{Y}$). A estatística misturada é definida como:
$$\hat{Z}(A) = A^\top \hat{X} = a \hat{P} + (1-a) \hat{Y}$$
onde $A = (a, 1-a)^\top$ representa os pesos de mistura.

O núcleo da metodologia é a derivação dos pesos ideais $A^*$ que maximizam os retornos esperados da métrica estrela do norte ($Y$) sob uma regra de decisão que "lança" um tratamento se $\hat{Z}(A)$ exceder um limiar de significância.

• Framework Teórico: O artigo assume que os verdadeiros efeitos de tratamento $X = (P, Y)$ seguem uma distribuição Gaussiana com média zero e covariância $\Sigma_X$. Os efeitos estimados $\hat{X}$ são observados com ruído de amostragem, modelados como $\hat{X} | X \sim N(X, 2\Omega/n)$, onde $\Omega$ é a variância de amostragem de nível unitário e $n$ é o tamanho da amostra por braço.
• Pesos Ótimos: Os pesos ótimos $A^*$ são derivados resolvendo um problema de otimização restrita para maximizar os retornos esperados. A Proposição 1 fornece uma aproximação de forma fechada para experimentos suficientemente grandes:
  $$\tilde{A} \propto (\Sigma_X + (1 + z^2)2\Omega/n)^{-1}\Gamma$$
  onde $\Gamma = \text{Cov}(X, Y)$ e $z$ é o valor crítico para o nível de significância. Esta fórmula revela que os pesos atuam como uma regressão linear penalizada, onde o termo de penalidade depende da razão entre a variância de amostragem dentro do experimento e a variância estrutural entre experimentos.
• Estimação: O artigo descreve um procedimento para estimar esses pesos a partir de dados históricos de experimentos, estimando $\Sigma_X$ (usando métodos não paramétricos, Bayes empírico ou hierárquicos) e $\Omega$, aplicando então o estimador de substituição (plug-in).
• Implicações de Design de Programa: A análise estende-se ao design de programas de experimentação. Ela demonstra que o retorno médio por unidade de alocação é decrescente em relação ao tamanho da amostra $n$. Consequentemente, se uma proxy for de alta qualidade (excelente relação sinal-ruído), os experimentadores devem realizar experimentos menores e mais frequentes. Se a proxy for ruim, eles devem realizar experimentos maiores e menos frequentes para depender mais da estrela do norte.

Principais Resultados

• Desempenho em Simulação: Através de simulações, a abordagem de mistura produz consistentemente retornos cumulativos superiores às estratégias que dependem exclusivamente da estrela do norte ($a=0$) ou da proxy ($a=1$).
  • Em tamanhos de amostra pequenos, o peso ótimo desloca-se fortemente para a proxy devido à sua superior relação sinal-ruído.
  • À medida que o tamanho da amostra aumenta, o peso ótimo desloca-se suavemente para a estrela do norte, concentrando-se exclusivamente nela conforme $n \to \infty$.
• Poder Estatístico e Falsos Positivos:
  • Poder: A métrica misturada mantém alto poder através de variações na correlação ($\rho$) entre a proxy e a estrela do norte. Em contraste, uma estratégia baseada apenas na proxy sofre de baixo poder quando a correlação estrutural é baixa, mesmo com grandes tamanhos de amostra.
  • Falsos Positivos: Uma estratégia baseada apenas na proxy apresenta um risco de falso positivo que aumenta com o tamanho da amostra quando a proxy está desalinhada com a estrela do norte. A métrica de mistura controla a taxa de erro do Tipo I, interpolando entre as regras da proxy e da estrela do norte e convergindo para o controle de erro da estrela do norte conforme $n$ cresce.
• Robustez: Os principais achados mantêm-se mesmo quando os efeitos de tratamento seguem distribuições de caudas pesadas (ex: distribuição t multivariada com $\nu=3$), embora a suposição Gaussiana facilite a derivação de forma fechada.

Aplicação Empírica
A metodologia foi aplicada a um programa de experimentação real na Netflix, utilizando "cliques" como uma proxy ($P$) e "reproduções" (plays) como a estrela do norte ($Y$).

• Dados: Análise de 15 testes A/B e 50 braços de tratamento.
• Achados: Os cliques foram encontrados como aproximadamente seis vezes mais sensíveis que as reproduções (maior razão de SE). No entanto, os pesos de mistura ideais são dinâmicos:
  • Para experimentos pequenos ($n \lesssim 2$ milhões), a estratégia ótima atribui 100% de peso aos cliques.
  • No tamanho de experimento mediano ($n \approx 5$ milhões), a mistura ideal atribui aproximadamente 52% de peso aos cliques e 48% às reproduções.
  • Para experimentos muito grandes ($n = 25$ milhões), o peso desloca-se para aproximadamente 90% nas reproduções.
• Resultado: A regra de decisão de mistura dominou as regras de métrica única em todo o intervalo observado, demonstrando que incorporar a informação da estrela do norte melhora os retornos, mesmo quando a proxy é altamente sensível.

Significância e Alegações
O artigo afirma fornecer um framework rigoroso de teoria da decisão para integrar métricas de proxy em testes A/B quando uma estrela do norte contemporânea, porém insensível, está disponível. Suas principais contribuições são:

1. Mistura Ótima: Estabelece que a regra de decisão ideal não é estática, mas depende do poder do experimento (tamanho da amostra). O peso na estrela do norte deve aumentar à medida que o experimento se torna maior.
2. Design de Programa: Oferece orientações acionáveis para o design de programas de experimentação, sugerindo que a qualidade da métrica proxy dita a escala e a frequência ideais dos experimentos.
3. Implementação Prática: Fornece um método concreto e estimável para calcular esses pesos usando dados históricos, validado por uma aplicação real na Netflix.

O autor observa que o trabalho assume que os experimentos são independentes e identicamente distribuídos (i.i.d.) e baseia-se em suposições Gaussianas para os efeitos de tratamento, embora simulações sugiram robustez a caudas pesadas. Sugere-se que trabalhos futuros explorem configurações não i.i.d. e o uso de dados observacionais quando os dados históricos de experimentos não estiverem disponíveis.