Variance Reduction for Heavy-Tailed Monetization Metrics in Ranking Experiments via Post-Stratification

Resumo Técnico: Redução de Variância para Métricas de Monetização de Cauda Pesada via Pós-Estratificação

1. Definição do Problema

Em sistemas de Recuperação de Informação (IR) e ranking em larga escala, métricas de monetização downstream (ex: Gross Merchandise Value ou GMV, ganhos de criadores) são críticas para avaliar o desempenho do sistema. No entanto, essas métricas tipicamente exibem distribuições de cauda pesada (heavy-tailed), onde uma fração ínfima de usuários (ex: os 0,01% superiores) domina tanto a média quanto a variância.

Essa característica distributiva cria desafios significativos para testes A/B padrão:

• Baixo Poder Estatístico: Sob alocações de tráfego realistas (ex: 1–20%), a cauda pesada impede que o Teorema Central do Limite (TCL) converja rapidamente. Análises empíricas mostram que os estatísticos $z$ desviam-se significativamente da distribuição normal padrão em níveis baixos de tráfego.
• Inferência Não Confiável: Os testes resultantes são frequentemente severamente subdimensionados em termos de poder, exigindo durações proibitivamente longas ou aumentos massivos de tráfego para detectar efeitos reais de tratamento. Inversamente, técnicas de redução de variância padrão como o CUPED (Controlled Experiments Using Pre-Experiment Data) oferecem ganhos limitados porque os sinais do período pré-experimento sozinhas não conseguem prever totalmente a variância extrema impulsionada por usuários "whale" (grandes gastadores).
• Conservadorismo: A falha das aproximações normais leva a testes de hipótese conservadores, onde a Taxa de Falsos Positivos (FPR) cai bem abaixo dos 5% nominais (observados em 1–2%), indicando uma falta de sensibilidade em vez de robustez.

2. Metodologia

Os autores propõem um framework pronto para produção que combina Pós-Estratificação com CUPED para enfrentar esses desafios. A ideia central é particionar a população de usuários em estratos homogêneos baseados no comportamento pré-experimento, isolando assim os usuários da cauda de alta variância e reduzindo sua influência desproporcional na variância total.

Componentes Principais do Framework:

1. Definição de Estrato: Os usuários são particionados em estratos discretos baseados no GMV pré-período (ex: receita histórica de 30 dias). Uma distinção crítica é que os estratos são definidos antes do início do experimento, garantindo que a atribuição de tratamento não afete a participação no estrato (preservando a imparcialidade).
   • Estratos típicos incluem: "Tail" (gastadores de alto nível), "Non-tail" (usuários regulares) e "New/Non-spenders" (novos/não gastadores).
2. Winsorização: Para mitigar o impacto de outliers extremos (ex: os 0,001% superiores de usuários) que podem dominar a variância mesmo dentro dos estratos, os valores além do percentil 99,999 são winsorizados. Este passo é conservador, afetando menos de 5 usuários por experimento.
3. CUPED dentro dos Estratos: Dentro de cada estrato, o CUPED é aplicado para ajustar o GMV pós-experimento usando o GMV pré-experimento como covariável. Isso remove a variação previsível dentro dos grupos homogêneos.
   • Fórmula: $GMV_{CUPED} = GMV - \frac{cov(GMV, PreGMV)}{\sigma^2_{PreGMV}} \cdot (PreGMV - \mu_{PreGMV})$
4. Estimativa Pós-Estratificada: O efeito do tratamento é estimado agregando os efeitos ajustados por CUPED ao nível do estrato usando pesos de nível populacional ($w_s = N_s/N$), onde $N_s$ é o total de usuários no estrato $s$ em toda a plataforma (não apenas na amostra do experimento).
   • Estimador: $\hat{\tau}_{PS} = \sum_{s \in S} w_s \cdot \hat{\tau}_{CUPED, s}$

Propriedades Teóricas:

• Imparcialidade (Unbiasedness): O estimador permanece imparcial porque os estratos são definidos usando informações pré-tratamento, e o CUPED é imparcial.
• Redução de Variância: A variância do estimador é reduzida pelo fator de peso ao quadrado ($w_s^2$). Para um estrato de cauda com um peso populacional minúsculo (ex: $w \approx 0,0001$), sua contribuição para a variância total é suprimida por um fator de $\sim 10^{-8}$, mesmo que a variância interna desse estrato seja enorme.

3. Validação Experimental e Resultados

O framework foi implementado na ShareChat e no Moj em mais de 40 testes A/B de produção envolvendo sistemas de ranking e recomendação, com cada experimento cobrindo mais de 1 milhão de usuários.

Principais Descobertas:

• Redução de Variância: A abordagem combinada alcançou uma redução de variância de 99,3% a 99,7% em comparação com o GMV bruto. Em contraste, o CUPED sozinho alcançou uma redução de apenas ~48%.
• Sensibilidade Estatística: O escore $z$ relativo mediano aumentou para 1,35–1,36. Isso implica que o método requer aproximadamente 45% menos tráfego para atingir a mesma confiança estatística que as métricas padrão.
• Efeito Mínimo Detectável (MDE): Com 10% de alocação de tráfego, o MDE caiu de ~136% da média (GMV bruto) para ~10% (pós-estratificado), permitindo a detecção de efeitos de tratamento sutis e realistas que antes eram mascarados pelo ruído.
• Erro do Tipo I (Type-I Error):
  • Em simulação (testes A/A em snapshots estáticos), a Taxa de Falsos Positivos (FPR) foi de 0%.
  • Em produção (tráfego ao vivo), a FPR empírica foi de 6,1%, ligeiramente acima dos 5% nominais. Os autores atribuem isso à estimativa de variância de amostra finita nos estratos e ao ruído do mundo real, observando que as métricas brutas eram severamente subdimensionadas (FPR 1–2,6%). Eles aceitam essa leve elevação como um compromisso para obter uma redução massiva nos erros do Tipo II (Falsos Negativos).
• Robustez:
  • Sensibilidade de Limiar (Threshold): A redução de variância permaneceu acima de 95% em vários limiares de corte de cauda (percentis de 99,9 a 99,995).
  • Consistência Temporal: Efeitos detectados na Semana 1 mantiveram 91% de concordância direcional na Semana 2.
  • Modos de Falha: Em um caso, a variância aumentou quando um efeito de tratamento estava concentrado inteiramente no estrato da cauda, reforçando que este método não é adequado quando o objetivo de negócio principal é otimizar especificamente para usuários "whale".

4. Contribuições Principais

1. Framework de Produção: Um sistema prático e implantável para redução de variância em métricas de monetização de cauda pesada que se integra perfeitamente aos pipelines de experimentação existentes.
2. Síntese Metodológica: Demonstra que combinar pós-estratificação (para lidar com a heterogeneidade da população) com CUPED (para lidar com a correlação dentro do estrato) produz uma redução de variância superior à de qualquer uma das técnicas isoladamente.
3. Evidência Empírica: Fornece validação em larga escala mostrando que esta abordagem permite tomadas de decisão confiáveis com 40–50% menos tráfego, acelerando significativamente os ciclos de iteração para melhorias de ranking.
4. Orientação sobre Estimandos: Esclarece o compromisso na interpretação do estimando. Ao reduzir o peso dos usuários da cauda, o método otimiza para a "experiência ampla do usuário" em vez de resultados "específicos para whales". Os autores recomendam apresentar tanto as métricas brutas quanto as pós-estratificadas para detectar divergências direcionais (que sinalizam efeitos concentrados na cauda).

5. Significância e Limitações

O artigo argumenta que, para sistemas de IR onde a monetização é impulsionada por eventos raros e de alto impacto, os testes A/B padrão são frequentemente insuficientes. O framework proposto oferece uma solução que preserva a escala original da métrica e o estimando da população, enquanto melhora drasticamente o poder estatístico.

Limitações e Salvaguardas:

• Não é para Objetivos de Cauda: O método é explicitamente não recomendado para experimentos que visam usuários da cauda (ex: programas VIP), pois o estimando pós-estratificado reduz sistematicamente o peso da população de interesse.
• Requisitos de Dados: Requer pipelines de dados pré-período robustos para calcular pesos populacionais e limiares de estratificação congelados para evitar p-hacking.
• Deriva de Estrato (Stratum Drift): É necessário monitoramento para detectar mudanças significativas nos tamanhos dos estratos que possam corromper a métrica.

Em conclusão, os autores apresentam uma abordagem validada que transforma a avaliação de monetização de cauda pesada de um processo de baixo poder e lento em um mecanismo sensível e estável, permitando uma iteração de produto mais rápida e confiável em sistemas de recomendação de larga escala.