Unifying On- and Off-Policy Variance Reduction Methods

Este artigo unifica os métodos de redução de variância para experimentação online e avaliação off-policy, demonstrando a equivalência matemática entre o estimador de diferenças de médias e o estimador de pontuação de propensão inversa com variáveis de controle, bem como entre métodos de ajuste por regressão e a estimativa duplamente robusta.

O essencial

Imagine que você é o dono de uma grande loja online e quer descobrir se mudar a cor do botão de "Comprar" de azul para vermelho aumenta as vendas. Para saber a resposta, você precisa fazer um experimento.

Este artigo de Olivier Jeunen é como um tradutor universal que une dois mundos que, até agora, conversavam em línguas diferentes, mas falavam sobre a mesma coisa.

Vamos usar uma analogia simples para entender o que ele descobriu:

Os Dois Mundos do Experimento

1. O Mundo "Ao Vivo" (Online / A/B Test):
   Imagine que você divide seus clientes em dois grupos. O Grupo A vê o botão azul, o Grupo B vê o botão vermelho. Você espera um pouco, conta as vendas de cada um e tira a média.

   • A ferramenta deles: "Diferença de Médias". É simples: (Média do Grupo B) - (Média do Grupo A).
   • O problema: Às vezes, o resultado é "barulhento". Talvez o Grupo B tenha tido mais vendas só porque choveu e as pessoas ficaram em casa, e não porque o botão é vermelho. Isso gera incerteza (variância).

2. O Mundo "No Papel" (Offline / Avaliação de Política):
   Imagine que você não quer arriscar mudar o botão para todos agora. Em vez disso, você pega os dados de uma semana passada (onde o botão era azul) e usa matemática complexa para simular: "E se, naquela semana, tivéssemos usado o botão vermelho?".

   • A ferramenta deles: "Pontuação de Propensão Inversa" (IPS). É como dar um "peso" maior aos dados que parecem com o cenário que você quer simular.
   • O problema: Essa simulação também é "barulhenta" e pode dar resultados errados se os pesos não forem perfeitos.

A Grande Descoberta: "Eles são o mesmo carro!"

O autor do artigo diz: "Parem de tratar essas duas coisas como inimigas. Elas são a mesma coisa, apenas com nomes diferentes!"

Ele provou matematicamente duas equivalências incríveis:

1. O "Método da Média" é o "Método do Peso Perfeito"

Ele mostrou que o jeito simples de calcular a diferença entre dois grupos (Mundo Ao Vivo) é matematicamente idêntico ao jeito complexo de simular dados antigos (Mundo No Papel), desde que você use um ajuste especial chamado "controle variável".

A Analogia do Carro:
Pense no experimento como um carro.

• No mundo online, você olha para o velocímetro (a média) e vê a velocidade.
• No mundo offline, você olha para o mapa e calcula a velocidade baseada no terreno.
• O autor diz: "Se você usar o mapa com a calibração correta (o ajuste ótimo), o cálculo do mapa dará exatamente o mesmo número que o velocímetro."
• Conclusão: Não importa se você está dirigindo agora ou simulando a viagem no computador; a física da velocidade é a mesma.

2. Os "Ajustes Inteligentes" são "Robustez Dupla"

No mundo online, quando as vendas são barulhentas, os cientistas de dados usam modelos de Inteligência Artificial (como CUPED ou ML-RATE) para "filtrar" o ruído. Eles dizem: "Espera, esse cliente compraria de qualquer jeito, então vamos subtrair essa parte previsível".

No mundo offline, existe uma técnica famosa chamada "Estimativa Duplamente Robusta" (Doubly Robust) que faz algo muito parecido: combina pesos com um modelo de previsão.

A Analogia do Filtro de Café:
Imagine que você quer fazer um café perfeito (o resultado do experimento), mas a água está suja (os dados têm ruído).

• No mundo online, você usa um filtro especial (CUPED) para limpar a água antes de medir.
• No mundo offline, você usa um filtro duplo (Duplamente Robusto) que limpa a água e ainda verifica se o filtro funcionou.
• O autor diz: "Se o seu filtro online não depende de qual 'ação' você está testando (se é botão azul ou vermelho), ele é exatamente o mesmo filtro que o do mundo offline."

Por que isso é importante para você?

Até agora, os especialistas em testes online e os especialistas em simulação offline viviam em "ilhas" separadas. Eles usavam jargões diferentes, softwares diferentes e não trocavam ideias.

O que esse artigo faz:

1. Quebra o Muro: Ele diz que a divisão entre "online" e "offline" é artificial. São apenas duas maneiras de olhar para a mesma estrutura matemática.
2. Troca de Ideias: Agora, se alguém no mundo offline descobre uma maneira de limpar melhor os dados (reduzir a variância), os especialistas online podem usar isso imediatamente, e vice-versa.
3. Correção de Erros: Ele aponta um detalhe técnico chato (sobre "graus de liberdade", que é como contar quantas peças de quebra-cabeça você tem para calcular a precisão). Ele mostra que, se você não corrigir isso no mundo offline, seus cálculos de confiança estarão levemente errados. Agora, todos sabem como corrigir.

Resumo em uma frase

Este artigo é um mapa que mostra que os dois caminhos para medir o sucesso de uma mudança (fazer o teste agora ou simular no passado) levam ao mesmo destino, e que as ferramentas que um grupo usa para evitar erros são, na verdade, as mesmas ferramentas que o outro grupo usa, apenas com nomes diferentes.

Resumo técnico

Resumo Técnico: Unificação de Métodos de Redução de Variância On-Policy e Off-Policy

1. O Problema

O campo de experimentação em aplicações web está atualmente dividido em dois paradigmas distintos que compartilham o mesmo objetivo fundamental (estimar o efeito causal de uma política com variância mínima), mas operam com terminologias, ferramentas estatísticas e pilhas de engenharia separadas:

• Experimentação Online (A/B Testing): Utiliza atribuições aleatórias e estimadores como a Diferença de Médias (DiM). Técnicas de redução de variância comuns incluem ajustes de regressão (CUPED, CUPAC, ML-RATE) que utilizam variáveis de controle aditivas.
• Avaliação Off-Policy (OPE): Utiliza dados de logs históricos e inferência contrafactual. O estimador padrão é o Inverse Propensity Scoring (IPS) (ou Horvitz-Thompson). Técnicas de redução de variância aqui envolvem variáveis de controle aditivas (como $\beta$) e estimadores Duplamente Robustos (Doubly Robust - DR).

Essa separação artificial impede a "polinização cruzada" de avanços metodológicos. O artigo identifica que muitas decisões metodológicas obfuscam o trabalho prático e impedem a unificação de infraestruturas, apesar de os métodos subjacentes serem matematicamente relacionados.

2. Metodologia e Notação

O autor conceptualiza regimes de tratamento personalizados como políticas ($\pi$) que mapeiam um contexto ($X$) para uma distribuição de probabilidade sobre ações ($A$). O objetivo é estimar o Efeito Médio do Tratamento (ATE) entre duas políticas, $\pi$ e $\pi'$, definido como $V_\Delta(\pi, \pi') = V(\pi) - V(\pi')$.

A metodologia baseia-se em provar equivalências formais entre os estimadores on-line e off-line:

1. Modelagem On-Policy: Usa-se o estimador DiM e sua versão ajustada por regressão (RADiM), onde se subtrai uma função $f(X)$ (baseada em covariáveis) da recompensa $Y$.
2. Modelagem Off-Policy: Usa-se o estimador IPS ponderado e o estimador Duplamente Robusto (DR), que combina pesos de propensão com um modelo de recompensa.
3. Unificação: O autor demonstra que, sob certas condições de parametrização (especificamente, quando o modelo de recompensa é "agnóstico à ação" e centrado em uma base ótima), os estimadores off-line se reduzem matematicamente aos seus equivalentes on-line.

3. Principais Contribuições e Resultados

O artigo estabelece duas equivalências fundamentais que unificam os dois campos:

A. DiM $\equiv$ $\beta^*$-IPS

• Descoberta: O estimador padrão de Diferença de Médias (DiM) usado em A/B-tests online é matematicamente idêntico a um estimador IPS off-policy equipado com uma variável de controle aditiva ótima ($\beta^*$).
• Detalhe Técnico: Ao derivar o $\beta^*$ que minimiza a variância no contexto IPS, descobre-se que ele corresponde a uma média ponderada das médias dos dois grupos de tratamento. Quando aplicado, o estimador $\Delta\beta^*$-IPS recupera exatamente a mesma variância e viés do estimador DiM padrão.
• Correção de Graus de Liberdade: O autor identifica uma nuce crítica na implementação: enquanto o DiM calcula a variância subtraindo dois graus de liberdade (um para cada média de grupo), a implementação ingênua do IPS com $\beta^*$ estimado subtrai apenas um. O artigo prova que a correção correta para o estimador IPS unificado deve subtrair dois graus de liberdade ($|D|-2$) para garantir que a estimativa de variância seja numericamente idêntica à do DiM.

B. CUPED/CUPAC/ML-RATE $\equiv$ Estimadores Duplamente Robustos (DR)

• Descoberta: Métodos de ajuste de regressão amplamente utilizados em experimentos online (como CUPED, que usa valores pré-experimento, ou ML-RATE, que usa modelos de ML) são estruturalmente equivalentes aos estimadores Duplamente Robustos (DR) do mundo off-policy.
• Condição Chave: A equivalência ocorre quando o modelo de recompensa no estimador DR é agnóstico à ação (ou seja, $f(x, a) \equiv f(x)$).
  • No DR padrão, o modelo prevê a recompensa para uma ação específica.
  • No contexto de A/B-testing online, o modelo prevê a recompensa baseada apenas no contexto $X$, independentemente de qual política foi aplicada.
  • Sob essa restrição, o termo de correção no estimador DR que depende da diferença entre políticas se anula, restando apenas o termo de ajuste de regressão, idêntico ao RADiM (Regression-Adjusted Difference-in-Means).

4. Significado e Impacto Prático

A unificação proposta tem implicações profundas tanto teóricas quanto práticas:

1. Quebra de Silos: Demonstra que a distinção entre "online" e "offline" é largamente artificial; são apenas diferentes parametrizações da mesma estrutura de variância subjacente.
2. Polinização Cruzada de Técnicas:
   • Praticantes de OPE podem aplicar correções de graus de liberdade e insights sobre variáveis de controle diretamente em experimentos A/B.
   • Engenheiros de experimentação online podem utilizar avanços em estimadores DR e construção de bases off-line para melhorar a eficiência de testes A/B.
3. Correção de Implementação: A descoberta sobre a correção de graus de liberdade ($|D|-2$ vs $|D|-1$) tem consequências imediatas para a estimativa precisa de variância e intervalos de confiança em sistemas de produção, evitando erros de inferência estatística.
4. Direção Futura: O trabalho sugere que, ao relaxar a restrição de "agência à ação" em ambientes online (permitindo que modelos de recompensa dependam da ação específica), é possível explorar sobreposição de políticas para reduzir ainda mais a variância, especialmente em aplicações de recomendação e ranqueamento.

Em suma, o artigo fornece uma base teórica sólida para consolidar as ferramentas de experimentação, permitindo que pesquisadores e engenheiros tratem problemas de redução de variância de forma unificada, independentemente de estarem operando em dados de logs históricos ou em experimentos controlados ao vivo.