📊 statistics

Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap

Este artigo propõe um novo protocolo de testes A/B que aproveita a sobreposição de políticas e a Estimativa $\Delta$ -Off-Policy para eliminar o ruído de ações concordantes, reduzindo assim a variância e acelerando a avaliação de efeitos de tratamento em comparação com métodos padrão.

Autores originais: Olivier Jeunen

Publicado 2026-07-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Olivier Jeunen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério: qual de dois novos dispositivos funciona melhor? No mundo das plataformas online — como os aplicativos no seu telefone ou os sites que você visita — as empresas realizam "testes A/B" para encontrar a resposta. Elas dividem seus usuários em dois grupos: o Grupo A vê o dispositivo antigo (o controle) e o Grupo B vê o novo (o tratamento). Ao comparar quanto dinheiro, cliques ou tempo cada grupo gera, a empresa decide se o novo dispositivo vale a pena ser mantido.

Mas aqui está o problema: a internet é caótica. As pessoas são imprevisíveis. Um dia, um usuário pode clicar em tudo; no outro, eles podem ignorar tudo. Esse "ruído" torna difícil dizer se um novo dispositivo é realmente melhor ou se os resultados aconteceram apenas por acaso. Para obter uma resposta clara, as empresas geralmente precisam realizar esses testes por um tempo muito longo ou mostrar o novo dispositivo a milhões de pessoas, o que é caro e lento. Cientistas têm tentado encontrar maneiras de cortar esse ruído, muitas vezes usando a matemática para prever o que deveria ter acontecido e subtraindo essa estimativa dos resultados reais. Este artigo entra em cena para fazer uma pergunta simples, mas poderosa: E se pudéssemos usar o fato de que os dois dispositivos frequentemente fazem exatamente a mesma coisa para tornar nossos testes mais rápidos e precisos?

O artigo, intitulado "Accelerating A/B-Tests with Counterfactual Estimation" (Acelerando Testes A/B com Estimativa Contrafactual), propõe uma nova maneira inteligente de realizar esses experimentos. O autor, Olivier Jeunen, sugere que a maneira padrão de comparar dois dispositivos é, na verdade, desperdiçar muitos dados. A ideia central é esta: imagine que os dois dispositivos sejam dois chefs diferentes. Se ambos os chefs decidirem fazer uma pizza para um cliente, o resultado (uma pizza) é o mesmo, independentemente de qual chef você contratou. Se você tentar comparar os chefs olhando para essa pizza, você não aprenderá nada sobre quem é melhor; você apenas verá o ruído de quão boa a pizza está. O método padrão conta essa pizza como um ponto de dados, adicionando confusão.

Jeunen argumenta que devemos tratar a escolha aleatória de qual chef contratar como um "meta-chef" (uma meta-política) que mistura os dois chefs originais. Usando um truque matemático chamado "Estimativa Contrafactual", o novo método percebe que, quando ambos os chefs concordam em uma ação (como fazer uma pizza), esse ponto de dados não nos diz nada sobre a diferença entre eles. Assim, o novo método essencialmente diz: "Ignore as pizzas; foque apenas nos momentos em que os chefs discordam, como quando um faz uma pizza e o outro faz um hambúrguer". Ao reduzir o peso dos momentos em que as políticas concordam e aumentar o peso dos momentos em que elas diferem, o método elimina o ruído.

O artigo prova matematicamente que essa abordagem é sempre melhor do que o método padrão sempre que as duas políticas tiverem qualquer sobreposição (ou seja, sempre que elas concordarem em uma ação). Ele mostra que o "ruído" no novo método depende de quão diferentes as políticas são, em vez de depender apenas do caos bruto do comportamento do usuário. Se as políticas forem muito semelhantes (o que é comum quando as empresas fazem pequenas atualizações), o novo método pode reduzir o ruído significamente, tornando os resultados do teste muito mais claros.

Além disso, o artigo sugere que nem sempre precisamos dividir o tráfego em 50/50 entre os dois grupos. Assim como um chef pode precisar de mais ingredientes para testar uma nova receita arriscada, a matemática mostra que a melhor divisão de usuários pode ser desigual (por exemplo, enviando 81% dos usuários para o novo dispositivo e 19% para o antigo) para obter a resposta mais precisa no menor tempo possível. Os autores também introduzem uma nova maneira de treinar modelos de computador (chamada $\Delta$ -MRDR) que foca especificamente em aprender as diferenças entre as políticas, em vez de tentar prever tudo perfeitamente. Finalmente, eles mostram que isso funciona mesmo para tarefas complexas, como o ranking de listas de itens (como resultados de busca), onde a "ação" não é apenas um item, mas uma lista inteira.

Para testar essas ideias, os autores realizaram milhares de simulações computacionais. Eles criaram mundos fictícios com diferentes níveis de caos e diferentes tamanhos de espaços de ação (de 10 a 5.000 itens). Nessas simulações, o novo método superou consistentemente o método padrão, reduzindo o erro (variância) em até 75% em alguns casos. Eles descobriram que, quando as políticas eram muito semelhantes, o erro do novo método caía quase a zero, enquanto o método antigo permanecia ruidoso. Eles também confirmaram que a divisão de tráfego ideal que calcularam (cerca de 81% para a nova política em um cenário específico) era, de fato, a melhor maneira de realizar o teste, reduzindo a variância em cerca de 18% em comparação com uma divisão padrão de 50/50.

No entanto, o artigo observa cuidadosamente que esses resultados vêm de simulações, não de testes reais ao vivo em uma plataforma massiva. Embora a matemática seja sólida e as simulações sejam rigorosas, o mundo real pode ter complicações extras, como mudanças nos hábitos dos usuários ou conhecimento imperfeito de como as políticas se comportam. Os autores sugerem que, embora o método esteja pronto para ser testado, seu desempenho exato em um ambiente real depende de quanta sobreposição as políticas possuem e de quão bem os modelos de computador podem prever o comportamento do usuário.

Em resumo, este artigo oferece uma nova perspectiva sobre um problema antigo. Ele sugere que, ao perceber que "o acordo é entediante" e que "a discordância é onde o sinal vive", podemos realizar melhores experimentos, economizar dinheiro e tomar decisões mais rapidamente. Ele transforma o teste A/B padrão de um instrumento rombo em um escalpelo preciso, usando o próprio fato de que as políticas são frequentemente semelhantes para tornar a comparação mais nítida.

Resumo Técnico: Acelerando Testes A/B com Estimativa Contrafactual

Declaração do Problema

Experimentos controlados online (testes A/B) são o padrão para testes de hipóteses em plataformas digitais, mas sofrem com alta variância nas métricas de resultado (ex: taxa de clique, receita). Essa variância dificulta o poder estatístico, muitas vezes exigindo durações de teste prolongadas ou grandes alocações de tráfego para detectar melhorias incrementais.

O artigo identifica uma ineficiência estrutural específica nos protocolos padrão de testes A/B: quando duas políticas concorrentes ( $\pi$ e $\pi'$ ) concordam sobre uma ação para um determinado contexto, o resultado resultante contribui com ruído para a estimativa do Efeito Médio do Tratamento (ATE), mas não fornece sinal em relação à diferença entre as políticas. Estimadores padrão de Diferença de Médias (DiM) tratam essas amostras de "sobreposição" com o mesmo peso que as amostras de "desacordo", inflando desnecessariamente os intervalos de confiança. Técnicas de redução de variância existentes (ex: CUPED, RADiM) utilizam covariáveis de controle baseadas em modelos, mas permanecem agnósticas às relações estruturais e à sobreposição entre as políticas concorrentes.

Metodologia

Os autores propõem reformular o mecanismo de atribuição de tratamento randomizado em um teste A/B como uma meta-política ( $\pi_0$ ) que define uma mistura sobre as políticas sendo testadas:
$\pi_0(a|x) = p\pi(a|x) + (1-p)\pi'(a|x)$
onde $p$ é a razão de alocação de tráfego.

Ao tratar os dados do teste A/B como registrados sob esta meta-política, os autores aplicam métodos de Estimativa de $\Delta$ -Off-Policy ( $\Delta$ -OPE). Esta abordagem aproveita a equivalência exata entre estimadores padrão de testes A/B e estimadores contrafactuais usados em cenários offline (especificamente $\Delta$ -IPS e $\Delta$ -Doubly Robust).

Componentes Técnicos Principais:

Pesos de Importância Sensíveis à Política: Em vez de pesos padrão baseados em grupos, o método utiliza pesos derivados da diferença nas probabilidades das políticas normalizadas pela meta-política:
$w_\Delta(a|x) = \frac{\Delta(a|x)}{\pi_0(a|x)} = \frac{\pi(a|x) - \pi'(a|x)}{p\pi(a|x) + (1-p)\pi'(a|x)}$
Quando as políticas concordam ( $\pi(a|x) \approx \pi'(a|x)$ ), o peso aproxima-se de zero, reduzindo efetivamente o peso de amostras não informativas.
Dominância de Variância: O artigo prova analiticamente que estes estimadores sensíveis à política dominam estritamente os estimadores DiM padrão em variância sempre que as políticas possuem suporte comum e a região de sobreposição contribui com uma variância residual não nula.
Alocação de Tráfego Ótima: Os autores derivam a divisão de tráfego variante-ótima ( $p^\star$ ). Ao contrário da divisão padrão de 50/50, $p^\star$ depende da divergência entre as políticas. A alocação ótima desloca o tráfego para a política que amostra regiões onde o modelo de recompensa é menos preciso (para $\Delta$ -DR) ou equilibra a divergência estrutural para minimizar o segundo momento do estimador.
$\Delta$ -MRDR (Mais Robusto Doubly Robust): Um novo objetivo de aprendizado é proposto para treinar modelos de recompensa ( $f_\theta$ ) especificamente para minimizar a variância do estimador de ATE. Diferente da minimização de MSE padrão, o $\Delta$ -MRDR pondera a perda pelo quadrado da divergência de política ( $w_\Delta^2$ ), forçando o modelo a concentrar sua capacidade nas regiões onde as políticas divergem.
$\Delta$ -DCG para Ranking: O framework é estendido para espaços de ranking combinatórios (Top- $K$ ) usando um Modelo Baseado em Posição (PBM). Um estimador $\Delta$ -DCG é derivado usando propensões de exposição baseadas em posição. Para lidar com a explosão de variância em regimes de alta divergência, um baseline específico de posição ( $\beta^\star_{\perp\perp, j}$ ) é introduzido.

Principais Contribuições

Aplicação de $\Delta$ -OPE a Testes A/B Online: Demonstrar que interpretar a atribuição de tratamento como uma meta-política permite a aplicação direta de estimadores de $\Delta$ -OPE não viesados a dados online, desbloqueando uma família de estimadores que aproveitam a sobreposição de políticas.
Teorema de Dominância de Variância: Uma prova formal de que estimadores sensíveis à política ( $\Delta$ -IPS e $\Delta$ -DR) dominam estritamente os estimadores DiM e RADiM padrão sempre que as políticas compartilham suporte comum.
Insight de Alocação de Tráfego Ótima: Caracterizar a variância dos estimadores de ATE como uma função da razão de alocação $p$ , mostrando que a divisão ótima não é necessariamente equilibrada e pode ser estimada antes do experimento.
Estimador $\Delta$ -MRDR: Uma função de perda inovadora que treina covariáveis de controle para minimizar explicitamente a variância da estimativa de ATE, concentrando a capacidade do modelo em regiões de divergência de política.
Estimador $\Delta$ -DCG: Uma extensão para políticas de ranking que fornece uma estimativa de ATE não viesada sob o PBM, incorporando baselines específicos de posição para mitigar a variância.
Validação Empírica: Resultados de simulação rigorosos demonstrando redução significativa de variância através de diferentes tamanhos de espaço de ação, divergências de política e cenários de ranking.

Resultados Experimentais

Os autores validam suas afirmações através de simulações controladas onde os contrafactuais de verdade fundamental (ground-truth) são conhecidos:

RQ1 (Eficiência): O estimador $\Delta$ -IPS reduz estritamente o Erro Quadrático Médio (MSE) comparado ao DiM. Em regimes de alta sobreposição, a variância aproxima-se de zero. O método permanece robusto conforme o tamanho do espaço de ação aumenta (até $|A|=5.000$ ).
RQ2 (Alocação): Em configurações assimétricas (ex: um controle conservador versus um tratamento exploratório), o proxy de variância teórica $J(p)$ prevê com precisão o erro empírico. A divisão ótima ( $p^\star \approx 0,81$ no caso de teste) reduziu a variância em ~18% comparado a uma divisão 50/50.
RQ3 (Redução de Variância): Em ambientes heterogêneos, o modelo $\Delta$ -MRDR reduziu a variância do estimador em 75% em comparação ao $\Delta$ - $\beta^\star$ -IPS e em 8% em comparação ao $\Delta$ -DR padrão. Isso confirma que minimizar o erro de previsão (MSE) não minimiza necessariamente a variância da estimativa.
RQ4 (Ranking): Para ranking Top- $K$ , a variância do DiM padrão permaneceu constante independentemente da sobreposição de políticas. O $\Delta$ -DCG sem baseline sofreu explosão de variância conforme a divergência aumentou. No entanto, o estimador $\Delta\beta^\star_{\perp\perp}$ -DCG mitigou com sucesso isso, mantendo vantagens estritas de variância sobre o DiM em todos os níveis de divergência.

Significância e Alegações

O artigo afirma identificar uma "ineficiência crítica" nos testes A/B padrão: a inclusão de ruído de ações de políticas sobrepostas sem sinal. Ao reformular o problema através da lente de Avaliação Off-Policy, os autores fornecem uma base teórica rigorosa para a redução de variância que escala com a divergência de política em vez do ruído bruto do resultado.

A significância reside em três inovações práticas:

Experimentação Acelerada: Ao explorar a sobreposição de políticas, os métodos permitem intervalos de confiança mais estreitos e detecção mais rápida de efeitos de tratamento sem aumentar o tráfego.
Design Otimizado: A derivação de divisões de tráfego ótimas não equilibradas desafia o padrão da indústria de alocação 50/50, oferecendo uma abordagem baseada em dados para o design experimental.
Framework Unificado: O trabalho une online e offline, sugerindo que o online e o offline devem ser vistos como um "contínuo unificado de problemas de estimativa contrafactual".

Os autores mantêm a modéstia quanto à implementação no mundo real, observando que as reduções de variância relatadas são indicativas de ordenação relativa de métodos e dependem do grau de sobreposição de políticas e da qualidade dos modelos de recompensa ajustados em implementações específicas. Eles reconhecem limitações relativas à suposição de distribuições de contexto estacionárias e ao custo computacional de calcular probabilidades de política exatas em grandes espaços de ação (ex: LLMs).