📊 statistics

Power-Optimal Covariate Adjustment for Switchback Experiments

Este artigo propõe uma metodologia CUPAC de potência ótima para experimentos de switchback com tamanhos de cluster desiguais que melhora o poder estatístico ao balancear especificamente a predição de ruído entre e dentro das unidades de randomização, em vez de apenas visar a precisão preditiva global.

Autores originais: Sergei Pankratev

Publicado 2026-09-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sergei Pankratev

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo das plataformas online, onde milhões de transações acontecem a cada hora, as empresas dependem de experimentos para decidir se um novo recurso realmente funciona. Imagine um aplicativo de entrega de comida testando uma nova maneira de rotear motoristas. Para saber se a mudança ajuda, a empresa não pode simplesmente testá-la em metade de seus usuários e ignorar a outra metade; os usuários são muito interconectados e o tempo de seus pedidos importa. Em vez disso, pesquisadores usam um método chamado experimento de switchback (alternância). Nesse cenário, todo o sistema alterna entre a forma antiga e a nova em rajadas curtas, como o feixe de um farol varrendo a água. A cada hora, ou a cada poucos minutos, toda a rede muda para o novo método, depois volta para o anterior. Isso cria uma série de blocos de tempo onde todo o sistema é tratado como uma única unidade.

O objetivo desses experimentos é medir a diferença nos resultados, como o tempo que leva para entregar a comida, com o máximo de precisidade possível. Para obter um sinal claro em meio ao ruído, cientistas de dados frequentemente usam uma técnica chamada ajuste de covariável. Pense nisso como usar uma previsão do tempo para prever a temperatura de hoje. Se você sabe a temperatura de ontem e a estação do ano, pode prever a temperatura de hoje muito melhor do que se apenas tentasse adivinhar. Em um experimento, cientistas usam dados de antes do início do teste para prever o que teria acontecido sem o novo recurso. Ao comparar os resultados reais com essas previsões, eles podem remover as flutuações aleatórias e ver o efeito real da mudança. Esse processo é uma prática padrão, mas assume que cada dado é igualmente importante.

Um novo estudo de Sergei Pankratev, da DoorDash, desafia essa suposição para experimentos de switchback. A pesquisa revela que, nesses tipos específicos de testes, a maneira padrão de usar dados passados para limpar os resultados está, na verdade, perdendo a parte mais importante da história. Em um experimento de switchback, os dados chegam em blocos: um grupo específico de motoristas e clientes durante uma hora específica. Esses blocos, ou células, variam drasticamente de tamanho. Algumas horas são movimentadas com milhares de pedidos; outras são calmas com apenas alguns. O método padrão trata cada pedido individual como um ponto de dado igual, tentando prever o resultado para cada pedido individual. No entanto, como o experimento alterna o sistema inteiro de uma só vez, a real fonte de incerteza não é o pedido individual, mas as diferenças entre esses blocos de tempo. O método padrão gasta seu esforço tentando prever o ruído dos pedidos individuais, que o design do experimento já neutraliza pela média, enquanto ignora as grandes oscilações entre os blocos de tempo que realmente determinam se o experimento terá sucesso ou fracassará.

Pankratev desenvolveu uma nova abordagem que corrige esse desalinhamento. Em vez de treinar o modelo de previsão para ser preciso para cada pedido, o novo método treina o modelo para ser preciso para o resultado médio de cada bloco de tempo. Isso força o computador a prestar atenção no quadro geral: como o sistema se comporta durante uma hora de pico versus uma hora calma. O estudo mostra que essa mudança de foco não é apenas um pequeno ajuste; é um reponderamento fundamental do que o modelo aprende. Os pesquisadores descobriram que, em situações onde os pedidos individuais são altamente imprevisíveis, o método padrão falha em reduzir a incerteza do experimento. Ele deixa os resultados imprecisos e torna difícil dizer se uma mudança é real. O novo método, por outro outro lado, afia o foco nos blocos de tempo, reduzindo significamente a incerteza e tornando o experimento muito mais poderoso.

Para provar isso, os pesquisadores realizaram milhares de experimentos simulados em um computador. Eles criaram um mundo digital com 200 localizações diferentes e 24 horas de atividade, gerando 4.800 blocos de tempo distintos. Nessas simulações, eles testaram duas maneiras diferentes de treinar o modelo de previsão. Um grupo usou o método tradicional, que trata cada pedido de forma igual. O outro grupo usou o novo método, que prioriza a precisão das médias dos blocos de tempo. Eles também variaram a complexidade dos modelos computacionais, tornando-os simples com poucos pontos de decisão e complexos com muitos. Os resultados foram claros e consistentes. Quando os pedidos individuais eram caóticos e imprevisíveis, o método tradicional tinha dificuldades. Mesmo quando os pesquisadores tornaram os modelos computacionais muito maiores e mais poderosos, o método tradicional não melhorou muito. Era como dar um telescópio melhor para alguém que está olhando para a parte errada do céu; o poder extra era desperdiçado porque o alvo estava desalinhado.

O novo método, porém, prosperou nessas condições caóticas. Ao focar nos blocos de tempo, o modelo aprendeu a prever as oscilações no sistema que mais importavam. À medida que os modelos cresciam, o novo método tornava-se ainda mais eficaz, reduzindo constantemente a incerteza do experimento. O estudo mostrou que essa melhoria se traduzia diretamente em uma maior chance de detectar um efeito real. Nos cenários mais difíceis, onde o ruído era mais alto, o novo método aumentou o poder estatístico do experimento em 26 a 35 pontos percentuais em comparação ao método antigo. Isso significa que, com a mesma quantidade de dados, uma empresa poderia ter muito mais confiança em seus resultados, ou poderia alcançar a mesma confiança com muito menos horas de testes.

A pesquisa também abordou uma segunda parte do processo: como os números finais são calculados após o término do experimento. O estudo descobriu que usar o novo método de treinamento não é suficiente por si só. Se o modelo for treinado para focar em blocos de tempo, mas o cálculo final ainda tratar cada pedido como igual, os benefícios serão perdidos. Os pesquisadores mostraram que a etapa de cálculo também deve ser ajustada para corresponder ao treinamento. Quando o treinamento e o cálculo estão alinhados para focar nos blocos de tempo, o experimento atinge seu pleno potencial. Se eles estiverem desalinhados, os ganhos desaparecem. Esse alinhamento de duas etapas garante que o esforço colocado no treinamento do modelo seja totalmente realizado na resposta final.

As descobertas sugerem que, para empresas que realizam esses tipos de experimentos, a maneira como elas preparam seus dados é tão importante quanto o próprio design do experimento. O estudo não afirma que o método antigo é inútil; em situações onde o sistema é muito estável e os blocos de tempo são semelhantes, o método antigo funciona bem. Mas no mundo real e caótico das plataformas online, onde algumas horas são lotadas e outras estão vazias, o método antigo deixa muito valor sobre a mesa. A nova abordagem oferece uma maneira de extrair mais clareza dos mesmos dados, transformando um sinal ruidoso em uma resposta clara. É um lembrete de que, na ciência, as ferramentas que usamos para medir o mundo devem ser ajustadas à natureza específica do mundo que estamos medindo. Ao reponderar o foco do indivíduo para o grupo, os pesquisadores forneceram uma lente mais precisa para ver como as mudanças realmente afetam os sistemas nos quais dependemos todos os dias.

Resumo Técnico: Ajuste de Covariáveis com Potência Ótima para Experimentos de Switchback

Declaração do Problema

Em experimentação online, designs de switchback atribuem o tratamento a clusters espaciais cruzados com janelas de tempo (células) em vez de unidades individuais. Embora técnicas padrão de redução de variância como CUPED (Control Using Pre-Experiment Data) e CUPAC (Control Using Prediction As Covariate) sejam eficazes em testes A/B padrão onde a randomização e a análise ocorrem no mesmo nível de unidade, elas são subótimas em experimentos de switchback.

O problema central surge de tamanhos de cluster desiguais e da estrutura hierárquica dos dados. Em switchbacks, a variância do estimador do efeito do tratamento é dominada pela variação entre células (variação entre as unidades de randomização) em vez do ruído idiossincrático dentro da célula. Modelos CUPAC padrão são treinados para minimizar o Erro Quadrático Médio (MSE) ao nível da unidade. Como o MSE ao nível da unidade implica pesar igualmente o erro dentro e entre células, o modelo aloca sua capacidade finita para reduzir o ruído dentro da célula — uma variação que o design experimental naturalmente neutraliza — enquanto negligencia o sinal entre células que de fato governa o poder estatístico. Além disso, o coeficiente de ajuste padrão no momento da análise é tipicamente estimado via mínimos quadrados ordinários (OLS) ao nível da unidade, o que repete este desalinhamento ao subestimar o peso da relação entre células.

Metodologia

O artigo propõe um framework unificado para o CUPAC de Potência Ótima que alinha tanto o objetivo de treinamento da covariável quanto o ajuste no momento da análise com a decomposição de variância específica do estimador de switchback.

1. Framework Teórico e Decomposição de Variância

O autor formaliza o resultado $y_{b,i}$ para a unidade $i$ na célula $b$ como um modelo multinível contendo efeitos de macro-nível (cluster espacial, janela de tempo e interações) e ruído residual idiossincrático. Eles derivam uma decomposição exata da variância do estimador do efeito do tratamento:
$\text{Var}(\hat{\tau}) \approx \frac{4}{JH} \left[ \frac{S_{res}}{\bar{n}} + S_{macro} \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \right]$
Onde:

$\bar{n}$ é a densidade média das células.
$cv^2$ é o coeficiente de variação ao quadrado dos tamanhos das células.
$S_{res}$ e $S_{macro}$ representam as parcelas de variância dentro e entre células, respectivamente.

O termo $1 + \bar{n}(1 + cv^2)$ atua como um fator de penalidade que infla o peso da variância entre células em relação à variância dentro da célula. Em configurações típicas de larga escala, este fator pode ser centenas de vezes maior que 1, o que significa que os erros entre células são muito mais custosos para o poder estatístico do que os erros dentro da célula.

2. Perda de Treinamento de Potência Ótima

Para minimizar a variância do estimador, a covariável de controle $g$ deve ser treinada para minimizar uma soma ponderada específica de erros de previsão, em vez do MSE padrão ao nível da unidade. O autor define a Perda de Potência Ótima ( $L_{power}$ ):
$L_{power}(g) = \frac{1}{\bar{n}} \text{MSE}_{within}(g) + \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \text{MSE}_{macro}(g)$
Esta função de perda aumenta explicitamente o erro de previsão macro (entre células) pelo fator $1 + \bar{n}(1 + cv^2)$ . Isso força o modelo a priorizar o aprendizado do sinal que varia entre as unidades de randomização, que é o componente que determina o poder estatístico.

3. Coeficiente de Análise Correspondente

O artigo demonstra que treinar com $L_{power}$ é insuficiente se o coeficiente de ajuste no momento da análise $\theta$ for estimado usando OLS padrão ao nível da unidade. O coeficiente ótimo $\theta^*$ também deve ser estimado usando uma função de perda que corresponda aos pesos de treinamento. O autor mostra que o coeficiente OLS padrão ao nível da unidade subestima o peso da covariância entre células pelo mesmo fator $1 + \bar{n}(1 + cv^2)$ , efetivamente anulando os ganhos do treinamento otimizado. A solução proposta é estimar $\theta$ usando a mesma perda composta usada para o treinamento.

Principais Contribuições

Identificação do Desalinhamento: O artigo identifica que os fluxos de trabalho padrão do CUPAC estão desalinhados com os designs de switchback porque tratam os erros dentro e entre células como igualmente importantes, apesar de o design tornar os erros entre células ordens de magnitude mais críticos para o poder.
Derivação da Perda de Potência Ótima: O autor deriva uma perda de treinamento de forma fechada ( $L_{power}$ ) que é um funcional afim da variância do estimador. Minimizar esta perda minimiza diretamente um limite superior da variância realizada do estimador.
Alinhamento em Dois Estágios: O trabalho estabelece que tanto o estágio de treinamento (função de perda) quanto o estágio de análise (estimativa do coeficiente) devem ser reponderados pelo mesmo fator específico do design para alcançar a potência máxima.
Limites Teóricos: O artigo prova que minimizar $L_{power}$ fornece um limite superior estrito para a variância do estimador, mesmo quando o coeficiente de análise é reotimizado, desde que a covariável seja calibrada.

Resultados de Simulação

O autor valida o framework usando uma simulação de Monte Carlo com árvores de decisão baseadas em gradiente (LightGBM) através de várias capacidades de modelo (número de folhas) e regimes de variância ( $S_{macro}$ ).

Dependência do Regime de Variância: Quando o ruído dentro da célula domina ( $S_{macro} = 0.15$ ), o MSE padrão ao nível da unidade apresenta desempenho ruim (erro padrão relativo $\approx 0.85$ ), enquanto a perda de potência ótima combinada com o coeficiente correspondente alcança um erro padrão relativo de $\approx 0.51$ . Quando a variação entre células é alta ( $S_{macro} = 0.50$ ), a lacuna diminui, mas o método ótimo permanece superior.
Capacidade do Modelo: Aumentar o tamanho do modelo (de 4 para 255 folhas) não compensa um objetivo de treinamento desalinhado. Um modelo treinado no MSE ao nível da unidade falha em melhorar sua correlação entre células ( $\rho_m$ ), independentemente do tamanho, porque o critério de divisão ganancioso prioriza a redução da variância dentro da célula. Por outro lado, a perda de potência ótima utiliza efetivamente o aumento da capacidade para melhorar $\rho_m$ .
Correspondência de Coeficiente: O benefício do coeficiente correspondente ( $\theta^*$ ) é mais pronunciado quando a capacidade do modelo é limitada. À medida que os modelos crescem e ajustam bem ambos os níveis, a diferença entre os coeficientes de nível de unidade e correspondentes diminui.

Significância e Alegações

O artigo afirma que o framework proposto fornece uma solução fundamentada teoricamente e implementável para maximizar o poder estatístico em experimentos de switchback sem exigir mudanças no próprio design experimental.

Praticidade: O método requer apenas o cálculo de duas constantes de design ( $\bar{n}$ e $cv^2$ ) a partir da distribuição de tamanho das células para reponderar a perda de treinamento e o coeficiente de análise.
Eficiência: Permite que praticantes extraiam o máximo de poder de dados existentes, particularmente para métricas com alto ruído dentro da célula e alta densidade de células, onde os métodos padrão são mais ineficientes.
Robustez: A abordagem é robusta à composição desconhecida da variância; o método de potência ótima apresenta desempenho consistente em diferentes regimes de variância, enquanto os métodos padrão degradam significativamente quando o ruído dentro da célula domina.

O autor conclui que este alinhamento é necessário porque o "padrão default" do MSE ao nível da unidade é fundamentalmente incompatível com a estrutura de variância de experimentos agrupados e com janelas de tempo. Ao reponderar o objetivo de aprendizado para coincidir com a decomposição de variância do design, o método garante que a capacidade do modelo seja aplicada ao sinal que realmente impulsiona o poder estatístico.