📈 economics

Randomization Tests in Switchback Experiments

Este artigo desenvolve um quadro de testes de randomização que fornece valores-p válidos para amostras finitas e livres de distribuição em experimentos de switchback, superando desafios como dependência temporal e interferência através de testes de randomização condicional baseados em blocos de design e condições de não antecipação e horizonte de carryover limitado.

Autores originais: Jizhou Liu, Liang Zhong

Publicado 2026-02-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jizhou Liu, Liang Zhong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o gerente de um aplicativo de transporte (como Uber ou 99) e quer descobrir se uma nova função de "carona compartilhada" aumenta as corridas. O problema é que você não pode testar isso em cada passageiro individualmente de forma aleatória, porque se um passageiro pede uma carona e o outro não, o sistema de tráfego da cidade inteira muda, afetando a todos.

Para resolver isso, as empresas usam Experimentos de "Switchback" (ou "alternância"). Em vez de mudar o tratamento para cada pessoa, você muda para todo o sistema em blocos de tempo:

De 08:00 a 09:00: Todos têm a nova função (Tratamento).
De 09:00 a 10:00: Ninguém tem a nova função (Controle).
De 10:00 a 11:00: Todos têm a nova função novamente.

O papel de Jizhou Liu e Liang Zhong é como se fossem os "detetives de dados" que criaram um novo método para analisar esses experimentos de forma mais segura e precisa, especialmente quando os dados são bagunçados ou o tempo de teste é curto.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O Efeito "Ressaca" e a "Antecipação"

Quando você muda o sistema de um aplicativo, os efeitos não aparecem e somem instantaneamente.

O Efeito "Ressaca" (Carryover): Se você liga a nova função às 08:00, ela pode continuar afetando o tráfego até às 09:30, mesmo que você a desligue às 09:00. Se você ignorar isso, vai achar que o efeito durou mais do que realmente durou.
A "Antecipação" (Anticipation): Às vezes, os motoristas ou passageiros sabem que a mudança vai acontecer em 10:00 e já mudam seu comportamento às 09:50. Isso distorce os resultados.

Métodos antigos de estatística muitas vezes falham aqui porque assumem que os dados são "limpos" e independentes, o que raramente acontece no mundo real (onde há picos de horário, chuva, etc.).

2. A Solução: O "Teste de Sorteio Condicionado" (CRT)

Os autores criaram um novo tipo de teste estatístico chamado Conditional Randomization Test (CRT). Pense nisso como um jogo de cartas muito inteligente:

A Analogia da "Caixa de Ferramentas": Imagine que você tem uma caixa de ferramentas (os dados) e quer saber se uma chave de fenda (o tratamento) conserta um parafuso. Mas a caixa está cheia de poeira e a chave de fenda deixa marcas que duram um pouco depois de ser usada.
O Truque: Em vez de tentar analisar todos os dados de uma vez, o método deles diz: "Vamos ignorar a poeira e as marcas recentes. Vamos olhar apenas para os momentos em que o sistema estava estável e limpo".
Como funciona: Eles dividem o tempo em "seções" (blocos grandes). Se um bloco inteiro ficou no modo "Ligado" ou "Desligado" o tempo todo, eles usam esse bloco como uma "zona segura" para medir o efeito. Eles descartam os momentos de transição (onde a "ressaca" do tratamento anterior ainda está ativa).

3. As Três Grandes Descobertas do Papel

A. O Teste de "Efeito Total" (Sem mentir para si mesmo)

Eles criaram um método para calcular se a nova função realmente funciona, sem precisar assumir que os dados seguem uma curva de sino perfeita (o que é comum em estatística, mas falha em dados reais com picos estranhos).

Analogia: É como medir a altura de uma pessoa em uma sala cheia de fumaça. Em vez de tentar ver a pessoa inteira, você usa um laser que só funciona onde o ar está limpo. O resultado é preciso, mesmo que a sala esteja bagunçada.
Resultado: O teste deles funciona bem mesmo com dados "pesados" (como picos de tráfego repentinos) e com poucos dados (testes curtos).

B. O "Medidor de Memória" (Quanto tempo dura o efeito?)

Como saber por quanto tempo a "ressaca" do tratamento dura? Eles criaram um teste para descobrir o tamanho da janela de memória ( $m$ ).

Analogia: É como tentar descobrir quanto tempo leva para o cheiro de café sumir da cozinha. Você testa: "Se eu desligar o café há 5 minutos, ainda cheira? E há 10 minutos?". O método deles faz isso de forma sequencial e segura, dizendo: "Ok, o efeito dura pelo menos 10 minutos, mas provavelmente não 20".
Importância: Isso ajuda a definir quanto tempo você precisa esperar (o "burn-in") antes de começar a medir os dados de verdade.

C. O Teste de "Não Antecipação" (Ninguém trapaceou?)

Eles criaram um jeito de verificar se os usuários não estavam mudando o comportamento antes da mudança acontecer.

Analogia: Imagine um jogo de "pedra, papel e tesoura" onde você quer ver se o jogador A trapaceou olhando a mão do jogador B antes de jogar. O método deles compara os resultados de momentos onde os jogadores deveriam ter jogado cegamente, para ver se havia "vazamento" de informação.

4. Por que isso é importante para o mundo real?

Empresas como Uber, Airbnb e Google fazem esses testes o tempo todo.

Velocidade: Eles precisam de respostas rápidas (dias, não anos).
Precisão: Métodos antigos podem dizer que uma mudança é boa quando ela é ruim (falso positivo), ou ignorar uma mudança ótima (falso negativo), especialmente quando os dados têm "picos" (como uma tempestade de chuva afetando o tráfego).
O Método Novo: Funciona como um filtro de qualidade. Ele ignora os momentos confusos, foca nos momentos limpos e usa simulações de computador (Monte Carlo) para garantir que a conclusão é estatisticamente sólida, mesmo com poucos dados.

Resumo em uma frase

Os autores criaram um "filtro inteligente" para experimentos de tempo que ignora o caos natural dos dados, permitindo que empresas tomem decisões rápidas e seguras sobre novas funcionalidades, sem se enganar com efeitos de "ressaca" ou antecipação.

É como transformar uma sala cheia de fumaça e bagunça em uma sala de laboratório limpa, apenas escolhendo os momentos certos para olhar e usando regras de sorteio rigorosas para garantir que a verdade vença.

Resumo Técnico: Testes de Randomização em Experimentos Switchback

Autores: Jizhou Liu (PHBS, Peking University) e Liang Zhong (HKU).
Data: Fevereiro de 2026.

1. O Problema

Os experimentos switchback (onde o tratamento e o controle alternam-se ao longo do tempo, em vez de entre unidades individuais) são amplamente utilizados em plataformas online (mercados, transporte, publicidade) quando a randomização ao nível da unidade é inviável, os resultados são agregados ou há interferência entre usuários.

No entanto, a inferência causal nestes contextos enfrenta desafios significativos:

Dependência Temporal e Interferência: Os resultados exibem dependência serial, sazonalidade e choques de cauda pesada. Além disso, a interferência temporal (efeitos de carryover ou anticipation) torna muitas hipóteses nulas não "agudas" (non-sharp), invalidando testes de randomização de Fisher padrão.
Limitações de Amostra: As equipes de produto frequentemente precisam tomar decisões rápidas (dias ou semanas), resultando em tamanhos de amostra modestos onde aproximações assintóticas (baseadas em distribuições normais) podem ser mal calibradas.
Inviabilidade de Modelos Paramétricos: A estrutura complexa de ruído e interferência torna difícil fazer suposições paramétricas válidas sobre o processo de geração de dados.

O objetivo do artigo é desenvolver um quadro de inferência que forneça valores-p válidos para amostras finitas e livres de distribuição, utilizando apenas o mecanismo de atribuição conhecido, sem depender de grandes amostras ou suposições paramétricas.

2. Metodologia

Os autores propõem um quadro de Testes de Randomização Condicional (CRTs - Conditional Randomization Tests) adaptados para experimentos switchback.

Premissas Fundamentais:

Não Antecipação (Non-anticipation): Os resultados no tempo $t$ não dependem de atribuições futuras.
Horizonte de Carryover Finito ( $m$ ): Os resultados no tempo $t$ dependem apenas das atribuições nos últimos $m+1$ períodos.

Estratégias Principais:

Seções Predeterminadas e Agrupamento (Pooling):
Para lidar com a interferência temporal, o método agrupa blocos de design consecutivos em "seções" predeterminadas (antes de observar os resultados). Dentro de uma seção onde o tratamento é constante, apenas os períodos finais (após o período de burn-in de $m$ ) são considerados "focais" (focal units), pois seus resultados não são contaminados por mudanças de tratamento fora da seção.
Teste de Efeito Total (CRT Condicionado):
Para testar a hipótese nula de nenhum efeito total do tratamento, o algoritmo:
1. Identifica as seções que permaneceram constantes na atribuição observada.
2. Restringe o espaço de reamostragem apenas a atribuições que mantêm essas seções constantes.
3. Calcula estatísticas de teste apenas nos períodos focais.
4. Gera a distribuição nula via Monte Carlo, garantindo validade exata em amostras finitas.
Diagnósticos de Interferência:
- Teste de Carryover: Um procedimento sequencial para estimar o horizonte de carryover ( $m$ ). Testa a hipótese de que efeitos desaparecem após $m$ períodos, utilizando uma estratégia de "holdout alternado" (usando seções pares para resultados e ímpares para rótulos aleatórios) para garantir imputabilidade.
- Teste de Não Antecipação: Adapta o teste PIRT (Pairwise Imputation-based Randomization Test) de Zhong (2024), utilizando schedules que preservam um prefixo inicial para garantir sobreposição de tempos imputáveis.
Hipóteses Nulas Fracas (Weak Nulls) e Studentização:
Para efeitos médios (onde a hipótese nula não é aguda), os autores propõem CRTs Studentizados. Eles utilizam estimadores Horvitz-Thompson e variâncias conservadoras para testar hipóteses de média zero dentro de sessões (ex: efeitos médios por dia da semana), estabelecendo validade assintótica sob condições de estabilização.
Análise de Poder:
Derivam aproximações de poder sob um modelo de superpopulação com efeitos de distributed-lag e ruído AR(1). Isso esclarece como o comprimento do bloco, o período de burn-in e o agrupamento de seções afetam a razão sinal-ruído.

3. Contribuições Chave

Validade em Amostra Finita: Diferente de abordagens anteriores (como Bojinov et al., 2023) que dependem de aproximações assintóticas, este método fornece valores-p exatos e válidos para amostras finitas, crucial para ciclos de produto rápidos.
Robustez a Caudas Pesadas: O quadro não assume normalidade. Simulações mostram que o CRT proposto mantém o controle de tamanho (size control) sob choques de distribuição $t$ (cauda pesada), enquanto testes de Fisher padrão (com hipótese nula mal especificada) e testes assintóticos falham (super-rejeição ou conservadorismo excessivo).
Diagnósticos Práticos: Oferece procedimentos formais para verificar as premissas críticas de non-anticipation e estimar o horizonte de carryover sem alterar o protocolo experimental.
Guia de Design: A análise de poder fornece diretrizes práticas sobre como escolher o comprimento do bloco e o nível de agrupamento (pooling) para maximizar a sensibilidade do teste.

4. Resultados (Simulações)

As simulações Monte Carlo cobriram horizontes realistas ( $T \in \{60, \dots, 300\}$ ) e distribuições de erro normais e de cauda pesada ( $t(1)$ ):

Controle de Tamanho: O CRT proposto manteve taxas de rejeição próximas do nível nominal (0.05) em todas as configurações, incluindo ruído de cauda pesada.
Comparação com Alternativas:
- O Teste de Fisher (com hipótese nula aguda mal especificada) apresentou super-rejeição severa sob caudas pesadas.
- O Teste Assintótico Horvitz-Thompson foi frequentemente conservador em horizontes realistas.
- O PIRT (para não antecipação) controlou o tamanho e forneceu poder não trivial.
Poder: O CRT proposto apresentou poder competitivo, superando alternativas corrigidas para tamanho sob perturbações de cauda pesada.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica na inferência causal para experimentos operacionais em tempo real. Ao fornecer um método que é exato (finite-sample valid), livre de distribuição (distribution-free) e robusto a interferência temporal, ele permite que plataformas de tecnologia realizem testes A/B em ambientes de switchback com maior confiança estatística, mesmo com amostras pequenas e dados complexos.

O quadro se estende naturalmente para outros designs baseados em séries temporais (como experimentos crossover), oferecendo uma abordagem unificada para inferência exata em experimentos com estrutura temporal. Isso é particularmente relevante para a indústria de tecnologia, onde a velocidade de decisão e a robustez contra violações de suposições de normalidade são imperativas.