📈 economics

When and How to Pilot: Design Rules for Two-Wave Experiments

Este artigo propõe uma regra de Arrependimento Minimax Condicional (CMR) para experimentos de duas ondas que equilibra de forma ótima a robustez da atribuição balanceada com a eficiência da alocação de Neyman ao minimizar o arrependimento do pior caso sobre um conjunto de confiança de amostra finita, evitando assim as severas perdas de precisão de métodos adaptativos em pilotos pequenos enquanto captura seus ganhos em grandes.

Autores originais: Juan C. Yamin

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Juan C. Yamin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas tem um suprimento limitado de pistas. Você quer saber qual suspeito é o culpado, mas não sabe quem está escondendo mais segredos. No mundo da ciência, pesquisadores realizam "experimentos" para encontrar respostas, como testar se um novo remédio funciona ou se um novo método de ensino ajuda os alunos a aprender. Para fazer isso, eles dividem as pessoas em dois grupos: um grupo de "tratamento", que recebe a novidade, e um grupo de "controle", que não recebe nada (ou recebe a coisa antiga). O objetivo é comparar os dois grupos para ver a diferença.

Mas aqui está a parte complicada: nem todo mundo reage da mesma forma. Algumas pessoas são muito consistentes; outras são totalmente imprevisíveis. Se o grupo de "tratamento" for cheio de pessoas imprevisíveis, você precisará testar mais delas para obter uma resposta clara. Se o grupo de controle for cheio de curingas, você precisará de mais deles. A grande questão é: como você sabe qual grupo é o grupo dos "curingas" antes de começar sua investigação principal?

Os cientistas costem realizar um pequeno teste "piloto" primeiro — uma pequena amostra da coisa real — para obter uma pista. Isso cria um dilema. Se você confiar demais no piloto, pode ser enganado por um acaso (como jogar uma moeda duas vezes e obter caras nas duas vezes, pensando que a moeda está viciada). Se você ignorar completamente o piloto, pode perder a chance de obter uma resposta muito mais precisa. Este artigo trata de encontrar o equilíbrio perfeito entre ser cauteloso demais e ser imprudente demais ao usar essas pequenas pistas de pilotos para projetar um grande experimento.

O Grande Equilíbrio do Experimento

Imagine que você é um chef preparando um banquete massivo para 1.000 convidados. Você tem dois pratos principais: um curry picante e um ensopado suave. Você quer saber qual deles as pessoas preferem. Mas você também sabe que algumas pessoas são comedores muito exigentes (seu paladar varia drasticamente), enquanto outras são muito consistentes. Se você servir o curry picante para um grupo de comedores exigentes, precisará servir a muitas deles para descobrir a opinião média. Se você servir o ensopado suave para um grupo de comedores consistentes, não precisará de tantos.

O plano "perfeito" seria servir o curry para 800 pessoas e o ensopado para 200, se o curry for o prato dos comedores exigentes. Isso é chamado de alocação de Neyman (nomeada em homenagem a um estatístico que descobriu isso décadas atrás). É a maneira mais eficiente de obter uma resposta.

Mas aqui está o problema: você ainda não sabe quem são os comedores exigentes! Você tem que decidir a divisão antes do banquete começar.

Então, você decide cozinhar uma pequena refeição "piloto" primeiro. Você convida 30 pessoas para provar os pratos. Crucialmente, cada pessoa só pode experimentar um prato. Alguns recebem o curry e outros recebem o ensopado. Com base em como esses grupos específicos reagiram, você planeja o grande banquete.

As Velhas Formas:

O Chef que "Não Quer Agitar as Águas": Este chef ignora o piloto inteiramente. Ele apenas divide os 1.000 convidados em 50/50. É seguro. Não importa o que aconteça, ele não acabará sem curry para os comedores exigentes por acidente. Mas ele pode perder a chance de obter uma resposta superprecisa se o piloto tivesse realmente mostrado uma grande diferença.
O Chef que "Confia no Piloto": Este chef olha para os 30 provadores do piloto e diz: "Ei, o grupo do curry foi super imprevisível! Vou servir curry para 900 pessoas!". Mas e se os 30 provadores do piloto estivessem apenas tendo um dia ruim? E se o curry for na verdade bom, mas o grupo do piloto fosse apenas barulhento? Este chef pode acabar servindo curry para 900 pessoas quando precisava de apenas 200, desperdiçando recursos e obtendo uma resposta pior do que se tivesse apenas dividido igualmente. No pior dos casos, se o grupo do piloto para um prato fosse perfeitamente calmo (todos gostaram exatamente da mesma forma), este chef pode decidir servir zero pessoas com aquele prato, ficando sem dados nenhum.

A Nova Solução: A Regra do "Minimax Regret Condicional" (CMR)
O autor deste artigo, Juan Yamin, propõe uma nova maneira de pensar sobre isso. Ele chama isso de Regra do Minimax Regret Condicional (CMR).

Pense no CMR como um chef muito inteligente e levemente paranoico que usa os dados do piloto para desenhar uma "zona de segurança" em vez de um único palpite.

Em vez de dizer: "O curry é definitivamente imprevisível", o chef diz: "Com base nessas 30 pessoas, o curry pode ser imprevisível, mas também pode ser calmo. Aqui está uma gama de possibilidades".
Se os dados do piloto forem fracos (apenas 30 pessoas), a "zona de segurança" é enorme. O chef percebe: "Eu não posso ter certeza ainda", então ele se mantém próximo da divisão segura de 50/50.
Se os dados do piloto forem fortes (500 pessoas), a "zona de segurança" encolhe. O chef pode agora dizer: "Ok, estou quase certo de que o curry é o curinga", e ele desloca a divisão em direção ao grupo do curry.

A magia do CMR é que ele nunca se move demais, a menos que a evidência seja forte o suficiente para descartar os cenários de "má sorte". Ele vem com um certificado — uma pequena nota que diz: "Mesmo que eu esteja errado, aqui está o pior cenário possível, e não é tão ruim assim".

O Que o Artigo Descobriu

O artigo não apenas fala sobre isso; ele prova com matemática e testa com simulações usando dados reais de experimentos famosos do passado (como estudos sobre desvermifugação de crianças na África ou testes de currículos para discriminação de emprego).

Os Resultados:

O Chef que "Confia no Piloto" (Neyman Featível) é perigoso com pilotos pequenos. Quando o piloto é pequeno (como 30 pessoas), este método frequentemente comete erros enormes. Nas simulações, às vezes causou um experimento tão ineficiente que era como se os pesquisadores tivessem jogado fora metade de seus dados. Em alguns casos, até tentou atribuir zero pessoas a um grupo que realmente precisava de testes, o que é um desastre.
O Chef que "Não Quer Agitar as Águas" é seguro, mas perde oportunidades. Eles nunca cometem um erro enorme, mas também nunca obtêm a precisão extra que um bom piloto poderia oferecer.
O Chef CMR é o "Caminho do Meio". Quando o piloto é pequeno, o CMR permanece próximo da divisão segura de 50/50, evitando os grandes desastres do chef que "Confia no Piloto". Mas conforme o piloto cresce e os dados ficam mais claros, o CMR muda suavemente em direção à divisão perfeita, capturando quase todos os benefícios do método "Confia no Piloto" sem os riscos.

Nas simulações, quando o piloto era pequeno (30 pessoas), o método "Confia no Piloto" às vezes falhava completamente (perda infinita), enquanto o CMR permanecia seguro. À medida que o piloto crescia para 500 pessoas, o CMR alcançava o desempenho quase tão bom quanto o método perfeito, mas com a garantia de que não "quebraria" se o piloto fosse apenas um acaso.

Por Que Isso Importa

Este artigo resolve um problema específico e irritante que os cientistas enfrentam todos os dias: O quanto devo confiar no meu pequeno teste inicial?

A resposta é: Confie o suficiente para se mover, mas não tanto a ponto de cair de um penhasco.

O artigo mostra que você não precisa escolher entre ser um covarde (ignorar o piloto) ou um jogador (apostar tudo no piloto). Você pode usar uma regra que diz: "Eu vou mover meu plano exatamente o quanto a evidência me permite ter certeza de que não estou cometendo um erro". Ele transforma a incerteza assustadora de dados pequenos em um passo à frente gerenciável e seguro.

Os autores testaram isso com quatro cenários diferentes do mundo real e, em cada caso, sua nova regra protegeu os pesquisadores dos piores erros, permitindo ao mesmo tempo que obtivessem as melhores respostas quando os dados eram bons. É como ter um cinto de segurança que só aperta quando você realmente encontra um solavanco, mantendo você seguro sem tornar o passeio desconfortável.

Resumo Técnico: Regras de Design para Experimentos de Duas Ondas

Definição do Problema
O artigo aborda o design de experimentos de duas ondas, onde um estudo piloto informa a probabilidade de atribuição de tratamento ( $\pi$ ) para uma onda principal subsequente. O objetivo é minimizar a variância do estimador do Efeito Médio do Tratamento (ATE). Embora a atribuição ótima seja conhecida como a alocação de Neyman — que atribui mais observações ao braço com maior variância de resultado — essa alocação requer o conhecimento das verdadeiras variâncias de potenciais resultados ( $\sigma^2_1, \sigma^2_0$ ), que são desconhecidas na fase de design.

A tensão central reside em como utilizar estimativas ruidosas do piloto. Duas abordagens canônicas representam os extremos:

Atribuição Balanceada: Ignora o piloto e atribui $\pi = 1/2$ . É ótima em termos de risco minimax (mais segura contra distribuições de pior caso), mas falha em se adaptar à evidência de que um braço é mais ruidoso, renunciando a potenciais ganhos de precisão.
Alocação de Neyman Viável (FNA): Aplica diretamente as variâncias amostrais do piloto na fórmula de Neyman. Embora seja assintoticamente eficiente, é frágil em amostras finitas. Se um piloto resultar em uma variância amostral zero ou próxima de zero (uma ocorrência comum com amostras pequenas ou resultados binários), a FNA pode atribuir probabilidade zero ou negligenciável a um braço com variância real positiva, levando a perdas de precisão infinitas ou arbitrariamente grandes.

O artigo formaliza isso como um problema de decisão estatística de amostra finita: quanta autoridade a evidência ruidosa do piloto deve ter sobre o design da onda principal?

Metodologia: Regra de Regret Minimax Condicional (CMR)
O autor propõe a regra de Regret Minimax Condicional (CMR), que desloca o foco da decisão teórica para minimizar o regret de pior caso sobre um conjunto de confiança de amostra finita derivado do piloto realizado.

O procedimento opera da seguinte forma:

Construção do Conjunto de Confiança: Ao observar o piloto, o experimentador constrói um retângulo de confiança conjunto $\hat{\Theta}_\alpha(\omega)$ para o par de variâncias $(\sigma^2_1, \sigma^2_0)$ . Este retângulo é formado pela combinação de limites de Bernstein empíricos unilaterais para o desvio padrão de cada braço, garantindo que o par de variâncias real esteja dentro do retângulo com probabilidade de pelo menos $1-\alpha$ .
Otimização: A regra CMR seleciona a probabilidade de atribuição $p^{CMR}$ que minimiza o regret de pior caso sobre este retângulo de confiança específico:
$p^{CMR}(\omega) \in \arg\min_{p \in (0,1)} \sup_{\theta \in \hat{\Theta}_\alpha(\omega)} r(p, \theta)$
onde $r(p, \theta)$ é o regret relativo à alocação de Neyman inviável.
Solução de Forma Fechada: Para tratamentos binários, a solução é de forma fechada. A regra aplica a fórmula de Neyman aos pontos médios dos intervalos de confiança do desvio padrão. Se o retângulo de confiança for amplo (pouco informativo), os pontos médios convergem, e a regra retorna ao equilíbrio. À medida que o retângulo contrai (informativo), a regra se aproxima da verdadeira alocação de Neyman.
Certificação: Junto com a atribuição, a regra reporta um "certificado" ( $U^{CMR}$ ), que é o regret de pior caso sobre o conjunto de confiança. Isso fornece um limite de amostra finita para a perda de precisão incorrida pelo design escolhido.

Principais Contribuições e Resultados

Segurança de Amostra Finita: Diferente da FNA, a CMR nunca atribui probabilidade zero a um braço, a menos que o conjunto de confiança explicitamente exclua a variância positiva para aquele braço (o que, sob a construção proposta, exige evidências fortes). A regra é garantida para ter um regret não pior que a atribuição balanceada sem piloto (no máximo 1/4 da escala de variância) com probabilidade $1-\alpha$ .
Eficiência Assintótica: À medida que o tamanho do piloto cresce, o retângulo de confiança colapsa para as variâncias reais. A regra CMR converge para a alocação de Neyman inviável na taxa padrão de raiz quadrada inversa ( $O_p(M^{-1/2})$ ). Consequentemente, o regret realizado e o certificado diminuem na taxa inversa do piloto ( $O_p(M^{-1})$ ).
Taxa de Regret Minimax: O artigo estabelece que o regret esperado de pior caso da CMR coincide com o limite inferior de regret minimax teórico (até constantes) para qualquer regra baseada em piloto. Assim, a CMR atinge a melhor taxa de desempenho de pior caso sem exigir a solução computacionalmente intratável do problema minimax ex-ante exato.
Extensões: O framework estende-se naturalmente para:
- Designs de múltiplos braços: Onde um controle compartilhado é comparado contra $K$ tratamentos.
- Designs estratificados: Onde o piloto informa tanto as margens de amostragem de estratos quanto as probabilidades de atribuição dentro do estrato.
- Resultados Binários: Usando a inversão exata da distribuição binomial dobrada para estreitar os conjuntos de confiança.

Evidência de Simulação
Simulações calibradas utilizando dados de quatro experimentos de campo (Miguel & Kremer, 2004; Bertrand & Mullainathan, 2004; Thornton, 2008; Abel et al., 2020) demonstram as implicações práticas:

Falha da FNA: Em tamanhos de piloto realistas (ex: $M=30$ ), a FNA incorre em perdas de eficiência infinitas ou muito grandes em vários designs devido a falhas de contorno (atribuindo probabilidade zero a um braço com variância positiva).
Desempenho da CMR: A CMR permanece no equilíbrio até que os dados do piloto sejam suficientemente informativos para excluir as configurações de pior caso. Uma vez informativa, ela captura a maior parte dos ganhos de precisão atingíveis.
Trade-offs: Em designs de dois braços onde o ganho potencial da adaptação é pequeno (frequentemente <1%), a CMR atua como um "seguro" contra o lado negativo ilimitado da FNA, essencialmente sem custo no lado positivo. Em designs de múltiplos braços e estratificados, onde os ganhos potenciais são maiores e a FNA é mais frágil, a disciplina da CMR produz benefícios líquidos significativos.

Significância e Alegações
O artigo afirma fornecer um modelo para integrar a incerteza estatística diretamente no design experimental. Argumenta-se que a escolha entre ignorar o piloto (equilíbrio) e confiar nele cegamente (FNA) é uma falsa dicotomia. A regra CMR permite que o design se mova "exatamente o quanto a evidência do piloto justifica e nem mais".

A significância reside em três características:

Operabilidade: Fornece uma regra computável e de forma fechada para amostras finitas, ao contrário da solução exata de regret minimax que é geralmente intratável.
Certificação: Pareia a decisão de design com uma garantia de amostra finita (o certificado) sobre a perda de precisão, uma característica ausente em abordagens padrão de plug-in.
Robustez: Resolve a tensão entre segurança de amostra finita e eficiência assintótica, alcançando a taxa de regret minimax sem exigir pilotos grandes para funcionar com segurança.

O autor conclui que, para os pilotos tipicamente executados na prática, a CMR oferece uma maneira fundamentada de adaptar designs enquanto protege contra as severas perdas de precisão associadas a estimativas de variância ruidosas.

O Grande Equilíbrio do Experimento

O Que o Artigo Descobriu

Por Que Isso Importa

Mais como este