Prior-Free Sample Size Design for Test-and-Roll Experiments

Resumo Técnico: Design de Tamanho Amostral Livre de Priori para Experimentos Test-and-Roll

Formulação do Problema
Este artigo aborda o problema de design de tamanho amostral para experimentos "test-and-roll" conduzidos dentro de uma população finita de tamanho $N$. Neste cenário, um tomador de decisão realiza primeiro um ensaio controlado randomizado (RCT) em um subconjunto de $m$ unidades (com $m/2$ alocadas ao tratamento e $m/2$ ao controle). Com base nos resultados observados, o tomador de decisão aloca as $N-m$ unidades restantes ao braço de tratamento que teve melhor desempenho no experimento.

O objetivo é maximizar o bem-estar total esperado sobre toda a população, $E[\sum_{i=1}^N Y_i]$. Isso cria um tradeoff fundamental entre exploração e exploração:

1. Custo de Exploração: Aumentar $m$ melhora a precisão na identificação do tratamento superior, mas impõe perdas de bem-estar às unidades experimentais, já que metade é inevitavelmente alocada ao tratamento inferior ex post.
2. Risco de Exploração: Diminuir $m$ reduz a perda imediata de bem-estar nas unidades experimentais, mas aumenta o risco de tomar uma decisão de implementação errônea, alocando assim o tratamento inferior à maior população restante ($N-m$).

O desafio central é que os efeitos reais do tratamento são desconhecidos ex ante. O artigo busca uma regra de design que seja livre de priori, evitando a sensibilidade a priores bayesianos subjetivos ou hiperparâmetros arbitrários que caracterizam as abordagens existentes baseadas em bem-estar.

Metodologia e Crítica dos Critérios Existentes
Os autores analisam primeiro o critério padrão de Arrependimento Minimax Absoluto, que seleciona o tamanho amostral $m$ para minimizar o pior caso de arrependimento em relação a um oráculo que conhece os efeitos reais do tratamento.

• Limitação: O artigo demonstra que este critério leva a tamanhos amostrais experimentais implausivelmente pequenos (por exemplo, $m/N \approx 2,3\%$ para $N=10.000$).
• Mecanismo de Falha: O adversário do pior caso no framework minimax absoluto concentra-se em valores de parâmetros que maximizam o efeito absoluto do tratamento ($|\tau|$). Em tais casos extremos, o custo de exploração ($m/2 \cdot |\tau|$) domina a função de arrependimento, fazendo com que o critério penalize excessivamente a exploração e suprima o tamanho amostral para próximo de zero.

Para resolver isso, os autores propõem a regra de Benefício Marginal do Pior Caso (WMB).

• Conceito Central: Em vez de minimizar o arrependimento total do pior caso, a regra WMB avalia o tradeoff na margem. Ela compara o benefício marginal do pior caso de adicionar mais um par emparelhado ao experimento com o correspondente custo marginal de exploração.
• Regra de Parada: A experimentação continua enquanto o benefício marginal do pior caso de um par adicional exceder o custo marginal. O tamanho amostral ótimo $\hat{m}_{WMB}$ é o menor $m$ par onde a razão do benefício marginal do pior caso $\eta(m, \mu_1, \mu_0)$ cai para 1 ou abaixo.
• Definição:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  onde $\eta$ mede a redução nos erros de implementação esperados (unidades salvas) por unidade de custo de exploração adicionado.

Resultados Principais

1. Referência da Regra dos Terços:
   O artigo estabelece uma referência simples e livre de priori para o tamanho amostral ótimo:
   $$\hat{m} \approx \frac{N}{3}$$
   Este resultado vale sob duas condições distintas:

   • Resultados Bernoulli: Através de uma aproximação Gaussiana, o critério WMB produz $\hat{m} \approx N/3$. Os autores mostram rigorosamente que o problema exato de Bernoulli requer a exclusão de uma "patologia de evento raro de fronteira" (onde um braço tem variância zero e o outro tem uma probabilidade de sucesso vanescente da ordem de $O(1/N)$). Neste caso patológico, o tamanho amostral ótimo aproxima-se de $N/2$. No entanto, para estados interiores regulares (onde os efeitos do tratamento são não degenerados), os parâmetros menos favoráveis localizam-se perto da diagonal ($\mu_1 \approx \mu_0$), e a aproximação Gaussiana torna-se válida, levando à regra $N/3$.
   • Resultados Gaussianos (Variância Conhecida): Para resultados seguindo uma distribuição Gaussiana com uma variância comum conhecida, a referência $N/3$ surge exatamente, sem aproximação assintótica ou necessidade de excluir casos de fronteira. O relaxamento contínuo da função de razão marginal produz uma solução de forma fechada onde o benefício marginal do pior caso é $\leq 1$ se e somente se $m \geq N/3$.

2. Comportamento do Adversário:
   Sob a regra WMB, o adversário do pior caso comporta-se de maneira diferente do que sob o arrependimento minimax absoluto. Em vez de escolher efeitos de tratamento extremos para maximizar o arrependimento total, o adversário escolhe valores de parâmetros que maximizam o benefício marginal da continuação da experimentação. No regime interior, esses estados menos favoráveis concentram-se perto da diagonal ($\mu_1 \approx \mu_0$), onde distinguir entre tratamentos é mais difícil.

3. Validação Numérica:
   Estudos numéricos confirmam que, para pequenos $N$, efeitos de fronteira podem empurrar o tamanho amostral em direção a $N/2$. À medida que $N$ aumenta, os parâmetros menos favoráveis afastam-se da fronteira, e o tamanho amostral ótimo estabiliza-se perto de $N/3$.

Significado e Contribuição
O artigo afirma fornecer um guia praticamente implementável e livre de priori para o design de tamanho amostral baseado em bem-estar.

• Praticidade: A regra resultante ($m \approx N/3$) depende apenas do tamanho total da população $N$. Não exige que o tomador de decisão especifique priores subjetivos, variâncias anteriores ou outros parâmetros de ajuste, que são frequentemente difíceis de justificar na prática.
• Robustez Teórica: Ao mudar da minimização do arrependimento total para uma análise de benefício marginal, o artigo evita a "sobre-penalização" da exploração inerente aos critérios padrão de arrependimento minimax.
• Foco no Bem-estar: Ao contrário da análise de poder convencional (que controla erros Tipo I/II para testes de hipóteses), esta abordagem otimiza diretamente o objetivo de bem-estar da população finita, equilibrando explicitamente o custo da experimentação contra o risco de uma implementação subótima.

Os autores concluem que a regra WMB oferece uma solução robusta para o tradeoff entre exploração e exploração em experimentos test-and-roll de população finita, fornecendo uma regra de parada clara e teoricamente fundamentada que é independente de crenças anteriores subjetivas.