Design Stability in Adaptive Experiments: Implications for Treatment Effect Estimation

Título: Estabilidade de Design em Experimentos Adaptativos: Implicações para a Estimativa do Efeito do Tratamento

Autores: Saikat Sengupta, Koulik Khamaru, Suvrojit Ghosh e Tirthankar Dasgupta.
Contexto: Inferência causal em populações finitas sob designs sequenciais adaptativos.

---

1. Problema e Motivação

A estimativa do Efeito Médio do Tratamento (ATE) é fundamental em áreas como saúde, educação e economia. Métodos tradicionais assumem frequentemente designs completamente aleatórios com unidades independentes e identicamente distribuídas (i.i.d.) e probabilidades de tratamento fixas.

No entanto, em cenários do mundo real (ensaios clínicos adaptativos, testes A/B online, avaliações de políticas), as unidades chegam sequencialmente e a atribuição do tratamento pode adaptar-se com base no histórico de atribuições anteriores e resultados observados.

• Desafio: Esses mecanismos sequenciais introduzem dependências complexas entre as unidades, o que pode enviesar estimadores tradicionais ou torná-los ineficientes, invalidando os resultados assintóticos convencionais.
• Lacuna: A literatura existente foca frequentemente em frameworks de "superpopulação" (modelos probabilísticos para os resultados) ou em algoritmos de bandits que visam maximizar recompensas (convergindo para um único braço), em vez de manter o equilíbrio entre braços para inferência causal.

Este trabalho preenche essa lacuna desenvolvendo um framework baseado em design (população finita), onde os potenciais resultados são fixos e a única fonte de aleatoriedade é o mecanismo de atribuição.

---

2. Metodologia e Estrutura Teórica

Os autores propõem e analisam dois estimadores para o ATE sob mecanismos de atribuição sequencial adaptativa:

1. Estimador de Pesos de Propensão Inversa (IPW): Uma versão Horvitz-Thompson adaptada.
2. Estimador Aumentado de Pesos de Propensão Inversa (AIPW): Uma versão model-free (livre de modelo) para populações finitas, que incorpora ajustes de regressão sequenciais para reduzir a variância.

Conceito Central: Estabilidade de Design

A pedra angular da análise é a definição de Estabilidade de Design, uma condição necessária para garantir a normalidade assintótica dos estimadores. Os autores definem dois níveis:

• Estabilidade Forte: As probabilidades de inclusão ($p_i$) convergem para um escalar não aleatório fixo ($p^*$) à medida que $N \to \infty$.
  • Exemplo: O design da moeda adaptativa de Wei.
• Estabilidade Fraca: As probabilidades individuais não precisam convergir, mas as médias amostrais dos pesos inversos ($1/p_i$) e dos pesos do complemento inverso ($1/(1-p_i)$) devem convergir em probabilidade para limites fixos não aleatórios.
  • Exemplo: O design da moeda enviesada de Efron.

Hipóteses

• Positividade: As probabilidades de atribuição são estritamente limitadas entre $\delta$ e $1-\delta$.
• Limitação: Os potenciais resultados são uniformemente limitados.
• Homogeneidade Generalizada: Uma condição sobre a relação entre os potenciais resultados sob tratamento e controle, que permite a consistência dos estimadores de variância.

---

3. Principais Contribuições e Resultados

A. Teoremas do Limite Central (CLT)

Os autores estabelecem CLTs para ambos os estimadores (IPW e AIPW) sob designs sequenciais que satisfazem a estabilidade (forte ou fraca).

• IPW: $\sqrt{N}(\hat{\tau}_{IPW} - \bar{\tau}) \xrightarrow{d} N(0, V_{IPW})$.
• AIPW: $\sqrt{N}(\hat{\tau}_{AIPW} - \bar{\tau}) \xrightarrow{d} N(0, V_{AIPW})$.
• Eficiência: O estimador AIPW é demonstrado ser mais eficiente (menor variância assintótica) que o IPW, pois utiliza informações dos resultados observados para reduzir a variabilidade.

B. Estimadores de Variância Conservadores

Um desafio fundamental na inferência causal é que apenas um dos dois potenciais resultados é observado por unidade, tornando impossível estimar a covariância exata entre os resultados de tratamento e controle.

• Solução: Os autores propõem estimadores de variância conservadores (superestimam a variância real).
• Mecanismo: Utilizam a desigualdade de Cauchy-Schwarz para limitar o termo de covariância desconhecido.
• Propriedade: Esses estimadores são assintoticamente conservadores (levando a intervalos de confiança com cobertura $\ge 1-\alpha$). Eles tornam-se exatos (cobertura assintótica correta) quando os potenciais resultados satisfazem condições de homogeneidade (ex: aditividade em escala logarítmica ou homogeneidade generalizada).

C. Aplicação a Designs Clássicos

O framework é aplicado e validado em dois designs históricos:

1. Design da Moeda Adaptativa de Wei (Strong Stability):
   • As probabilidades convergem para $0.5$.
   • Os teoremas garantem CLT e estimativas de variância consistentes sob condições de homogeneidade.
2. Design da Moeda Enviesada de Efron (Weak Stability):
   • As probabilidades oscilam entre $\eta$ e $1-\eta$ dependendo do desequilíbrio atual.
   • O design não é "fortemente estável", mas é "fracamente estável".
   • Os autores derivam explicitamente os limites assintóticos das médias de pesos inversos para este caso, permitindo a construção de intervalos de confiança válidos.

---

4. Resultados Empíricos (Simulações)

Os autores realizaram simulações extensivas (com $N=5000$ e 20.000 repetições) para validar a teoria:

• Cobertura: Os intervalos de confiança construídos com os estimadores propostos atingem ou superam a cobertura nominal (ex: 95%) em cenários não aditivos, confirmando a natureza conservadora.
• Eficiência: O estimador AIPW produziu intervalos de confiança significativamente mais curtos que o IPW, mantendo a cobertura adequada.
• Robustez: O desempenho foi consistente tanto no design de Wei quanto no de Efron, demonstrando a flexibilidade do framework teórico.
• Viés: Os estimadores mostraram viés de Monte Carlo negligenciável, confirmando a propriedade de não viés teórica.

---

5. Significado e Impacto

Este trabalho é significativo por várias razões:

1. Unificação Teórica: Fornece um framework unificado para inferência causal em populações finitas sob uma ampla classe de designs adaptativos, superando a necessidade de modelos de resultados (superpopulação).
2. Validação de Práticas Existentes: Oferece justificativa teórica rigorosa para o uso de designs adaptativos clássicos (como os de Wei e Efron) em ensaios clínicos modernos, garantindo que a inferência estatística (p-valores e intervalos de confiança) permaneça válida.
3. Inovação em Variância: Resolve o problema prático de estimar a variância em designs adaptativos sem observar todos os potenciais resultados, propondo estimadores conservadores que funcionam na prática.
4. Aplicabilidade: Os resultados são diretamente aplicáveis a ensaios clínicos adaptativos, testes A/B online e avaliações de políticas públicas onde a alocação de recursos deve ser ajustada dinamicamente sem comprometer a validade estatística.

Em resumo, o artigo estabelece que, desde que o design experimental satisfaça condições de estabilidade (forte ou fraca), é possível realizar inferência causal rigorosa e eficiente em populações finitas, mesmo quando a aleatorização é adaptativa e dependente do histórico.