Design-based theory for causal inference from adaptive experiments

Resumo Técnico: Teoria Baseada no Desenho para Inferência Causal em Experimentos Adaptativos

1. Problema e Motivação

Os experimentos adaptativos (ou designs sequenciais) atualizam dinamicamente as probabilidades de tratamento com base nas informações acumuladas durante o experimento. Exemplos incluem multi-armed bandits, randomização adaptativa por covariáveis e rerandomização sequencial.

Apesar de sua utilidade em negócios, medicina e políticas públicas, a inferência causal nesses contextos enfrenta desafios teóricos significativos:

• Dependência Temporal: A atribuição de tratamento para uma unidade depende do histórico de unidades anteriores, violando a suposição de independência.
• Limitações da Literatura Existente: A teoria atual baseia-se predominantemente no framework de superpopulação (unidades i.i.d. - independentes e identicamente distribuídas). Quando a distribuição das unidades evolui ao longo do tempo (unidades não trocáveis), os métodos existentes podem ser viesados.
• Estimadores de "Caixa Preta": Há uma necessidade crescente de integrar métodos de machine learning (modelos de caixa preta) para ajuste de covariáveis, mas a teoria existente muitas vezes exige condições de consistência forte que não são garantidas em designs adaptativos complexos.

O artigo visa preencher essa lacuna desenvolvendo uma teoria baseada no desenho (design-based) rigorosa para inferência causal em experimentos adaptativos, sem depender da suposição de superpopulação.

2. Metodologia e Estrutura Teórica

Os autores adotam o framework de população finita, onde os resultados potenciais e as covariáveis são tratados como fixos, e a única fonte de aleatoriedade é a atribuição do tratamento.

A. Estimação via IPW e AIPW Adaptativos
O artigo define e analisa dois estimadores principais:

1. IPW (Inverse Propensity Weighted): Pondera as observações pela probabilidade inversa de tratamento ($e_t(z)$).
2. AIPW (Augmented IPW): Combina o IPW com um modelo de regressão de resultados ($\hat{m}_t(z)$) construído adaptativamente usando apenas o histórico $H_t$.
   $$\hat{Y}_{t, aipw}(z) = \hat{Y}_{t, ipw}(z) + \left(1 - \frac{\mathbb{1}(Z_t=z)}{e_t(z)}\right)\hat{m}_t(z)$$

B. Estrutura de Martingala
A chave da prova teórica é a observação de que, sob randomização adaptativa, os termos de erro ajustados formam uma sequência de diferenças de martingala. Isso permite a aplicação do Teorema Central do Limite para Martingalas (Brown, 1971), garantindo a normalidade assintótica dos estimadores mesmo com dependência temporal complexa.

C. Condições de Regularidade
Os autores estabelecem condições para a validade da inferência que cobrem cenários onde:

• As probabilidades de tratamento não convergem (ou convergem para zero).
• Os estimadores de resultados ($\hat{m}_t$) não convergem (permitindo o uso de modelos complexos de ML).
• As unidades são não-trocáveis (distribuição não estacionária).

D. Estimadores de Variância
O artigo propõe novos estimadores de covariância para o estimador AIPW:

• Um estimador padrão que é conservador (tende a superestimar a variância).
• Um estimador de covariância ajustado ($\tilde{V}_{aipw}$) que se torna "afiado" (sharp) quando os resíduos da regressão adaptativa são aditivos entre unidades, reduzindo a conservatividade inerente à inferência de população finita.

3. Contribuições Principais

1. Extensão para População Finita e Unidades Não-Trocáveis:

   • A teoria não assume que as unidades são i.i.d. Isso é crucial para experimentos onde a população muda ao longo do tempo (ex: usuários de um app que evoluem, pacientes em diferentes estágios de doença).
   • Justifica o uso de estimadores AIPW com modelos de "caixa preta" (ML) mesmo quando as probabilidades de tratamento não convergem.

2. Ajuste Adaptativo de Covariáveis para Designs Não-Adaptativos:

   • Os autores propõem analisar designs não-adaptativos (como randomização completamente aleatória) como se fossem adaptativos.
   • Ao construir o modelo de resultado $\hat{m}_t(z)$ usando apenas dados de unidades anteriores (estrutura de martingala), é possível realizar ajuste de covariáveis com estimadores de ML sem as fortes suposições de consistência exigidas por métodos tradicionais (como cross-fitting com correção de Bonferroni).

3. Generalização para Designs em Blocos:

   • A teoria é estendida para randomização adaptativa em blocos (ex: rerandomização sequencial), onde grupos de unidades são randomizados juntos, e as probabilidades dependem do histórico de grupos anteriores.

4. Resultados Principais

• Propriedades de Amostragem: Os estimadores IPW e AIPW são mostrados como não viesados e assintoticamente normais sob o framework de população finita.
• Inferência Válida: Os intervalos de confiança Wald-type baseados nos novos estimadores de variância atingem a cobertura nominal assintoticamente, mesmo com probabilidades de tratamento que tendem a zero ou modelos de ML não convergentes.
• Eficiência: O estimador AIPW com ajuste de covariáveis adaptativo demonstra ganhos de eficiência significativos em simulações, especialmente quando comparado a métodos de cross-fitting tradicionais que exigem correções conservadoras.
• Simulações:
  • Em experimentos não-adaptativos, o ajuste adaptativo com Random Forests (caixa preta) forneceu cobertura válida (~95%), enquanto métodos tradicionais falharam (cobertura de ~68%).
  • Em designs de rerandomização sequencial, o método proposto reduziu o erro quadrático médio (RMSE) em ~70% e o comprimento do intervalo de confiança em ~71% comparado à randomização completamente aleatória.

5. Significado e Impacto

Este trabalho representa um avanço fundamental na teoria de inferência causal:

• Robustez: Permite a aplicação rigorosa de métodos de aprendizado de máquina em experimentos adaptativos sem violar os pressupostos de inferência.
• Flexibilidade: Remove a necessidade de suposições de "superpopulação" que muitas vezes não se sustentam em cenários do mundo real (dados não estacionários).
• Aplicabilidade Prática: Oferece um guia teórico para pesquisadores e praticantes que utilizam bandits, randomização adaptativa e designs sequenciais em áreas como testes A/B em tecnologia, ensaios clínicos adaptativos e políticas públicas, garantindo que as conclusões estatísticas sejam válidas mesmo sob condições complexas de dependência e não-estacionariedade.

Em resumo, o artigo fornece a base matemática necessária para confiar em estimadores de "caixa preta" em ambientes experimentais dinâmicos, unindo a teoria clássica de desenho experimental com as capacidades modernas de modelagem preditiva.