The Illusion of Learning from Observational Data: An Empirical Bayes Perspective

Resumo Técnico: A Ilusão de Aprendizado a partir de Dados Observacionais

1. O Problema

Os experimentos randomizados são o padrão-ouro para inferência causal, pois quebram a ligação entre a atribuição do tratamento e fatores de confusão. No entanto, eles são frequentemente caros, difíceis ou antiéticos de executar em larga escala. Consequentemente, os cientistas recorrem a estudos observacionais, que são abundantes e baratos, mas sofrem de viés de seleção (confusão não observada).

O artigo aborda um problema fundamental identificado por Gerber, Green e Kaplan (2004a): a "Ilusão de Aprendizado".

• O Cenário: Quando um pesquisador possui um experimento randomizado (sem viés) e uma coleção de estudos observacionais (com viés desconhecido), e não possui informação a priori sobre a distribuição desse viés (ou seja, usa um prior "plano" ou não informativo), os dados observacionais não contribuem para a estimativa do efeito causal.
• A Consequência: Sob um prior plano para o viés, a média posterior do efeito causal permanece idêntica à estimativa do experimento isolado. Os estudos observacionais não alteram a estimativa pontual, mas, paradoxalmente, podem reduzir a variância posterior, criando uma confiança excessiva e injustificada nos resultados do experimento.

2. Metodologia: Uma Perspectiva Empirical Bayes

Os autores propõem uma abordagem Empirical Bayes (EB) para superar essa ilusão. A ideia central é tratar os viéses dos estudos observacionais como amostras de uma população e tentar aprender a distribuição dessa população a partir dos dados.

O modelo hierárquico proposto considera:

• Um estudo experimental: $y_e \sim N(\theta^*, \sigma_e^2)$.
• $J$ estudos observacionais: $y_{o,j} \sim N(\theta^* + b_j, \sigma_{o,j}^2)$, onde $b_j$ é o viés.
• $K$ estudos de calibração: $y_{c,k} \sim N(b_k, \sigma_{c,k}^2)$, onde o verdadeiro efeito causal é conhecido (geralmente zero).

Análise de Cenários Teóricos:

1. Prior Plano (A Ilusão): Se assumirmos $p(b) \propto 1$ (desconhecimento total do viés), a inferência ignora os dados observacionais. O estimador é apenas $y_e$.
2. EB com Viés de Média Zero (Quebrando a Ilusão, mas com suposição irrealista): Se assumirmos que os viéses têm média zero ($b_j \sim N(0, \gamma^2)$) e estimarmos apenas a variância $\gamma^2$ via EB, a ilusão é quebrada. Os dados observacionais ajustam a estimativa e reduzem o risco assintoticamente. No entanto, a suposição de que os viéses se cancelam em média é frequentemente implausível na prática.
3. EB com Média e Variância Desconhecidas (O Retorno da Ilusão): Se tentarmos estimar tanto a média ($\mu$) quanto a variância ($\gamma^2$) dos viéses apenas a partir dos estudos observacionais, a ilusão retorna. O modelo ajusta a média dos viéses para "explicar" a diferença entre os dados observacionais e o experimento, fazendo com que a estimativa final do efeito causal $\theta$ volte a ser apenas $y_e$, enquanto a variância posterior diminui artificialmente.
4. Solução: Estudos de Calibração (Calibrated EB): Para quebrar a ilusão sem assumir que a média do viés é zero, os autores introduzem estudos de calibração.
   • Estes são estudos observacionais onde o efeito causal verdadeiro é conhecido (tipicamente zero, usando "controles negativos" ou placebos).
   • Como o efeito verdadeiro é zero, qualquer desvio na estimativa é atribuído puramente ao viés $b_k$.
   • Os dados de calibração permitem estimar consistentemente a distribuição completa do viés ($\mu$ e $\gamma^2$).
   • Uma vez estimada essa distribuição, ela é usada como prior no modelo Empirical Bayes para combinar o experimento e os estudos observacionais, permitindo que os dados observacionais informem a estimativa causal de forma válida.

3. Contribuições Principais

1. Formalização da Ilusão: O artigo formaliza matematicamente o fenômeno da "ilusão de aprendizado" em um modelo hierárquico Gaussiano, demonstrando que a incerteza sobre a distribuição do viés anula o valor informativo de estudos observacionais.
2. Análise de Limitações do EB: Mostra que o Empirical Bayes padrão falha se tentar estimar a média e a variância do viés simultaneamente sem dados externos, levando a uma confiança excessiva (variância subestimada).
3. Método de Calibração: Propõe o uso de estudos de calibração (ou controles negativos) para identificar a distribuição do viés. Isso permite a construção de um estimador Calibrated Empirical Bayes (CEB) que é consistente e eficiente.
4. Garantias Teóricas: Demonstra que, com um número crescente de estudos observacionais e de calibração, o estimador CEB atinge risco assintoticamente nulo (o erro converge para zero).

4. Resultados

• Simulações: Estudos de simulação confirmam que o estimador CEB reduz o Erro Quadrático Médio (MSE) à medida que o número de estudos ($J$ e $K$) aumenta, seguindo uma escala de $O(J^{-1})$. O estimador supera o experimento isolado e o estimador "naive" (apenas experimento).
• Aplicação Semi-sintética: Os autores aplicaram o método a dados reais de um experimento de campo de Ferraro e Miranda (2013) sobre o uso de água residencial.
  • Criaram cenários sintéticos onde a atribuição do tratamento foi tornada dependente de covariáveis (simulando um estudo observacional enviesado).
  • Construíram estudos de calibração usando um "tratamento pseudo" (placebo) que não tem efeito causal real, mas compartilha o mesmo mecanismo de viés.
  • Resultado: O modelo de "Ilusão" produziu uma estimativa concentrada, mas enviesada, com cobertura de intervalo de confiança próxima de zero (falha total). O modelo Calibrated EB produziu uma estimativa próxima da verdade (baseada no experimento completo) com cobertura de intervalo de confiança próxima de 96% (nominal), demonstrando precisão e calibração correta da incerteza.

5. Significado e Implicações

• Valor dos Controles Negativos: O trabalho eleva o status dos estudos de calibração (controles negativos) de meras ferramentas diagnósticas para componentes essenciais de uma estrutura inferencial robusta. Eles não apenas detectam viés, mas quantificam sua distribuição populacional.
• Uso de Grandes Conjuntos de Dados Observacionais: O método oferece um caminho para que grandes volumes de dados observacionais, frequentemente descartados por falta de confiança, sejam utilizados para refinar estimativas causais, desde que existam mecanismos para calibrar o viés.
• Revisão de Práticas de Triangulação: O artigo esclarece que a "triangulação" de métodos (combinar diferentes fontes de dados) só é válida se houver uma compreensão ou aprendizado sobre como os viéses se distribuem entre os métodos. A simples combinação sem calibração pode levar a conclusões errôneas com falsa precisão.

Em suma, o artigo fornece uma solução teórica e prática para um dos maiores desafios da inferência causal moderna: como integrar dados observacionais abundantes a experimentos limitados sem cair em armadilhas estatísticas de viés não identificado.