Bayesian X-Learner: Calibrated Posterior Inference for Heterogeneous Treatment Effects under Heavy-Tailed Outcomes

1. Declaração do Problema

A estimação dos Efeitos Médios de Tratamento Condicionais (CATE), denotados como $\tau(x)$, em aplicações do mundo real enfrenta um tríade crítica de requisitos que as ferramentas existentes não conseguem satisfazer simultaneamente:

1. Heterogeneidade: A capacidade de estimar efeitos de tratamento que variam entre indivíduos ($\tau(x)$).
2. Incerteza Calibrada: A provisão de quantificação estatisticamente válida da incerteza (intervalos de credibilidade) para esses efeitos heterogêneos.
3. Robustez a Caudas Pesadas: Robustez contra distribuições de resultados com "caudas pesadas", comuns em domínios como ensaios clínicos (eventos raros e graves), marketing ("baleias" de receita) e economia.

Limitações dos Métodos Atuais:

• Meta-learners (S/T/X-Learners): Fornecem heterogeneidade, mas tipicamente produzem estimativas pontuais sem incerteza calibrada.
• Florestas Causais: Fornecem heterogeneidade e incerteza aproximada via bootstrapping, mas os intervalos de bootstrap frequentemente falham em manter a cobertura sob contaminação de caudas pesadas.
• Modelos Bayesianos Clássicos (ex: Causal BART, BCF): Fornecem posteriores bayesianos completos, mas dependem de suposições de verossimilhança Gaussiana. Um único outlier extremo ("baleia") pode distorcer a média posterior e inflar a variância devido à influência ilimitada dos resíduos quadráticos.
• Métodos Frequentistas Robustos: Frequentemente fornecem estimativas pontuais ou intervalos frequentistas, mas carecem do objeto posterior completo necessário para tomada de decisão complexa a jusante (ex: integração sobre a incerteza).

2. Metodologia: O Bayesian X-Learner

O artigo propõe o Bayesian X-Learner, um framework de três fases projetado para entregar um posterior MCMC calibrado sobre $\tau(x)$, mesmo quando os resultados estão fortemente contaminados.

Fase 1: Quarentena de Nuisance com Cross-Fitting

• Objetivo: Estimar funções de nuisance ($\hat{\mu}_0, \hat{\mu}_1, \hat{\pi}$) de forma robusta para impedir que a contaminação se propague para os pseudo-resultados.
• Mecanismo: Utiliza cross-fitting em $K$ dobras.
• Robustez: Em vez da perda de erro quadrático padrão, emprega CatBoost com uma função de perda Huber parametrizada por $\delta$. O valor de $\delta$ é mapeado a partir de um enum definido pelo usuário contamination_severity (ex: "severe" $\to$ $\delta=0.5$) com base na teoria minimax de Huber.
• Padronização: Para dados de escala extrema, uma etapa opcional de pré-padronização ($Y \to Y/\text{MAD}(Y)$) garante que o parâmetro Huber $\delta$ opere em uma escala unitária, preservando sua optimalidade teórica.

Fase 2: Pseudo-Resultados Duplamente Robustos (DR)

• Objetivo: Construir uma variável alvo que seja consistente para $\tau(x)$, mesmo que os modelos de nuisance sejam imperfeitos.
• Mecanismo: Seguindo Kennedy (2020), o método constrói pseudo-resultados DR ($D_i$) para cada unidade:
  $$D_i = \hat{\mu}_1(X_i) - \hat{\mu}_0(X_i) + \frac{W_i(Y_i - \hat{\mu}_1(X_i))}{\hat{\pi}(X_i)} - \frac{(1-W_i)(Y_i - \hat{\mu}_0(X_i))}{1-\hat{\pi}(X_i)}$$
• Esses pseudo-resultados servem como alvos de regressão para a camada bayesiana final.

Fase 3: Atualização Bayesiana com Pseudo-Verossimilhança de Welsch

• Objetivo: Inferir a distribuição posterior dos parâmetros do CATE $\beta$ (onde $\tau(x) = \phi(x)^\top \beta$).
• Inovação: Substitui a verossimilhança Gaussiana padrão por uma pseudo-verossimilhança redescendente de Welsch.
  • Função de Perda: $\rho_W(r) = \frac{c^2}{2}(1 - \exp(-r^2/c^2))$.
  • Função de Influência: $\psi_W(r) = r \exp(-r^2/c^2)$.
  • Propriedade Chave: A função de influência é limitada e redescende a zero para resíduos grandes. Isso significa que outliers extremos têm influência decrescente na média posterior, ao contrário das verossimilhanças Gaussiana ou Student-t, onde a influência permanece alta ou decai lentamente.
• Inferência: Utiliza NUTS (No-U-Turn Sampler) via NumPyro para amostrar do posterior generalizado (Gibbs).
• Calibração: Como a perda de Welsch não é uma verdadeira log-verossimilhança, o posterior é um "posterior generalizado". O artigo introduz uma calibração de taxa de aprendizado $\eta$ (via correspondência de traço ou correspondência específica de função) para garantir que os intervalos de credibilidade tenham cobertura frequentista correta.
• Bayes Modular: Para contabilizar a incerteza nas estimativas de nuisance, o método suporta uma abordagem de Bayes modular, onde parâmetros de nuisance são amostrados via bootstrap bayesiano, e sua incerteza é propagada para o posterior final.

3. Distinções Chave: Contaminação vs. Sinal

Uma contribuição teórica crucial é a distinção operacional entre dois regimes de caudas pesadas:

1. Caudas como Contaminação: Outliers são ruído (ex: erros de medição, baleias de receita). A solução é redução de peso (downweighting) via verossimilhança de Welsch + nuisance Huber.
2. Caudas como Sinal: Um subgrupo específico tem genuinamente um efeito de tratamento diferente. A solução é representação via uma função de base consciente de caudas (ex: $\phi(x) = [1, \mathbb{I}(|x| > c)]$).

• Aviso: O artigo demonstra que o uso de redimensionamento na camada de dados (como normalização por estimador de Hill) para lidar com "caudas como sinal" é ativamente prejudicial, pois trata heterogeneidade genuína como ruído.

4. Contribuições Chave

1. Algoritmo: Um novo Bayesian X-Learner combinando pseudo-resultados DR com uma verossimilhança redescendente de Welsch, fornecendo a primeira ferramenta amplamente aplicável para estimação de CATE heterogênea, calibrada e robusta.
2. Framework Teórico: Formaliza a separação do tratamento de contaminação (camada de verossimilhança) versus tratamento de sinal (camada de base) e fornece resultados de calibração assintótica (Proposição 1) para o posterior generalizado.
3. Validação Empírica:
   • Benchmark IHDP: Em dados limpos, a configuração padrão alcança um $\sqrt{\epsilon_{PEHE}}$ médio de $0.56$, superando ou igualando S/T/X-learners, Causal BART e Florestas Causais, com a dispersão mais apertada.
   • DGP de Baleia: Em dados sintéticos com até 20–25% de contaminação, a configuração "severe" recupera um RMSE $\approx 0.13$ e mantém intervalos de credibilidade de 95% calibrados, enquanto as bases Gaussiana e Student-t falham catastróficamente.
   • Dados do Mundo Real: Validado no RCT de marketing por e-mail de Hillstrom ($N=42.613$), demonstrando que estimadores ingênuos são impulsionados por outliers (sugerindo um aumento de $0,77), enquanto o robusto Bayesian X-Learner identifica corretamente um efeito próximo de zero para a maioria dos clientes, com intervalos apertados e calibrados.
4. Análise de Fronteiras: Mapeia seis fronteiras empíricas (teto de contaminação, custo de eficiência, sensibilidade da base, tamanho da amostra, tipo de tratamento, computação) para orientar praticantes sobre quando usar esta ferramenta versus alternativas.

5. Resumo dos Resultados

• Robustez: O método mantém cobertura válida (aproximadamente 83–100%, dependendo da configuração) sob densidade de contaminação de 20%, um regime onde métodos bayesianos e frequentistas padrão colapsam.
• Custo de Eficiência: Há um custo estrutural de eficiência em dados perfeitamente limpos ao usar configurações robustas agressivas (ex: $\delta=0.5$), mas isso é mitigado ao alternar para "none" (Gaussiano) quando a contaminação está ausente.
• Calibração: O uso de agrupamento de Bayes modular (propagando incerteza de nuisance) mostrou-se crítico para restaurar a cobertura nominal em cenários de alta contaminação, onde posteriores de cross-fit único sub-cobrem.
• Qualidade de Decisão: Em simulações de política, o posterior calibrado leva a arrependimento zero em decisões de tratamento sob contaminação, enquanto métodos não robustos levam a erros de política significativos.

6. Significado

Este artigo aborda uma lacuna crítica no aprendizado de máquina causal. Embora estatística robusta e inferência bayesiana existam há muito tempo separadamente, sua interseção no contexto de efeitos de tratamento heterogêneos era previamente inexplorada.

• Impacto Prático: Permite que praticantes em campos como ensaios clínicos e marketing tomem decisões baseadas em efeitos de subgrupos com limites de incerteza confiáveis, mesmo quando os dados estão repletos de outliers.
• Avanço Teórico: Avança além da robustez de estimação pontual para robustez do posterior, provando que Bayes generalizado com perdas redescendentes pode produzir inferência calibrada.
• Orientação: Fornece orientação clara e acionável sobre distinguir entre "ruído" e "sinal" em caudas pesadas, prevenindo a armadilha comum de suavizar efeitos heterogêneos genuínos.

O código e os benchmarks são lançados como open-source, facilitando a reprodutibilidade e a adoção em tarefas de inferência causal com caudas pesadas do mundo real.