Hybrid Meta-learners for Estimating Heterogeneous Treatment Effects

Resumo Técnico: Meta-aprendizes Híbridos para Estimativa de Efeitos de Tratamento Heterogêneos

Definição do Problema
O artigo aborda o desafio de estimar o Efeito Médio Condicional do Tratamento (CATE, na sigla em inglês), denotado por $\tau(x) = \mathbb{E}[Y(1) - Y(0) | X=x]$, a partir de dados observacionais. Diferente do aprendizado supervisionado padrão, a estimativa de CATE envolve vieses indutivos únicos devido ao deslocamento de covariáveis (covariate shift) e ao objetivo específico de modelar a diferença entre duas funções de resultados potenciais (PO), $\mu_1(x)$ e $\mu_0(x)$, em vez das funções em si.

As abordagens de "meta-aprendizes" existentes enquadram-se em dois paradigmas distintos com vieses indutivos conflitantes:

1. Meta-aprendizes Indiretos (ex: T-learner, S-learner): Estes ajustam modelos separados para $\mu_0$ e $\mu_1$ e estimam o CATE calculando sua diferença. Eles apresentam bom desempenho quando as funções PO são complexas, mas o CATE é simples. No entanto, sofrem de "confundimento induzido pela regularização", onde a regularização independente das POs introduz heterogeneidade espúria na estimativa do CATE.
2. Meta-aprendizes Diretos (ex: X-learner, IPW, DR): Estes constroem pseudo-resultados $Y_\phi$ para modelar diretamente o $\tau(x)$. Eles se destacam quando a função CATE é tão complexa quanto as POs. Contudo, podem ter um desempenho inferior quando a construção do pseudo-resultado é ruidosa (ex: devido ao desequilíbrio do escore de propensão) ou quando o CATE é significativamente mais simples que as POs, pois falham em aproveitar a simplicidade estrutural do efeito.

O problema central é que nenhuma abordagem domina consistentemente entre todos os Processos Geradores de Dados (DGP), e a complexidade relativa das POs versus o CATE é frequentemente desconhecida na prática.

Metodologia: O H-learner
Os autores propõem o Aprendiz Híbrido (H-learner), uma nova estratégia de regularização que interpola entre o aprendizado direto e o indireto. O H-learner treina duas funções intermediárias, $f_0$ e $f_1$, que aproximam os resultados potenciais, mas não são necessariamente estimadores ótimos das POs individualmente. Em vez disso, elas são otimizadas conjuntamente para garantir que sua diferença, $f_1(x) - f_0(x)$, aproxime com precisão o CATE.

O método opera em duas etapas:

1. Etapa 1 (Construção do Pseudo-resultado): Um pseudo-resultado $Y_\phi$ é construído usando transformações padrão (ex: X-learner, DR-learner) baseadas em estimativas iniciais de parâmetros de incômodo (nuisance parameters).
2. Etapa 2 (Otimização Conjunta): O modelo minimiza uma função de perda composta que equilibra dois objetivos:
   • Componente Indireto ($\ell_I$): Ajuste de $f_0$ e $f_1$ aos resultados fatuais observados $Y_i$.
   • Componente Direto ($\ell_D$): Garantir que a diferença $(f_1(X_i) - f_0(X_i))$ esteja alinhada com o pseudo-resultado $Y_{\phi, i}$.

A função de perda é definida como:
$$\min_{f_0, f_1} \sum_{i=1}^n (1-\lambda) \ell(Y_i, f_{T_i}(X_i)) + \lambda \left( (f_1(X_i) - f_0(X_i)) - Y_{\phi, i} \right)^2$$
onde $\lambda \in [0, 1]$ é um hiperparâmetro.

• $\lambda = 0$ recupera o aprendiz indireto.
• $\lambda = 1$ recupera o aprendiz direto.
• $0 < \lambda < 1$ cria um estimador híbrido que permite ajustes "sub-ótimos" para as POs individuais se isso melhorar a estimativa do CATE, otimizando assim o compromisso entre viés e variância (bias-variance tradeoff).

Principais Contribuições

1. Caracterização de Vieses Indutivos: O artigo vincula explicitamente o desempenho dos meta-aprendizes ao DGP subjacente, especificamente à complexidade relativa das POs versus o CATE e ao grau de sobreposição de covariáveis.
2. Estratégia de Regularização Unificada: O H-learner é introduzido como um framework agnóstico ao modelo que, teoricamente e empiricamente, une o hiato entre aprendizes diretos e indiretos.
3. Análise Teórica: Em um cenário linear, os autores derivam uma solução de forma fechada mostrando o H-learner como uma combinação ponderada por matriz de estimadores diretos e indiretos. Eles provam que, sob condições específicas (ex: quando os vieses dos aprendizes indiretos e diretos apontam em direções opostas, ou quando o aprendiz indireto possui alto viés e o direto possui alta variância), o H-learner alcança um risco de predição estritamente menor do que qualquer um dos baselines.
4. Robustez Empírica: Experimentos extensos em benchmarks semissintéticos e do mundo real demonstram que o H-learner opera consistentemente na fronteira de Pareto, superando os meta-aprendizes de estado da arte em diversos níveis de confundimento, desequilíbrio de tratamento e complexidade funcional.

Resultados

• Experimentos Semissintéticos: Utilizando dados derivados do IHDP com DGPs controlados, o H-learner superou consistentemente tanto o TARNet (indireto) quanto o X-learner (direto).
  • Em cenários com alto compartilhamento de características (CATE simples), o H-learner adaptou-se favorecendo a regularização direta.
  • Em cenários com alto desequilíbrio ou forte confundimento, ele adaptou-se para mitigar as fraquezas das abordagens puramente indiretas ou diretas.
  • O $\lambda$ ótimo foi consistentemente encontrado estritamente entre 0 e 1, confirmando o benefício da interpolação.
• Avaliação de Benchmark: Nos datasets IHDP e ACIC 2016, o H-learner (especificamente usando pseudo-resultados do X-learner) alcançou os menores escores de Precisão na Estimativa de Efeito Heterogêneo (PEHE) entre todos os baselines, incluindo T-learner, TARNet, IPW, DR, X-learner e outros métodos de regularização especializados, como Weight Regularization (TARNet-WR), OffsetNet e FlexTENet.
• Comparação com Outras Regularizações: O artigo observa que as estratégias de regularização existentes (penalização de peso, reparametrização, compartilhamento estrutural) frequentemente assumem efeitos de tratamento pequenos ou estruturas específicas. Quando essas suposições são violadas, esses métodos degradam o desempenho, enquanto o H-learner permanece robusto sem tais suposições estruturais.

Significância e Alegações
O artigo afirma que o H-learner fornece uma solução robusta para o problema do "sem almoço grátis" (no free lunch) na estimativa de CATE. Ao interpolar adaptativamente os vieses indutivos de aprendizes diretos e indiretos, o H-learner elimina a necessidade de conhecer a estrutura do DGP antecipadamente. Os autores sustentam que permitir intencionalmente ajustes sub-ótimos para resultados potenciais individuais pode melhorar o compromisso entre viés e variância para o efeito de tratamento, um insight contraintuitivo que leva ao desempenho de estado da arte em diversas condições de dados. O método é apresentado como uma estratégia geral e agnóstica ao modelo, compatível com várias arquiteturas de aprendizado de máquina.