Combining T-learning and DR-learning: a framework for oracle-efficient estimation of causal contrasts

Resumo Técnico: EP-Learning para Estimativa de Contrastes Causais

1. Problema e Motivação

O artigo aborda o desafio de estimar contrastes causais heterogêneos, como o Efeito Médio do Tratamento Condicional (CATE) e o Risco Relativo Condicional (CRR), utilizando técnicas de aprendizado de máquina. O objetivo é encontrar uma função que minimize uma função de risco populacional, aproveitando a flexibilidade de algoritmos modernos (como florestas aleatórias e gradient boosting).

Existem duas abordagens principais na literatura atual, ambas com limitações significativas:

• T-Learner (Plug-in): Estima as regressões de resultado para cada braço de tratamento e calcula a diferença diretamente.
  • Vantagem: Estável e convexa.
  • Desvantagem: Sensível à qualidade das estimativas de regressão; não é "oracle-efficient" (não atinge a taxa de convergência ótima mesmo com bons estimadores de nuisance).
• DR-Learner / R-Learner (Aprendizado Ortogonal): Utiliza funções de perda de Neyman-ortogonais para corrigir viéses e atingir eficiência.
  • Vantagem: Oracle-efficient e robusta a erros nos estimadores de nuisance (dual robustez).
  • Desvantagem:
    1. As funções de perda podem ser não convexas, dificultando a otimização com algoritmos padrão.
    2. O uso de pesos de probabilidade inversa (IPW) no "pseudo-outcome" pode gerar valores extremos, levando a instabilidade e estimativas fora dos limites teóricos (ex: estimativas de CATE fora de $[-1, 1]$ para resultados binários).

O objetivo do artigo é criar um método que combine a estabilidade e convexidade do T-Learner com a eficiência e robustez do DR-Learner.

2. Metodologia: EP-Learning (Efficient Plug-in)

Os autores propõem o EP-Learning (Efficient Plug-in Learning), um novo framework baseado em um estimador de risco plug-in eficiente.

Conceito Central:
Em vez de minimizar diretamente uma perda ortogonal (que é não convexa e instável), o EP-Learner constrói um estimador de regressão de resultado refinado, denotado por $\mu^*_n$, que é usado dentro de uma função de perda plug-in padrão (convexa). A construção de $\mu^*_n$ é feita de forma a garantir que o termo de viés (que normalmente exigiria a correção ortogonal) seja negligenciável.

Algoritmo Principal (Meta-algoritmo):

1. Estimativa Inicial: Obter estimadores iniciais para a regressão de resultado ($\mu_n$) e o escore de propensão ($\pi_n$) usando cross-fitting (divisão dos dados em folds).
2. Ajuste de Viés (Debiasing): Construir um estimador refinado $\mu^*_n$ a partir de $\mu_n$ e $\pi_n$.
   • Isso é feito resolvendo equações de score em um espaço de sieve (aproximação por bases, como polinômios trigonométricos ou splines).
   • O objetivo é garantir que o termo de correção $\frac{1}{n}\sum \Delta_{\pi_n, \mu^*_n}$ seja $o_p(n^{-1/2})$ para todas as funções no espaço de interesse.
   • Para o CATE, isso equivale a um ajuste de regressão ponderado pela probabilidade inversa, mas aplicado de forma a manter a estrutura do estimador original.
3. Minimização de Risco: Estimar o contraste causal minimizando o risco empírico plug-in usando $\mu^*_n$:
   $$\hat{\theta}_n = \arg\min_{\theta \in \mathcal{F}} \frac{1}{n} \sum_{i=1}^n L_{\mu^*_n}(\theta, W_i)$$
   Como $\mu^*_n$ foi construído para anular o viés de primeira ordem, a minimização dessa perda convexa padrão resulta em um estimador eficiente.

Vantagens Técnicas:

• Convexidade: A função de perda final é a mesma do T-Learner (ex: erro quadrático), garantindo convexidade e permitindo o uso de qualquer software de aprendizado supervisionado padrão.
• Estabilidade: Evita a geração de pseudo-outcomes extremos típicos do DR-Learner, pois o ajuste é feito na regressão de resultado, não na saída final.
• Eficiência: Sob condições de regularidade, o estimador é assintoticamente equivalente ao minimizador de um estimador de risco de um passo (one-step) eficiente.

3. Contribuições Principais

1. Introdução do EP-Learner: Um novo algoritmo que utiliza um estimador de risco plug-in eficiente, superando as limitações de convexidade e estabilidade dos métodos ortogonais.
2. Garantias Teóricas (Oracle-Efficiency): Os autores provam que, sob condições razoáveis (taxas de convergência polinomiais para os estimadores de nuisance e aproximação adequada do espaço de funções via sieves), o EP-Learner é oracle-efficient. Isso significa que ele atinge a mesma taxa de convergência e variância assintótica que um estimador que conhece as verdadeiras funções de nuisance.
3. Dual Robustez: O risco estimado pelo EP-Learner mantém a propriedade de dual robustez (consistente se a regressão de resultado OU o escore de propensão for consistente).
4. Aplicação Geral: O framework é desenvolvido para uma classe ampla de contrastes causais, incluindo CATE e CRR (Risco Relativo Condicional), sendo o primeiro estimador eficiente e dual-robusto para o log-CRR que corresponde a uma função de perda convexa.

4. Resultados Experimentais

Os autores realizaram simulações extensivas comparando o EP-Learner com T-Learner, DR-Learner, R-Learner e Florestas Causais (Causal Forests).

• Estabilidade e Precisão: Em cenários com sobreposição de propensão limitada (overlap), o DR-Learner frequentemente falha ou produz estimativas instáveis devido a pesos extremos. O EP-Learner manteve-se estável e produziu estimativas mais precisas.
• Desempenho com Algoritmos Árvore: O EP-Learner superou significativamente o DR-Learner em termos de Erro Quadrático Médio (MSE) quando utilizado com Random Forests e XGBoost. Em alguns casos, reduziu o MSE em até 3 a 6 vezes comparado ao DR-Learner.
• Profundidade de Árvore: Enquanto o DR-Learner exigia árvores muito rasas (para evitar overfitting aos ruídos dos pseudo-outcomes), o EP-Learner permitiu o uso de árvores mais profundas, capturando melhor a estrutura não linear dos dados.
• CRR (Risco Relativo): Para o CRR, o DR-Learner envolve uma regressão logística com pesos negativos (não convexa), o que muitos softwares não suportam. O EP-Learner reformulou o problema para uma regressão logística com pesos positivos e convexidade garantida, permitindo implementação padrão e melhor desempenho.

5. Significado e Impacto

O trabalho é significativo por resolver um dilema fundamental na inferência causal com aprendizado de máquina: a escolha entre estabilidade/convexidade e eficiência/robustez.

• Praticidade: Ao permitir o uso de funções de perda convexas e software padrão, o EP-Learner torna a estimativa eficiente de efeitos causais heterogêneos acessível e robusta para aplicações do mundo real, onde a sobreposição de propensão é frequentemente um problema.
• Teoria: Estabelece uma ponte teórica sólida entre a estimativa plug-in e a teoria de influência eficiente, demonstrando que é possível obter a eficiência de métodos ortogonais sem a complexidade computacional e instabilidade numérica associada.
• Implementação: Os autores disponibilizaram o pacote R hte3, facilitando a adoção do método pela comunidade.

Em resumo, o EP-Learning representa um avanço metodológico que combina o melhor dos dois mundos: a simplicidade e estabilidade do T-Learner com a eficiência estatística de ponta do DR-Learner, superando as barreiras de não-convexidade e instabilidade que limitavam a aplicação prática dos métodos ortogonais.