Outcome-adapted Automatic Debiased Machine Learning

Resumo Técnico: AutoDML (Aprendizado de Máquina Automaticamente Desenviesado) Adaptado ao Desfecho

1. Definição do Problema

Na inferência causal e na econometria, os parâmetros de interesse, como efeitos de tratamento (ATE) ou efeitos de política, são frequentemente expressos como funcionais lineares de uma função de regressão do desfecho, $\gamma(x) = E[Y|X=x]$. Embora estimadores de "plug-in" utilizando aprendizado de máquina (ML) para $\gamma$ sejam intuitivos, eles frequentemente sofrem de viés significativo e falham em atingir a consistência $\sqrt{n}$.

Para abordar isso, o AutoDML (Aprendizado de Máquina Automaticamente Desenviesado) (Chernozhukov et al., 2022b, 2024) foi introduzido. Este framework constrói estimadores assintoticamente normais ao estimar simultaneamente a regressão do desfecho $\gamma$ e um representador de Riesz $\alpha$ (uma função de interesse derivada da estrutura do funcional). As arquiteturas existentes de AutoDML, como RieszNet e MADNet, utilizam uma representação intermediária de covariáveis compartilhada $Z$ para estimar tanto $\gamma$ quanto $\alpha$.

O problema central abordado neste artigo é a otimalidade da representação compartilhada. Resta saber se a representação compartilhada $Z$ deve ser preditiva do representador de Riesz $\alpha$ (como tradicionalmente assumido no RieszNet) ou do desfecho $Y$. Os autores investigam se uma representação que prioriza a predição do desfecho, descartando informações sobre o representador de Riesz, produz uma estimativa de eficiência superior.

2. Metodologia e Estrutura Teórica

Resultados Teóricos sobre Eficiência:
Os autores estabelecem dois resultados teóricos primários relativos às representações de covariáveis $Z = h(X)$:

• Teorema 6 (Eficiência Adaptada ao Desfecho): Se uma representação $Z$ preserva o poder preditivo do desfecho (ou seja, $\gamma_{h,P}(Z) = \gamma_P(X)$ e $Var_P[Y|Z] = Var_P[Y|X]$), o estimador AutoDML resultante possui uma variância assintótica $V_{h,P}$ que é menor ou igual à variância $V_P$ do estimador utilizando as covariáveis completas $X$. Especificamente, a redução da variância é proporcional a $E_P[Var_P[\alpha_P(X)|Z] Var_P[Y|Z]]$. Para maximizar a eficiência, $Z$ deve ser maximamente preditivo de $Y$, mas minimamente preditivo de $\alpha_P(X)$.
• Teorema 8 (Ineficiência Adaptada ao Riesz): Inversamente, para uma classe ampla de funcionais (incluindo ATE e efeitos médios de política), se uma representação preserva o representador de Riesz (ou seja, $\alpha_{h,P}(Z) = \alpha_P(X)$), a variância assintótica $V_{h,P}$ é geralmente maior ou igual a $V_P$. Isso sugere que aprender uma representação especificamente para o representador de Riesz pode levar a perdas de eficiência.

O Estimador AutoDML Adaptado ao Desfecho:
Motivados pelo Teorema 6, os autores propõem o estimador AutoDML adaptado ao desfecho. O procedimento envolve:

1. Divisão de Amostra (Sample Splitting): Particionamento dos dados em conjuntos para aprendizado de representação e estimativa final.
2. Aprendizado de Representação: Estimação de uma representação $Z = \hat{h}(X)$ exclusivamente através de um passo de regressão do desfecho no primeiro conjunto de divisão de dados.
3. Estimativa de Nuisance: Utilização da representação aprendida $Z$ para estimar tanto a regressão do desfecho $\hat{\gamma}$ quanto o representador de Riesz $\hat{\alpha}$ (via regressão de Riesz) no mesmo conjunto de divisão.
4. Estimativa Final: Computação do parâmetro estimado no conjunto de dados retido utilizando a função de estimativa duplamente robusta.

Implementação com Redes Neurais:
Os autores implementam isso usando uma arquitetura de rede neural semelhante ao RieszNet, mas com um protocolo de treinamento distinto:

• Arquitetura: Um "tronco" compartilhado (camadas ocultas) mapeia as covariáveis $X$ para uma representação $Z$, seguido por ramos separados para o desfecho ($\gamma$) e o representador de Riesz ($\alpha$).
• Estratégia de Treinamento:
  1. Passo 1: Otimizar o tronco compartilhado e o ramo do desfecho minimizando a perda de Erro Quadrático Médio (MSE).
  2. Passo 2: Congelar os parâmetros do tronco compartilhado e otimizar apenas os parâmetros do ramo de Riesz minimizando a perda de Riesz.
• Gargalo de Informação (Information Bottleneck): Para garantir que $Z$ seja minimamente preditivo de $\alpha$, os autores introduzem técnicas de redução de dimensionalidade:
  • Redução de Dimensionalidade Simples: Imposição de uma dimensão fixa pequena para $Z$.
  • Redução de Dimensionalidade Adaptativa: Aplicação de uma penalidade group LASSO nos pesos da camada $Z$ para incentivar a esparsidade e efetivamente zerar neurônios, reduzindo a dimensionalidade de $Z$.

3. Principais Contribuições

1. Caracterização Teórica: O artigo prova que, para o AutoDML, a representação compartilhada ótima é adaptada ao desfecho (preditiva de $Y$, não de $\alpha$), contrariando a intuição por trás de métodos existentes como o RieszNet, que visam representações adaptadas ao Riesz.
2. Novo Estimador: Introdução do estimador AutoDML adaptado ao desfecho, que aprende representações via regressão do desfecho primeiro, seguido pela regressão de Riesz sobre a representação fixa.
3. Implementação de Rede Neural: Um procedimento de treinamento em dois passos específico para redes neurais que impõe a propriedade adaptada ao desfecho e utiliza gargalos de informação (via redução de dimensionalidade) para maximizar os ganhos de eficiência.
4. Reavaliação do RieszNet: Os autores fornecem uma explicação teórica para o sucesso empírico do RieszNet, hipotetizando que seu desempenho decorre da escolha específica de pesos de perda (especificamente um peso pequeno na perda de Riesz e a inclusão da perda TMLE), o que inadvertidamente cria uma representação adaptada ao desfecho.

4. Resultados Experimentais

Os autores validam seu método em conjuntos de dados sintéticos e semissintéticos:

• Dados Sintéticos (Prova de Conceito): Em um cenário onde a verdadeira representação ótima é conhecida, o estimador adaptado ao desfecho com redução de dimensionalidade adaptativa alcançou a variância mínima teórica, comportando-se como se tivesse conhecimento órfão da representação ótima. Em contraste, estimadores usando redes separadas ou representações adaptadas ao Riesz mostraram maior variância.
• Benchmark IHDP: No conjunto de dados semissintético do Programa de Saúde e Desenvolvimento Infantil (IHDP), a rede neural adaptada ao desfecho com redução de dimensionalidade adaptativa alcançou o desempenho de estado da arte (menor Erro Absoluto Médio) em comparação ao RieszNet, MADNet e redes neurais separadas.
• Efeito de Deslocamento Médio (Average Shift Effect): O estimador adaptado ao desfeço com redução de dimensionalidade adaptativa demonstrou consistentemente a menor variância e o menor Erro Quadrático Médio (MSE) através de vários tamanhos de amostra.
• Desfecho Ausente Médio (Cenário Adversário): Em um cenário desafiador com escores de propensão extremos (Kang & Schafer, 2007), o estimador adaptado ao desfecho com redução de dimensionalidade adaptativa alcançou o menor MSE, impulsionado principalmente pela redução do viés quadrático. Embora os intervalos de confiança Gaussianos tenham tido baixa cobertura neste cenário difícil, os intervalos de confiança de bootstrap (especificamente o bootstrap de percentil) melhoraram significativamente a cobertura, atingindo níveis nominais para grandes amostras.

5. Significância e Alegações

O artigo afirma que a adaptação ao desfecho é a propriedade fundamental para alcançar a eficiência do estimador no framework AutoDML. Os autores argumentam que:

• Aprender uma representação que seja preditiva do desfecho, mas que descarte informações sobre o representador de Riesz, leva a estimadores assintoticamente mais eficientes.
• O estimador AutoDML adaptado ao desfecho proposto é uma generalização do estimador de propensão desenviesado adaptado ao desfecho (DOPE) para o framework AutoDML mais amplo.
• O método proposto atinge a precisão de estado da arte em benchmarks padrão sem exigir o ajuste complexo de parâmetros de compensação entre múltiplos objetivos (ao contrário do RieszNet, que exige o equilíbrio entre perdas MSE, Riesz e TMLE).
• Os resultados sugerem que o sucesso de métodos existentes como o RieszNet pode ser devido ao seu aprendizado implícito de representações adaptadas ao desfecho, em vez de adaptadas ao Riesz.

Os autores concluem que, embora seu método ofereça ganhos de eficiência, o erro de representação deve ser controlado (por exemplo, via seleção de variáveis ou amostras suficientes) para garantir inferência válida, e recomendam o uso de bootstrapping para intervalos de confiança em cenários desafiadores onde o erro de representação pode não ser assintoticamente desprezível.