A Machine-Learning-Compatible Omnibus Test for Treatment Effect Heterogeneity

Resumo Técnico: Um Teste Ômnibus Compatível com Aprendizado de Máquina para Heterogeneidade do Efeito de Tratamento

Definição do Problema
O artigo aborda o desafio de testar a heterogeneidade sistemática do efeito de tratamento em contextos onde a identificação depende de variáveis de controle de alta dimensão, mas a heterogeneidade de interesse é definida em relação a um subconjunto de baixa dimensão de covariáveis. Embora os métodos de aprendizado de máquina (ML) tenham se tornado populares para descobrir a heterogeneidade devido à sua flexibilidade e capacidade de lidar com dados de alta dimensão, há uma carência de testes ômnibus formais e computacionalmente eficientes que possam avaliar se os efeitos de tratamento variam sistematicamente com as covariáveis observadas, mantendo a validade inferencial necessária para a avaliação de políticas. Os métodos existentes frequentemente focam em resumos específicos (por exemplo, projeções lineares ou grupos ordenados) ou são limitados a covariáveis de baixa dimensão e estimadores clássicos.

Metodologia
Os autores propõem um teste ômnibus não paramétrico baseado em princípios de Momento Condicional Integrado (ICM), adaptado para uso com estimadores modernos de ML. A metodologia procede através das seguintes etapas:

1. Reformulação da Hipótese Nula:
   A hipótese nula ($H_0$) postula que o Efeito Médio de Tratamento Condicional (CATE) é constante em relação a um vetor de covariáveis de baixa dimensão $X_c$, mesmo que ele varie com outras covariáveis. Formalmente, $H_0: E\{Y(1) - Y(0) | X_c\} = \delta_0$. Os autores transformam essa restrição de momento condicional em uma continuidade de restrições de momento incondicionais usando um resultado de Bierens (2016). Isso envolve testar se o resíduo do efeito de tratamento é não correlacionado com uma família de funções analíticas, não polinomiais $\phi(t^T X_c)$ para todo $t$ em um conjunto compacto $T$.

2. Construção de Score Localmente Robusto:
   Para acomodar a estimação flexível de parâmetros de incerteza (nuisance parameters) via ML (escores de propensão e regressões de resultado), os autores constroem um score duplamente robusto $U$. Este score combina ajustes de regressão de resultado com ponderação de escore de propensão. A construção garante a ortogonalidade de Neyman, o que significa que o estatístico do teste é localmente robusto a pequenos erros de estimação nas funções de incerteza de primeira etapa. Isso permite o uso de métodos de ML de alta dimensão sem invalidar a distribuição assintótica do teste.

3. Cross-Fitting:
   Para evitar o sobreajuste (overfitting) e garantir a validade da inferência ao usar ML, os autores empregam um procedimento de cross-fitting. A amostra é particionada em dobras (folds); as funções de incerteza são estimadas no complemento de cada dobra e aplicadas às observações retidas. Isso gera um score viável $\hat{U}_i$ para cada observação.

4. Estatístico do Teste:
   O estatístico do teste $S_n$ mede a norma $L_2$ ponderada dos momentos amostrais dos scores robustos contra as funções de $X_c$. Especificamente, $S_n = \int |\sqrt{n} E_n[\hat{U}_i \phi(t^T X_{c,i})]|^2 d\rho(t)$. Ao escolher $\phi$ como uma função exponencial e $\rho$ com uma transformada de Fourier simétrica, o estatístico admite uma representação de forma fechada envolvendo uma matriz de kernel $F_\rho$: $S_n = \frac{1}{n} \hat{U}^T F_\rho \hat{U}$.

5. Procedimento de Bootstrap:
   Como a distribuição nula assintótica depende de características desconhecidas do gerador de dados, os autores desenvolvem um procedimento de bootstrap computacionalmente eficiente. Crucialmente, este bootstrap não exige a reestimação das funções de incerteza (os modelos de ML) em cada iteração. Em vez disso, ele reamostra os dados usando pesos aplicados aos scores pré-computados e recomputa apenas as quantidades de baixa dimensão (como o efeito médio de tratamento estimado). Isso torna o procedimento escalável para aplicações empíricas de grande escala.

Extensões
O framework é estendido além da suposição padrão de não confundimento (seleção sobre observáveis) para:

• Diferença em Diferenças (DiD): Testar a heterogeneidade no Efeito Médio do Tratamento sobre os Tratados (ATT) sob tendências paralelas condicionais, aplicável tanto a dados de painel quanto a cortes transversais repetidos.
• Variáveis Instrumentais (IV): Testar a heterogeneidade nos Efeitos Médios Locais de Tratamento (LATE) quando os instrumentos são válidos condicionalmente às covariáveis.

Resultos Principais

• Teoria Assintótica: Os autores derivam a distribuição nula assintótica do estatístico do teste, mostrando que ela converge para a integral do módulo ao quadrado de um processo Gaussiano apertado (tight). Sob a hipótese alternativa, o estatístico diverge para o infinito, garantindo consistência.
• Validade do Bootstrap: O procedimento de bootstrap proposto é mostrado como assintoticamente válido, controlando corretamente o tamanho do teste sob a nulidade e mantendo o poder sob a alternativa.
• Evidência de Simulação: Simulações de Monte Carlo demonstram que o teste atinge um tamanho quase nominal sob a nulidade em vários tamanhos de amostra, dimensões de covariáveis e estimadores de ML. O teste exibe bom poder contra alternativas heterogêneas, incluindo não linearidades e efeitos de limiar.
• Aplicações Empíricas: O procedimento é aplicado a dois casos:
  1. O efeito da elegibilidade para o 401(k) sobre os ativos financeiros das famílias (revisitando Poterba et al., 1995; Chernozhukov et al., 2018).
  2. O impacto da redução de tarifas sobre a corrupção ao longo do corredor comercial África do Sul–Moçambique (baseando-se em Sequeira, 2016; Chang, 2020).
     Em ambos os casos, o teste detecta heterogeneidade economicamente significativa enquanto permanece computacionalmente viável.

Significância e Alegações
O artigo afirma fornecer uma ferramenta prática e modular para pesquisadores interessados em heterogeneidade sistemática do efeito de tratamento. Suas principais contribuições são:

1. Generalidade: Oferece uma avaliação global da heterogeneidade em relação a um conjunto escolhido de covariáveis sem exigir que a heterogeneidade seja resumida por uma projeção linear ou um pequeno número de grupos ordenados (ao contrário dos métodos de Melhor Preditor Linear ou Efeitos Ordenados).
2. Flexibilidade: É compatível com uma ampla classe de estimadores, incluindo métodos modernos de ML, ao aproveitar o cross-fitting e a ortogonalidade de Neyman para lidar com parâmetros de incerteza de alta dimensão.
3. Eficiência Computacional: A característica única do procedimento de bootstrap, que evita a reestimação de parâmetros de incerteza em cada iteração, torna o teste viável para aplicações empíricas de grande escala onde a estimação de ML é computacionalmente intensiva.
4. Ampla Aplicabilidade: O framework unifica o teste de heterogeneidade entre experimentos randomizados, estudos observacionais (não confundimento), DiD e configurações de IV.

Os autores posicionam seu trabalho como uma ferramenta de diagnóstico de primeira etapa: ele responde se a heterogeneidade sistemática existe em relação às covariáveis observadas, permitindo que os pesquisadores procedam a análises mais detalhadas de drivers específicos apenas se o teste ômnibus rejeitar a nulidade.