Towards Representation Learning for Weighting Problems in Design-Based Causal Inference

Resumo Técnico: Aprendizado de Representação para Problemas de Ponderação em Inferência Causal Baseada em Design

1. Problema e Contexto

A inferência causal baseada em design (design-based causal inference) visa estimar efeitos causais (como o Efeito Médio do Tratamento - ATE, ou o Efeito Médio no Tratado - ATT) e generalizar resultados de Ensaios Clínicos Randomizados (RCTs) para populações observacionais. O método central envolve reponderar uma distribuição de origem (fonte) para minimizar a distância até uma distribuição de destino (alvo), utilizando pesos que não dependem de informações sobre os resultados (outcomes).

Desafios Principais:

• Dependência do Processo Gerador de Dados (DGP): Os pesos ótimos (derivadas de Radon-Nikodym) dependem do DGP desconhecido.
• Limitações das Abordagens Atuais: Métodos tradicionais (como propensity scores ou balanceamento de momentos) assumem que a representação das covariáveis é bem especificada. Se essa suposição falhar, o viés do estimador pode ser grande e não há garantias teóricas de controle desse viés.
• Restrição de Design: Em muitos cenários (estudos prospectivos, desenho de pesquisas, ou métodos duplamente robustos), os resultados não podem ser usados para aprender os pesos, limitando o uso de métodos que dependem de regressão de resultados.

O artigo foca na lacuna de como encontrar representações (mapeamentos das covariáveis para um espaço latente) que minimizem o viés sem usar informações de resultados e sem assumir um modelo perfeitamente especificado.

2. Metodologia e Contribuições Teóricas

Os autores propõem um framework teórico e um algoritmo end-to-end que integra aprendizado de representação com métodos de ponderação.

A. Decomposição do Viés e Novas Métricas
O trabalho quantifica a perda de informação ao usar uma representação $\phi(X)$ em vez das covariáveis originais $X$. Eles decompõem o viés total do estimador ponderado em três termos:

1. Viés em relação à representação: O viés introduzido pela escolha de pesos que dependem apenas de $\phi(X)$.
2. Viés de Ponderação Escolhida: Zero se os pesos forem otimizados dentro do espaço da representação.
3. Viés de Confusão (Confounding Bias): O termo crítico. Mede a diferença entre o efeito causal esperado dado $X$ e dado $\phi(X)$. Ele quantifica o quanto a representação falha em preservar a não-confundibilidade.

B. Erro de Pontuação de Balanceamento (Balancing Score Error - BSE)
Como o viés de confusão depende de modelos de resultados e pesos verdadeiros (desconhecidos), os autores introduzem o Erro de Pontuação de Balanceamento (BSE).

• O BSE mede a distância $L_2$ entre a derivada de Radon-Nikodym verdadeira ($dQ/dP$) e sua projeção condicional na representação $\phi(X)$.
• Teorema Chave: O viés total é limitado pelo BSE multiplicado pela norma $L_2$ do modelo de resultados. Isso permite controlar o viés sem conhecer o modelo de resultados, desde que se minimize o BSE.

C. Algoritmo de Aprendizado End-to-End
Para minimizar o BSE sem observar resultados, os autores adaptam a perda AutoDML (Automatic Debiased Machine Learning):

1. Rede Neural: Uma rede neural é treinada para aprender uma representação $\phi(X; \theta_\phi)$ e uma função escalar $g(\phi(X); \theta_g)$.
2. Função de Perda: O objetivo é minimizar a perda AutoDML $L_{P,Q}(v) = E_P[v(X)^2] - 2E_Q[v(X)]$, onde $v(X) = g(\phi(X))$.
   • Teoricamente, minimizar essa perda aproxima $v(X)$ da derivada de Radon-Nikodym $dQ/dP$.
   • Ao forçar $v$ a passar por uma camada oculta de baixa dimensão ($\phi$), a rede aprende uma representação que maximiza a capacidade de prever a mudança de distribuição (covariate shift).
3. Ponderação Final: Após aprender $\phi(X)$, os pesos finais são obtidos resolvendo um problema de Kernel Optimal Matching (KOM) ou Kernel Mean Matching (KMM) no espaço da representação, minimizando uma Integral Probability Metric (IPM) como o MMD (Maximum Mean Discrepancy).

D. Ponderação Simultânea
O framework é estendido para problemas de ponderação simultânea (ex: estimar efeitos para múltiplos braços de tratamento ao mesmo tempo), definindo um erro de balanceamento quadrático conjunto e otimizando uma representação compartilhada ou indexada.

3. Resultados Experimentais

Os autores avaliaram o método em três conjuntos de dados públicos:

1. IHDP: Simulação de efeito de tratamento (ATE).
2. News: Dados de texto de alta dimensão para ATE.
3. TBI (Traumatic Brain Injury): Dados reais para transporte de resultados (transportability) de um RCT para uma população observacional.

Comparativos:
O método proposto ("Ours") foi comparado contra:

• Ponderação por Propensity Score (PS) com Kernel Matching.
• PCA (Análise de Componentes Principais).
• Neural Score Matching (NSM).
• Entropy Balancing e IPW (Inverse Probability Weighting).

Desempenho:

• Redução de Viés: O método proposto geralmente produziu o menor viés conjunto (Joint Bias) em todos os conjuntos de dados, superando consistentemente o uso de covariáveis originais e outras representações aprendidas (como PS ou PCA).
• Robustez: Em dados de alta dimensão (News), a representação aprendida reduziu significativamente o tempo de computação e melhorou a estabilidade dos pesos em comparação com o uso direto das covariáveis originais.
• Comparação com RieszNet: Diferente do RieszNet (que usa informações de resultados), o método proposto não usa outcomes para aprender a representação, mas ainda assim superou a "cabeça" (head) de pesos da própria rede neural treinada com o mesmo objetivo, demonstrando que a representação aprendida via AutoDML é superior para fins de balanceamento.

4. Significado e Conclusão

Contribuições Principais:

1. Teoria de Viés: Fornecem a primeira decomposição rigorosa do viés em estimadores ponderados baseada em representações, isolando o "viés de confusão" como uma métrica de qualidade da representação.
2. Método Prático: Introduzem um procedimento prático para aprender representações que minimizam o erro de balanceamento sem violar o princípio de "design-based" (sem usar resultados).
3. Generalidade: O método é genérico e pode ser usado como um pré-processamento para qualquer método de ponderação baseado em kernel ou IPM.

Implicações:
Este trabalho avança o estado da arte ao fornecer garantias teóricas sobre o viés mesmo quando o modelo de representação é mal especificado, desde que o BSE seja controlado. Ele oferece uma alternativa robusta aos métodos tradicionais de propensity score, especialmente em cenários de alta dimensão ou quando a especificação do modelo é incerta, permitindo que pesquisadores aprendam representações ótimas diretamente dos dados de covariáveis.

Limitações e Trabalhos Futuros:
Os autores notam que a função de perda AutoDML não garante unicidade da representação (problema de identificação), embora a arquitetura da rede neural e o otimizador Adam pareçam selecionar soluções adequadas na prática. Trabalhos futuros devem investigar a quantificação de lacunas entre o BSE e o viés real, e a aplicação a dados multimodais.