Resumo Técnico: Localizando a Variância do Dropout em Redes Gêmeas

Declaração do Problema

Modelos de rede gêmea profunda (por exemplo, TARNet, DragonNet) são ferramentas padrão para estimar Efeitos de Tratamento Individuais (ITE) a partir de dados observacionais. Embora o Dropout de Monte Carlo (MC) e ensembles profundos possam fornecer estimativas de incerteza, essas estimativas são tipicamente monolíticas: uma única pontuação de variância que falha em distinguir a fonte da falha do modelo. Os praticantes não conseguem determinar se a alta incerteza decorre de:

1. Problemas no nível do codificador: Baixa cobertura do espaço de covariáveis (extrapolação), sugerindo a necessidade de dados de covariáveis mais diversos.
2. Problemas no nível da cabeça (head): Mapeamentos de resultados ruidosos em regiões bem cobertas, sugerindo a necessidade de mais observações de resultados ou aumento da capacidade da cabeça.

Sem essa distinção, as pontuações de incerteza não oferecem orientação sobre ações corretivas. Este artigo aborda a falta de quantificação de incerteza estruturada e interpretável em modelos causais profundos, propondo um método para decompor a incerteza por módulo arquitetural.

Metodologia

Os autores propõem uma decomposição de variância por camada para modelos de rede gêmea, aproveitando a estrutura modular natural (codificador compartilhado $\Phi$ seguido por cabeças de resultado separadas $f_0, f_1$) e a lei da variância total.

1. Decomposição da Variância

Para uma saída de rede gêmea $\hat{Y}_t(x)$, a variância preditiva total é decomposta em dois componentes:
$$\text{Var}(\hat{Y}_t(x)) = \underbrace{\text{Var}_{\theta_e}(\mathbb{E}_{\theta_t}[\hat{Y}_t(x) \mid \theta_e])}_{\sigma^2_{\text{enc}}} + \underbrace{\mathbb{E}_{\theta_e}[\text{Var}_{\theta_t}(\hat{Y}_t(x) \mid \theta_e)]}_{\sigma^2_{\text{head}}}$$

• $\sigma^2_{\text{enc}}$ (Componente do Codificador): Mede a variância atribuível às máscaras de dropout no codificador compartilhado, com as cabeças mantidas determinísticas.
• $\sigma^2_{\text{head}}$ (Componente da Cabeça): Mede a variância média atribuível às máscaras de dropout nas cabeças de resultado, condicionada a uma realização fixa do codificador.

2. Estimação Prática

Para estimar esses componentes sem um procedimento de Monte Carlo aninhado computacionalmente caro, os autores utilizam uma aproximação controlada de dropout:

• Modo apenas codificador: Dropout ativo no codificador; cabeças determinísticas.
• Modo apenas cabeça: Dropout ativo nas cabeças; codificador determinístico.
• Modo total: Dropout ativo em todos os lugares (Dropout MC padrão).

O custo total na inferência é de $3N$ passagens diretas (onde $N$ é o número de amostras MC), comparado a $N$ para o Dropout MC padrão. Os autores verificam empiricamente que $\hat{\sigma}^2_{\text{enc}} + \hat{\sigma}^2_{\text{head}} \approx \sigma^2_{\text{tot}}$ com alta fidelidade ($R^2 > 0,99$).

Contribuições Principais

1. Localização Arquitetural: Uma decomposição simples e consciente da arquitetura que separa os sinais de incerteza em componentes de codificador e cabeça, fornecendo um diagnóstico para modos de falha específicos.
2. Fluxo de Trabalho de Diagnóstico: Um fluxo de trabalho proposto em duas etapas:
   • Usar $\sigma^2_{\text{enc}}$ para sinalizar potenciais pontos Fora de Distribuição (OOD) ou riscos de extrapolação.
   • Usar $\sigma^2_{\text{head}}$ para classificar a incerteza entre pontos dentro da distribuição onde a incerteza do codificador é baixa.
3. Validação Empírica: Demonstração de que essa decomposição oferece insights acionáveis em regimes sintéticos de deslocamento de covariáveis e em uma coorte real de gêmeos.

Resultados Experimentais

O método foi avaliado em três geradores de dados sintéticos (v1–v3) com diferentes graus de deslocamento de covariáveis e em uma coorte real de gêmeos do mesmo sexo com viés de amostragem multivariada induzido.

1. Achados com Dados Sintéticos

• Dominância da Variância do Codificador sob Deslocamento: Em regimes de deslocamento forte (v1, v2), o componente do codificador ($\sigma^2_{\text{enc}}$) é o preditor dominante do erro ITE ($\rho_{\text{enc}} \approx 0,53$), superando a variância total ($\rho_{\text{tot}} \approx 0,45$). O componente da cabeça é próximo de zero ou negativo nesses regimes.
• Informatividade Condicional da Variância da Cabeça: O componente da cabeça ($\sigma^2_{\text{head}}$) torna-se um forte preditor de erro ($\rho_{\text{head}} > 0,5$) apenas após a filtragem de pontos com alta variância do codificador. Isso confirma sua utilidade para classificar a incerteza dentro da região dentro da distribuição.
• Comparação com Ensembles: Ensembles profundos superaram o Dropout MC sob deslocamento forte (provavelmente devido a desacordo genuíno do modelo), mas colapsaram para correlação próxima de zero sob deslocamento leve. O Dropout MC manteve um sinal moderado em todos os regimes.

2. Coorte Real de Gêmeos

• Detecção de OOD: No conjunto de dados de gêmeos com viés induzido, $\sigma^2_{\text{enc}}$ aumentou significativamente em amostras OOD ($\Delta \sigma^2_{\text{enc}} \approx 0,004$), enquanto $\sigma^2_{\text{head}}$ permaneceu plana.
• Previsão de Erro: Sob viés induzido, $\sigma^2_{\text{enc}}$ tornou-se o preditor primário de erro ($\rho_{\text{enc}} \approx 0,89$).
• Limitação na Detecção de OOD: Os autores observam explicitamente que a decomposição não é um detector binário confiável de OOD (os valores de ROC-AUC foram próximos do acaso, 0,54–0,62). Seu valor reside na previsão de erro e localização diagnóstica, não na classificação.

Significado e Alegações

O artigo posiciona este trabalho como uma prova de conceito para uma ferramenta de diagnóstico, e não como um problema resolvido. O significado principal reside na acionabilidade:

• Orientação Prática: Ao localizar a variância, o método informa aos praticantes se devem coletar mais covariáveis diversas (se $\sigma^2_{\text{enc}}$ for alto) ou mais dados de resultados (se $\sigma^2_{\text{head}}$ for alto).
• Eficiência de Custo: A decomposição adiciona custo computacional negligenciável sobre o Dropout MC padrão.
• Modéstia: Os autores reconhecem limitações, incluindo o uso de geradores sintéticos de baixa dimensão, deslocamentos artificialmente induzidos em dados reais e a dependência do Dropout MC como uma aproximação grosseira do posterior. Eles enfatizam que as correlações observadas são moderadas em dados sintéticos e mais fortes no conjunto de dados de gêmeos de baixo ruído, e que o objetivo final é demonstrar que essa decomposição leva a melhores decisões de coleta de dados e atualização do modelo, e não apenas a melhores descrições de incerteza.