Resumo Técnico: Causal Variational Deep Embedding (CAUVADE)

Definição do Problema

Modelos generativos profundos (ex: VAEs, GANs, modelos de Difusão) são projetados para reproduzir a distribuição observacional dos dados de treinamento. No entanto, quando os dados de treinamento contêm correlações espúrias impulsionadas por confundidores não observados ($U$), esses modelos herdam esses vieses. Em um cenário causal, se um usuário deseja manipular um atributo $X$ (ex: identidade do dígito) e observar a distribuição resultante de um atributo dependente $Y$ (ex: cor do fundo), os modelos padrão produzem a condicional observacional $P(Y|X)$ em vez da distribuição intervencional $P_x(Y)$.

O desafio central é a identificabilidade parcial. Quando $U$ está oculto, os dados observacionais $P(X, Y)$ são consistentes com um conjunto de mecanismos causais distintos, cada um prevendo uma $P_x(Y)$ diferente. As abordagens generativas causais existentes frequentemente resolvem essa ambiguidade impondo suposições estruturais fortes (ex: formas funcionais específicas ou independência de ruído) para selecionar uma única distribuição intervencional. Em domínios de imagem, tais suposições raramente são justificadas; um modelo que retorna uma estimativa de ponto único é excessivamente confiante, tendo silenciosamente escolhido um elemento de um conjunto de explicações causais indistinguíveis. O objetivo é caracterizar a região viável — o conjunto de todas as distribuições intervencionais consistentes com os dados observados e as suposições estruturais defensáveis — em vez de se comprometer com uma única estimativa de ponto.

Metodologia

1. Modelos Causais Estruturais Canônicos Aumentados (CASCMs)

Os autores propõem uma fundação teórica baseada em Modelos Causais Estruturais Aumentados (ASCMs) estendidos para geração de imagens. Um ASCM inclui uma variável de imagem $I$ gerada por variáveis semânticas ($X, Y, Z$) e ruído exógeno.

• Justificativa Teórica: O artigo prova que a classe de CASCMs (Canonical ASCMs) é densa na classe de todos os ASCMs compatíveis com um dado diagrama causal, sob distância de 1-Wasserstein ($W_1$) observacional e intervencional.
• Estrutura Canônica: Em um CASCM, o confundidor não observado $U$ é restrito a uma variável latente discreta com suporte limitado ($U \in \{1, \dots, d\}$), enquanto a variação contínua é absorvida em ruídos exógenos independentes ($E_Z, E_X, E_Y, E_I$). Essa redução permite que o espaço de busca de dimensões infinitas de ASCMs gerais seja aproximado por uma classe tratável onde o confundidor é um cluster discreto.

2. Arquitetura CAUVADE

O Causal Variational Deep Embedding (CAUVADE) instancia a classe CASCM como um VAE de mistura Gaussiana (Gaussian-mixture VAE).

• Variáveis Latentes:
  • Cluster $C$: Uma variável discreta que representa o confundidor canônico $U$.
  • Latente Contínuo $Z$: Agrupa o atributo pré-tratamento e os ruídos exógenos independentes.
• Processo Generativo: O modelo define uma distribuição conjunta onde $C$ e $Z$ impulsionam a geração de $X$, $Y$ e a imagem $I$.
• Intervenção: Para gerar amostras intervencionais $P_x(I)$, o modelo amostra $(C, Z)$ de sua priori conjunta (não da posterior dado $X$), fixa $X=x$ e propaga através dos decoders para $Y$ e $I$. Isso quebra o caminho de confusão, distinguindo intervenção de seleção.

3. Treinamento e o $\gamma$-Sweep

O CAUVADE é treinado em dados confundidos onde apenas $X$ é rotulado. A função objetivo combina termos padrão de VAE com dois regularizadores específicos:

1. Termo de Consistência de Tratamento ($L_X$): Um classificador auxiliar garante que a representação latente $(C, Z)$ contenha informação suficiente para prever o tratamento observado $X$.
2. Regularizador de Entropia de Cluster ($L_{ent}$): Um termo de entropia sobre a posterior do cluster $q_\phi(C|I)$ ponderado por um escalar $\gamma$.
   • $\gamma$ Baixo: A posterior colapsa (baixa entropia), levando a um comportamento determinístico tipo VAE que rastreia a condicional observacional $P(Y|X)$.
   • $\gamma$ Alto: A posterior torna-se uniforme (alta entropia), desacoplando a imagem da realização específica do confundidor e realizando a média sobre a priori.
   • O Sweep (Varredura): Ao realizar o sweep de $\gamma$ sobre um intervalo $[0, \infty)$, o CAUVADE traça uma família contínua de geradores. Cada $\gamma$ corresponde a um ótimo diferente que ajusta os dados observacionais para verossimilhanças comparáveis, mas induz uma distribuição intervencional $P_x(I)$ distinta.

Principais Contribuições

1. ASCM Canônico: Introdução de uma classe de modelos estruturais onde os confundidores não observados são clusters latentes discretos. Os autores provam que esta classe é densa no espaço de todos os ASCMs compatíveis sob distância de Wasserstein, justificando o uso desta classe mais simples para domínios de imagem.
2. Framework CAUVADE: Uma instanciação prática da classe canônica usando um VAE de mistura. Ele introduz um regularizador de entropia na posterior do cluster para navegar pela região viável de distribuições intervencionais sem exigir suposições estruturais fortes ou supervisão auxiliar.
3. Identificação Parcial via $\gamma$-Sweep: Demonstração de que variar o peso da entropia $\gamma$ traça uma curva através da região viável de explicações causais. Isso permite que o modelo produza um conjunto diversificado de amostras intervencionais consistentes com os dados, em vez de uma única estimativa enviesada.

Resultados Experimentais

Os autores avaliam o CAUVADE em três conjuntos de dados: Color-MNIST Confundido, CelebA e MIMIC-CXR-JPG.

• Color-MNIST: Em um cenário onde a identidade do dígito e a cor do fundo estão esparsamente correlacionadas via um confundidor oculto, VAEs padrão e ANCMs colapsam para estimativas de ponto único (ou a condicional confundida ou um ponto único dentro dos limites de Manski). O CAUVADE, ao realizar o sweep de $\gamma$, produz um conjunto diversificado de associações dígito-cor que abrangem toda a região viável definida pelos limites de Manski.
• CelebA: Modelando o efeito de "Jovem" sobre "Maquiagem Pesada" com "Atratividade" como um confundidor oculto, o CAUVADE gera amostras que se alinham visualmente com a verdade fundamental (ground truth) não confundida em diferentes valores de $\gamma$, enquanto os baselines falham em desentrançar a correlação espúria.
• MIMIC-CXR-JPG: Modelando o efeito causal de Pneumonia em Opacidade Pulmonar (confundido pela posição do paciente), o CAUVADE alcança um Fréchet Inception Distance (FID) significativamente menor contra uma referência não confundida (284.57) comparado ao VAE (354.97) e ANCM (407.73). Os baselines ou herdam o viés diretamente ou se comprometem com uma única explicação causal incorreta.

Significância e Alegações

O artigo afirma que, na presença de confundidores ocultos, o "objeto certo a ser modelado" é a região viável de distribuições intervencionais, não uma estimativa de ponto único.

• Alegações Modestas: Os autores não alegam identificar o verdadeiro mecanismo causal (o que é impossível sem suposições adicionais). Em vez disso, alegam fornecer um método que caracteriza fielmente o conjunto de mecanismos plausíveis consistentes com os dados.
• Impacto Prático: Ao evitar a excessiva confiança de estimadores de ponto único, o CAUVADE oferece uma representação mais honesta da incerteza na geração de imagens causais. O método é apresentado como uma ferramenta prática para "geração de imagens desconfundida" que produz amostras diversas e de alta qualidade cobrindo o espectro de explicações causais permitidas pelos dados observacionais.
• Contribuição Teórica: O teorema de densidade (Teorema 2.2) fornece uma justificativa rigorosa para o uso de clusters latentes discretos para aproximar complexos confundidores contínuos em espaços de imagem de alta dimensão, unindo a lacuna entre a inferência causal teórica e a modelagem generativa profunda.