Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing

Resumo Técnico: Aprendizado de Representação Causal Multimodal Identificável sob Compartilhamento Latente Parcial

Declaração do Problema
O Aprendizado de Representação Causal (CRL) visa descobrir variáveis latentes significativas e suas estruturas causais a partir de dados observacionais de alta dimensão. No entanto, um gargalo crítico no CRL é a identificabilidade: sem garantias, as representações aprendidas podem ser estruturalmente diferentes do verdadeiro processo gerador de dados, comprometendo a interpretabilidade e a robustez.

As abordagens existentes de CRL multimodal enfrentam limitações significativas:

1. Suposições Restritivas: Muitos métodos assumem funções de mistura bijetivas (onde as dimensões observadas e latentes são iguais), o que é irrealista para cenários como dados de imagem, onde as observações são de alta dimensão e as variáveis latentes são de baixa dimensão (cenário subcompleto).
2. Padrões de Compartilhamento Limitados: Trabalhos anteriores frequentemente focam ou em estruturas latentes não sobrepostas ou em estruturas totalmente compartilhadas (onde todas as modalidades dependem do mesmo conjunto de latentes). Poucos abordam estruturas parcialmente compartilhadas, onde subconjuntos específicos de modalidades compartilham variáveis latentes enquanto outras permanecem específicas da modalidade.
3. Dependência de Sinais Auxiliares: Muitos métodos dependem de supervisão, intervenções ou dependências temporais, que nem sempre estão disponíveis em cenários do mundo real.

Este artigo aborda o desafio de estabelecer identificabilidade componente a componente para representações causais latentes em um cenário multimodal com estruturas latentes parcialmente compartilhadas, sem exigir suposições paramétricas de distribuição, supervisão ou intervenções.

Metodologia

1. Framework Teórico
Os autores formulam um modelo de variável latente onde as modalidades observadas $x^{(m)}$ são geradas a partir de subconjuntos de variáveis latentes causais $z_{A_m}$ por meio de funções de mistura suaves, injetivas (mas não necessariamente bijetivas) $f_m$. As variáveis latentes $z$ seguem um modelo causal estrutural (SCM) definido por $z_j = g_j(Pa(z_j), \epsilon_j)$.

A contribuição teórica central é a prova da identificabilidade componente a componente (recuperar cada variável latente até uma transformação invertível suave) sob as seguintes condições:

• Injetividade e Propriedade Proper: As funções de mistura são injetivas e proper (prevenindo perda de informação em valores extremos).
• Esparsidade Estrutural Causal: O grafo causal das variáveis latentes exibe esparsidade, restringindo especificamente arestas causais entre variáveis específicas de diferentes modalidades.
• Compartilhamento Parcial: Nenhuma variável latente única é compartilhada entre todas as modalidades; o compartilhamento ocorre apenas entre subconjuntos.
• Densidade de Mistura: A estrutura causal garante que transformações não-permutação aumentariam a densidade de arestas causais, violando as restrições de esparsidade.

Essas condições permitem a recuperação tanto de variáveis compartilhadas (comuns a subconjuntos de modalidades) quanto de variáveis específicas da modalidade até bijeções componente a componente, mesmo em cenários subcompletos ($|A_m| \leq d_m$).

2. Framework de Aprendizado
Para concretizar essas garantias teóricas, os autores propõem um framework generativo composto por três componentes principais:

• Estrutura de Autoencoder: Codificadores específicos da modalidade mapeiam dados observados $x^{(m)}$ para estimativas latentes $\hat{z}_{A_m}$, que são então decodificadas para reconstruir as observações.
• Módulo Plugável Baseado em Wasserstein: Um módulo diferenciável e inovador aprende a estrutura latente parcialmente compartilhada. Ele formula o alinhamento de variáveis compartilhadas como um problema de transporte ótimo. Ao minimizar um custo de transporte (baseado na distância de Wasserstein) entre variáveis latentes de diferentes modalidades, o módulo aprende uma matriz de permutação $P$ que identifica quais componentes latentes são compartilhados entre as modalidades. Este módulo é agnóstico à arquitetura e não requer supervisão auxiliar.
• Aprendizado de Estrutura Causal: O framework emprega um Fluxo Normalizante Autoregressivo Mascaramento para modelar ruído exógeno e uma matriz de adjacência aprendível para inferir o grafo causal. Restrições de esparsidade (regularização $L_1$) e aciclicidade são impostas para satisfazer as condições de identificabilidade teórica.

Principais Contribuições

1. Garantias de Identificabilidade Componente a Componente: O artigo estabelece que tanto variáveis latentes compartilhadas quanto específicas da modalidade podem ser identificadas componente a componente em um cenário multimodal com compartilhamento parcial, relaxando a suposição estrita de bijetividade exigida por trabalhos anteriores.
2. Cenário Subcompleto: Os resultados teóricos valem mesmo quando o número de variáveis observadas excede o número de variáveis latentes em cada modalidade.
3. Módulo Agnóstico à Arquitetura: Introdução de um módulo diferenciável baseado em Wasserstein que recupera a matriz de permutação da estrutura compartilhada sem exigir dados de treinamento adicionais, supervisão ou intervenções.
4. Generalização: O trabalho generaliza resultados anteriores de identificação em blocos para um cenário mais flexível onde as modalidades não são necessariamente versões aumentadas umas das outras.

Resultados Experimentais
Os autores avaliam sua abordagem em conjuntos de dados numéricos sintéticos (2, 3 e 4 modalidades), um conjunto de dados sintético de imagem-texto 3D (MultiModal3DIdent) e um conjunto de dados de rede de regulação gênica (SERGIO).

• Métricas: O desempenho é medido usando o Coeficiente de Correlação Médio (MCC), o Coeficiente de Determinação ($R^2$) e a Distância de Hamming Estrutural Aprimorada (EnSHD).
• Descobertas:
  • O método proposto supera as bases de comparação mais avançadas (CausalVAE, Aprendizado Contrastivo Multimodal, MultiBio, MultiView) em termos de $R^2$ em todos os conjuntos de dados numéricos, indicando uma melhor recuperação da estrutura latente real.
  • No conjunto de dados MultiModal3DIdent, o método alcança pontuações superiores de $R^2$ em comparação com as bases de comparação.
  • No conjunto de dados de Rede de Regulação Gênica, o método alcança o MCC mais alto (0,98), confirmando a aplicabilidade a dados biológicos do mundo real.
  • O método demonstra desempenho competitivo ou superior na recuperação de grafos causais (EnSHD) em comparação com bases de comparação que dependem de aprendizado contrastivo ou identificação em blocos.

Significado e Alegações
O artigo alega que seu principal significado reside em fornecer condições teóricas mais fracas para identificabilidade em comparação com trabalhos existentes. Ao remover a necessidade de funções de mistura bijetivas, suposições paramétricas de distribuição e sinais auxiliares (supervisão/intervenções), o framework proposto oferece uma abordagem mais prática e flexível para aprender representações causais interpretáveis.

Os autores enfatizam que suas garantias de identificabilidade componente a componente asseguram que as representações aprendidas não sejam apenas estruturalmente semelhantes, mas individualmente recuperáveis, o que é crucial para tarefas downstream que exigem fatores causais específicos. A introdução do módulo baseado em Wasserstein fornece um mecanismo prático para lidar com o alinhamento complexo de estruturas parcialmente compartilhadas de maneira diferenciável, preenchendo a lacuna entre a identificabilidade teórica e a implementação de aprendizado profundo.