Latent World Recovery for Multimodal Learning with Missing Modalities

Resumo Técnico: Recuperação de Mundo Latente para Aprendizado Multimodal com Modalidades Ausentes

Declaração do Problema

Na biosciência moderna, particularmente na análise multiômica, os sistemas biológicos são caracterizados por modalidades heterogêneas (por exemplo, expressão gênica, metilação do DNA, abundância de proteínas). Embora recursos de larga escala como o The Cancer Genome Atlas (TCGA) forneçam dados ricos, um desafio central persiste: o conjunto completo de modalidades raramente está disponível para cada amostra devido a restrições de custo, falhas de ensaios ou integração de dados incompleta.

As abordagens existentes para este problema de "modalidade ausente" geralmente se dividem em duas categorias com distinções limitantes:

1. Métodos baseados em imputação: Estes tentam sintetizar as modalidades ausentes antes da análise downstream. Isso pode introduzir propagação de erro e obscurecer variações específicas da modalidade, pois forçar uma modalidade a reproduzir exatamente outra pode não refletir processos biológicos distintos.
2. Métodos de conjunto fixo ou fusão tardia: Métodos de fusão precoce exigem entrada completa, enquanto métodos de fusão tardia frequentemente capturam interações entre modalidades apenas no nível de decisão, falhando em aprender uma organização latente compartilhada coerente.

O artigo postula que o objetivo não deve ser reconstruir todas as modalidades ausentes, mas sim recuperar uma representação unificada e útil ao nível da amostra diretamente das modalidades observadas, tratando cada modalidade disponível como uma percepção parcial de um estado biológico latente subjacente.

Metodologia: Recuperação de Mundo Latente (LWR)

Os autores propõem o Latent World Recovery (LWR), um framework baseado em Variational Autoencoder (VAE) projetado para aprendizado de representação multimodal incompleta. O framework opera sobre três princípios fundamentais:

1. Codificação Específica de Modalidade com Espaço Latente Compartilhado:
   Cada modalidade $v$ é processada por um codificador variacional específico da modalidade $q_{\phi_v}(z^{(v)}_i | x^{(v)}_i)$, mapeando as entradas em um espaço latente compartilhado. O codificador produz uma posterior gaussiana com média $\mu^{(v)}_i$ e variância $\sigma^{(v)}_i$. A variável latente $z^{(v)}_i$ é amostrada usando o truque de reparametrização.

2. Fusão de Latente Consciente de Disponibilidade:
   Em vez de imputar dados ausentes com zeros ou tokens de máscara, o LWR constrói um embedding de nível de amostra fundido $\hat{z}_i$ agregando apenas os embeddings das modalidades observadas para aquela amostra específica.

   • Um mecanismo de atenção adaptativa computa pesos $s^{(v)}_i$ para cada modalidade observada com base em sua representação latente.
   • Esses pesos são normalizados via softmax sobre o conjunto observado $V_i$: $\alpha^{(v)}_i = \frac{\exp(s^{(v)}_i)}{\sum_{u \in V_i} \exp(s^{(u)}_i)}$.
   • O embedding final é a soma ponderada: $\hat{z}_i = \sum_{v \in V_i} \alpha^{(v)}_i z^{(v)}_i$.
     Este mecanismo é aplicado identicamente durante o treinamento e a inferência, garantindo que o modelo seja otimizado sob as mesmas condições incompletas que enfrentará na implementação.

3. Alinhamento Latente Baseado em Vizinhos:
   Para alinhar as modalidades sem forçar um acordo estrito de nível de coordenada (o que pode suprimir sinais específicos da modalidade), o LWR introduz um objetivo de alinhamento baseado em vizinhos.

   • Para cada modalidade observada $v$, uma distribuição de vizinhança $r^{(v)}_{ij}$ é computada sobre o subconjunto do mini-batch onde $v$ está presente, baseada na similaridade de cosseno das médias posteriores $\mu^{(v)}$.
   • Uma distribuição correspondente $\hat{r}^{(v)}_{ij}$ é computada no espaço latente fundido $\hat{z}$ sobre o mesmo subconjunto de amostras.
   • A perda minimiza a divergência KL entre a distribuição específica da modalidade (tratada como um alvo de stop-gradient) e a distribuição fundida. Isso preserva a estrutura de vizinhança local da amostra induzida pelas modalidades individuais dentro do espaço compartilhado.

Objetivo de Treinamento:
A perda total combina três termos:
$$\mathcal{L} = \lambda_{rec}\mathcal{L}_{rec} + \lambda_{KL}\mathcal{L}_{KL} + \lambda_{neigh}\mathcal{L}_{neigh}$$

• $\mathcal{L}_{rec}$: Perda de reconstrução (MSE) aplicada apenas às modalidades observadas.
• $\mathcal{L}_{KL}$: Regularização variacional (divergência KL) aplicada apenas às modalidades observadas.
• $\mathcal{L}_{neigh}$: Perda de alinhamento baseada em vizinhos.

Crucialmente, o LWR separa o aprendizado de representação da predição específica da tarefa. Após o treinamento, a representação latente fundida $\hat{z}_i$ é extraída e utilizada como entrada para modelos externos de downstream (por exemplo, XGBoost para classificação, modelos de Cox para sobrevivência).

Principais Contribuições

1. Mudança de Formulação: Os autores reformulam o aprendizado multimodal incompleto como "recuperação de estado latente a partir de observações parciais", mudando o foco da síntese de dados ausentes para o aprendizado de representações robustas a partir de dados disponíveis.
2. Framework LWR: Eles propõem uma arquitetura baseada em VAE combinando fusão de atenção consciente de disponibilidade com alinhamento latente baseado em vizinhos. Isso evita a propagação de erro da reconstrução explícita e o rigor do alinhamento de nível de coordenada.
3. Validação Empírica: O framework é avaliado em benchmarks de multiômica incompletos do mundo real (TCGA, CCMA, CCLE) em tarefas de classificação, predição de sobrevivência e reconstrução.

Resultados Experimentais

Os autores avaliam o LWR contra baselines de estado da arte, incluindo MIND, IntegrAO, JASMINE e MSNE.

• Classificação de Fenótipo de Câncer: O LWR alcançou o melhor ranking médio (2.20) através dos datasets TCGA, CCMA e CCLE. Superou os baselines em múltiplas coortes do TCGA (ex: KIRC, BLCA, STAD) e alcançou a maior acurácia no CCMA (0.844 vs. 0.793 para o melhor baseline).
• Predição de Sobrevivência: O LWR demonstrou desempenho competitivo, alcançando o melhor C-index em várias coortes do TCGA (BRCA, STAD, UCEC, COADREAD, LIHC) com um ranking médio de 2.35, comparável ao MIND.
• Reconstrução: O LWR alcançou a maior correlação de Pearson ao reconstruir valores de ômicas mascarados em todos os datasets, indicando que os embeddings aprendidos preservam efetivamente a informação específica da modalidade.
• Estudos de Ablação:
  • Alinhamento: Substituir o alinhamento baseado em vizinhos por um alinhamento de coordenada par a par ingênuo causou degradação significativa no desempenho, particularmente na reconstrução (correlações próximas de zero), confirmando que o pareamento estrito de coordenadas é prejudicial.
  • Fusão: Embora a fusão baseada em atenção tenha gerado, em geral, os melhores resultados de classificação, a fusão pela média combinada com o alinhamento de vizinhos apresentou um desempenho ligeiramente superior para predição de sobrevivência, sugerindo um compromisso entre seleção dinâmica de características e regularização.
• Estudo de Caso (Clustering): O agrupamento não supervisionado dos embeddings do LWR em dados do TCGA revelou subgrupos de pacientes com desfechos de sobrevivência distintos. No Glioma de Baixo Grau (LGG), os clusters alinharam-se perfeitamente com subtipos moleculares conhecidos (IDH-mutante vs. wildtype) e seus prognósticos associados, validando a interpretabilidade biológica do espaço latente.

Significância e Alegações

O artigo alega que o LWR oferece uma abordagem prática e robusta para o aprendizado multimodal incompleto ao desacoplar o processo de aprendizado de representação da síntese de dados ausentes. Os autores argumentam que sua estratégia de alinhamento baseado em vizinhos fornece uma maneira mais estável de preservar estruturas relacionais entre amostras em comparação com restrições de nível de coordenada, que frequentemente sobre-regularizam o espaço latente.

Os resultados sugerem que aprender uma organização latente compartilhada coerente diretamente das modalidades observadas é uma estratégia viável e eficaz para tarefas downstream na biosciência. O framework captura com sucesso a heterogeneidade clínica dos pacientes, conforme evidenciado pela estratificação de sobrevivência e pelo alinhamento de subtipos moleculares nos estudos de caso. Os autores concluem que trabalhos futuros devem explorar mecanismos de fusão mais expressivos e conscientes de incerteza, além de estender o framework para datasets biomédicos maiores e mais diversos.