Latent World Recovery for Multimodal Learning with Missing Modalities

Resumen Técnico: Recuperación del Mundo Latente para el Aprendizaje Multimodal con Modalidades Ausentes

Planteamiento del Problema

En la biosciencia moderna, particularmente en el análisis multiómico, los sistemas biológicos se caracterizan por modalidades heterogéneas (por ejemplo, expresión génica, metilación del ADN, abundancia de proteínas). Si bien los recursos a gran escala como The Cancer Genome Atlas (TCGA) proporcionan datos ricos, persiste un desafío central: el conjunto completo de modalidades rara vez está disponible para cada muestra debido a restricciones de costos, fallos en los ensayos o integración de datos incompleta.

Los enfoques existentes para este problema de "modalidad ausente" suelen dividirse en dos categorías con limitaciones distintas:

1. Métodos basados en la imputación: Estos intentan sintetizar las modalidades ausentes antes del análisis downstream. Esto puede introducir propagación de errores y oscurecer las variaciones específicas de cada modalidad, ya que forzar a una modalidad a reproducir exactamente otra puede no reflejar procesos biológicos distintos.
2. Métodos de conjunto fijo o de fusión tardía: Los métodos de fusión temprana requieren entradas completas, mientras que los métodos de fusión tardía a menudo capturan las interacciones entre modalidades solo al nivel de la decisión, fallando en el aprendizaje de una organización latente compartida coherente.

El artículo postula que el objetivo no debe ser reconstruir todas las modalidades ausentes, sino recuperar una representación útil y unificada a nivel de muestra directamente de las modalidades observadas, tratando cada modalidad disponible como una percepción parcial de un estado biológico latente subyacente.

Metodología: Recuperación del Mundo Latente (LWR)

Los autores proponen Latent World Recovery (LWR), un marco basado en Autoencoders Variacionales (VAE) diseñado para el aprendizaje de representaciones multimodales incompletas. El marco opera bajo tres principios fundamentales:

1. Codificación específica de la modalidad con espacio latente compartido:
   Cada modalidad $v$ es procesada por un codificador variacional específico de la modalidad $q_{\phi_v}(z^{(v)}_i | x^{(v)}_i)$, que mapea las entradas en un espacio latente compartido. El codificador genera una posterior gaussiana con media $\mu^{(v)}_i$ y varianza $\sigma^{(v)}_i$. La variable latente $z^{(v)}_i$ se muestrea utilizando el truco de reparametrización.

2. Fusión latente consciente de la disponibilidad:
   En lugar de imputar datos faltantes con ceros o tokens de máscara, LWR construye una incrustación (embedding) fusionada a nivel de muestra $\hat{z}_i$ agregando solo las incrustaciones de las modalidades observadas para esa muestra específica.

   • Un mecanismo de atención adaptativa computa pesos $s^{(v)}_i$ para cada modalidad observada basándose en su representación latente.
   • Estos pesos se normalizan mediante softmax sobre el conjunto observado $V_i$: $\alpha^{(v)}_i = \frac{\exp(s^{(v)}_i)}{\sum_{u \in V_i} \exp(s^{(u)}_i)}$.
   • La incrustación final es la suma ponderada: $\hat{z}_i = \sum_{v \in V_i} \alpha^{(v)}_i z^{(v)}_i$.
     Este mecanismo se aplica de forma idéntica durante el entrenamiento y la inferencia, asegurando que el modelo se optimice bajo las mismas condiciones incompletas que enfrentará en el despliegue.

3. Alineación latente basada en vecindad:
   Para alinear las modalidades sin forzar un acuerdo estricto a nivel de coordenadas (lo cual puede suprimir las señales específicas de la modalidad), LWR introduce un objetivo de alineación basado en la vecindad.

   • Para cada modalidad observada $v$, se computa una distribución de vecindad $r^{(v)}_{ij}$ sobre el subconjunto del mini-batch donde $v$ está presente, basada en la similitud de coseno de las medias posteriores $\mu^{(v)}$.
   • Se computa una distribución correspondiente $\hat{r}^{(v)}_{ij}$ en el espacio latente fusionado $\hat{z}$ sobre el mismo subconjunto de muestras.
   • La pérdida minimiza la divergencia KL entre la distribución específica de la modalidad (tratada como un objetivo de parada de gradiente) y la distribución fusionada. Esto preserva la estructura de vecindad de las muestras inducida por las modalidades individuales dentro del espacio compartido.

Objetivo de Entrenamiento:
La pérdida total combina tres términos:
$$\mathcal{L} = \lambda_{rec}\mathcal{L}_{rec} + \lambda_{KL}\mathcal{L}_{KL} + \lambda_{neigh}\mathcal{L}_{neigh}$$

• $\mathcal{L}_{rec}$: Pérdida de reconstrucción (MSE) aplicada solo a las modalidades observadas.
• $\mathcal{L}_{KL}$: Regularización variacional (divergencia KL) aplicada solo a las modalidades observadas.
• $\mathcal{L}_{neigh}$: Pérdida de alineación basada en la vecindad.

Crucialmente, LWR separa el aprendizaje de la representación del aprendizaje de la tarea específica. Tras el entrenamiento, la representación latente fusionada $\hat{z}_i$ se extrae y se utiliza como entrada para modelos externos (por ejemplo, XGBoost para clasificación, modelos de Cox para supervivencia).

Contribuciones Clave

1. Cambio de formulación: Los autores reformulan el aprendizaje multimodal incompleto como la "recuperación del estado latente a partir de observaciones parciales", desplazando el enfoque de la síntesis de datos faltantes hacia el aprendizaje de representaciones robustas a partir de los datos disponibles.
2. Marco LWR: Proponen una arquitectura VAE que combina la fusión por atención consciente de la disponibilidad con la alineación latente basada en la vecindad. Esto evita la propagación de errores de la reconstrucción explícita y la rigidez del alineamiento a nivel de coordenadas.
3. Validación Empírica: El marco es evaluado en benchmarks de multiómica incompleta del mundo real (TCGA, CCMA, CCLE) en tareas de clasificación, predicción de supervivencia y reconstrucción.

Resultados Experimentales

Los autores evalúan LWR frente a líneas base de vanguardia que incluyen MIND, IntegrAO, JASMINE y MSNE.

• Clasificación de Fenotipos de Cáncer: LWR logró el mejor rango promedio (2.20) a través de los conjuntos de datos TCGA, CCMA y CCLE. Superó a las líneas base en múltiples cohortes de TCGA (por ejemplo, KIRC, BLCA, STAD) y alcanzó la mayor precisión en CCMA (0.844 frente a 0.793 de la mejor línea base).
• Predicción de Supervivencia: LWR demostró un rendimiento competitivo, logrando el mejor C-index en varias cohortes de TCGA (BRCA, STAD, UCEC, COADREAD, LIHC) con un rango promedio de 2.35, comparable a MIND.
• Reconstrucción: LWR logró la mayor correlación de Pearson en la reconstrucción de valores ómicos enmascarados en todos los conjuntos de datos, lo que indica que las incrustaciones aprendidas preservan eficazmente la información específica de la modalidad.
• Estudios de Ablación:
  • Alineación: Reemplazar la alineación basada en la vecindad con un alineamiento de coordenadas de pares ingenuo causó una degradación significativa del rendimiento, particularmente en la reconstrucción (correlaciones cercanas a cero), confirmando que el emparejamiento estricto de coordenadas es perjudicial.
  • Fusión: Si bien la fusión basada en atención generalmente produjo los mejores resultados de clasificación, la fusión por media combinada con la alineación de vecindad funcionó ligeramente mejor para la predicción de la supervivencia, lo que sugiere un compromiso entre la selección dinámica de características y la regularización.
• Estudio de Caso (Clustering): El clustering no supervisado de las incrustaciones de LWR en los datos de TCGA reveló subgrupos de pacientes con distintos resultados de supervivencia. En el Glioma de Bajo Grado (LGG), los clusters se alinearon perfectamente con los subtipos moleculares conocidos (IDH mutante vs. silvestre) y sus pronósticos asociados, validando la interpretabilidad biológica del espacio latente.

Significado y Reivindicaciones

El artículo afirma que LWR ofrece un enfoque práctico y robusto para el aprendizaje multimodal incompleto al desacoplar el proceso de aprendizaje de la representación de la síntesis de los datos faltantes. Los autores argumentan que su estrategia de alineación basada en la vecindad proporciona una forma más estable de preservar las estructuras relacionales entre muestras en comparación con las restricciones a nivel de coordenadas, que a menudo sobre-regularizan el espacio latente.

Los resultados sugieren que aprender una organización latente compartida coherente directamente a partir de las modalidades observadas es una estrategia viable y efectiva para tareas downstream en biosciencia. El marco captura con éxito la heterogeneidad de los pacientes clínicamente significativa, como lo demuestra la estratificación de la supervivencia y el alineamiento de los subtipos moleculares en los estudios de caso. Los autores concluyen que el trabajo futuro debería explorar mecanismos de fusión más expresivos conscientes de la incertidencia y extender el marco a conjuntos de datos biomédicos más grandes y diversos.