Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing

Resumen Técnico: Aprendizaje de Representaciones Causales Multimodales Identificables bajo Compartición Parcial de Latentes

Enunciado del Problema
El Aprendizaje de Representaciones Causales (CRL) busca descubrir variables latentes significativas y sus estructuras causales a partir de datos observacionales de alta dimensión. Sin embargo, un cuello de botella crítico en el CRL es la identificabilidad: sin garantías, las representaciones aprendidas pueden ser estructuralmente diferentes del verdadero proceso generador de datos, socavando la interpretabilidad y la robustez.

Los enfoques existentes de CRL multimodal enfrentan limitaciones significativas:

1. Suposiciones Restrictivas: Muchos métodos asumen funciones de mezcla biyectivas (donde las dimensiones observadas y latentes son iguales), lo cual es poco realista para escenarios como datos de imagen, donde las observaciones son de alta dimensión y las variables latentes son de baja dimensión (escenario incompleto).
2. Patrones de Compartición Limitados: Trabajos anteriores se centran a menudo en estructuras latentes que no se superponen o en estructuras totalmente compartidas (donde todas las modalidades dependen del mismo conjunto de latentes). Pocos abordan estructuras parcialmente compartidas, donde subconjuntos específicos de modalidades comparten variables latentes mientras otras permanecen específicas de la modalidad.
3. Dependencia de Señales Auxiliares: Muchos métodos dependen de supervisión, intervenciones o dependencias temporales, las cuales no siempre están disponibles en entornos del mundo real.

Este artículo aborda el desafío de establecer la identificabilidad componente a componente para representaciones latentes causales en un entorno multimodal con estructuras latentes parcialmente compartidas, sin requerir suposiciones paramétricas de distribución, supervisión o intervenciones.

Metodología

1. Marco Teórico
Los autores formulan un modelo de variables latentes donde las modalidades observadas $x^{(m)}$ se generan a partir de subconjuntos de variables latentes causales $z_{A_m}$ mediante funciones de mezcla suaves e inyectivas (pero no necesariamente biyectivas) $f_m$. Las variables latentes $z$ siguen un modelo causal estructural (SCM) definido por $z_j = g_j(Pa(z_j), \epsilon_j)$.

La contribución teórica central es la prueba de la identificabilidad componente a componente (recuperar cada variable latente hasta una transformación invertible suave) bajo las siguientes condiciones:

• Inyectividad y Propiedad: Las funciones de mezcla son inyectivas y propias (evitando la pérdida de información en valores extremos).
• Escasez Estructural Causal: El grafo causal de las variables latentes exhibe escasez, restringiendo específicamente las aristas causales entre variables específicas de diferentes modalidades.
• Compartición Parcial: Ninguna variable latente única se comparte entre todas las modalidades; la compartición ocurre solo entre subconjuntos.
• Densidad de Mezcla: La estructura causal asegura que las transformaciones no permutacionales aumentarían la densidad de las aristas causales, violando las restricciones de escasez.

Estas condiciones permiten la recuperación tanto de variables compartidas (comunes a subconjuntos de modalidades) como de variables específicas de la modalidad hasta biyecciones componente a componente, incluso en escenarios incompletos ($|A_m| \leq d_m$).

2. Marco de Aprendizaje
Para materializar estas garantías teóricas, los autores proponen un marco generativo que comprende tres componentes principales:

• Estructura de Autoencoder: Codificadores específicos de la modalidad mapean los datos observados $x^{(m)}$ a estimaciones latentes $\hat{z}_{A_m}$, que luego se decodifican para reconstruir las observaciones.
• Módulo Insertable Basado en Wasserstein: Un módulo novel y diferenciable aprende la estructura latente parcialmente compartida. Formula la alineación de variables compartidas como un problema de transporte óptimo. Al minimizar un costo de transporte (basado en la distancia de Wasserstein) entre variables latentes de diferentes modalidades, el módulo aprende una matriz de permutación $P$ que identifica qué componentes latentes se comparten entre modalidades. Este módulo es agnóstico a la arquitectura y no requiere supervisión auxiliar.
• Aprendizaje de Estructura Causal: El marco emplea un Flujo Normalizador Autoregresivo enmascarado para modelar el ruido exógeno y una matriz de adyacencia aprendible para inferir el grafo causal. Se imponen restricciones de escasez (regularización $L_1$) y aciclicidad para satisfacer las condiciones de identificabilidad teórica.

Contribuciones Clave

1. Garantías de Identificabilidad Componente a Componente: El artículo establece que tanto las variables latentes compartidas como las específicas de la modalidad pueden identificarse componente a componente en un entorno multimodal con compartición parcial, relajando la suposición estricta de biyectividad requerida por trabajos anteriores.
2. Entorno Incompleto: Los resultados teóricos se mantienen incluso cuando el número de variables observadas supera el número de variables latentes en cada modalidad.
3. Módulo Agnóstico a la Arquitectura: Introducción de un módulo diferenciable basado en Wasserstein que recupera la matriz de permutación de la estructura compartida sin requerir datos de entrenamiento adicionales, supervisión o intervenciones.
4. Generalización: El trabajo generaliza resultados anteriores de identificación por bloques a un entorno más flexible donde las modalidades no son necesariamente versiones aumentadas unas de otras.

Resultados Experimentales
Los autores evalúan su enfoque en conjuntos de datos numéricos sintéticos (2, 3 y 4 modalidades), un conjunto de datos sintético de imagen-texto 3D (MultiModal3DIdent) y un conjunto de datos de redes de regulación génica (SERGIO).

• Métricas: El rendimiento se mide utilizando el Coeficiente de Correlación Medio (MCC), el Coeficiente de Determinación ($R^2$) y la Distancia de Hamming Estructural Mejorada (EnSHD).
• Hallazgos:
  • El método propuesto supera a las líneas base más avanzadas (CausalVAE, Aprendizaje Contrastivo Multimodal, MultiBio, MultiView) en términos de $R^2$ en todos los conjuntos de datos numéricos, indicando una mejor recuperación de la estructura latente de verdad fundamental.
  • En el conjunto de datos MultiModal3DIdent, el método logra puntuaciones $R^2$ superiores en comparación con las líneas base.
  • En el conjunto de datos de Redes de Regulación Génica, el método logra el MCC más alto (0.98), confirmando su aplicabilidad a datos biológicos del mundo real.
  • El método demuestra un rendimiento competitivo o superior en la recuperación de grafos causales (EnSHD) en comparación con líneas base que dependen del aprendizaje contrastivo o la identificación por bloques.

Significado y Afirmaciones
El artículo afirma que su principal significado radica en proporcionar condiciones teóricas más débiles para la identificabilidad en comparación con trabajos existentes. Al eliminar la necesidad de funciones de mezcla biyectivas, suposiciones paramétricas de distribución y señales auxiliares (supervisión/intervenciones), el marco propuesto ofrece un enfoque más práctico y flexible para aprender representaciones causales interpretables.

Los autores enfatizan que sus garantías de identificabilidad componente a componente aseguran que las representaciones aprendidas no solo sean estructuralmente similares, sino individualmente recuperables, lo cual es crucial para tareas posteriores que requieren factores causales específicos. La introducción del módulo basado en Wasserstein proporciona un mecanismo práctico para manejar la compleja alineación de estructuras parcialmente compartidas de manera diferenciable, cerrando la brecha entre la identificabilidad teórica y la implementación de aprendizaje profundo.