MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation

Resumen Técnico: MUNI: Difusión de Latente Unificada Multimodal para la Generación Coherente de Cualquier-a-Cualquier

Planteamiento del Problema

Los modelos generativos multimodales actuales enfrentan limitaciones significativas para lograr una generación "de cualquier-a-cualquier" (any-to-any), donde un modelo debe generar cualquier subconjunto de modalidades condicionado por cualquier otro subconjunto (incluyendo el muestreo conjunto no condicionado). Los enfoques existentes generalmente se dividen en dos categorías con distintos inconvenientes:

1. Modelos Fundacionales basados en LLM: Representan todas las modalidades como tokens discretos en una secuencia unificada. Aunque son flexibles, tienen dificultades para aprovechar los generadores continuos específicos de cada modalidad (por ejemplo, difusión latente para imágenes, flow matching para audio) y requieren datos emparejados con texto para su entrenamiento, lo que limita la fidelidad y la capacidad de capturar correlaciones transmodales directas no mediadas por el lenguaje.
2. Extensiones basadas en Difusión/Flow: Trabajos recientes intentan extender el modelado generativo continuo a entornos multimodales, pero a menudo dependen de embeddings alineados con texto, requieren aprender rutas condicionales para cada configuración de subconjuntos (lo que exige datos totalmente emparejados) o imponen mapeos deterministas con dimensiones coincidentes.

El desafío central es desarrollar un marco que unifique la generación condicional por subconjuntos y el muestreo conjunto no condicionado sin depender de embeddings alineados con texto, datos de entrenamiento totalmente emparejados o espacios latentes precomputados.

Metodología: MUNI

Los autores proponen MUNI (Difusión Latente Unificada Multimodal), un marco de extremo a extremo que extiende el concepto de Latentes Unificados (UL) a la condicionamiento arbitrario por subconjuntos. El marco consta de tres componentes principales:

1. Codificadores y Decodificadores Específicos de la Modalidad: En lugar de un único codificador unificado, MUNI emplea codificadores específicos $q_{\phi_m}(z | x_m)$ para cada modalidad y decodificadores expresivos y específicos de la modalidad $p_{\theta_m}(x_m | z)$.
2. Latente Estocástico Compartido: Una única variable latente compartida $z$ media todas las tareas de generación.
3. Prior Basado en Flujo Aprendido: Se aprende un prior compartido $q_\psi(z)$ de forma conjunta con los codificadores y decodificadores, en lugar de ajustarse a un espacio latente congelado.

Innovaciones Arquitectónicas y de Objetivo Clave

MUNI aborda la insuficiencia de las reglas estándar de inferencia variacional multimodal (como Product of Experts o Mixture of Experts) cuando se acoplan con decodificadores expresivos y priors aprendidos. Los autores identifican tres criterios necesarios para el latente compartido:

1. Coherencia-suficiencia: El latente debe explicar las dependencias entre modalidades para permitir un muestreo conjunto no condicionado coherente.
2. Suficiencia Predictiva: Los latentes de los subconjuntos deben retener información suficiente para predecir las modalidades faltantes.
3. Minimalidad: El latente compartido no debe absorber detalles específicos de la modalidad que puedan ser modelados por los decodificadores expresivos.

Para satisfacer estos criterios, MUNI introduce un objetivo de entrenamiento con rutas (routed training objective) con tres elecciones estructurales específicas:

• Agregación No-Mixtura: Para un subconjunto de modalidades observadas $A$, la posterior se forma agregando todos los expertos unimodales disponibles (mediante agregación de Producto o de Hellinger) en un único posterior, en lugar de muestrear de una mezcla de expertos. Esto asegura que el latente contenga información de todas las modalidades observadas.
• Autoreconstrucción con Objetivo Desacoplado: Al reconstruir una modalidad $x_m$ que forma parte del subconjunto observado $A$, el codificador para $x_m$ se desacopla (stop-gradient) durante el paso de agregación. Esto evita que el latente compartido sea forzado a codificar detalles específicos de la modalidad que solo son útiles para la autorreconstrucción, imponiendo el criterio de minimalidad.
• Aprendizaje de Prior de "Dejar Uno Fuera": La pérdida del prior se aplica únicamente a los latentes inferidos de subconjuntos de modalidad completa o de subconjuntos de "dejar uno fuera" (donde todas menos una modalidad están observadas). Esto asegura que el prior se entrene sobre latentes que son coherencia-suficientes, evitando la contaminación del prior con latentes inferidos a partir de evidencia insuficiente.

El objetivo de entrenamiento combina pérdidas de reconstrucción (tanto para la predicción de elementos omitidos como para la autorreconstrucción con objetivo desacoplado) y una pérdida de prior condicionada a rutas de subconjuntos específicas.

Principales Contribuciones

1. Difusión Latente Multimodal de Extremo a Extremo: MUNI extiende la difusión latente a la generación de cualquier-a-cualquier mediante el entrenamiento conjunto de codificadores específicos de modalidad, decodificadores expresivos y un prior basado en flujo compartido bajo un único objetivo, eliminando la necesidad de un proceso de dos etapas de "latente congelado".
2. Nuevo Objetivo de Entrenamiento para Inferencia Variacional: El artículo identifica que las reglas de agregación estándar fallan al satisfacer simultáneamente la coherencia, la predictividad y la minimalidad cuando se combinan con priors aprendidos. El objetivo de ruta propuesto alinea explícitamente el espacio latente con estos criterios mediante la agregación de no-mixtura, la reconstrucción con objetivo desacoplado y el aprendizaje de prior selectivo.
3. Marco Escalable de Cualquier-a-Cualquier: MUNI opera sin embeddings alineados con texto o tripletas totalmente emparejadas, permitiendo el entrenamiento en datos multimodales parcialmente observados (por ejemplo, pares imagen-texto, pares audio-texto) mientras soporta la cogeneración no condicionada.

Resultados Experimentales

Los autores evalúan MUNI en dos benchmarks:

1. PolyMNIST-Quadrant-Labels: Un benchmark controlado con modalidades de imagen y etiquetas. MUNI iguala o supera a los fuertes baselines (MVAE, MMVAE, MoPoE, HELVAE) en generación condicional (una o múltiples etiquetas a imagen) y logra el mayor margen en coherencia no condicionada, superando significativamente a los baselines en la generación de identidades de dígitos y posiciones de cuadrante consistentes a través de las modalidades.
2. Benchmark de Gran Escala Imagen-Texto-Audio: Utilizando conjuntos de datos de pares (LAION-COCO, AudioCaps, VGGSound) sin tripletas totalmente observadas.
   • Generación Condicional: MUNI alcanza el estado del arte en rendimiento entre los baselines generalistas (CoDi, OmniFlow, FlowBind) en tareas de alineación de muchos-a-uno. Notablemente, mejora la Similitud Imagen-Audio (AIS) hasta en un +7.14 respecto al siguiente mejor generalista.
   • Cogeneración No Condicionada: MUNI demuestra ganancias sustanciales en coherencia no condicionada. Comparado con OmniFlow (el único generalista directamente comparable que soporta muestreo no condicionado), MUNI mejora las puntuaciones en +5.57 CLIP (Texto-Imagen), +10.60 CLAP (Texto-Audio) y +31.85 AIS (Audio-Imagen).

Significado y Reivindicaciones

El artículo sostiene que la generación coherente de cualquier-a-cualquier depende no solo de cómo se agrega la evidencia de la modalidad, sino también de qué información debe contener el latente compartido.

Al imponer explícitamente los criterios de coherencia, predictividad y minimalidad a través del objetivo de ruta, MUNI logra escalar la perspectiva de la inferencia variacional multimodal a la generación de imagen-texto-audio a gran escala y práctica. Los resultados demuestran que este marco puede retener capacidades de generación condicional competitivas mientras mejora sustancialmente la coherencia no condicionada, una tarea donde los baselines de difusión y VAE existentes suelen fallar. El trabajo sugiere que la perspectiva de la inferencia variacional multimodal, cuando se combina con componentes generativos expresivos y un prior aprendido, es un camino viable hacia la generación multimodal unificada sin depender del texto como intermediario.