Resumo Técnico: MUNI: Difusão Latente Unificada Multimodal para Geração Coerente de Qualquer-para-Qualquer

Declaração do Problema

Os modelos generativos multimodais atuais enfrentam limitações significativas para alcançar a geração "qualquer-para-qualquer" (any-to-any), onde um modelo deve gerar qualquer subconjunto de modalidades condicionado a qualquer outro subconjunto (incluindo a amostragem conjunta incondicional). As abordagens existentes geralmente se dividem em duas categorias com distintos pontos negativos:

1. Modelos de Fundação baseados em LLM: Representam todas as modalidades como tokens discretos em uma sequência unificada. Embora flexíveis, lutam para aproveitar geradores contínuos específicos de cada modalidade (ex: difusão latente para imagens, flow matching para áudio) e exigem dados pareados com texto para treinamento, o que limita a fidelidade e a capacidade de capturar correlações cross-modais diretas não mediadas pela linguagem.
2. Extensões baseadas em Difusão/Flow: Trabalhos recentes tentam estender a modelagem generativa contínua para configurações multimodais, mas frequentemente dependem de embeddings alinhados ao texto, exigem o aprendizado de caminhos condicionais para cada configuração de subconjunto (demandando dados totalmente pareados) ou impõem mapeamentos determinísticos com dimensões correspondentes.

O desafio central é desenvolver um framework que unifique a geração cross-modal condicionada por subconjuntos e a amostragem conjunta incondicional sem depender de embeddings alinhados ao texto, dados de treinamento totalmente pareados ou espaços latentes pré-computados.

Metodologia: MUNI

Os autores propõem o MUNI (Multimodal Unified Latent Diffusion), um framework end-to-end que estende o conceito de Unified Latents (UL) para condicionamento de subconjuntos arbitrários. O framework consiste em três componentes principais:

1. Codificadores e Decodificadores Específicos de Modalidade: Em vez de um único codificador unificado, o MUNI emprega codificadores específicos $q_{\phi_m}(z | x_m)$ para cada modalidade e decodificadores expressivos e específicos de modalidade $p_{\theta_m}(x_m | z)$.
2. Latente Estocástico Compartilhado: Uma única variável latente compartilhada $z$ media todas as tarefas de geração.
3. Prior Baseado em Flow Aprendido: Um prior compartilhado $q_\psi(z)$ é aprendido conjuntamente com os codificadores e decodificadores, em vez de ser ajustado a um espaço latente congelado.

Inovações Arquiteturais e de Objetivo Chave

O MUNI aborda a insuficiência das regras padrão de inferência variacional multimodal (como Product of Experts ou Mixture of Experts) quando acopladas a decodificadores expressivos e priors aprendidos. Os autores identificam três critérios necessários para o latente compartilhado:

1. Coerência-suficiência (Coherence-sufficiency): O latente deve explicar as dependências entre as modalidades para permitir uma amostragem conjunta incondicional coerente.
2. Previsibilidade-suficiência (Predictive sufficiency): Os latentes de subconjuntos devem reter informação suficiente para prever as modalidades ausentes.
3. Minimalidade (Minimality): O latente compartilhado não deve absorver detalhes específicos da modalidade que podem ser modelados pelos decodificadores expressivos.

Para satisfazer esses critérios, o MUNI introduz um objetivo de treinamento roteado com três escolhas estruturais específicas:

• Agregação Não-Mistura (Non-Mixture Aggregation): Para um subconjunto de modalidades observadas $A$, o posterior é formado agregando todos os especialistas unimodais disponíveis (via agregação por Produto ou Hellinger) em um único posterior, em vez de amostrar de uma mistura de especialistas. Isso garante que o latente contenha informação de todas as modalidades observadas.
• Autorreconstrução com Alvo Desconectado (Target-Detached Self-Reconstruction): Ao reconstruir uma modalidade $x_m$ que faz parte do subconjunto observado $A$, o codificador para $x_m$ é desconectado (stop-gradient) durante a etapa de agregação. Isso evita que o latente compartilhado seja forçado a codificar detalhes específicos da modalidade que são úteis apenas para a autorreconstrução, impondo o critério de minimalidade.
• Aprendizado de Prior "Leave-One-Out" (Leave-One-Out Prior Learning): A perda do prior é aplicada apenas aos latentes inferidos de subconjuntos de modalidade total ou de subconjuntos "leave-one-out" (onde todas as outras modalidades exceto uma estão observadas). Isso garante que o prior seja treinado em latentes que são coerência-suficientes, evitando a contaminação do prior com latentes inferidos de evidências insuficientes.

O objetivo de treinamento combina perdas de reconstrução (tanto para a predição de elementos omitidos quanto para a autorreconstrução com alvo desconectado) e uma perda de prior controlada para rotas de subconjuntos específicos.

Principais Contribuições

1. Difusão Latente Multimodal End-to-End: O MUNI estende a difusão latente para geração qualquer-para-qualquer ao treinar conjuntamente codificadores de modalidade específicos, decodificadores expressivos e um prior baseado em flow compartilhado sob um único objetivo, eliminando a necessidade de um pipeline de dois estágios com "latente congelado".
2. Novo Objetivo de Treinamento para Inferência Variacional: O artigo identifica que as regras de agregação padrão falham em satisfazer simultaneamente coerência, previsibilidade e minimalidade quando pareadas com priors aprendidos. O objetivo roteado proposto alinha explicitamente o espaço latente com esses critérios através de agregação não-mistura, reconstrução com alvo desconectado e aprendizado de prior seletivo.
3. Framework Qualquer-para-Qualquer Escalável: O MUNI opera sem embeddings alinhados ao texto ou tripletos totalmente pareados, permitindo o treinamento em dados multimodais parcialmente observados (ex: pares imagem-texto, pares áudio-texto) enquanto suporta a cogeração incondicional.

Resultados Experimentais

Os autores avaliam o MUNI em dois benchmarks:

1. PolyMNIST-Quadrant-Labels: Um benchmark controlado com modalidades de imagem e rótulo. O MUNI iguala ou supera bases fortes (MVAE, MMVAE, MoPoE, HELVAE) na geração condicional (rótulo único/múltiplo para imagem) e alcança a maior margem em coerência incondicional, superando significativamente as bases na geração de identidades de dígitos consistentes e posições de quadrante entre as modalidades.
2. Benchmark de Grande Escala Imagem-Texto-Áudio: Utilizando conjuntos de dados pareados em pares (LAION-COCO, AudioCaps, VGGSound) sem tripletos totalmente observados.
   • Geração Condicional: O MUNI atinge o estado da arte em desempenho entre as bases generalistas (CoDi, OmniFlow, FlowBind) em tarefas de alinhamento many-to-one. Notavelmente, melhora a Similaridade Áudio-Imagem (AIS) em até +7.14 sobre o próximo melhor generalista.
   • Cogeração Incondicional: O MUNI demonstra ganhos substanciais em coerência incondicional. Comparado ao OmniFlow (o único generalista diretamente comparável que suporta amostragem incondicional), o MUNI melhora as pontuações em +5.57 CLIP (Texto-Imagem), +10.60 CLAP (Texto-Áudio) e +31.85 AIS (Áudio-Imagem).

Significância e Alegações

O artigo afirma que a geração qualquer-para-qualquer coerente depende não apenas de como a evidência da modalidade é agregada, mas também de qual informação o latente compartilhado é treinado para conter.

Ao impor explicitamente os critérios de coerência, previsibilidade e minimalidade através do objetivo roteado, o MUNI consegue escalar a perspectiva da inferência variacional multimodal probabilística para a geração de imagem-texto-áudio em larga escala e prática. Os resultados demonstram que este framework pode reter capacidades competitivas de geração condicional enquanto melhora substancialmente a coerência incondicional, uma tarefa onde as bases existentes de difusão e VAE frequentemente falham. O trabalho sugere que a perspectiva da inferência variacional multimodal, quando pareada com componentes generativos expressivos e um prior aprendido, é um caminho viável para a geração multimodal unificada sem depender do texto como intermediário.