🤖 machine learning

MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation

本文介绍了 MUNI，这是一个端到端的跨模态潜在扩散框架，它通过一个通过新型路由目标进行训练的共享随机潜在空间，将子集条件生成与无条件联合采样统一起来，从而克服了现有基于大语言模型或文本对齐模型的局限性，实现了在任意到任意生成中的卓越连贯性。

原作者： Kyeongmin Yeo, Yunhong Min, Minhyuk Sung

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kyeongmin Yeo, Yunhong Min, Minhyuk Sung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一支艺术家团队：一位画家、一位音乐家和一位诗人。在过去，如果你想让他们共同创作一个故事，你必须强迫他们使用一种单一的、通用的语言（比如文字）来理解彼此。如果画家想展示一幅画，他必须先用文字来描述它，然后音乐家再将这些文字转回声音。这往往意味着会丢失原画中独特的“韵味”或声音中特定的情感。

MUNI 是一个全新的系统，它能让这些艺术家在无需将一切预先翻译成文字的情况下进行协作。相反，它提供了一个共享的“梦境空间”，让他们可以在其中相遇，理解彼此的氛围，并共同创造出全新的事物。

以下是 MUNI 的工作原理，通过简单的概念进行拆解：

1. 问题所在：“翻译官”瓶颈

目前大多数 AI 系统都像是一个严格的翻译官。如果你给它一张图片并要求生成音乐，AI 必须先将图片转化为文字描述，然后再将这些文字转化为音乐。

缺陷： 这就像试图仅用“蓝色”这个词来描述一幅复杂的画作。你会丢失所有的细节。此外，如果你只有一张图片而没有文字描述，系统就会陷入停滞，因为它被训练成总是预期有一个文本描述。

2. 解决方案：一个共享的“梦境空间”

MUNI 创建了一个共享的潜空间（latent space）。把这想象成一个中央会议室，画家、音乐家和诗人都在其中占有一席之地。

无需翻译： 画家可以带着素描进来，音乐家带着旋律，诗人带着诗歌。他们不需要将作品翻译成某种通用语言；他们只需将自己的“氛围”投入到这个房间里。
任意对任意（Any-to-Any）： 你可以给系统提供任何组合的输入（仅仅是图片、仅仅是声音，或者两者都有），并要求它生成缺失的部分。这就像是在说：“这是一张猫的照片，现在请想象它听起来是什么样的，”或者“这是雨声，现在请想象它看起来是什么样的。”

3. 它如何学习： “小组项目”类比

论文介绍了两个主要技巧，使它比以往的尝试做得更好：

技巧 A：“一个大团队”方法
旧的方法通常先分别训练艺术家，然后试图在后期强迫他们达成一致。MUNI 则是在第一天起就将他们作为一个大团队同时进行训练。

类比： 想象一支乐队从第一天起就在一起练习。他们在学习如何演奏乐器的同时，也在学习如何倾听彼此。这意味着他们创造的“共享空间”是完美契合他们实际演奏方式的，而不是两个独立群体之间笨拙的妥协。

技巧 B：“严厉的老师”（训练目标）
这是最重要的一部分。论文指出，如果你只是让艺术家们共享一个房间，他们可能会分享得“过多”或“过少”。

问题： 如果画家向音乐家分享了草图中每一个微小的细节（比如某一个笔触的具体红色色调），音乐家就会感到困惑。这个细节属于画家的私人领域，不属于共享房间。
解决方法： MUNI 使用了一种特殊的训练规则（“路由目标/routed objective”），它扮演着严厉老师的角色。它告诉艺术家们：“只分享那些有助于大家理解核心概念的内容。把你们的私人细节留给自己。”
- 连贯性（Coherence）： 它确保如果他们共同生成图片、声音和文本，它们都能完美匹配（例如，如果文本说“狗在吠叫”，声音就是吠叫声，且图片显示的是一只狗）。
- 极简性（Minimality）： 它强制要求共享空间只保留“共同点”，将独特的、杂乱的细节留给各个艺术家在后期自行处理。

4. 结果：更好的和谐

论文在两个层面上测试了 MUNI：

简单谜题（PolyMNIST）： 这是一个受控测试，AI 需要匹配数字和形状。相比于其他方法，MUNI 在同时生成所有部分时，在保持各部分一致性方面表现得更好。
现实世界（图像、文本、音频）： 他们使用真实的图片、句子和声音进行了测试。
- 条件生成（Conditional Generation）： 当给定提示词（如“一只猫”）时，MUNI 在生成正确的视觉、听觉和文本方面，与现有的最佳系统一样出色。
- 无条件生成（Unconditional Generation）： 这是 MUNI 脱颖而出的地方。当被要求在没有任何提示词的情况下“随机创造一个场景”时，其他系统经常产生不匹配的结果（例如，画面是海滩，声音却是城市）。而 MUNI 生成的场景中，图像、文本和声音都感觉自然地属于同一个整体。

总结

可以将 MUNI 理解为一个不使用文字的通用翻译器。它构建了一个共享的“氛围”空间，让不同类型的数据（图像、声音、文本）可以自由混合与匹配。通过教导系统只分享本质的“共同点”并将私人细节分离，它创造出了比以往多模态 AI 模型更具连贯性和一致性的多感官体验。

技术摘要：MUNI：用于连贯任意对任意生成的统一多模态统一潜变量扩散模型

问题陈述

当前的多种模态生成模型在实现“任意对任意”（any-to-any）生成方面面临显著局限性，即模型必须能够根据任何其他模态子集生成任意模态子集（包括无条件的联合采样）。现有的方法通常分为两类，且各具缺陷：

基于 LLM 的基础模型： 将所有模态表示为统一序列中的离散标记。虽然具有灵活性，但难以利用特定模态的连续生成器（例如图像的潜扩散或音频的流匹配），并且需要文本配对数据进行训练，这限制了其保真度以及捕捉非语言中介的直接跨模态相关性的能力。
基于扩散/流的扩展： 最近的工作尝试将连续生成建模扩展到多模态设置，但通常依赖于文本对齐的嵌入，需要为每种子集配置学习条件路径（这需要全配对数据），或者施加维度匹配的确定性映射。

核心挑战在于开发一个统一的框架，既能实现子集调节的跨模态生成，又能实现无条件的联合采样，且不依赖于文本对齐的嵌入、全配对的训练数据或预计算的潜空间。

方法论：MUNI

作者提出了 MUNI（Multimodal Unified Latent Diffusion，多模态统一潜变量扩散），这是一个将统一潜变量（Unified Latents, UL）概念扩展到任意子集调节的端到端框架。该框架由三个主要部分组成：

特定模态的编码器与解码器： MUNI 没有采用单一的统一编码器，而是为每个模态采用特定的编码器 $q_{\phi_m}(z | x_m)$ 和具有表现力的特定模态解码器 $p_{\theta_m}(x_m | z)$ 。
共享随机潜变量： 单个共享的潜变量 $z$ 介导所有的生成任务。
学习型流式先验： 一个共享的先验 $q_\psi(z)$ 与编码器和解码器共同学习，而不是拟合到一个冻结的潜空间。

关键架构与目标创新

MUNI 解决了当结合具有表现力的解码器和学习型先验时，标准的多种模态变分推理聚合规则（如专家乘积 Product of Experts 或专家混合 Mixture of Experts）所存在的不足。作者为共享潜变量确定了三个必要标准：

连贯充分性（Coherence-sufficiency）： 潜变量必须能够解释模态间的依赖关系，以实现连贯的无条件联合采样。
预测充分性（Predictive sufficiency）： 子集潜变量必须保留足够的的信息来预测缺失的模态。
极小性（Minimality）： 共享潜变量不应吸收那些可以由表现力解码器建模的特定模态细节。

为了满足这些标准，MUNI 引入了一个路由训练目标（routed training objective），包含三个具体的结构化选择：

非混合聚合（Non-Mixture Aggregation）： 对于观测到的模态子集 $A$ ，后验通过将所有可用的单模态专家（通过乘积或 Hellinger 聚合）聚合为一个单一后验来形成，而不是从专家混合中采样。这确保了潜变量包含了来自所有观测模态的信息。
目标脱离自重构（Target-Detached Self-Reconstruction）： 在重构属于观测子集 $A$ 中的模态 $x_m$ 时，在聚合步骤中将该模态的编码器进行脱离（停止梯度/stop-gradient）。这防止了共享潜变量被强制编码仅对自重构有用的特定模态细节，从而强制执行极小性标准。
留一法先验学习（Leave-One-Out Prior Learning）： 先验损失仅应用于从全模态子集或“留一”子集（即除一个模态外其余模态均已观测）推断出的潜变量。这确保了先验是在具有连贯充分性的潜变量上进行训练，避免了先验被来自信息不足的潜变量所污染。

训练目标结合了重构损失（包括针对缺失模态的预测和针对目标脱离的自重构）以及门控到特定路由路径的先验损失。

核心贡献

端到端多模态潜变量扩散： MUNI 通过联合训练特定模态编码器、具有表现力的解码器和共享的流式先验，将潜变量扩散扩展到任意对任意生成，消除了对两阶段“冻结潜变量”流水线的需求。
用于变分推理的新颖训练目标： 本文指出，当与学习型先验结合时，标准的聚合规则无法同时满足连贯性、预测性和极小性。提出的路由目标通过非混合聚合、目标脱离重构和选择性先验学习，显式地使潜变量符合这些标准。
可扩展的任意对任意框架： MUNI 在无需文本对齐嵌入或全配对三元组的情况下运行，支持在部分观测的多模态数据（例如图像-文本对、音频-文本对）上进行训练，同时支持无条件的协同生成。

实验结果

作者在两个基准测试上评估了 MUNI：

PolyMNIST-Quadrant-Labels： 一个包含图像和标签模态的受控基准。MUNI 在条件生成（单/多标签到图像）方面达到或超过了强基准模型（MVAE, MMVAE, MoPoE, HELVAE），并在无条件连贯性方面取得了最大的领先优势，在生成跨模态一致的数字身份和象限位置方面显著优于基准模型。
大规模图像-文本-音频基准： 使用成对数据集（LAION-COCO, AudioCaps, VGGSound）而无需完全观测的三元组。
- 条件生成： 在多对一对齐任务中，MUNI 在许多任务上达到了通用基准模型（CoDi, OmniFlow, FlowBind）的最先进水平。值得注意的是，它将音频-图像相似度（AIS）提升了高达 +7.14。
- 无条件协同生成： MUNI 在无条件连贯性方面表现出实质性提升。与 OmniFlow（唯一直接支持无条件采样的可比通用模型）相比，MUNI 的得分分别提升了 +5.57 CLIP (文本-图像)、+10.60 CLAP (文本-音频) 和 +31.85 AIS (音频-图像)。

重要性与主张

本文主张，连贯的任意对任意生成不仅取决于如何聚合模态证据，还取决于共享潜变量被训练为包含什么信息。

通过利用路由目标显式地强制执行连贯性、预测性和极小性，MUNI 成功地将概率多模态变分推理视角扩展到了大规模、实用的图像-文本-音频生成领域。结果表明，该框架可以在保持竞争力的条件生成能力的同时，显著提高无条件连贯性，而这正是现有扩散模型和 VAE 基准模型经常失败的任务。这项工作表明，当与具有表现力的生成组件和学习型先验结合时，多模态变分推理视角是实现无需依赖文本作为中介的统一多模态生成的可行路径。