💻 computer science

MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings

本文提出了 MMCORE，这是一个利用预训练视觉语言模型通过可学习查询令牌生成语义视觉嵌入，并以此作为条件信号驱动扩散模型的统一框架，从而在显著降低计算成本的同时实现了高质量的多模态图像生成与编辑。

原作者： Zijie Li, Yichun Shi, Jingxiang Sun, Ye Wang, Yixuan Huang, Zhiyao Guo, Xiaochen Lian, Peihao Zhu, Yu Tian, Zhonghua Zhai, Peng Wang

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zijie Li, Yichun Shi, Jingxiang Sun, Ye Wang, Yixuan Huang, Zhiyao Guo, Xiaochen Lian, Peihao Zhu, Yu Tian, Zhonghua Zhai, Peng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 MMCORE 的新技术，它就像是一个**“超级艺术总监 + 顶级画师”的梦幻组合**，专门用来让电脑更聪明地理解你的想法，并画出高质量、符合逻辑的图片。

为了让你更容易理解，我们可以把现在的 AI 画图世界想象成两个不同的部门：

理解部门（大语言模型/VLM）： 它们像博学的教授，非常擅长读懂文字、理解复杂的逻辑（比如“把大象放在冰箱里”），但它们不太会画画，画出来的东西往往很抽象或者很丑。
绘画部门（扩散模型）： 它们像技艺精湛的画师，能画出非常逼真、漂亮的图片，但它们有时候有点“死脑筋”，听不懂复杂的指令，容易画错（比如让你画“一只猫在树上”，它可能画成猫在树根下，或者把猫画成狗）。

以前的方法，要么是把这两个部门强行绑在一起（导致训练成本极高，像让教授和画师同时上课，效率很低），要么就是让画师只靠简单的文字提示画画（导致画师听不懂教授的复杂指令）。

MMCORE 做了什么？它设计了一套全新的“协作流程”：

1. 核心创意：给画师配一个“翻译官”

MMCORE 没有把教授和画师强行绑死，而是让它们分工合作。

第一步：教授做“摘要”（语义嵌入）
当用户输入一段复杂的文字（比如“一个穿着红裙子的女孩在雨中跳舞，背景是赛博朋克城市”），MMCORE 先让那个“博学的教授”（预训练的视觉语言模型）来读这段话。
但是，教授不直接指挥画师，而是先写一份**“核心摘要”（这就是论文里说的“可学习的查询令牌”）。这份摘要不是文字，而是一组“视觉密码”**。
- 比喻： 就像教授把复杂的剧本浓缩成了几个关键的“情绪关键词”和“画面构图指令”，比如“红裙、动感、霓虹灯、雨滴”。
第二步：双重保险（双路径条件）
这篇论文最聪明的地方在于，它不让画师只看“摘要”。它采用了**“双路径”**策略：
- 路径 A（摘要）： 教授给的“视觉密码”，告诉画师**“画什么”**（核心语义，比如猫、树、位置关系）。
- 路径 B（原文）： 把用户的原始文字也直接给画师，告诉画师**“怎么画细节”**（比如具体的形容词、风格）。
- 比喻： 就像导演给摄影师（画师）两张纸条：一张是“剧情大纲”（摘要），另一张是“详细的分镜脚本”（原文）。这样摄影师既不会跑题，又能保留细节。
第三步：画师动笔（扩散模型）
画师（扩散模型）拿到这两份资料后，就开始画画。因为它既懂“剧情”又懂“细节”，所以画出来的图既符合逻辑，又非常漂亮。

2. 为什么要这样做？（解决了什么痛点）

省钱省力： 以前的方法需要把两个巨大的模型从头到尾重新训练一遍，就像要把教授和画师重新培养成一个人，成本极高。MMCORE 只需要微调一下“翻译官”（教授的部分），然后让画师适应一下新的指令格式，成本降低了约 70%。
更聪明： 以前的 AI 画“猫在树上”可能只是把猫和树拼在一起。MMCORE 因为利用了教授的“推理能力”，它能理解空间关系。比如你让它画“男人的眼睛和女人的嘴巴齐平”，它能精准地画出来，而不是随便拼凑。
多图处理： 它还能处理“参考图”。如果你给它看 10 张不同的图，让它把图 1 的角、图 2 的身体、图 3 的翅膀拼成一个新怪兽，它也能做得很好。

3. 效果怎么样？

论文里做了很多测试，结果显示：

听指挥： 在复杂的指令下（比如空间推理、多物体关系），MMCORE 比现在的顶尖模型（如 Seedream 4.0, GPT-Image-1 等）表现更好。
画得准： 无论是单图生成，还是多张图编辑（比如把图 A 的衣服穿到图 B 的人身上），它都能保持高一致性，不会画崩。
人类评价： 让人类来打分，MMCORE 在“像不像”、“听不听话”、“美不美”这几个指标上都拿到了第一名。

4. 还有什么不足？（未来的方向）

虽然 MMCORE 很厉害，但作者也诚实地说：

“理解”和“创作”的平衡： 让模型既能画画又能理解，有时候会让它在纯理解任务（比如做数学题、OCR 识别）上稍微变弱一点点。
未来的梦想： 现在的“视觉密码”还是辅助文字存在的。作者希望未来能发明一种**“万能令牌”**，既能像 VAE 一样完美还原像素，又能像 ViT 一样理解语义，彻底打通理解和创作的界限，让 AI 真正成为一个“全能艺术家”。

总结一句话

MMCORE 就像给 AI 画师配了一个懂逻辑的“超级导演”，通过“摘要 + 原文”的双重指令，让 AI 既能听懂复杂的剧情，又能画出电影级的画面，而且训练成本还更低。

1. 研究背景与问题 (Problem)

当前多模态生成领域主要由两类模型主导：

自回归模型 (AR)：如大型语言模型 (LLM) 和视觉语言模型 (VLM)，擅长语义推理和理解，但在高保真图像生成方面表现不如扩散模型。
扩散/流匹配模型 (Diffusion/FM)：擅长高保真图像和视频合成，但在复杂的语义推理、空间理解及长上下文指令遵循方面存在不足。

核心挑战：

统一训练的困难：将扩散机制直接整合到自回归架构中（如 Transfusion, BAGEL）会导致训练效率低下。因为图像建模需要在“干净特征”（用于理解）和“噪声特征”（用于生成）之间切换，难以在单次前向传播中同时优化。
现有方案的局限：
- 纯自回归视觉生成模型质量仍落后于扩散模型。
- 现有的“双融合”架构（冻结 VLM + 扩散解码器）往往需要巨大的计算资源（如复制 LLM 权重进行预训练），或者存在对齐不充分的问题（如 MetaQueries 仅依赖查询 token，导致上下文预算固定且对齐弱）。

目标：构建一个既能利用 VLM 强大的语义推理能力，又能保持扩散模型高保真生成质量，同时计算成本低廉的统一框架。

2. 方法论 (Methodology)

MMCORE 提出了一种多阶段训练框架，通过解耦语义理解与像素生成，利用预训练的 VLM 预测语义视觉嵌入，并将其作为条件信号输入到扩散模型中。

2.1 核心架构

底层：多模态大语言模型 (MLLM)
- 负责从多模态输入（文本 + 图像）中提取高层语义，并生成可学习的视觉潜在嵌入 (Latent Visual Embeddings)。
- 这些嵌入通过可学习的查询 Token (Query Tokens) 进行压缩和表示。
顶层：因果扩散网络 (Causal Diffusion Network)
- 基于 MMDiT (Masked Diffusion Transformer) 架构。
- 接收文本嵌入和 MLLM 生成的视觉潜在嵌入作为条件，进行像素级的图像生成和编辑。

2.2 关键技术创新

联合微调与语义对齐 (Joint Fine-tuning & Semantic Alignment)
- 全量微调：不同于以往冻结 VLM 的做法，MMCORE 对 MLLM 骨干网络进行全量微调，使其适应视觉 Token 的生成。
- 知识蒸馏 (Distillation)：引入冻结的 SOTA 视觉编码器（如 SigLIP 或 ViT）作为“脚手架”。通过最小化 MLLM 生成的 Query Token 与 ViT 提取的视觉特征之间的余弦相似度损失 ( $L_{vis}$ )，强制 MLLM 学习富含语义的视觉表示。
- 损失函数： $L_{mllm} = \lambda_t L_{llm} + \lambda_a L_{vis}$ 。这种显式的中间监督显著加速了收敛并提高了生成质量。
双路径条件机制 (Dual-Pathway Conditioning)
- 为了解决固定数量 Query Token 的信息瓶颈问题，MMCORE 采用双路径输入扩散模型：
  - 路径 A (视觉 Query Tokens)：捕获全局语义和跨模态定位。
  - 路径 B (完整文本嵌入)：保留细粒度的词汇细节和指令遵循约束。
- 这种设计既保证了语义的丰富性，又保留了文本的精确性。
交错生成的注意力掩码 (Interleaved Generation Attention Mask)
- 在处理多图像上下文（Interleaved Generation）时，设计了一种块因果注意力掩码。
- 关键策略：当前帧的生成条件包括：(1) 所有前序图像的 VAE 潜在表示（保留高频历史细节）；(2) 当前帧的文本和视觉潜在嵌入。
- 排除项：明确排除前序帧的语义视觉潜在 Token。实验表明，让模型关注历史视觉 Token 会破坏优化景观，导致性能下降。
高效训练策略
- 两阶段训练：先独立训练 MLLM 进行语义对齐，再冻结 MLLM 训练扩散头。
- 独立嵌入 Dropout：在训练初期对文本条件应用较高的 Dropout 率，迫使扩散模型更多地依赖 MLLM 推断的视觉嵌入，从而增强多模态条件的融合能力。
- SFT 与 RLHF：最后通过监督微调 (SFT) 和人类反馈强化学习 (RLHF) 进一步提升指令遵循能力和审美对齐。

3. 主要贡献 (Key Contributions)

高效的统一框架：提出了一种无需从头训练或深度耦合 AR 与扩散模型的架构，显著降低了计算开销（仅需训练原生统一架构约 30% 的计算预算），同时实现了 SOTA 级别的性能。
语义 - 视觉对齐机制：通过引入视觉编码器蒸馏损失和全量微调，解决了 MLLM 与扩散模型之间的表征不匹配问题，使 VLM 的推理能力有效迁移至生成过程。
复杂场景的多模态理解：在空间推理、视觉定位（Visual Grounding）以及多图像交错生成（Interleaved Generation）任务中表现出色，能够处理超过 10 张输入图像的复杂上下文。
全面的评估验证：在 DreamBench 等基准测试中，MMCORE 在文本 - 图像对齐、图像编辑一致性及人类评估中均超越了包括 Seedream 4.0、GPT-Image-1 在内的多个 SOTA 基线模型。

4. 实验结果 (Results)

定量评估 (DreamBench AutoEval)：
- 文本 - 图像对齐：MMCORE 达到 84.42% 的准确率，显著高于 Seedream 4.0 (78.2%) 和 GPT-Image-1 (80.69%)。
- 图像编辑对齐：达到 81.2%，优于 GPT-Image-1 (79.88%)。
- 编辑一致性：达到 70.62%，远超其他模型。
定性分析：
- 在反事实推理（如“男人的眼睛与女人的嘴巴齐平”）和复杂属性绑定（如“跳过绳子的树”）任务中，MMCORE 能更准确地遵循指令，避免基线模型常见的刻板印象或逻辑错误。
- 在多图像编辑任务中，能够精确控制局部细节（如替换特定物体的部件），并保持背景和其他内容的稳定性。
消融实验结论：
- 连接器深度：6 层连接器比 2 层性能提升约 10.5%。
- 微调策略：全量微调 (Full Fine-tuning) 优于 LoRA，且加入 SFT 后性能大幅提升（GPT-4o 评分从 0.81 提升至 0.86）。
- 视觉潜在嵌入的作用：证明了将 MLLM 生成的视觉嵌入与 VAE 潜在特征解耦并作为独立条件输入的重要性；直接融合两者反而会导致性能下降。

5. 意义与局限性 (Significance & Limitations)

意义：

范式突破：证明了通过解耦语义建模（AR）和视觉合成（Diffusion），并利用轻量级对齐机制，可以实现高质量的多模态生成，无需构建庞大的端到端统一网络。
资源效率：为在有限算力下构建高性能多模态模型提供了可行的技术路径，使得利用开源 VLM 进行高效图像生成成为可能。
应用前景：在复杂指令遵循、多轮对话生成、精准图像编辑等场景具有极高的应用价值。

局限性与未来方向：

理解与生成的权衡：虽然联合微调缓解了灾难性遗忘，但 MLLM 在纯理解任务（如 VQA, OCR）上的性能仍略有下降，尚未完全达到专用理解模型的水平。
视觉 Token 的冗余性：目前的视觉 Token 主要作为文本条件的补充，而非完全替代。未来需要研发"Omni-Tokenizer"（全能 Tokenizer），能够同时支持像素级重建（像 VAE）和高层语义推理（像 ViT），从而实现真正的统一表征。
性能差距：尽管表现优异，但在某些极端指标上仍略逊于 Nano-Banana-pro 或 GPT Image 1.5 等闭源顶级模型，部分归因于底层 MLLM 能力的差异。

总结：MMCORE 通过巧妙的架构设计和训练策略，成功弥合了语义理解与高保真生成之间的鸿沟，为下一代多模态生成模型的发展提供了重要的技术参考。