💻 computer science

Bernini: Latent Semantic Planning for Video Diffusion

Bernini 是一个统一的视频生成与编辑框架，它采用分工机制，其中基于多模态大语言模型的规划器在视觉 Transformer 嵌入空间中进行语义推理，以指导基于扩散 Transformer 的渲染器，并通过高效的独立训练以及诸如“感知片段的 3D 旋转位置编码”等新颖组件，实现了最先进的性能。

原作者： Bernini Team, Chenchen Liu, Junyi Chen, Lei Li, Lu Chi, Mingzhen Sun, Zhuoying Li, Yi Fu, Ruoyu Guo, Yiheng Wu, Ge Bai, Zehuan Yuan

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bernini Team, Chenchen Liu, Junyi Chen, Lei Li, Lu Chi, Mingzhen Sun, Zhuoying Li, Yi Fu, Ruoyu Guo, Yiheng Wu, Ge Bai, Zehuan Yuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于Bernini论文的解读，使用类比转化为通俗易懂的语言。

核心理念：建筑师与建造者

想象一下你想建造一座定制房屋。你有两位专家：

建筑师（多模态大语言模型，MLLM）： 这个人擅长理解你模糊的想法、阅读复杂的蓝图，并弄清楚房子应该是什么样子。他们非常擅长推理，但完全不擅长实际砌砖。
建造者（扩散模型）： 这位是工艺大师。他们可以砌砖、粉刷墙壁、安装窗户，达到照片级的完美效果。然而，如果你只是说“弄好看点”，当你想要一座小屋时，他们可能会建出一座城堡。他们需要非常具体的指令。

Bernini是一个将这两位专家结合起来的系统。它不强迫建筑师去砌砖，也不强迫建造者去做复杂的推理，而是赋予他们一种专用语言来进行交流。

工作原理：“秘密蓝图”

过去，试图将这两种类型的 AI 结合起来往往很混乱。Bernini 通过建立“分工”来解决这个问题：

规划阶段（建筑师）：
当你给 Bernini 一个指令（例如“把天气改成暴风雨之夜，让狗开心起来”）时，MLLM 规划器不会尝试直接绘制视频。相反，它像一位建筑师，勾勒出一张高层蓝图。
- 秘诀所在： 这张蓝图既不是图片也不是句子。它是一组数学代码（称为"ViT 嵌入”），代表了场景的含义。这就像建筑师递给建造者一份坐标和情感基调的清单，而不是一张图画。
渲染阶段（建造者）：
DiT 渲染器（即建造者）接收这张蓝图。它还会查看原始视频（如果你是在进行编辑），以保持背景的一致性。以蓝图为指导，它逐帧生成实际像素，创造出照片级的视频。

这为什么很酷？ 因为建筑师和建造者可以分别进行训练。建筑师持续变得更擅长理解人类语言，而建造者持续变得更擅长制作漂亮的图像。它们只需要学习如何读懂彼此的“秘密蓝图”语言，这比从头重新训练整个系统要容易得多。

新工具：“姓名标签”与“思考步骤”

为了让这一切完美运作，研究人员添加了两个巧妙的技巧：

“姓名标签”系统（SA-3D RoPE）：
想象你在一个拥挤的房间里，每个人都穿着同样的衣服。如果你大喊“看那个戴红帽子的人”，如果现场有三个戴红帽子的人，这就很令人困惑。
在视频编辑中，AI 经常需要同时查看原始视频、参考图像和新视频。有时，原始视频中的某个像素与新视频中的某个像素处于完全相同的位置。
Bernini 为谜题的每一部分都贴上了一个**“姓名标签”**（分段索引）。这告诉 AI：“这顶红帽子属于原始视频，而那顶红帽子属于新视频。”这防止了 AI 感到困惑并将源与结果混淆。
“大声思考”步骤（思维链）：
有时，简单的指令是不够的。如果你说“让它看起来像卡通”，AI 可能只会改变颜色。
Bernini 的规划器被教导在绘制蓝图之前要大声思考。它将任务分解：“首先，我需要理解光照。其次，我需要改变皮肤的纹理。第三，我需要调整运动。” 这种逐步推理帮助 AI 处理复杂的任务，例如改变天气，使视频中的火焰自然地熄灭（因果推理）。

它能做什么？

论文表明，Bernini 是视频的“瑞士军刀”。它可以：

文生视频： 根据描述从头创建视频。
视频转视频编辑： 改变风格、添加或移除物体，或改变现有视频中的天气。
参考引导编辑： “让视频中的这个人看起来像这张照片里的人。”
动作迁移： “让这张照片里的人像这个视频里的人一样跳舞。”

结果：赢得比赛

研究人员在他们创建的新基准测试Bernini-Bench上，将 Bernini 与其他顶级视频 AI 模型（如 Kling、Wan 等）进行了测试。

得分： Bernini 赢得了“视频编辑排行榜”，在一致性和遵循指令方面击败了竞争对手。
关键胜利： 它在保持视频一致性方面特别出色。当你编辑视频的一部分时，视频的其余部分不会变形或出现故障。它在只改变你所要求的内容的同时，保持与原始场景的真实一致。

总结

Bernini 就像聘请了一位天才建筑师，为大师级建造者撰写一套完美的指令。通过让他们使用一种专用的“蓝图语言”交流，并赋予他们工具来追踪视频的哪一部分是哪一部分，Bernini 创造出的视频不仅美观，而且足够智能，能够理解复杂、逻辑性的变化。

技术摘要：Bernini——用于视频扩散的潜在语义规划

1. 问题陈述

多模态大语言模型（MLLM）与扩散模型在很大程度上沿着独立的轨迹发展成熟。MLLM 擅长语义推理、解读复杂指令，并将答案锚定在多模态语境中；而扩散模型（特别是扩散 Transformer 或 DiT）已成为照片级图像和视频合成的标准。然而，将这两类模型统一到一个既能理解意图又能生成所需输出的单一系统中，仍然是一个开放的挑战。现有方法往往难以将 MLLM 的深层语义理解直接迁移至扩散模型的像素级生成中，而不损害任一组件的预训练优势，或需要过度的联合训练从而导致灾难性遗忘。

2. 方法论

Bernini 提出了一种统一框架，将语义规划与像素渲染解耦，利用简单的分工：

规划器（MLLM）： 处理语义推理并预测目标视觉表示。
渲染器（DiT）： 基于高层语义指导和底层视觉特征合成像素。

2.1 架构

该框架由两个主要组件构成，通过ViT 嵌入空间中的语义接口连接。

基于 MLLM 的规划器：
- 统一输入： 文本、源图像、源视频和目标输出被序列化为统一的 1D 令牌序列。
- 掩码生成建模： 规划器不生成文本令牌，而是预测目标视觉语义作为稠密的 ViT 嵌入。在训练期间，目标令牌被随机掩码，模型从上下文中推断它们。在推理期间，模型从完全掩码的令牌迭代细化目标表示，直至生成完整序列。
- 思维链（CoT）： 规划器整合了思维链机制，在生成最终语义嵌入之前，在潜在空间中进行推理（通过自文本和自视觉 - 文本推理）。这使得模型能够将复杂的编辑任务分解为中间视觉状态。
- ViT 嵌入解码器： 一个轻量级解码器（MLP + ResNet 头）将规划器的隐藏状态映射回真实的 ViT 嵌入空间，通过流匹配进行训练。
基于 DiT 的渲染器：
- 流匹配： 渲染器在 VAE 潜在空间中运行，执行流匹配去噪以合成最终视频。
- 条件控制： 它基于来自规划器的语义嵌入（通过交叉注意力）、文本特征以及源 VAE 特征（用于编辑任务中的细节保留）进行条件控制。
- 分段感知 3D RoPE（SA-3D RoPE）： 为了在统一序列中处理多个视觉输入（例如源视频、参考图像、目标），Bernini 引入了 SA-3D RoPE。标准的 3D 旋转位置嵌入（RoPE）在来自不同分段的令牌共享相同的 $(t, h, w)$ 坐标时会遇到困难。SA-3D RoPE 为每个视觉输入分配一个唯一的分段索引，并将其纳入旋转频率向量中，引入依赖于分段的全球相位调制。这使得注意力机制能够区分来自不同分段的令牌，同时保持时空建模特性。

2.2 训练策略

Bernini 采用三阶段训练流程，在保持两个组件预训练能力的同时实现对齐：

阶段 I（MLLM 预训练）： 规划器和 ViT 解码器在文本到图像、文本到视频以及编辑数据（图像/视频对）的混合数据上进行训练。其目标是将 MLLM 转化为能够推断目标视觉表示的语义规划器。采用任务相关的掩码比率策略来控制信息泄露，迫使规划器从上下文中推断语义，而非依赖可见的目标令牌。
阶段 II（DiT 预训练）： 渲染器在大量生成和编辑数据的混合集上独立训练，以确保高保真合成和源内容保留。
阶段 III（联合训练）： 规划器和渲染器进行轻度协同训练。此阶段将语义规划（ViT 空间）与视觉渲染（VAE 空间）对齐，而不过度干扰，使系统能够将多模态推理转化为忠实的视觉输出。

2.3 数据构建

本文详细阐述了一个全面的数据构建流程，以支持多样化的任务：

预训练数据： 从通用语料库和教程视频中提取的 2000 万对视频和 3000 万对图像，经过相似度过滤并标注了稠密提示。
编辑数据： 利用基于传播的方法结合强大的图像编辑模型合成高质量的视频到视频（V2V）数据。采用双分支框架（图像到视频 + 视频到视频）生成运动感知的编辑数据，确保自然的人 - 物交互。
参考引导数据： 参考到视频（R2V）和参考 + 视频到视频（RV2V）的流程通过从真实素材而非生成图像中获取参考，确保身份保留（尤其是人物）。
推理增强数据： 构建了显式的思维链数据，其中 MLLM 将指令重写为结构化的中间提示，或生成视觉中间状态以指导编辑过程。

3. 主要贡献

具有潜在语义接口的统一框架： Bernini 利用 MLLM 原生的 ViT 嵌入空间作为通往扩散生成器的语义桥梁，统一了生成与编辑。这使得预训练的理解能力能够直接迁移至生成中，从而在多样化的视频任务中实现强大的泛化能力。
可扩展的数据构建： 作者设计了一套数据流程，产出了大规模、多任务语料库。这包括视频/图像对预训练、基于传播的高质量编辑数据、运动感知数据以及推理增强数据集，解决了高质量视频编辑数据稀缺的问题。
分段感知 3D RoPE： 一种新颖的位置嵌入机制，能够区分共享相同时空坐标的不同分段（源、参考、目标）的视觉令牌，对于多模态输入处理至关重要。
最先进的性能： Bernini 在广泛的基准测试中取得了顶尖成果，包括 OpenVE-Bench、OpenS2V-Eval 以及新提出的 Bernini-Bench。

4. 实验结果

视频编辑（Bernini-Bench）： Bernini 优于 Kling O3 和 Wan2.7 等强基线模型。在 Bernini-V2V 基准测试中，其总体得分（OS）为 3.49（Wan2.7 为 3.30），并展现出卓越的视频一致性（VC），比竞争对手更好地保留了非编辑区域。在人工并排评估中，Bernini 在一致性和指令遵循方面显示出显著优势。
公开基准测试：
- OpenVE-Bench： Bernini 总体得分为 4.04，显著优于之前的最佳模型（VINO 为 3.18）。
- EditVerse： 实现了最高的编辑质量得分（8.02）和文本对齐度。
- FiVE： 在结构保留、背景保留和编辑准确性方面达到了最先进的性能。
视频生成：
- 文本到视频（VBench）： Bernini 保持了其基础模型（Wan2.2-A14B）的基础质量，总得分为 84.64，而基础模型为 84.79，证明统一设计并未降低生成质量。
- 主体到视频（OpenS2V-Eval）： Bernini 在所有竞争对手中实现了最高的总得分（62.94）。值得注意的是，其 FaceSim 得分为 78.20，超过次优基线（Kling O3 为 57.20）20 多分，展现了卓越的面部身份保留能力。
消融研究： 实验证实了 ViT 语义接口、MLLM 规划器和 SA-3D RoPE 的必要性。移除 SA-3D RoPE 会导致参考泄露伪影，而移除规划器则会削弱指令遵循能力。

5. 意义与主张

本文声称，Bernini 代表了向统一多模态理解与生成迈出的重要一步。通过将接口锚定在 MLLM 的 ViT 嵌入空间中，该框架允许两个组件在很大程度上独立训练，保留了各自预训练的优势（MLLM 的推理能力和 DiT 的合成能力），同时实现了有效的协作。

作者强调，Bernini 能够泛化到具有挑战性的编辑任务——如因果推理（“下雨时会发生什么？”）、焦点转移和复杂的运动变化——这源于思维链推理与语义规划范式的整合。该模型不仅仅是记忆变换，而是学习了一种可迁移的、组合式的指令遵循能力。

局限性： 作者谦逊地指出，Bernini 受限于其底层基础模型（Qwen2.5-VL 和 Wan2.2）的能力。在复杂场景中，它仍然依赖外部 LLM 重写器来提供足够详细的指令，表明其原生推理能力尚不足以应对最具挑战性的编辑任务。此外，虽然它在一致性方面处于领先地位，但在主体到视频生成中的原始视觉质量仍略逊于 Wan2.7 等最强的闭源系统。