💻 computer science

DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation

本文提出了名为 DCDM 的框架，通过大语言模型解析提示词、噪声空间中的时序相机表征以及全局场景生成范式，分别解决视频生成中的片段内语义一致性、片段间相机运动一致性及跨镜头元素一致性问题，并在 AAAI'26 CVM 竞赛测试中验证了其有效性。

原作者： Haoyu Zhao, Yuang Zhang, Junqi Cheng, Jiaxi Gu, Zenghui Lu, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoyu Zhao, Yuang Zhang, Junqi Cheng, Jiaxi Gu, Zenghui Lu, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DCDM（分而治之扩散模型）的新系统，它的目标是解决当前 AI 生成视频时最大的痛点：“视频虽然画面好看，但经常逻辑不通、镜头乱晃、或者前后角色长得不一样。”

想象一下，现在的 AI 视频生成就像是一个才华横溢但有点“偏科”的超级画家。他画单张图很厉害，画几秒钟的动画也很流畅，但一旦让他画一部完整的电影，他就容易犯迷糊：

逻辑混乱：让一个人“吃苹果”，结果苹果突然变成了香蕉，或者人把苹果吞进了眼睛里（缺乏常识）。
镜头失控：想让镜头“慢慢推进”，结果画面突然像坐过山车一样乱飞（镜头运动不连贯）。
角色失忆：第一幕主角穿红衣服，第二幕突然变蓝了，或者主角的脸变了（跨镜头的一致性差）。

为了解决这些麻烦，作者没有试图造一个“全能大脑”去同时处理所有问题，而是采用了**“分而治之”（Divide-and-Conquer）**的策略。他们把造电影的任务拆成了三个专门的“部门”，每个部门只负责解决一个核心问题，但大家共用同一个“画室”（基础模型）。

以下是这三个“部门”是如何工作的：

1. 第一部门：逻辑翻译官（解决“单段视频内的常识”问题）

痛点：用户给的指令通常很简单，比如“一只猫在追老鼠”。AI 可能不知道猫怎么跑、老鼠怎么躲，或者猫和老鼠的比例对不对。
DCDM 的做法：在 AI 开始画画之前，先请一位**“大语言模型（LLM）”当翻译官**。
比喻：这就好比你给导演一句简单的台词：“拍个猫追老鼠”。导演（LLM）不会直接拍，而是先写一份详细的剧本：“一只橘猫在客厅地毯上全速奔跑，胡须抖动，老鼠惊慌失措地钻入沙发底，光影要体现紧张感……"
效果：把模糊的指令变成了详细的“世界知识”，AI 照着这个详细剧本画，视频里的动作和物体关系就合理了，不会出现“猫长着翅膀”这种荒谬场景。

2. 第二部门：摄影机导航员（解决“镜头运动”问题）

痛点：告诉 AI“镜头向左移”，AI 往往理解得很生硬，或者移着移着就歪了。
DCDM 的做法：他们不给 AI 看文字指令，而是直接给 AI 一张**“隐形地图”**。
比喻：想象你在玩赛车游戏。以前你是用文字告诉 AI“向左转”，它经常转错。现在，DCDM 直接在游戏的底层代码（噪声空间）里画好了路线。它把“向左转”这个动作，变成了一种数学上的“扭曲”，直接注入到视频生成的起点。
效果：就像给赛车装上了自动驾驶导航，无论画面怎么变，镜头的运动轨迹（比如平滑的推进、旋转）都严格遵循你设定的路线，既稳定又精准。

3. 第三部门：记忆管家（解决“长视频角色一致性”问题）

痛点：拍长视频时，AI 容易“失忆”。拍完第一幕，第二幕主角的脸就变了，或者背景风格不统一。
DCDM 的做法：他们设计了一种**“只记重点”的注意力机制**。
比喻：想象你要拍一部 10 分钟的微电影。如果让 AI 记住每一帧的每一个像素，它会累死（计算量太大）且记不住重点。DCDM 的做法是：
- 在每一场戏内部（比如主角在房间说话），AI 会全神贯注地记住所有细节，保证动作流畅。
- 在不同场戏之间（比如从房间切到街道），AI 不会死记硬背每一帧，而是只提取**“关键摘要”（比如主角的脸、衣服颜色、整体色调），把这些摘要存进一个“记忆小本本”**里。
- 当拍下一场戏时，AI 会翻看“小本本”，确保主角还是那个人，风格还是那个风格。
效果：既保证了长视频里角色和风格从头到尾不跑偏，又不会因为记忆太多而让电脑卡死。

总结

DCDM 的核心思想就是：不要试图用一个大脑解决所有问题，而是组建一个专业团队。

翻译官负责把指令变详细（保证逻辑通顺）；
导航员负责给镜头画好路线（保证运镜稳定）；
记忆管家负责在长视频中锁定角色（保证人设不崩）。

这三个部门共用同一个强大的“画师”（基础扩散模型），最终合作产出了既符合物理常识、镜头运动精准、且长视频角色一致的优质视频。这篇论文在 AAAI'26 的 CVM 比赛中获得了顶尖团队奖，证明了这种“分而治之”的思路是解决视频生成一致性难题的良方。

DCDM：面向一致性保持视频生成的“分而治之”扩散模型技术总结

1. 研究背景与问题定义

尽管现有的视频生成模型在视觉保真度和短期时间连贯性方面取得了显著进展，但在处理复杂场景下的长期一致性（Consistency）方面仍面临巨大挑战。视频生成的一致性主要体现在三个相互独立但相互关联的维度，现有的单体模型难以同时兼顾：

片段内世界知识一致性（Intra-clip World Knowledge Consistency）：确保单个视频片段内的物体、属性、动作及物理交互在语义和物理逻辑上是连贯且合理的，避免出现矛盾或荒谬的交互。
片段间相机一致性（Inter-clip Camera Consistency）：确保不同片段间的相机运动（如推拉摇移）和视角转换在时间上是结构化且几何上精确的。
镜头间元素一致性（Inter-shot Element Consistency）：确保在长叙事中，跨多个镜头的人物身份、场景风格和视觉元素保持持久一致，维持叙事的连贯性。

核心痛点：传统的单体扩散模型试图在一个模型中同时推理语义、几何和长程时间依赖，导致表示纠缠（Representational Entanglement），往往在可控性、连贯性和计算效率之间做出妥协，难以在单一维度上达到最优。

2. 方法论：DCDM 框架

本文提出了分而治之扩散模型（Divide-and-Conquer Diffusion Model, DCDM）。该框架采用系统级设计，将上述三个一致性挑战分解为三个专用组件，同时共享一个统一的视频扩散骨干网络（基于 Diffusion Transformer, DiT）。

2.1 片段内世界知识一致性：基于 LLM 的提示扩展

动机：用户输入的自然语言提示往往信息不足，隐含的世界知识未被显式表达，导致扩散模型生成内容出现语义矛盾。
方法：
- 引入大语言模型（LLM，如 Qwen3）作为提示扩展（Prompt Extension, PE）模块。
- LLM 接收原始提示，结合固定指令，推理并生成包含详细实体、属性、空间关系及合理动作的结构化语义表示（Refined Prompt）。
- 将扩展后的提示作为文本条件输入 DiT 骨干网络。
效果：将语义推理与视觉生成解耦，显著提升了单片段内的物理合理性和语义连贯性，无需修改扩散架构本身。

2.2 片段间相机一致性：噪声空间的相机控制

动机：仅通过文本控制相机运动往往导致控制力弱或不稳定。相机运动本质上是几何和时间结构化的。
方法：
- 分类与模板：利用 LLM 将提示中的相机运动分类为预定义类别（如左移、右移、推近、拉远、静态等），并映射到对应的相机模板。
- 噪声空间表示（Noise-space Representation）：提出一种时间结构的噪声表示。
  - 从第一帧的高斯噪声开始，利用相机内参和外参导出的重投影算子（Reprojection Operator）随时间传播噪声。
  - 将 warped 噪声与独立高斯噪声混合，以保留随机性并避免过度相关。
- 初始化注入：将构建好的相机噪声表示在扩散采样的初始化阶段注入（替换初始噪声），从而锚定整个去噪轨迹，实现稳定且精确的相机运动控制。
- 参考图初始化：可选地结合文生图模型生成的参考图，进一步减少外观歧义并增强控制力。

2.3 镜头间元素一致性：稀疏镜头间自注意力

动机：长叙事需要跨镜头的记忆，但全注意力机制（Full Attention）在处理分钟级视频时计算成本过高，且镜头内（Intra-shot）和镜头间（Inter-shot）的连贯性需求不同。
方法：
- 窗口交叉注意力（Window Cross-attention）：将文本提示定位到特定的镜头，实现细粒度的导演控制。
- 稀疏镜头间自注意力（Sparse Inter-shot Self-attention）：
  - 镜头内：保持全双向自注意力，确保局部运动平滑和连贯。
  - 镜头间：不计算所有帧之间的注意力，而是为每个镜头提取少量关键值摘要（Key-Value Summary，如首帧 Token），形成全局缓存（Global Cache）。
  - 当前镜头的查询（Query）同时关注局部 Token 和全局摘要 Token。
效果：在保持分钟级视频生计算效率（复杂度从 $O((N \cdot L)^2)$ 降低至 $O(N \cdot L \cdot S)$ ）的同时，实现了长程叙事连贯性和角色/场景的持久记忆。

3. 主要贡献

提出了 DCDM 统一框架：首次将视频生成的一致性挑战系统性地分解为片段内知识、片段间相机、镜头间元素三个互补维度，并采用“分而治之”策略解决。
LLM 驱动的语义增强：引入基于 LLM 的提示扩展机制，将隐式语义显式化，解决了片段内世界知识不一致的问题。
噪声空间的相机控制：创新性地提出在噪声空间构建时间结构的相机表示，实现了扩散模型中精确且稳定的相机运动控制。
高效长程注意力机制：设计了稀疏镜头间自注意力机制，在大幅降低计算复杂度的同时，保证了长视频叙事中角色和场景的一致性。

4. 实验结果

基准测试：在 AAAI'26 CVM（Consistency in Video Generative Models）竞赛测试集上进行了验证。
定性结果：如图 2 所示，DCDM 在三个目标场景下均表现出优异性能：
- 生成的视频在物理交互和物体属性上高度合理（片段内）。
- 相机运动轨迹平滑、符合几何逻辑（片段间）。
- 长叙事中角色形象、场景风格保持高度一致，叙事连贯（镜头间）。
获奖情况：该团队（Cinematrix）获得了 AAAI'26 CVM 竞赛的Top Team奖项，证明了所提策略的有效性。

5. 意义与展望

DCDM 证明了视频生成的一致性不应由单体模型强行统一，而应通过系统级建模，将语义推理、几何控制和叙事连贯性在解耦但统一的框架中分别处理。

理论意义：揭示了视频生成中不同一致性维度的异质性，提出了针对性的解耦建模范式。
应用价值：为生成高质量、长时长、高可控性的电影级视频内容提供了可行的技术路径，特别是在需要严格遵循物理规律、精确控制运镜以及保持角色一致性的应用场景中具有巨大潜力。

该工作标志着视频生成模型从单纯追求“视觉逼真”向追求“逻辑与叙事一致性”的重要跨越。