💻 computer science

CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition

CogOmniControl 是一个以推理为驱动的框架，它通过整合专用的 CogVLM 以精准理解创意意图、统一的 CogOmniDiT 生成器以及闭环的 Best-of-N 选择机制，来增强可控视频生成能力，并在专业基准测试中展现出优于现有模型的性能。

原作者： Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位电影导演，正试图向动画师团队解释一个复杂的场景。你手头有一张粗略的草图（故事板）、一个角色黏土模型，以及几条模糊的备注，比如“让它营造出雨天的悲伤氛围”。

在过去，AI 视频生成器就像只能遵循严格、像素级精确指令的动画师。如果你给它们一张粗略的草图，它们会感到困惑，产出浑浊的混乱画面，或者完全忽略你的情感备注。它们缺乏“创造性大脑”来理解你为何希望场景呈现某种特定样貌。

CogOmniControl 是一个旨在解决此问题的新系统。它扮演着一位超级聪明的创意总监的角色，坐在你（用户）与动画团队（AI 生成器）之间。其工作原理分解为简单步骤如下：

1. 问题：“翻译鸿沟”

当前的 AI 视频工具在让画面显得逼真方面表现出色，但当面对抽象或杂乱的指令（如手绘草图或黏土模型）时，它们却显得力不从心。

旧方式：你提供一张草图；AI 试图精确复制线条，却遗漏了感觉或故事。
结果：视频看起来不对劲，角色面部发生变化（身份漂移），或者动作显得生硬。

2. 解决方案：双人团队

作者构建了一个由两个主要角色协同工作的系统：

角色 A：“创意总监”（CogVLM）

将其想象为一位受过高度训练的电影导演，观看了数千部专业动画制作视频。

它做什么：它不仅仅查看你的草图，而是理解你的意图。如果你展示一张雨中角色的草图，这位“总监”看到的不仅仅是线条。它会推理：“好吧，角色很悲伤，地面应该是湿的，雨水应该泛起涟漪，光线应该显得阴沉。”
神奇之处：它将你模糊、抽象的想法转化为密集、详细的计划。它充当翻译，将你的“创意意图”转化为计算机实际可执行的清晰指令集。
训练：他们使用来自专业动画工作室的真实数据（故事板和黏土渲染图）来训练这位总监，而不仅仅是随机互联网视频。这使其成为“事物应呈现何种样貌”的专家，而不仅仅是“事物看起来像什么”。

角色 B：“动画师”（CogOmniDiT）

这是实际的视频生成器，负责绘制像素。

它做什么：它接收来自创意总监的详细计划以及原始草图，并构建视频。
神奇之处：因为它听从了总监的详细计划，它确切知道如何移动角色、衣物如何飘动以及光线如何变化。它不只是猜测，而是遵循一条逻辑路线图。

3. “驾驭”系统：质量控制循环

这是最巧妙的部分。通常，你生成一个视频并 hoping 它足够好。CogOmniControl 增加了一个质量控制驾驭系统。

理念：在最终视频展示之前，创意总监（CogVLM）扮演制片人的角色。它说：“好的，我们需要检查三件事：角色面部是否一致？雨水是否自然流动？光线是否正确？”
过程：
1. 系统生成多个版本的视频（就像尝试 4 个不同的镜头）。
2. 总监根据场景需求挑选特定的“检查员”（评估者）。如果场景包含特定角色，它会挑选一个“身份检查员”。如果是暴风雨场景，它会挑选一个“物理检查员”。
3. 这些检查员对视频进行评分。
4. 系统挑选最好的一个（Best-of-N）并展示给你。

4. 新的“试驾”（基准测试）

为了证明其系统有效，作者没有仅使用标准测试。他们构建了两条新的“驾驶赛道”，称为 CogReasonBench 和 CogControlBench。

这些赛道充满了现实世界的专业挑战（例如将粗略的故事板转化为最终电影场景）。
他们发现，他们的系统 CogOmniControl 的表现优于所有其他开源模型，并且非常接近最昂贵的私有系统。

总结类比

想象你想烘焙一个非常特定且复杂的蛋糕。

旧 AI：你递给它一张画着蛋糕涂鸦的餐巾纸。它试图精确复制涂鸦，结果做出一个烧焦、形状怪异的混乱之物。
CogOmniControl：你将餐巾纸交给一位主厨（CogVLM）。主厨阅读你的涂鸦，理解你想要一个“带有覆盆子夹心的湿润巧克力蛋糕”，并写出一份精确的食谱。接着，烘焙师（CogOmniDiT） 完美地遵循该食谱。最后，主厨品尝几批成品，使用特定清单挑选出最好的一批，为你端上完美的蛋糕。

该论文声称，这种方法弥合了“模糊的人类想法”与“精确的计算机执行”之间的鸿沟，使得从简单的草图和抽象想法生成高质量、专业外观的视频成为可能。

技术摘要：CogOmniControl

1. 问题陈述

近期基于扩散的视频生成模型在照片级真实感和运动流畅度方面取得了显著进展。然而，面对专业制作流程中常见的抽象、稀疏或复杂的控制条件（如故事板草图、黏土渲染），它们依然脆弱。现有方法通常分为两类：

基于适配器（Adapter）的方法：这些方法通过额外模块注入条件，但往往缺乏处理多样化、非像素对齐约束的灵活性，导致伪影和身份漂移。
通用视觉 - 语言模型（VLM）耦合方法：这些方法集成通用视觉 - 语言模型来解读条件。然而，通用 VLM 难以理解专业语境下的潜在创作意图，往往无法基于领域特定知识制定生成计划。此外，其推理输出可能引入噪声，且 VLM 的抽象推理与最终的像素级视频生成之间存在对齐差距。

核心挑战在于弥合抽象用户条件与忠实、高质量且符合真实创作意图的可控视频生成之间的鸿沟。

2. 方法论

作者提出了 CogOmniControl，这是一个推理驱动的框架，将可控视频生成分解为两个 distinct 阶段：创作意图认知和生成。该框架包含两个主要组件：CogVLM 和 CogOmniDiT。

2.1 CogVLM：创作意图认知

CogVLM 是一个经过专门训练的视觉 - 语言模型，旨在充当“专业导演”。其作用是接收多模态输入（控制视频、参考图像、文本描述），认知用户的创作意图，将稀疏线索转化为密集的逻辑推理输出。

训练策略：CogVLM 经历两阶段训练过程：
1. 监督微调（SFT）：在真实的动画制作数据（故事板、黏土渲染）上进行训练，以学习专业工作流。
2. 强化微调（RFT）：利用基于“LLM 作为裁判”的全局奖励和事实验证奖励机制，针对创作意图、物理合理性、信息完整性和运动描述进行优化。这确保了推理基于事实并避免幻觉。
输出：CogVLM 生成详细的生成计划推理输出，并关键性地从预定义库中识别出一组适用于特定输入条件的评估器（工具）。

2.2 CogOmniDiT：统一视频生成

CogOmniDiT 是一个视频扩散 Transformer（DiT），在单一序列中统一了多样化的控制信号。

输入序列：它拼接了带噪潜变量、参考图像潜变量、控制视频潜变量以及来自 CogVLM 的高级语义嵌入。
训练：采用三阶段 SFT 策略（上下文生成、连接器对齐、联合训练），随后进行 RFT。RFT 利用条件遵循和视频质量奖励，将 DiT 的像素级输出与 CogVLM 的高级推理对齐。
机制：通过利用上下文学习，CogOmniDiT 允许条件和潜变量通过自注意力机制对彼此及自身进行建模，确保控制信号的精确注入。

2.3 闭环验证（评估器 harness）

CogOmniControl 的一个独特特征是其"harness-like"（ harness 式）架构。CogVLM 并非对所有生成使用固定的评估器集合，而是根据输入条件动态选择特定的评估器（例如：身份一致性、物理动力学、故事板标注遵循）。

Best-of-N 选择：系统生成多个视频候选项（ $N$ ），并使用 CogVLM 选择的评估器对其进行评分。得分最高的候选项被选中，从而形成一个闭环的“推理 - 生成 - 验证”流程。

3. 基准测试与数据

为了解决专业创作意图基准测试的缺失，作者引入了两个源自现实世界专业动画生产管线的新数据集：

CogReasonBench：旨在评估 VLM 从多模态输入中认知创作意图并进行推理的能力。
CogControlBench：旨在评估在抽象和稀疏条件下的可控视频生成质量及条件遵循能力。
与通常使用模拟或合成数据的现有基准测试不同，这些基准测试利用了专业工作流（故事板、黏土渲染）及其对应最终视频的原生数据。

4. 实验结果

实验在提出的基准测试上进行，并与最先进的开源模型（如 VACE、VINO、OmniWeaving）及专有系统（如 Kling、Seedance）进行了比较。

CogVLM 性能：在 CogReasonBench 上，经过 RFT 训练的 CogVLM 在多模态意图、信息完整性和运动描述方面显著优于通用 VLM（如 Qwen3-VL-Thinking），证明了领域特定训练的必要性。
CogOmniControl 性能：在 CogControlBench 上，CogOmniControl 在开源模型中取得了最高平均分（0.727），超过了 VINO（0.686）和 VACE-Wan2.1（0.665）。它缩小了与最强专有系统 Seedance2.0（0.750）之间的性能差距。
Best-of-N 的影响：采用自适应选择的评估器进行 Best-of-N 选择进一步提升了性能（0.742），验证了闭环 harness 架构的有效性。
定性结果：视觉对比显示，与经常遭受伪影和语义不对齐困扰的基于适配器的方法相比，CogOmniControl 生成的视频具有更好的视觉一致性、更流畅的运动，以及对抽象控制（如黏土渲染）更准确的遵循。

5. 意义与主张

该论文主张 CogOmniControl 代表了从简单条件注入向推理驱动生成的转变。其意义在于：

弥合认知鸿沟：通过在专业数据上训练专用的 CogVLM，该框架成功解读了抽象条件并将其与高层创作意图对齐，这是通用 VLM 无法完成的任务。
闭环架构：自适应评估器 harness 的集成允许自我纠正的生成过程，实现了针对每个输入特定创作意图量身定制的 Best-of-N 选择。
专业相关性：通过利用现实世界的生产数据和基准测试，该框架解决了专业工作流（故事板制作、黏土渲染）的具体需求，而不仅仅是通用的文本到视频任务。

作者总结道，CogOmniControl 始终优于现有的开源可控视频生成器，并证明了推理驱动框架能够有效处理专业视频制作的复杂性。