💻 computer science

VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System

VideoCoCo 引入了一种代理式双引擎框架，该框架利用可执行的 Blender 代码作为过程级思维链，通过首先创建一个确定性的时空草图，然后将其细化为写实输出，从而生成物理一致的视频，在物理一致性基准测试上显著优于现有基线。

原作者： Haodong Li, Tianfei Ren, Xiaoxiao Ma, Chunmei Qing, Zhen Fang, Sipeng He, Ziyu Guo, Haoyu Wu, Juanxi Tian, Yihang Zou, Ruichuan An, Dongzhi Jiang, Boxue Yang, Ji Xie, Xu Huang, Wenhao Yan, Jialv Zou

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haodong Li, Tianfei Ren, Xiaoxiao Ma, Chunmei Qing, Zhen Fang, Sipeng He, Ziyu Guo, Haoyu Wu, Juanxi Tian, Yihang Zou, Ruichuan An, Dongzhi Jiang, Boxue Yang, Ji Xie, Xu Huang, Wenhao Yan, Jialv Zou, Zhengrong Yue, Yaxin Luo, Xiaotong Li, Yuzhu Wang, Junyan Ye, Jinjing Zhao, Zehui Chen, Lin Chen, Renye Yan, Feng Zhao, Pheng-Ann Heng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅仅通过耳语一句“把它做得美味些”来教一个机器人如何烤蛋糕。机器人可能会理解“美味”这个词，但如果没有食谱，它根本不知道是该先混合鸡蛋还是先加面粉，也不知道要烤多久，或者为什么蛋糕不应该变成一块砖头。这就是当前人工智能视频生成领域所面临的困境。科学家们正在构建能够将文本描述转化为动态画面的模型，但这些 AI “梦想家”往往难以理解物理定律。它们可能会让球向上漂浮而不是落下，或者让玻璃在撞击地面之前就破碎，因为 AI 只是在猜测事件发生的序列，而不是真正理解世界运作的方式。

为了解决这个问题，研究人员正在寻找一种让 AI 在行动前先进行“思考”的方法，这种概念被称为思维链（Chain-of-Thought）。与其直接跳到最终画面，不如鼓励 AI 创建一个中间计划。这就像建筑师在盖房子前先画蓝图，或者厨师在烹饪前先写食谱。大问题在于：什么样的蓝图才是最好的？是一份文字列表？几张草图？还是更精确的东西？这就是 VideoCoCo 这篇论文试图解决的谜题，旨在让 AI 生成的视频不仅看起来漂亮，而且真正遵循现实世界的规则。

“代码即思维链”的魔力：双引擎梦幻组合

认识一下 VideoCoło，这是一个全新的系统，它像一位超级聪明的导演和一位天才艺术家协同工作，共同制作出不会破坏物理定律的视频。研究人员意识到，当 AI 仅凭文本提示词来猜测场景演变时，它经常会把“故事”讲错。因此，他们给了 AI 一个新工具：可执行代码。

可以将这个过程想象如下：

导演（编码智能体）： 当你给 AI 一个类似“黄油在热锅中融化”的提示词时，导演并不仅仅是在脑海中想象场景。相反，它会编写一段 Blender 程序（一组计算机指令）。这段代码就像一个严格、不可逾越的食谱。它明确告诉计算机：“将一块黄油放在这里。打开热量。让黄油在恰好 5 秒钟内变软、塌陷并铺开。”因为这是代码，它必须完全按照编写的内容运行。这不是一种猜测；而是一个模拟过程。
沙盒（模拟引擎）： 计算机在一个名为“沙盒”的安全、隔离的游乐场中运行这段代码。其结果还不是一部漂亮的电影；而是一个确定性的草稿。想象一下一段低质量的白粘土动画。它看起来像是一个用橡皮泥做的粗略草图，但在运动轨迹上却是完美准确的。黄油会按照物理学应有的方式精确融化，因为代码强制要求它必须如此。
艺术家（生成式视频引擎）： 现在，第二个引擎介入了。这位艺术家负责接过那个粗糙的白粘土草图，并在其上进行绘画，使其看起来像一部高画质的真实电影。因为艺术家已经拥有了一个完美的“橡皮泥”版本作为模板，他们不需要去猜测黄油应该如何移动。他们只需要专注于让它看起来闪闪发光、金黄诱人即可。

为什么这种方法具有变革意义

论文指出，以往的方法试图一次性完成太多事情。一些 AI 模型试图编写文本计划（如“黄油融化”），但文本是模糊的。另一些模型则试图猜测视频的下一帧，但这就像是通过观察上一张模糊的照片来尝试创作杰作。

VideoCoCo 说：“停止猜测物理现象。直接模拟它。”

通过使用代码作为“思维链”，该系统将运动的逻辑与图像的美感分离开来。代码处理“发生了什么以及何时发生”，而视频引擎处理“它看起来是什么样”。这是一个巨大的转变，因为它将一场猜谜游戏变成了一个两步走的流程，且第一步是 100% 可靠的。

事实胜于雄辩（以及物理定律）

研究人员在两个主要挑战上测试了他们的系统：PhyGenBench 和 VBench-2.0。这些是专门测试 AI 是否遵循重力、热量以及材料行为等现实世界规则的“AI 考试”。

结果： 在使用 VideoCoCo 之前，基准 AI（称为 OmniWeaving）在物理测试中的平均得分是 0.475。在加入“代码即思维链”系统后，得分跃升至 0.558。在另一个测试（VBench-2.0）中，得分从 52.18% 飙升至 77.88%。
“顿悟时刻”： 最显著的提升发生在 AI 通常最容易失败的领域：热力学（如热量和融化）以及材料动力学（物体如何破碎或流动）。这证明了代码草稿确实教会了 AI 物理学是如何运作的，而不仅仅是让视频看起来更漂亮。

论文排除了哪些可能性

值得注意的是 VideoCoCo 不是什么。论文明确反对了这样一种观点，即我们只需通过数百万个视频训练一个更大的 AI 来“学习”物理学。他们发现，如果没有一个明确的、可执行的计划（代码），AI 仍然难以掌握事件发生的正确顺序。他们还表明，仅仅拥有一个粗略的文本计划或几个关键帧是不够的；计划需要是可执行的代码，以便计算机可以实际运行并创建草稿。

局限与未来

虽然结果令人印象深刻，但论文也坦诚地说明了局限性。由于系统必须编写代码、运行模拟并随后绘制视频，目前的运行速度稍慢。这就像拥有一位卓越的建筑师和一位画家，但比起直接按下快门拍照，它需要更长的时间。此外，该系统受限于 Blender 模拟器的复杂程度；目前，像旋转、混沌的水流这类极其复杂的现象可能仍然难以完美模拟。

然而，作者认为这种“代码即思维链”的方法是一种强大的全新思考方式。与其寄希望于 AI 能够神奇地理解世界，不如先给它一个工具去构建一个世界模型，然后再基于这个坚实的基础去创造艺术。这提醒了我们，有时，创造美丽事物的最佳方式是先构建一个行之有效的逻辑基础。

技术摘要：VideoCoCo

问题陈述

目前的文本生成视频（T2V）模型虽然实现了极高的视觉保真度，但在物理一致性动力学方面表现挣扎。其核心问题被称为因果不透明性（Causal Opacity），这是因为文本提示词将复杂的物理事件压缩成了高度抽象的语义描述。因此，模型必须在缺乏关于底层物理原理的显式引导的情况下，隐式地推断场景的整个时空演化过程。

现有的思维链（CoT）方法试图通过引入中间表示（如文本计划、布局或关键帧）来缓解这一问题。然而，这些中间表示通常是不可执行的（缺乏精确的物理约束）或时间稀疏的（无法捕捉连续的演化）。此外，依赖于测试时搜索或视觉状态推理的方法往往仍停留在描述性或选择性的层面，而非实例化一个完整的、可检查的过程。这导致在生成视频时，无法确保其时间演化严格遵循物理定律。

方法论：VideoCoCo

作者提出了 VideoCoCo，这是一个智能体双引擎框架，它利用可执行代码作为过程级的思维链（Chain-of-Thought）。该系统通过两个截然不同的阶段，将过程级推理与高保真视觉实现解耦：

1. 可执行模拟引擎（过程推理）

该引擎不再要求视频生成器去推断动力学，而是由一个编程智能体根据用户提示词合成一个自包含的 Blender Python 程序。

代码即思维链（Code-as-CoT）： 智能体编写的代码显式地定义了物体、物理属性和时间演化。选择这种表示法是因为它是显式的（无歧义）、可执行的（承诺了一个具体的流程）且可检查的。
沙盒执行： 生成的代码在隔离的 Blender 环境中执行，以产生一个确定性的时空草图。
草图特征： 输出是一个低保真度的“白泥（white-clay）”模拟。它缺乏逼真的纹理和光照，但具有时间稠密性，提供了关于“发生了什么”以及“何时发生”的精确结构支架，从而在任何像素合成之前确保物理一致性。

2. 生成式视频引擎（视觉实现）

第二个引擎专注于将实例化的过程转化为高保真的视频，从而避免了重新进行动力学推理的需求。

指令构建： 指令智能体根据原始提示词 ( $p$ ) 和渲染出的草图 ( $d$ ) 组合出一条编辑指令 ( $e$ )。该指令显式描述外观（材质、光照、风格），同时避免对草图中已存在的运动进行重新定义。
草图驱动的编辑： 视频编辑模型 ( $G_\theta$ ) 将草图 ( $d$ ) 和指令 ( $e$ ) 作为条件，生成最终的高保真视频 ( $\hat{v}$ )。草图锚定了时空结构，而模型则处理逼真的外观。

3. 数据构建：VideoCoCo-3K

为了训练视频编辑器以接受与自然视频分布显著不同的模拟草图，作者构建了 VideoCoCo-3K。

流水线： 对于 3,000 个提示词，模拟引擎生成草图，指令智能体创建编辑提示词。
教师蒸馏： 高保真教师编辑器（Seedance 2.0）在以草图和指令为条件的情况下，生成目标高保真视频 ( $y$ )。
结果： 得到一个三元组数据集 $(d, e, y)$ ，它将具有物理依据的过程与其高保真视觉实现对齐。

4. 训练与推理

训练： 编辑器使用标准的条件去噪目标在 VideoCoCo-3K 数据集上进行训练。实验对比了全参数微调与参数高效的 LoRA 适配。
推理： 系统仅凭文本提示词即可实现端到端运行。编程智能体生成代码，沙盒渲染草图，指令智能体组合提示词，最后由适配后的编辑器生成最终视频。在推理阶段不需要真实的草图或人工标注。

核心贡献

VideoCoCo 框架： 一个智能体双引擎系统，使用可执行的 Blender 代码作为过程级的思维链，实现了时空模拟与高保真编辑的分离。
VideoCoCo-3K 数据集： 通过智能体流水线生成的、包含 3,000 个“草图–指令–目标”三元组的精选数据集，为适配生成式视频引擎以处理模拟草图提供了必要的监督。
达到 SOTA 性能： 该框架在 PhyGenBench 和 VBench-2.0 上均取得了最佳的平均得分，证明了可执行代码是实现物理一致性视频生成的有效、可控且可检查的中间表示。

实验结果

论文将 VideoCoCo 与广泛的闭源（如 Sora, Kling, Gen-3）和开源（如 HunyuanVideo, CogVideoX, Wan2.2）基线进行了对比评估。

PhyGenBench： VideoCoCo 将 OmniWeaving 基线的平均得分从 0.475 提升至 0.558，取得了最高总分。它在材质（Material）（+0.133）和热力学（Thermal）（+0.078）动力学类别中取得了显著增益，而这些类别通常是基于外观先验的模型失效的地方。
VBench-2.0： 该框架将物理合理性的平均得分从 52.18% 提高到 77.88%（提升了 25.70 个百分点）。它在力学（Mechanics）（92.31%）和热力学（Thermotics）（72.92%）方面达到了最高分。
消融实验：
- 草图的贡献： 即使在不对编辑器进行微调的情况下（免微调模式/Tuning-Free），仅靠可执行草图就将平均得分从 0.475 提升到了 0.506，证实了草图提供了物理动力学。
- 适配策略： LoRA 适配产生了最佳结果（0.558），优于全参数微调（0.535）。作者将其归因于该任务的特殊性（即重构模拟过程），LoRA 在保留基础模型强大视觉先验的同时学习了“草图到真实”的映射，而全参数微调则存在过拟合的风险。

意义与主张

论文声称，可执行代码提供了比文本计划或稀疏视觉状态更优越的中间表示，用于视频生成。通过将因果过程外显化为一个确定性的模拟，VideoCoCo 解决了文本生成视频中的“因果不透明性”。

作者强调，这种方法：

解耦了忠实动力学与高保真外观这两个困难任务，允许专门的引擎分别处理。
确保在视觉合成开始前，物理演化已被显式定义且可检查。
证明了“代码即思维链（Code-as-CoT）”可以从图像预览扩展到完整的时空过程，为实现更具可控性和物理一致性的生成式世界模型提供了一条路径。

论文也承认了局限性，指出该方法会引入推理延迟，并且受限于 Blender 模拟器的表达能力，特别是在处理如湍流流体等高度复杂的现象时。未来的工作建议探索集成专门的物理引擎（如 Taichi）以及通过知识蒸馏将这些先验直接内化到端到端模型中。