💻 computer science

Evaluating Newtonian Mechanics in Video Generative Models with Real Physical Systems

本文介绍了 Morpheus，这是一个利用 130 段真实世界视频和守恒定律构建的物理启发式评估框架，旨在证明当代的视频生成模型尽管能产生视觉上吸引人的结果，却无法准确编码牛顿动力学。

原作者： Antonios Tragoudaras, Chenyu Zhang, Daniil Cherniavskii, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Andrii Zadaianchuk, Efstratios Gavves

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Antonios Tragoudaras, Chenyu Zhang, Daniil Cherniavskii, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Andrii Zadaianchuk, Efstratios Gavves

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一群才华横溢的艺术家，他们能创作出看起来如此逼真、让你觉得伸手就能触摸到的动态图像（视频）。这些艺术家就是新一代的“视频生成模型”（如 SORA、Veo 或 Kling）。每个人都感到兴奋，因为人们希望这些艺术家不仅能画出漂亮的画面，还能理解世界是如何运作的——比如重力如何将物体向下牵引，或者一个球是如何弹跳的。

但问题在于：它们是真的理解物理规则，还是仅仅非常擅长伪造？

这篇论文介绍了一个名为 Morpheus 的新测试，用来查明真相。你可以把 Morpheus 不仅仅看作是一个艺术评论家，而是一个 物理侦探。

问题所在：“看起来很美”的陷阱

以前，为了检查一段视频是否“真实”，人们只是询问人类或 AI 聊天机器人：“这个球掉落的样子看起来真实吗？”

缺陷： 这就像是通过询问“兔子看起来是不是真的出现了”来评判一个魔术。兔子可能确实出现了，但它可能是一个用纸做的假兔子。
问题： 一个视频可以看起来流畅且精美（审美），但仍然违反了物理定律（例如，球在没有推力的情况下向上滚动，或者球在不该失去能量的时候失去了能量）。目前的测试往往会错过这些细微的错误，因为它们只关注“图像”，而不关注“数学”。

解决方案：Morpheus 测试

作者建立了一个包含 130 个真实世界实验 的实验室（如掉落球体、滚动罐头、摆动单摆和弹跳物体）。他们是在一个受控的房间内精心拍摄了这些实验。

然后，他们要求视频 AI 模型根据第一帧或文本描述来重现这些视频。

Morpheus 不仅仅是问“它看起来真实吗？”，而是问：“数学逻辑成立吗？”

以下是该测试的工作原理，使用了一个简单的类比：

1. “轨迹”（路径）

想象一个球在下落。在现实世界中，重力以一种非常特定的曲线将其向下牵引。

旧方法： 将 AI 的球路径与真实球路径进行逐像素对比。
Morpheus 方法： 这太严苛了。如果 AI 的球稍微重一点，或者风向稍微不同，路径会发生变化，但它仍然是一个符合物理规律的路径。Morppheus 并不关心路径是否完全一致，它关心的是路径是否遵循规则。

2. “PINN”（物理老师）

论文使用了一种特殊的 AI 工具，称为物理信息神经网络（PINN）。你可以把它想象成一位熟记运动定律的严厉物理老师。

老师观察 AI 的视频，并尝试将球的运动拟合到牛顿定律（如 $F=ma$）中。
如果球的运动违反了重力或能量守恒定律，老师就会给它差评。
如果运动完美遵循定律，老师就会给它 A+。

3. “守恒”（能量银行）

在现实世界中，能量就像银行账户里的钱。你不能凭空创造或毁灭它，你只能移动它（例如，从高度转化为速度）。

Morpheus 会检查 AI 视频的“银行账户”。
真实视频： 总能量保持不变（或由于摩擦力而略微减少，这属于正常现象）。
AI 视频： 经常会出现“银行账户”失控的情况。球可能会凭空获得能量，或者能量流失得过快。Morpheus 能瞬间捕捉到这一点。

他们发现了什么？

研究结果给 AI 社区带来了一次现实的警示：

“美丽的谎言”： 即便是最先进的 AI 模型（如 Veo3 和 Kling），也能制作出极其精美且流畅的视频。
物理失败： 然而，当 Morpheus 检查数学逻辑时，几乎所有的模型都失败了。
- 它们难以保持能量恒定。
- 它们经常让物体消失、自我复制，或者在应该滚动时突然停止运动。
- 即使给它一段真实的球下落视频作为起始，AI 也无法根据物理规律正确预测接下来的几秒钟。

“提示词”的力量加持

研究人员尝试给予 AI 更好的指令（提示词），并展示更多的帧（不仅仅是开头，还有结尾）。

结果： 这确实有一点帮助。如果你向 AI 展示视频的开头和结尾，它在猜测中间过程时表现得更好。但即便有了最好的帮助，这些模型仍然无法达到现实世界的物理准确度。

核心结论

论文得出结论：虽然这些 AI 模型是非常出色的艺术家，但目前它们却是糟糕的物理学家。它们可以画出一幅完美的苹果坠落图，但它们并不真正理解苹果为什么会落下，或者应该落下多快。

在它们通过 Morpheus 测试之前，我们无法信任它们成为自动驾驶汽车或机器人等领域的“世界模型”，因为在这些领域，理解真实的物理规律关乎安全，而不仅仅是艺术。

简而言之： AI 非常擅长伪造现实的“外观”，但它尚未学会现实的“规则”。

技术摘要：评估视频生成模型中的牛顿力学与真实物理系统

问题陈述

近期的视频生成模型（VGMs），如 SORA、COSMOS 和 Veo3，已实现了前所未有的视觉逼真度，引发了人们对其作为能够理解并预测物理动力学的“世界模型”潜力的关注。然而，目前的评估范式过度依赖于主观的人类判断、视觉语言模型（VLM）评估或针对地面真值（ground truth）的轨迹匹配。这些方法存在显著局限性：

主观性： 人类和 VLM 评估是定性的且容易产生幻觉，往往无法检测出细微的物理定律违背（例如，错误的质量分布或力耦合），同时会奖励那些视觉上看似合理但物理上错误的运动。
轨迹匹配的歧义性： 将生成的轨迹与单一的地面真值轨迹进行比较在物理上是具有歧义的。多种不同的初始条件（例如，变化的质量或摩擦力）可以产生不同但同样有效的物理轨迹。轨迹匹配指标往往会惩罚那些仅仅是偏离了特定参考路径但符合物理规律的有效物理实现。
缺乏定量物理推理： 现有的基准测试侧重于感知指标（视觉连贯性、时间一致性），而非遵循控制物理方程和守恒定律。

因此，在量化评估 VGMs 究竟是真正编码了牛顿力学，还是仅仅模仿了物理运动的外观方面，存在一个关键的空白。

方法论：Morpheus 框架

为了解决这些差距，作者引入了 Morpheus，这是一个物理信息驱动的评估框架，旨在测量 VGMs 在受控刚体设置中理解牛顿动力学的能力。该框架由三个核心部分组成：

1. 数据集与条件设定

真实世界数据： 作者策划了一个包含约 130 个真实世界视频的数据集，捕捉了九种不同的物理现象：自由落体、抛体运动、滚动、滑动、单摆、双摆、弹跳、碰撞和弹簧振荡。
受控条件： 实验在受控条件下进行，以隔离特定的物理定律（例如，能量守恒、动量守恒、周期运动）。
数据增强： 为了确保对特定视觉设置的鲁棒性，数据集使用通过物体掩码引导的风格迁移（Cosmos-Transfer1）进行了增强。这创造了多样的视觉变体，同时保留了底层的物理动力学，将条件场景扩展了十倍。
提示策略： 该框架在三种条件水平下评估模型：文本提示、单图像提示和多帧（视频）提示，以评估输入精度如何影响物理保真度。

2. 轨迹提取与预处理

分割： 使用 SAM-2（Segment Anything 2）和用于深度验证的 Depth Anything 来提取物体掩码。
状态估计： 通过追踪质心来生成 2D 轨迹。使用中心差分法估计速度和加速度，随后使用 Savitzky-Golay 平滑和滑动窗口内的线性回归来减少由于追踪缺陷产生的噪声。
过滤： 计算丢弃率指标，以过滤掉出现物体消失、重复或运动不足的视频，确保仅对有效的轨迹进行评分。

3. 物理信息驱动的评估指标

Morpheus 超越了像素级比较，转而评估对物理不变性和控制方程的遵循程度：

动力学得分（Dynamical Score）： 利用物理信息神经网络（PINNs）将提取的轨迹拟合到特定物理系统的已知常微分方程（ODEs）上（例如，自由落体为 $\ddot{y} + g = 0$ ）。该得分源自 PINN 学习到的轨迹与数据之间的归一化均方误差（NMSE），并经过尺度不变性归一化。
物理不变性得分（Physical Invariance Score）： 量化守恒量（如总能量、角动量、振荡周期）随时间变化的稳定性。得分基于这些不变性的标准差计算；完美得分为 1.0（表示恒定守恒），高方差则表示违反了物理定律。

核心贡献

Morpheus 框架： 引入了一个系统化、可解释且定量的评估框架，该框架利用物理信息神经网络和守恒定律来评估 VGMs，超越了主观或纯几何指标。
全面的基准测试： 对最先进的模型（包括闭源模型如 Veo3、Kling 和 COSMOS，以及开源模型如 Wan2.1、CogVideoX 和 LTX-Video）在多种牛顿场景下进行了大规模评估。
关于物理保真度的实证发现： 研究揭示了视觉真实感与物理正确性之间存在实质性的脱节。即使是表现最好的模型，在生成美观的视频时，也难以准确编码牛顿力学。
条件分析与失效模式： 论文证明，与单图像提示相比，多帧和关键帧条件显著提高了物理一致性。此外，它还识别了当前模型中普遍存在的特定失效模式，如“静止”（物体未能运动）和物体幻觉（重复/消失）。

实验结果

性能差距： 真实世界视频获得了接近完美的得分（动力学得分：0.96–0.99；不变性得分：≥0.90）。相比之下，表现最好的 VGMs 综合得分仅约为 0.66，凸显了物理推理能力的巨大差距。
条件的影响：
- 关键帧插值： 以起始帧和结束帧为条件的模型（例如，Wan2.1 Keyframe）表现最好，获得了最高的综合得分和最低的丢弃率。定义边界条件有效地约束了生成空间。
- 多帧 vs. 单帧： 多帧条件优于单帧外推，因为时间上下文有助于推断在静态图像中具有歧义的速度和加速度。
- 单帧局限性： 即便是顶级的闭源模型，在单图像外推方面也表现挣扎，通常会导致较高的丢弃率，表现为静态或不规则的运动。
模型比较： 开源模型如 Wan2.1（配合关键帧条件）和 Cosmos-Predict2 与 Veo3 和 Kling-2.5 等专有模型相比具有竞争力，有时甚至能超越它们，这表明物理推理能力取决于架构和条件策略，而非仅仅取决于模型规模或专有数据。
VLM 评估失效： 论文证明，强大的 VLM 评估器（例如 VideoPHY2-AUTOEVAL）无法可靠地区分真实物理与生成的物理。它们经常会对干净的真实世界录像给出低分（幻觉出违反行为），并奖励违反特定物理定律的生成视频，从而证实了使用物理信息指标而非基于 VLM 判断的必要性。

意义与主张

本文声称，Morpheus 为实现向具身智能和机器人技术所需的“世界模型”迈出了必要的一步。作者认为，虽然视觉逼真度有所提高，但目前的模型在精确编码牛顿力学方面仍远未达到足以被信任为物理交互模拟器的程度。

这项工作的意义在于它从感知评估转向了定量物理验证。通过确立当前的模型即使在简单的刚体场景下也无法遵守基本的守恒定律（能量、动量），本文强调了在没有进一步架构或训练创新之前，将 VGMs 视为世界模型的局限性。该框架提供了一种可复现的物理定律压力测试，为研究能够实现可靠物理推理的模型奠定了坚实的基础。