💻 computer science

PhysAgent: Reflective Agentic Physics Control for Physically Plausible Video Generation

PhysAgent 引入了一种反思性智能体框架，通过迭代地生成、模拟、验证和修复物理程序，以克服单次预测的局限性，从而实现创建具有复杂动力学和交互作用、更符合物理真实感且符合提示词要求的视频。

原作者： Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在看一部电影：一个球从桌子上滚落，撞到一个杯子，并把它撞倒了。在现实生活中，物理学是确保球不会飘走、杯子不会变成果冻、且时机感正确的“隐形规则手册”。长期以来，试图制作这些视频的计算机就像是那些擅长绘画但极不擅长数学的艺术家。它们可以让球看起来像是在滚动，但如果你要求它们让球以特定的角度撞击或以正确的力度弹跳，它们往往会出错。球可能会穿过桌面，或者杯子本该只是滚开却碎裂了。这是因为计算机是在一次性的大跨步中去“猜测”整个场景，而没有在电影开始前真正“检查”物理定律是否成立。

这篇论文通过引入一种新方法来教计算机如何成为更好的物理导演，从而解决了这个问题。计算机不再仅仅是猜测，而是像实验室里的科学家一样。它构建一个场景的数字模型，运行快速测试以观察结果，检查结果是否符合用户的要求，然后在制作最终视频之前修正其错误。这就像是一个厨师，不是把食材扔进锅里然后祈祷味道好，而是先尝一尝汤，意识到需要加盐，加一点盐，再尝一遍，然后再端上桌。目标是让视频不仅看起来精美，而且遵循现实世界运动和碰撞的严格、隐形的规则。

“PhysAgent”侦探

这篇论文的作者是来自上海交通大学和卡迪夫大学的一个团队，他们构建了一个名为 PhysAgent 的系统。把 PhysAgent 想象成一个非常执着、具有反思能力的机器人导演。当你给它一张图片（比如保龄球馆）和一个指令（比如“让球撞击正确的球瓶”）时，它不会立即开始拍摄。相反，它进入了一个尝试、检查、修复的循环。

以下是该过程的逐步运作方式：

第一次猜测： 机器人观察你的图片和指令。它尝试构建一个场景的数字版本，并编写一份物理“剧本”。这个剧本告诉计算机诸如：“球的初始速度为 0.5m/s”、“球瓶由木头制成”以及“力作用于此处”等信息。
模拟（试运行）： 在制作精美的视频之前，机器人会运行一个快速、粗略的模拟。这就像是一场排练。它观察数字球的滚动和数字球瓶的飞舞。
现实检查： 机器人将这次排练与你的原始指令进行对比。球撞到正确的球瓶了吗？南瓜掉在凳子上时，凳子碎了吗？如果答案是“否”，机器人不会就此放弃。它表现得像个侦探。它会问：“为什么失败了？”
- 例子： 如果球撞错了球瓶，机器人可能会意识到：“噢，我把力的方向往左偏了。”
- 例子： 如果南瓜没把凳子撞坏，它可能会说：“凳子太坚固了，或者南瓜不够重。”
修复： 机器人随后编辑它的剧本。它可能会改变力的方向为 [0.6, 1.0, 0]，或者将速度增加到 0.8m/s。它不会重写整个电影，而只修复出错的具体部分。
重复： 它再次运行测试。如果通过了，太棒了！如果没有，它会再次修复。这个循环可以多达 10 次，直到模拟达到完美。

为什么“单次”猜测会失败

论文强烈反对过去那种被称为“单次预测”（one-shot prediction）的做法。过去，AI 模型试图在瞬间猜出所有的物理规则。作者发现这种方法是“脆弱的”（brittle），意味着它很容易崩溃。

想象一下，试图通过猜测每一张牌的位置来在一秒钟内搭好一座纸牌屋。如果你第一张牌就放歪了，整座塔就会倒塌。同样，如果 AI 在第一次尝试时对物体的重量或推力的方向猜错了，整个视频就会变得不符合物理常理。论文表明，由于这些因素（重量、速度、方向、材质）是紧密相连的，一个领域的微小错误就会毁掉整个结果。PhysAgent 通过将物理剧本视为一个必须经过测试和修订的“假设”，而非最终答案，解决了这个问题。

魔法工具包：语义 API

为了让这个修复过程变得更容易，研究人员给了机器人一套特殊的工具，称为 动作 API（Action APIs）。他们没有要求机器人执行复杂的数学计算，如“计算木材在混凝土上的摩擦系数”，而是给了它简单、类人的指令。

可以将这些指令看作机器人的工具包。与其说“施加一个 14 牛顿、角度为 30 度的矢量力”，机器人可以直接说：

“将球的速度设为 0.5m/s。”
“对南瓜施加一个力。”
“让凳子保持刚性。”
“将杯子固定在原处。”

这使得机器人变得更加聪明，不太容易犯愚蠢的数学错误。它让机器人能够专注于物理的“故事”（例如：“球应该滚下并落在杯子里”），而不是纠结于原始数字。

他们的发现

团队在 27 个不同的场景和 80 种不同的物理事件（如烟花在风中弯曲或圆环卡在玩具上）上测试了 PhysAgent。他们将自己的方法与其他顶尖的视频生成器和基于物理的 AI 进行了对比。

结果非常明确：

更好的物理效果： PhysAgent 产生的视频在物理合理性方面要高得多。在一项测试中，由一名评委（AI）判断视频是否合理，PhysAgent 得分 0.714（满分 1.0），超过了排名第二的物理模型 RealWonder（得分为 0.631）。
人类偏好： 当真人被要求在不同视频之间做出选择时，他们选择 PhysAgent 视频的比例高达 73.4%（对比最强的通用视频生成器 Wan2.2），并且在对比其他基于物理的方法时，比例高达 93.6%。
循环的重要性： 当研究人员移除“修复”循环，让机器人仅进行单次猜测时，质量显著下降。这证明了“检查并修复”的能力才是其核心秘诀。

总结

这篇论文表明，未来制作逼真视频的关键不仅仅在于让画面看起来更漂亮，更在于让计算机“理解”世界是如何运作的。通过让 AI 运行模拟、检查自己的工作并修复错误，PhysAgent 可以创造出物体碰撞、破碎和弹跳都完全符合逻辑的视频。它将混乱的视频生成过程转变为一个细致、循序渐进的实验，确保当你看到屏幕上的球撞向杯子时，感觉就像真的发生在你的客厅里一样。

技术摘要：用于物理合理视频生成的反射式智能体物理控制

问题陈述

近期的视频生成技术已在视觉保真度和时间连贯性方面取得了显著进展，但它们经常无法产生物理合理的动力学（physically plausible dynamics）。模型生成的视频中经常出现物体在没有接触的情况下滑动、对力的响应方向错误，或忽略依赖于材质的行为（例如，刚体破碎或软体变形）。这种问题在图像到视频（image-to-video）生成中尤为突出，因为在这种场景下，模型必须根据用户指定的物理事件，将单张输入图像转化为合理的未来状态。

核心挑战在于对物理动力学的细粒度控制。现有的基于物理引导的方法试图通过视觉语言模型（VLM）在**单次传递（single pass）**中推断出结构化的模拟器规范（场景状态和事件参数）。然而，这种方法本质上是脆弱的，原因如下：

紧耦合因素： 规范涉及许多相互依赖的因素（物体定位、材料属性、力的大小、时机）。在孤立情况下看似合理的参数，在与其他参数结合时可能会导致整个模拟失败。
执行无关预测： 正确性无法仅从规范本身来确定；它必须通过执行来进行评估。单次传递预测缺乏在视频合成前检测并修复模拟失败的机制。

方法论：PhysAgent

作者提出了 PhysAgent，这是一个反射式智能体框架（reflective agentic framework），它将物理模拟控制视为一个闭环的、具备执行感知能力的流程，而非一次性的预测。该框架通过构建一个可执行的物理控制程序、对其进行模拟、验证结果并迭代修复失败来运行。

1. 框架架构

PhysAgent 由三个在循环中运行的主要组件组成：

程序生成器 ( $G$ )： 根据输入图像 $I$ $I$ 和事件提示词 $p$ $p$ 构建初始物理控制程序 $P = (S, E)$ $P = (S, E)$ 。
- 场景状态 ( $S$ )： 定义了被定位的物体、材料类型、密度、支撑几何结构和相机参数。
- 事件程序 ( $E$ )： 定义了目标物体、初始速度、作用力、力矩和时机。
验证器 ( $V$ )： 执行阶段特定的渐进式验证以隔离错误：
1. 场景重建验证： 检查 3D 场景（几何、物体位置、相机）是否与输入图像匹配。如果失败，则不调用模拟器。
2. 物理模拟验证： 在物理引擎中执行事件程序以生成一段诊断性短视频。验证器根据提示词检查轨迹正确性、接触时机、力方向和材料响应。
规划器 ( $P$ )： 如果验证失败，规划器会分析诊断结果和前几轮的记忆，以生成针对性的反馈 ( $F$ )。该反馈提出具体的修改建议（例如，“增加初始速度”、“改变力方向”、“修改材料”），而不是重新生成整个程序。

2. 语义物理控制 API

为了降低 VLM 直接预测底层模拟器命令带来的语法开销和脆弱性，作者设计了一套语义动作 API（semantic Action APIs）。事件程序被表示为高层算子的序列：

状态初始化： SetVelocity（设置速度）、SetAngularVelocity（设置角速度）。
驱动作用： ApplyForce（施加力）、ApplyTorque（施加力矩）、ApplyAngledForce（施加斜向力）。
扰动： ApplyDisturbance（施加扰动，如风）。
约束： SetPosition（设置位置）、SetOrientation（设置朝向）、FixObject（固定物体）。

这些 API 使智能体能够在运动和交互的层面进行物理事件推理，并仅在执行期间将其编译为具体的模拟器操作。

3. 反射循环

该过程遵循迭代优化调度：

生成： 创建初始程序。
验证： 检查场景重建。如果通过，则运行一段诊断性模拟。
诊断： 验证器识别特定失败（例如，“球滚出了桌子而不是撞击木桩”）。
修复： 规划器根据诊断结果更新程序（例如，将力向量从 [0.6, 1.0, 0] 调整为 [1.4, 1.0, 0]）。
重复： 循环持续进行，直到诊断性展开（rollout）通过或达到最大迭代预算。最终经过验证的展开过程将作为视频生成器的结构化运动先验。

核心贡献

执行感知表述： 本文将物理合理的视频生成重新定义为一个控制可执行物理程序的问题，而非预测静态参数。它将规范视为待测试和修订的假设。
反射式智能体框架： 引入了一个闭环系统，集成了基于 VLM 的生成、物理模拟、反射式验证和针对性的程序修复。这使得系统能够逐步实现复杂的轨迹和多阶段交互。
语义控制接口： 设计了一种物理控制 API，将低层数值命令抽象为具有表达力的、组合式的原语，从而提高了控制的灵活性和精炼效率。
渐进式验证： 采用阶段特定的验证策略，将重建错误与动力学错误分离，从而防止不必要的下游展开并实现针对性修复。

实验结果

作者在包含 27 个不同场景和 80 个事件案例（每个场景有多个事件以测试视觉一致性）的自定义基准测试上评估了 PhysAgent。

定量指标：
- PhysReal： 一个基于 GPT 的归一化评分，用于衡量物理合理性和提示词对齐度。PhysAgent 达到了 0.714，优于通用 TI2V 模型（如 Wan2.2 为 0.633）和基于物理的基线模型（如 PhysCtrl 为 0.579，PhysGen3D 为 0.480）。
- 视觉质量： 与大多数基线相比，PhysAgent 在视觉效果（Visuals, 0.644）、美学（Aesthetics, 0.521）和一致性（Consistency, 0.266）方面也获得了更高的分数，表明物理控制并未损害视觉保真度。
用户研究 (2AFC)： 在二选一强制选择研究中，PhysAgent 在三个标准上均优于所有基线模型：
- 动作遵循度： 70.2% – 92.4% 的偏好率。
- 视觉质量： 60.7% – 90.3% 的偏好率。
- 物理合理性： 66.5% – 93.6% 的偏好率。
消融实验：
- 移除反射循环（变为单次预测）导致 PhysReal 下降最明显（0.631），证实了迭代修复的必要性。
- 使用语义 API 代替低层参数会降低性能，并将平均精炼轮数从 3.63 增加到 5.74，证明了语义抽象提高了表达能力和效率。

重要性与主张

本文声称，执行感知的物理控制是可控视频生成的一个极具前景的方向，特别是对于需要精确接触时机、力方向、材料响应和多阶段交互的提示词。

作者强调，他们的方法超越了“单次”VLM 预测的局限性，因为由于物理因素的复杂耦合，单次预测往往无法将用户意图转化为可执行的模拟。通过将物理规范视为可以被模拟、诊断和修复的可执行假设，PhysAgent 实现了一种现有方法所缺乏的鲁棒性和细粒度控制。该框架证明，通过将场景状态与事件动力学分离并使用语义接口，智能体可以在不牺牲视觉连贯性的情况下处理复杂的物理场景。