💻 computer science

ProPhy: Progressive Physical Alignment for Dynamic World Simulation

本文提出了 ProPhy 框架，通过两阶段物理专家混合机制与物理对齐策略，实现了显式的物理感知条件化和各向异性生成，从而显著提升了视频生成模型在处理大规模或复杂动态时的物理一致性与真实感。

原作者： Zijun Wang, Panwen Hu, Jing Wang, Terry Jingchen Zhang, Yuhao Cheng, Long Chen, Yiqiang Yan, Zutao Jiang, Hanhui Li, Xiaodan Liang

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zijun Wang, Panwen Hu, Jing Wang, Terry Jingchen Zhang, Yuhao Cheng, Long Chen, Yiqiang Yan, Zutao Jiang, Hanhui Li, Xiaodan Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常有才华的**“虚拟电影导演”**（现在的 AI 视频生成模型）如何拍电影。

这个导演很擅长画漂亮的画面，人物长得像，风景也很美。但是，如果你让他拍一个“在雪地里生火煮咖啡”或者“篮球砸在沙滩上”的场景，他经常会犯一些违背物理常识的低级错误：

咖啡倒进杯子里，杯子却着火了；
篮球砸在沙滩上，沙子却纹丝不动，甚至违反重力飞上天；
两个球撞在一起，像鬼魂一样穿过去了，而不是弹开。

为什么会出现这种情况？因为以前的 AI 导演只是**“凭感觉”（隐式学习）去猜物理规律，或者只是“看整部片子”（视频级）来调整，缺乏对具体细节**的精准把控。

这篇论文提出的 ProPhy，就是给这位导演配备了一套**“物理专家顾问团”和一套“精细化的指挥系统”**。

核心比喻：从“凭感觉”到“专家会诊”

1. 以前的做法：只有一个“全能但模糊”的顾问

以前的模型就像一个**“通才”**。当你让他拍“煮咖啡”时，他脑子里只有一个模糊的“煮咖啡”概念。他不知道咖啡倒进去时液面会上升，也不知道火苗不能烧到杯子里的液体。他只能靠猜，结果经常猜错。

2. ProPhy 的做法：组建“物理专家团” (MoPE)

ProPhy 给导演请了一群**“物理专家”，并且分成了两个层级，像是一个“双层会诊系统”**：

第一层：语义专家（Semantic Experts）—— 负责“定大方向”
- 比喻：就像**“总导演”**。当你输入“在雪地里煮咖啡”时，总导演先分析这句话，识别出这里涉及“燃烧”、“液体流动”、“热传递”等几个大概念。
- 作用：他负责把正确的“物理剧本”（比如：火是热的，水是液态的）提取出来，告诉后面的团队：“注意，这里有火，那里有水，别搞混了！”
第二层：精修专家（Refinement Experts）—— 负责“抠细节”
- 比喻：就像**“现场特效师”。他们不只看整部电影，而是盯着每一个像素点（Token）**。
- 作用：他们知道，篮球砸在沙滩的那一瞬间，沙子应该飞溅；而篮球在空中的时候，沙子应该不动。以前的模型是“整段视频”一起处理，容易搞混；ProPhy 的专家能精准地告诉导演：“只有篮球接触地面的这几个像素点，需要‘沙子飞溅’的特效，其他地方的沙子保持安静。”

3. 核心创新：向“物理老师” (VLM) 偷师 (物理对齐)

这是 ProPhy 最聪明的地方。

问题：怎么让“精修专家”知道每个像素点该听谁的物理指令呢？
解决方案：作者找来了一个**“物理老师”**（也就是现在的多模态大模型，如 Qwen2.5-VL）。这个老师非常擅长看图说话，能精准地指出：“看，这个火苗在杯子上方，但没碰到咖啡；看，这个水花是因为球砸进去才溅起来的。”
偷师过程：ProPhy 让“精修专家”去模仿“物理老师”的注意力分布。
- 如果老师盯着“火苗”看，专家就学会关注火苗；
- 如果老师盯着“溅起的水花”看，专家就学会关注水花。
- 通过这种**“对齐”**，专家学会了像老师一样，精准地把物理规律应用到视频的每一个具体位置。

总结：ProPhy 带来了什么改变？

你可以把 ProPhy 想象成给 AI 导演装上了**“物理显微镜”和“专家导航仪”**：

不再“一刀切”：以前是整段视频用一套物理规则，现在是哪里需要物理规则，就在哪里激活对应的专家。
不再“瞎猜”：通过向“物理老师”学习，AI 知道**“火不能烧水”、“球撞墙会反弹”这些常识，并且知道在哪个像素点**发生这些现象。
结果：
- 以前：篮球砸地，沙子没动，甚至球穿地而过。
- 现在：篮球砸地，沙子精准飞溅，液面正常波动，完全符合现实世界的物理定律。

一句话总结：
ProPhy 不再让 AI 凭感觉“瞎蒙”物理现象，而是通过**“分层专家团”和“向物理老师偷师”的方法，让 AI 学会在视频的每一个微小细节**里，都严格遵守物理定律，从而生成真正像“世界模拟器”一样逼真的视频。

1. 研究背景与问题 (Problem)

尽管视频生成模型（如 Sora、CogVideoX 等）在视觉逼真度上取得了显著进展，但在构建能够模拟真实世界物理规律的“世界模拟器”方面仍存在巨大挑战。现有方法主要面临以下核心问题：

物理一致性不足：现有模型在处理大规模或复杂动态场景时，常违反基本物理定律（如重力、动量守恒、流体动力学等）。例如，物体可能穿透地面、液体流动不符合重力方向、或碰撞后动量不守恒。
隐式引导的局限性：大多数现有方法（如 VideoREPA, PhysMaster）依赖在训练过程中隐式地内化物理先验，缺乏推理阶段的显式物理引导。这导致模型在复杂场景下难以准确响应物理提示。
缺乏细粒度对齐：现有引入物理先验的方法（如 WISA）通常采用**视频级（Video-level）的粗粒度路由，将整段视频分配给某个专家。然而，同一视频中不同空间区域可能涉及不同的物理现象（如“燃烧”与“液体流动”同时存在）。粗粒度路由无法捕捉这种局部化（Localized）**的物理线索，导致物理感知分散，无法针对特定区域进行精确的物理建模。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 ProPhy 框架，其核心思想是显式注入可学习的物理先验，并通过渐进式物理对齐实现细粒度的各向异性生成。

2.1 总体架构

ProPhy 基于主流的视频扩散模型（VDMs，如 Wan2.1, CogVideoX），在原有的 Transformer 骨干网络基础上，引入了一个专用的物理分支（Physical Branch）。该分支包含两个关键模块，形成两阶段的混合专家（Mixture-of-Physics-Experts, MoPE）机制：

语义专家块 (Semantic Expert Block, SEB)：
- 层级：视频级（Video-level）。
- 功能：从文本提示中提取全局物理语义。它包含一组可学习的物理基础图（Physical Basis Maps），代表不同的物理知识维度。
- 机制：通过语义路由器（Semantic Router）根据文本提示动态激活最相关的物理专家，生成视频级的物理先验，并注入到潜在特征中。
细化专家块 (Refinement Expert Block, REB)：
- 层级：Token 级（Token-level）。
- 功能：对物理先验进行细粒度 refinement，捕捉具体的物理动态。
- 机制：包含多个线性层专家和一个细化路由器。路由器预测每个 Token 对应的物理定律，并选择 Top-k 专家为该 Token 提供物理先验。这使得模型能够对视频中的不同空间区域做出各向异性的物理响应。

2.2 物理对齐策略 (Physical Alignment Strategy)

为了训练细化专家（REB）具备细粒度的物理定位能力，作者提出了一种创新的物理对齐策略，利用视觉语言模型（VLM）作为教师模型：

动机：VLM（如 Qwen2.5-VL）在理解物理现象的空间分布上比生成模型更准确。
流程：
1. 利用 VLM 对视频中的特定物理现象（如“燃烧”）进行描述和定位。
2. 提取 VLM 生成的文本 Token 与视频视觉 Token 之间的注意力图（Attention Map），获得现象发生的粗略位置。
3. 通过查询背景描述并减去背景注意力图，得到Token 级的物理属性对齐目标。
4. 将细化路由器的输出分布与 VLM 生成的注意力分布进行对齐，从而将 VLM 的细粒度物理定位能力迁移到生成过程中。

2.3 损失函数

训练目标由四部分组成：

扩散损失 ( $L_{diffusion}$ )：标准的去噪重建损失。
语义对齐损失 ( $L_{coarse}$ )：在 SEB 阶段，通过对比学习使同一物理类别的视频具有相似的语义路由权重。
细粒度对齐损失 ( $L_{fine-align}$ )：在 REB 阶段，强制细化路由器的注意力分布与 VLM 提取的物理现象位置分布一致。
负载均衡损失 ( $L_{fine-balance}$ )：防止专家激活模式崩溃，确保不同专家被公平利用。

3. 主要贡献 (Key Contributions)

两阶段 MoPE 设计：提出了一种包含语义专家（SEB）和细化专家（REB）的两阶段混合专家机制。该设计能够分层提取和精炼物理先验，使模型能够更精确地捕捉特定物理规律并学习具有判别力的物理表征。
细粒度物理对齐策略：创新性地引入 VLM 作为监督信号，将 VLM 的空间理解能力迁移到生成模型的细化专家中。这使得模型能够学习 Token 级的物理先验，实现对局部物理现象的精准响应。
广泛的实验验证：在多个骨干网络（Wan2.1, CogVideoX）和基准测试（VideoPhy2, VBench）上进行了验证。结果表明，ProPhy 在保持高质量视觉生成的同时，显著提升了物理常识（PC）和语义遵循（SA）能力。

4. 实验结果 (Results)

基准测试 (VideoPhy2)：
- 在 CogVideoX-5B 基础上应用 ProPhy 后，在 Joint（物理常识与语义遵循的联合通过率）指标上提升了 19.7%，达到了 6.1 分（相比基线 5.0 分）。
- 在 HARD（高难度）子集上，ProPhy 表现出更强的语义一致性和物理行为忠实度，显著优于 WISA 和 VideoREPA 等现有 SOTA 方法。
视觉质量 (VBench)：
- ProPhy 在动态程度（Dynamic Degree）维度提升显著，证明其能更好地捕捉高动态物理行为。
- 综合质量分数（Quality Score）也优于基线模型，表明物理增强并未牺牲视觉质量。
定性分析：
- 在“铁球碰撞”场景中，ProPhy 正确模拟了动量守恒，而基线模型出现了穿透或动量不守恒的错误。
- 在“投掷铁饼”场景中，ProPhy 仅在铁饼触地时触发尘土飞扬，而基线模型错误地将尘土与轨迹耦合。
消融实验：
- 证明了物理分支（Physical Branch）比单纯的 LoRA 微调更有效。
- 证明了 SEB 和 REB 的组合优于单独使用，且相对距离损失（Relative Loss）和细粒度对齐损失缺一不可。

5. 意义与展望 (Significance)

迈向真实世界模拟器：ProPhy 通过显式建模和细粒度对齐，显著缩小了视频生成模型与真实物理世界模拟器之间的差距，使 AI 生成的视频在逻辑和物理上更加可信。
可解释性与可控性：研究发现，不同的专家确实编码了不同的物理先验（如燃烧、液体运动）。通过操纵路由器的 logits，可以人为控制特定物体的物理属性（如让刚性车门像布料一样飘动），这为未来的属性可控生成提供了新方向。
局限性：目前的物理现象标注仍包含噪声，且主要基于粗粒度的区域分类。未来工作计划将这种对齐区域与物理微分方程结合，以注入更具可解释性和原则性的物理知识。

总结：ProPhy 通过“显式先验注入”和“从粗到细的渐进式对齐”，成功解决了现有视频生成模型在复杂物理场景下表现不佳的问题，为构建高保真、物理一致的世界模拟器提供了新的技术路径。