Inference-time Physics Alignment of Video Generative Models with Latent World Models

该论文提出了一种名为 WMReward 的推理时对齐方法，通过利用潜在世界模型（VJEPA-2）作为奖励来引导视频生成轨迹，显著提升了生成视频的物理合理性，并在 ICCV 2025 物理智能挑战赛中以 62.64% 的得分夺得冠军。

要点

这篇论文讲述了一个关于如何让 AI 生成的视频更符合物理常识的故事。

想象一下，现在的 AI 视频生成模型（比如 Sora 或 MAGI）就像是一个才华横溢但缺乏常识的“超级画家”。它能画出非常漂亮、色彩斑斓的视频，但有时候会犯一些很离谱的错误：比如让球在平地上突然向上飞，或者让两个物体互相穿透而不发生碰撞。虽然画面很美，但违背了我们要的“物理定律”。

这篇论文提出了一种聪明的方法，不需要重新训练这个“画家”，而是在它画画的过程中（推理阶段），给它配了一位**“物理学家导师”**来实时指导。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心问题：画得美，但“不科学”

目前的 AI 视频模型主要是在学习“怎么把像素拼得好看”，而不是“物体在现实中是怎么运动的”。

• 比喻：这就像让一个从未见过真实世界的画家去画“苹果落地”。他可能画得很美，但苹果可能会像羽毛一样飘，或者穿过桌子。

2. 解决方案：引入“物理学家导师” (WMReward)

作者没有选择让 AI 重新学习物理（这很慢且很难），而是引入了一个已经懂物理的模型，叫做 VJEPA-2（一种“潜在世界模型”）。

• 比喻：
  • AI 画家：正在挥毫泼墨，生成视频的每一帧。
  • 物理学家导师 (VJEPA-2)：坐在旁边，手里拿着一个“物理规则手册”。它不看画面的颜色美不美，只看**“这个动作符合物理规律吗？”**
  • WMReward (奖励机制)：这是导师给画家的“打分系统”。如果画家画的动作符合物理（比如球落地反弹），导师就给高分（奖励）；如果画错了（比如球穿墙），导师就给低分（惩罚/惊讶）。

3. 具体做法：如何“指导”画家？

作者设计了两种主要的方法来利用这位导师：

方法 A：多画几张，挑最好的 (Best-of-N / BoN)

• 比喻：让画家一次性画 16 张 不同的草图（比如让球以不同的轨迹落地）。然后，让“物理学家导师”快速检查这 16 张图，选出最符合物理规律的那一张作为最终作品。
• 效果：就像你买彩票，多买几张中奖概率就大。这里就是多生成几个视频片段，挑物理最合理的那个。

方法 B：边画边改 (Guidance / ∇)

• 比喻：画家在画的过程中，导师会实时在他耳边说：“嘿，这个球往左飞太假了，往右一点！”画家根据这个反馈，实时调整笔触，让轨迹变得更自然。
• 效果：这是一种更精细的引导，让生成的视频从一开始就朝着“物理正确”的方向走。

终极必杀技：∇ + BoN

• 比喻：既让导师实时指导画家调整笔触，又让画家多画几张，最后再从中挑出最好的。这是“双重保险”，效果最好。

4. 为什么这个方法很厉害？

• 不需要重新训练：就像给一个已经毕业的学生请个家教，而不是让他重新上小学。这大大节省了时间和算力。
• 效果惊人：在著名的 PhysicsIQ（物理智商）测试中，他们的方法让 AI 的得分从之前的水平直接提升到了 62.64%，拿到了第一名，比之前的最好成绩高出了 7 个多百分点。
• 人类也认可：在人工测试中，人们明显更喜欢这些符合物理规律的视频，觉得它们看起来更真实、更流畅。

5. 总结与意义

这篇论文的核心思想是：与其让 AI 笨拙地重新学习物理，不如在 AI 生成视频时，给它装上一个“物理导航仪”。

• 以前：AI 闭着眼睛瞎画，偶尔蒙对。
• 现在：AI 睁着眼睛，旁边有个懂物理的专家实时打分和引导，确保画出来的东西既好看又符合现实世界的逻辑。

这项技术不仅能让 AI 生成的视频更逼真，对于机器人训练（让机器人看懂物理世界）和自动驾驶（预测车辆行为）等需要严格物理逻辑的领域，都有着巨大的应用前景。简单来说，就是让 AI 从“只会画画”进化到了“懂物理的艺术家”。

技术摘要

这是一篇关于利用潜在世界模型（Latent World Models）在推理阶段（Inference-time）对齐视频生成模型，以提升其物理合理性（Physics Plausibility的学术论文。论文提出了名为 WMReward 的方法，并在多个基准测试中取得了显著成果。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状： 最先进的视频生成模型（如 Sora, MAGI-1, Wan 等）在视觉质量上表现优异，但生成的视频经常违反基本的物理原理（如物体碰撞、流体运动、重力等），导致物理上不可信。
• 现有归因与局限： 以往研究通常将这种缺陷归咎于预训练阶段缺乏物理知识，因此试图通过注入物理信息来改进预训练或微调。然而，这类方法计算成本高昂且需要重新训练。
• 核心发现： 作者发现，物理合理性的不足部分源于次优的推理策略。现有的推理方法未能有效利用生成模型流形（Manifold）中可能存在的物理合理样本。
• 目标： 在不重新训练生成模型的前提下，通过推理阶段的对齐（Inference-time Alignment），利用具有强物理先验的模型作为奖励信号，引导生成过程，从而提升视频的物理合理性。

2. 方法论 (Methodology: WMReward)

论文提出了一种名为 WMReward 的推理时对齐框架，核心思想是将物理合理性建模问题转化为基于奖励的采样问题。

2.1 核心组件：潜在世界模型 (Latent World Model)

• 模型选择： 使用 VJEPA-2（一种基于联合嵌入预测架构的潜在世界模型）。
• 原理： VJEPA-2 在压缩的潜在空间（Latent Space）中学习视频帧的转换函数，而非像素空间。这使其能够忽略表面视觉细节，专注于物体动力学、运动轨迹连续性和物体持久性等核心物理属性。
• 奖励信号设计 (Surprise Score)：
  • 利用 VJEPA-2 的**预测惊讶度（Surprise Score）**作为奖励函数。
  • 机制： 将生成的视频分为“上下文帧”（Context）和“未来帧”（Future）。VJEPA-2 仅根据上下文帧预测未来帧的潜在表示，然后与生成的实际未来帧的潜在表示进行对比。
  • 计算： 计算预测表示与真实生成表示之间的余弦相似度。如果生成视频符合物理规律，VJEPA-2 的预测应准确（惊讶度低，相似度高）；反之，如果违反物理规律，预测偏差大（惊讶度高）。
  • 公式： 奖励 $r(x)$ 定义为 $1 - \cos(\hat{z}_{fut}, z_{fut})$，即预测误差的度量。

2.2 推理时采样策略 (Sampling Schemes)

为了从经过奖励加权的倾斜分布 $p^*(x) \propto w(x)p(x)$ 中采样，论文探索了三种策略：

1. 引导采样 (Guidance, $\nabla$)：
   • 利用奖励函数的可微性，计算梯度 $\nabla r(x)$。
   • 在去噪过程中，将奖励梯度作为额外的引导信号，调整去噪轨迹，使其向高奖励区域偏移。
2. 最佳 N 选 (Best-of-N, BoN)：
   • 并行生成 $N$ 个独立样本，根据 WMReward 分数选择得分最高的一个。
   • 这是一种无梯度（Gradient-free）的搜索方法。
3. 组合策略 ($\nabla$ + BoN)：
   • 结合上述两者：先使用引导采样生成 $N$ 个样本，再从中选择最佳者。
   • 优势： 引导采样提高了高奖励样本出现的概率，BoN 进一步过滤掉近似误差，实现了更强的缩放效应（Scaling Effect）。

3. 主要贡献 (Key Contributions)

1. 提出 WMReward： 首次将潜在世界模型（VJEPA-2）的预测惊讶度重新定义为视频生成的物理合理性奖励模型，无需微调生成模型。
2. 揭示缩放规律： 证明了通过增加推理时的计算预算（即增加搜索粒子数 $N$ 或使用引导），可以显著提升物理合理性，且性能随搜索空间扩大而稳定增长。
3. SOTA 性能突破： 在极具挑战性的 PhysicsIQ 基准测试中，将物理合理性得分提升至 62.64%（ICCV 2025 竞赛第一名），超越了之前的 SOTA 模型 7.42%。
4. 通用性与验证： 该方法在图像条件（I2V）、多帧条件（V2V）和文本条件（T2V）下均有效，并通过人类偏好研究验证了其在物理合理性、视觉质量和提示词对齐上的综合提升。

4. 实验结果 (Results)

• 基准测试 (PhysicsIQ & VideoPhy)：
  • I2V (图像转视频)： 在 MAGI-1 模型上，WMReward 将 PhysicsIQ 得分从 29.77 提升至 36.28 (+6.51)。
  • V2V (视频转视频)： 在 MAGI-1 模型上，得分从 55.22 提升至 62.00 (+6.78)。
  • T2V (文本转视频)： 在 VideoPhy 数据集上，物理一致性（PC）得分显著提升，超越了所有基线模型。
  • 对比实验： WMReward 显著优于基于像素重建误差（VideoMAE）和基于视觉语言模型（VLM, 如 Qwen-VL）的奖励信号。VLM 在物理判断上表现接近随机猜测，而潜在世界模型表现优异。
• 人类偏好研究：
  • 在物理合理性、视觉质量和提示词对齐三个维度上，WMReward 生成的视频在人类评估中获胜率（Win Rate）均有显著提升（物理合理性提升最明显，约 11.4% 的胜率提升）。
• 计算成本与扩展性：
  • 虽然增加了推理时间（BoN 策略时间随粒子数 $N$ 线性增加），但内存开销可控。
  • 随着粒子数 $N$ 从 1 增加到 16，PhysicsIQ 得分持续上升，且分布向高分区集中，证明了计算预算投入的有效性。
• 视觉质量： 使用 VBench 评估发现，物理合理性的提升并未损害视觉质量，反而在运动平滑度、时间闪烁抑制等方面有所改善。

5. 意义与展望 (Significance)

• 范式转变： 该工作证明了**推理时对齐（Inference-time Alignment）**是解决视频生成物理缺陷的有效途径，无需昂贵的重新训练。
• 世界模型的价值： 验证了潜在世界模型（如 VJEPA）作为物理理解代理（Proxy）的优越性，其潜在空间表示比像素空间或纯文本逻辑更能捕捉物理规律。
• 应用前景： 对于机器人学习、自动驾驶模拟、科学可视化等对物理真实性要求极高的下游应用，该方法提供了一种低成本、高性能的优化方案。
• 未来方向： 改进奖励模型以覆盖更多物理现象（如材质、摩擦力），以及开发更高效的搜索算法以平衡计算成本与性能。

总结： 论文通过巧妙利用 VJEPA-2 的“预测惊讶度”作为奖励信号，结合引导采样和最佳 N 选策略，成功地在推理阶段“校准”了视频生成模型，使其生成的视频更符合现实世界的物理定律，并在权威基准测试中刷新了记录。