Out of Sight, Out of Mind? Evaluating State Evolution in Video World Models

1. 研究背景与核心问题 (Problem)

核心问题：
当前的视频生成模型（被称为“世界模型”）通常通过合成 2D 帧来模拟世界。然而，现实世界的物理演化（如水流注满杯子、冰块融化、物体燃烧）是独立于观察的。即使物体被遮挡或摄像机移开，状态演化仍应继续发生。
目前的视频世界模型是否存在**“观察依赖”**的缺陷？即当观察中断（Occlusion）或摄像机移开（Lookaway）时，模型是否停止了状态演化，或者在观察恢复后无法保持物理合理性和场景连贯性？

现有基准的局限性：
现有的基准测试（如物理常识、一致性、记忆基准）大多关注全观察下的物理正确性或静态场景的一致性，缺乏对**“非全观察下的状态演化”**（State Evolution under Interrupted Observation）的系统性评估。

---

2. 方法论：StEvo-Bench (Methodology)

作者提出了 StEvo-Bench，这是一个专门用于评估视频世界模型能否将“状态演化”与“观察”解耦的基准测试。

2.1 任务构建 (Task Construction)

• 规模与类别： 包含 225 个独特任务，涵盖 6 类自然发生的演化过程：
  1. 连续过程 (Continuous process, e.g., 倒水)
  2. 运动学 (Kinematics, e.g., 多米诺骨牌)
  3. 关系变化 (Relational change)
  4. 因果变化 (Causal change)
  5. 状态转换 (State transformation, e.g., 冰块融化)
  6. 预期的人/动物行为 (Expected human & animal behavior)
• 输入控制： 每个任务由初始图像和文本提示组成，包含两个控制指令：
  1. 动作控制 (Action Control)： 启动演化过程（如“手倾斜水壶”）。
  2. 观察控制 (Observation Control)： 在演化过程中中断观察。
     • 通用视频模型： 通过文本指令在场景中添加遮挡物（如放下窗帘、放入纸板）或关闭灯光。
     • 摄像机控制模型： 指定摄像机轨迹，使主体移出画面（如“向右转 30 度”），然后再转回。

2.2 评估指标与自动验证器 (Evaluation Criteria & Verifiers)

为了自动评估生成视频，作者构建了基于 VLM（视觉语言模型，Gemini 3.1 Pro）的专家验证器流水线。评估分为两个阶段：

1. 控制成功 (Control Success)：

   • 观察控制验证器： 确认主体是否在演化期间被完全遮挡/移出画面。
   • 动作控制验证器： 确认启动动作是否发生并产生了预期的物理效应。
   • 注：控制失败的任务会被排除，不进入后续演化评估。

2. 演化成功 (Evolution Success)： 在控制成功的前提下，评估三个核心维度：

   • 状态进展 (State Progress)： 在遮挡/移开期间，预期的状态变化是否持续发生？（例如：水是否继续上升？）
   • 物理合理性 (Physical Plausibility)： 演化过程是否符合物理定律？（例如：物体是否穿透、重力是否异常、因果是否倒置）。
   • 连贯性 (Coherence)： 观察恢复后，场景和物体是否保持时间一致性？（例如：物体是否消失、突变、 teleport 或材质改变）。

---

3. 主要贡献 (Key Contributions)

1. 提出 StEvo-Bench： 首个专门评估视频世界模型在非全观察条件下状态演化能力的基准测试。
2. 构建自动验证器体系： 开发了基于 VLM 的专家验证器，能够自动检测并解耦多种失败模式（如演化停止、物理错误、连贯性丢失），解决了人工评估的主观性和低效问题。
3. 揭示现有模型的深层缺陷： 通过定量分析，揭示了当前最先进的视频世界模型在“状态演化”与“观察”解耦方面的严重不足，并指出了数据偏差和架构设计的潜在问题。

---

4. 实验结果与发现 (Results & Findings)

作者评估了包括 Veo 3, Sora 2 Pro, Genie 3, HunyuanWorld 等在内的多种通用视频模型和摄像机控制模型。

核心发现：

1. 普遍难以解耦观察与演化：

   • 无论是通用视频模型还是摄像机控制模型，在观察中断情况下的状态演化成功率均低于 10%。
   • 通用模型（如 Veo 3）虽然偶尔能继续演化（进展率约 17%），但常伴随连贯性和物理合理性的崩溃。
   • 摄像机控制模型的表现更差，状态进展率普遍低于 5%。

2. 两大主要失败模式：

   • 演化停止 (Evolution Stopping)： 当观察被遮挡（如关灯、放纸板）时，模型倾向于让物理过程“冻结”。例如，充气床垫在关灯后停止漏气，水在遮挡后停止流动。
   • 连贯性丧失 (Incoherence)： 当遮挡物移除或摄像机转回时，物体状态发生突变。例如，方形海绵变成圆形，或物体位置/材质发生无理由改变。

3. 摄像机控制模型的“静态偏见” (Static Scene Bias)：

   • 摄像机控制模型在尝试演化状态时，往往倾向于保持场景静态，忽略摄像机的移动指令；或者在摄像机移动时，完全冻结场景动态。
   • 动态与控制的互斥： 当模型成功生成动态演化时，往往无法正确执行摄像机控制指令（即“演化”和“运镜”难以同时发生）。

4. 记忆模块的局限性：

   • 引入记忆模块（如 VMem）的模型虽然能更准确地“记住”初始帧的外观，但并未帮助模型更好地模拟状态演化。相反，它们表现出更强的静态场景偏见，倾向于“原样回忆”而非“推演变化”。

数据偏差分析：

作者推测，这些失败源于训练数据的偏差：

• 摄像机控制模型多基于静态场景的渲染视频训练（如 3D Gaussian Splat 渲染），导致模型将“摄像机移动”与“静态场景”强关联。
• 通用视频数据集中缺乏丰富的、被遮挡的物理演化过程。

---

5. 意义与展望 (Significance)

• 重新定义世界模型： 真正的“世界模型”不应仅仅是像素生成器，而应具备独立于观察的内在状态演化能力。StEvo-Bench 为衡量这一能力提供了标准。
• 指导未来架构设计： 研究结果表明，简单的双向注意力机制（All-to-all attention）在处理遮挡帧时效率低下，因为遮挡帧不包含状态演化信息。未来的架构需要设计更高效的机制来处理“不可见状态”的推理。
• 推动具身智能 (Embodied AI)： 对于需要在真实世界中交互的机器人或智能体，理解“看不见的过程”至关重要。StEvo-Bench 揭示了当前模型在长视界（Long-horizon）交互中的根本性缺陷，为改进训练数据策略（如引入遮挡中断的动态数据）和架构设计指明了方向。

总结： 该论文通过 StEvo-Bench 证明了当前的视频世界模型在“视而不见”时往往会“心不在焉”（停止演化或产生幻觉），揭示了从“像素生成”迈向真正的“世界模拟”之间存在的巨大鸿沟。