🤖 AI

WorldRoamBench: An Open-World Benchmark for Long-Horizon Stability of Interactive World Models

本文介绍了 WorldRoamBench，这是一个新颖的开放世界基准测试，旨在从动作、视觉、物理和记忆四个关键维度，严格评估交互式世界模型的长程稳定性，并揭示了当前的先进模型在连续交互环境中仍难以实现可靠、具备物理依据且符合记忆忠实度的性能。

原作者： Ting-Bing Xu, Jiacheng Sui, Zhe Gao, Kewei Shi, Wenjin Yang, Zhicheng Liu, Zhaoxu Sun, Mingchao Sun, Hongyu Pan, Fan Jiang, Mu Xu, Qi Fan, Yong Li, Baoquan Chen

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ting-Bing Xu, Jiacheng Sui, Zhe Gao, Kewei Shi, Wenjin Yang, Zhicheng Liu, Zhaoxu Sun, Mingchao Sun, Hongyu Pan, Fan Jiang, Mu Xu, Qi Fan, Yong Li, Baoquan Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一款电子游戏，你可以通过按下键盘上的按键（W、A、S、D）来行走、转向和观察一个尚未存在的世界。这并不是一个预先制作好的地图，而是人工智能随着你的移动实时生成的场景。这被称为交互式世界模型（Interactive World Model）。

这篇论文介绍了一个新的“成绩单”，叫做 WorldRoamBench，用来测试这些 AI 世界在长时间（10 到 60 秒）游玩时的表现，而不仅仅是短短几秒钟。

以下是该论文如何使用简单的类比来拆解测试内容的：

1. 问题所在：“短片段”陷阱

以往的测试只观察 AI 几秒钟。这就像是通过观察运动员系鞋带来评判一名马拉松选手。AI 在 5 秒钟内可能看起来很完美，但随后它可能会开始出现故障、忘记自己身处何处，或者穿墙而过。WorldRoamBench 强制要求 AI 跑完整个马拉松，以观察它是否会崩溃。

2. 四项测试（“成绩单”）

该基准测试从四个特定的技能维度对 AI 进行检查：

A. 动作跟随能力：“听话的宠物”

测试内容： 你按下“前进”，AI 真的向前移动了吗？
旧方法： 以往的测试观察的是“整体路径”。如果按下“前进”后 AI 走出了剧烈的之字形路径，但最终到达了正确的位置，它仍会获得高分。
新方法： WorldRoamBench 会检查每一步。这就像是在检查狗是否在每次听到“坐下”指令时都真的坐下了，而不仅仅是看它最后是否停在了角落里。它揭示了 AI 是否在忽略你的按键指令，或者在改变方向的瞬间感到困惑。

B. 视觉质量：“褪色的照片”

测试内容： 世界是否保持清晰美观，还是会变成一片模糊的混沌？
旧方法： 它们计算平均质量。如果开头很漂亮，结尾很丑陋，平均值看起来可能仍然不错。
新方法： 它们寻找**“序列中期崩溃”（Mid-Sequence Collapse）**。想象一张照片，开始时很清晰，中间变得模糊，然后不知为何在结尾又变清晰了。旧的测试会漏掉这种模糊的中间过程。这项测试能捕捉到那种 AI 瞬间“失控”导致的“故障性下滑”。

C. 交互物理特性：“现实检查”

测试内容： 世界是否遵守物理定律？
旧方法： 它们大多忽略这一点，或者检查得非常宽松。
新方法： 它们测试三个具体方面：
- 机制（Mechanics）： 如果你撞向墙壁，你会停下来吗？还是会像幽灵一样穿墙而过？如果你掉落一个杯子，它会掉落吗？
- 光学（Optics）： 当你转身时，阴影是否正确移动？镜子里的反射看起来正确吗？
- 3D 一致性（3D Consistency）： 如果你走下一条长廊，墙壁是保持笔直，还是像哈哈镜一样扭曲变形？

D. 记忆力：“时间旅行者”

测试内容： 如果你走开一段距离再走回来，看到的还是同一棵树吗？
旧方法： 它们比较第一帧和最后一帧。但如果 AI 稍微偏离了路径，两帧就无法匹配，它们就会把这归咎于 AI 的记忆力问题，即便 AI 只是绕了一个略微不同的圈。
新方法： 它们使用 “3D 点云”（房间的数字地图）。它们检查房间的形状是否得到了保留，无论摄像机站在什么位置。
- 场景记忆（Scene Memory）： 我之前看到的建筑还在那里吗？
- 主体记忆（针对第三人称视角）： 如果我在观察一个角色，这个角色看起来还是同一个人，还是变成了一个模糊的团块或另一种动物？

3. 结果：“没有完美的玩家”

作者测试了超过 10 个不同的 AI 模型（包括开源模型和来自 Google、阿里巴巴等大科技公司的模型）。

重大发现： 没有任何一个模型能在所有方面都达到完美。
有些模型非常擅长遵循你的指令，但在物理特性方面表现糟糕（它们会穿墙而过）。
有些模型画面精美，但会忘记 10 秒前生成的内容。
有些模型物理特性很好，但当要求它们快速转向时会感到困惑。

4. 为什么这很重要

该论文认为，要构建一个真正沉浸式的、无限的世界（如“元宇宙”或高级电子游戏），我们不能仅仅拥有漂亮的图像。世界需要是稳定的（不出现故障）、符合物理规律的（遵守重力）并且是有记忆的（记得它所见到的东西）。

World-RoamBench 是第一个同时严谨检查所有这些要素的工具，它向我们展示了当前的 AI 在哪些地方失败了，从而让开发者知道下一步该修复什么。这不仅仅是为了让 AI 在通用意义上变得更“聪明”，而是为了让它成为一个更可靠、更一致且具有物理基础的虚拟世界。

技术摘要：WorldRoamBench

问题陈述

尽管能够响应用户输入（如 WASD 键）并生成逼真环境的交互式世界模型（IWMs）取得了快速进展，但现有的基准测试无法充分评估长程稳定性（long-horizon stability）。目前的评估方法存在四个关键局限性：

动作评估： 大多数基准测试依赖于从恢复的 3D 相机路径中导出的轨迹级指标（例如，相对位姿误差、绝对轨迹误差）。这些指标受跨模型语义尺度差异的影响（即不同模型对同一动作的理解在量级上存在巨大差异），并且可能掩盖单帧层面的失败（例如，模型忽略了一个按键，随后又进行了过度补偿）。
视觉稳定性： 现有的指标通常测量平均视觉质量，忽略了时间上的退化。自回归模型经常表现出非单调的质量崩溃（在序列中间出现漂移、模糊或结构崩溃），而仅对比起始与结束帧的方法会忽略这一现象。
交互物理特性： 当前的基准测试缺乏对主动控制下物理合理性的系统性评估，例如碰撞响应、穿模、重力以及光学一致性（反射/阴影）。
记忆一致性： 记忆通常通过假设动作执行完美的对称帧对比较来进行评估。实际上，累积漂移会导致“重访”帧在空间上偏离地面真值（ground truth），从而将动作跟随误差与记忆退化混淆在一起。

方法论

作者引入了 WorldRoamBench，这是一个旨在评估 IWMs 在多样化场景（自然、城市、室内）和视角（第一人称视角 - FPV、第三人称视角 - TPV）下，进行 10–60 秒连续交互的开放世界基准测试。该基准测试包含 600 多个测试用例，并评估了 10 多个最先进的模型（包括开源和闭源模型）。

评估框架构建在四个互补的维度之上：

1. 动作跟随 (Action Following)

逐帧离散动作准确度： 该基准测试不通过恢复轨迹，而是使用潜步长机制（latent-stride mechanism）（将帧分组为 $K=4$ 的窗口以匹配模型的生成节奏）将估计的相机位姿（使用 ViPE）离散化为原子动作（W, A, S, D, I, J, K, L）。它报告了严格准确度（Strict Accuracy，所有子动作完全匹配）和部分准确度（Partial Accuracy，至少匹配一个子动作）。
轨迹得分 (TrajScore)： 一种将生成的路径与**自适应地面真值（adaptive ground truth）**进行比较的几何指标。自适应地面真值保留了模型自身的位移量，但强制执行理想的方向和形状（例如，对于“前进”，形状为直线）。这实现了“移动了多远”与“是否移动正确”的解耦。误差通过路径长度和旋转进行归一化，以确保跨模型的可比性。

2. 视觉质量 (Visual Quality)

绝对质量： 通过*成像质量（Imaging Quality, MUSIQ）和审美质量（Aesthetic Quality, 基于 CLIP 的预测器）*进行测量。
时间漂移 (Temporal Drift)： 一种基于段落的指标，将展开过程（rollout）分为 $N=10$ 个窗口，以识别最大的质量下降（ $D = \frac{\bar{s}_{best} - \bar{s}_{worst}}{|\bar{s}_{best}|}$ ）。这捕捉到了平均分无法体现的序列中间崩溃现象。

3. 交互物理特性 (Interaction Physics)

一种**可控性门控（controllability-gated）**评估确保模型在评估物理特性之前先对动作做出响应。它使用基于 VLM（Qwen3-VL-PLUS）的判断涵盖三个领域：

机械特性： 碰撞、穿模（穿过固体）、变形（足迹/波纹）、地形跟随和重力。
光学特性： 反射的合理性和阴影的一致性。
3D 一致性： 在相机运动期间保持刚性空间结构和深度顺序。

4. 记忆 (Memory)

记忆是在不完美控制的情况下进行评估的，分为两个轨道：

场景记忆 (Scene Memory)： 该基准测试不再使用帧对比较，而是定位观察与重访之间的转换点，重建两个片段的点云并进行对齐。它根据**保留率（Retention，恢复了观测到的几何体）和幻觉（Hallucination，重访时的几何体缺乏观测支持）**计算 F1 分数。
主体记忆 (Subject Memory，仅限 TPV)： 使用追踪技术（SAM2）和 VLM 推理来评估主角的身份、结构和外观随时间推移的保持情况。

关键结果

该基准测试评估了 10 多个模型，包括闭源领先模型（Genie 3, Happy Oyster）和开源模型（Matrix-Game 2.0/3.0, HY-World 1.5, Lyra 2.0, SANA-WM 等）。

没有统治级模型： 没有单一模型能满足所有维度。闭源模型通常在物理特性和记忆方面表现出色，而开源模型通常在动作跟随和视觉质量方面领先。
轨迹 $\neq$ 逐帧正确性： 具有高轨迹得分（>85）的模型可能会表现出低严格动作准确度（<65%），揭示了隐藏的失败：模型沿着正确的路径漂移，但错过了单个按键。
视觉质量 $\neq$ 可控性： 高审美得分并不保证准确的动作跟随；视觉保真度和可控性似乎是两个基本独立的性能。
物理 vs. 动作的权衡： 严格遵循物理规律的模型（例如，在墙前停止）往往会偏离预设轨迹，导致尽管行为符合物理逻辑，但动作跟随得分较低。
第三人称可控性： TPV 控制率存在显著差距。Happy Oyster 达到了 84.43% 的控制率，而 HY-World 1.5 的控制率仅为 21.23%，表明第三人称稳定性对于许多开源模型来说仍是一个尚未解决的问题。

意义与主张

论文声称 WorldRoamBench 提供了一个诊断基础，用于衡量向真正交互式且稳定的世界模拟迈进的进展。通过揭示被短视频剪辑和仅基于轨迹的指标所掩盖的失效模式，该基准测试强调了当前的 IWMs 尚不足以可靠地用于现实世界部署。

作者强调，未来的世界模型必须同时整合动作响应性、物理落地性以及持久的场景/主体记忆。该基准测试作为一个标准化工具，旨在推动这些特定且往往相互解耦的领域的研究，推动该领域超越“逼真的视频生成”，向“稳定的、具有物理基础的交互式环境”发展。