IFM 技术报告：WR-Arena 世界模型基准评测技术总结

报告日期：2026 年 3 月 30 日
团队：PAN 团队，基础模型研究所 (MBZUAI)
核心主题：提出 WR-Arena，一个旨在评估世界模型（World Models, WMs）在高级推理、长期预测和规划能力方面的综合性基准。

---

1. 问题背景 (Problem)

现有的世界模型（WMs）基准评测存在显著的局限性，主要体现在以下几个方面：

• 评估维度单一：当前评测主要聚焦于低层级的“下一状态预测”（Next-state prediction）和“视觉保真度”（Visual fidelity，如像素级精度），忽视了智能体在复杂环境中所需的深层模拟能力。
• 缺乏长期一致性：现有基准多为单轮或短程交互，无法评估模型在长序列交互中的误差累积问题，导致模型难以维持物理一致性和场景结构的长期连贯性。
• 规划与推理能力缺失：目前的评测未能有效测试模型是否具备“思维实验”能力，即通过模拟不同未来路径来支持目标导向的推理和规划（如科幻作品《沙丘》中的愿景模拟）。
• 指令遵循困难：模型难以准确执行语义丰富的高层指令（特别是针对环境的干预），导致生成的反事实推演（Counterfactual rollouts）缺乏多样性或逻辑性。

核心痛点：缺乏一个能够全面评估世界模型作为“内部模拟器”是否具备理解、预测和主动规划能力的标准化框架。

---

2. 方法论 (Methodology)

为填补上述空白，作者提出了 WR-Arena，一个包含三个核心维度的综合评测框架，并构建了相应的任务分类法和数据集。

2.1 核心评估维度

WR-Arena 从以下三个根本维度评估世界模型的“下一世界模拟”能力：

1. 动作模拟保真度 (Action Simulation Fidelity)

   • 定义：评估模型能否准确理解并执行语义明确的多步指令（针对智能体或环境），并生成多样化的反事实推演。
   • 子任务：
     • 智能体模拟 (Agent Simulation)：控制智能体执行高层行为，保持背景动态稳定。
     • 环境模拟 (Environment Simulation)：对环境施加高层干预（如改变天气、物体状态），模拟其因果后果，同时保持智能体策略中性。
   • 评估方式：利用大语言模型（LLM）生成指令序列，通过视觉语言模型（VLM）作为裁判，评估动作的忠实度和精度。

2. 长程预测 (Long-horizon Forecast)

   • 定义：评估模型在长序列交互中维持准确、连贯且物理合理的模拟能力，重点考察误差累积问题。
   • 子指标：
     • 过渡平滑度 (Transition Smoothness)：基于光流连续性，测量多轮交互边界处的速度代理和加速度，惩罚突变和抖动，奖励平滑过渡。
     • 生成一致性 (Generation Consistency)：跟踪内容对齐和风格一致性，引入累加惩罚机制（Additive Penalty），量化随着轮数增加，性能相对于初始状态的衰减程度。

3. 模拟推理与规划 (Simulative Reasoning and Planning)

   • 定义：评估模型作为主动规划器的能力，即通过模拟、比较和选择替代未来来支持目标导向的推理。
   • 子任务：
     • 逐步模拟 (Step-Wise Simulation)：基于机器人操作任务（如 WM-ABench），评估单步动作的因果预测准确性。
     • 开放式模拟与规划 (Open-Ended Simulation)：在复杂的家庭环境中，VLM 代理提出候选动作，WM 模拟后果，代理选择最佳路径，直至达成目标。
     • 结构化模拟与规划 (Structured Simulation)：在受控的桌面环境中（如 Language Table 数据集），评估模型在减少干扰变量下的语言 grounded 推理和精细操作能力。

2.2 实验设置

• 基线模型：涵盖了主流的世界模型（Cosmos, V-JEPA 2, PAN）和先进的视频生成模型（WAN 2.1/2.2, KLING, MiniMax, Gen-3）。
• 评估流程：结合自动化指标（光流、相似度）与人类评估（针对轨迹完成度和模拟质量），特别是在规划任务中，对比“纯 VLM 代理”与"VLM+ 世界模型”的协同效果。

---

3. 主要贡献 (Key Contributions)

1. 提出 WR-Arena 基准：首个系统性地从动作保真度、长程预测和模拟推理三个维度评估世界模型的综合基准，超越了传统的视觉保真度评测。
2. 构建任务分类法与数据集：设计了涵盖结构化（桌面操作）和开放式（家庭环境）场景的多样化数据集，专门用于探测模型在长程交互和指令遵循中的能力。
3. 揭示当前模型的能力边界：通过大规模实验，量化了现有 SOTA 模型在长程一致性、环境干预控制及规划辅助方面的显著差距。
4. 提出统一架构建议：论证了将理解（Understanding）、预测（Prediction）和控制（Control）联合优化的必要性，指出单纯的视频生成或嵌入预测不足以支撑复杂的智能体规划。

---

4. 实验结果 (Results)

通过对 8 种主流模型的综合评测，得出以下关键发现：

• 整体表现：没有任何单一模型在所有维度上占据绝对优势。商业视频生成模型（如 KLING, MiniMax）在视觉质量和短程控制上表现较好，但在长程规划和环境干预上存在局限；开源嵌入模型（如 V-JEPA 2, Cosmos）在内部推演上有一定潜力，但缺乏语义 grounding，导致规划执行不稳定。
• 动作模拟保真度：
  • 所有模型在环境模拟（Environment Simulation）上的表现均显著弱于智能体模拟（Agent Simulation），平均差距达 11.5%。
  • 没有任何模型在环境模拟上超过 60% 的准确率，表明对场景级干预的建模仍是根本性挑战。
  • PAN 模型表现突出，相比 WAN 2.1 在智能体模拟和环境模拟上分别提升了 16.66% 和 10.0%，证明了动作 - 状态对齐微调的重要性。
• 长程预测：
  • 误差累积是普遍问题。大多数模型在 5-6 轮后一致性降至 75% 以下。
  • WAN 2.1 表现出严重的视觉漂移（Visual Drift），一致性从 90% 骤降至 30%。
  • PAN 在长程平滑度和一致性上表现最佳，其自强制训练策略（Self-forcing training）有效抑制了误差累积，在 9 轮交互后仍保持最高的一致性。
• 模拟推理与规划：
  • 只有 PAN 模型能显著改善规划性能。在开放式和结构化场景中，集成 PAN 后，VLM 代理的轨迹级成功率分别提升了 26.7% 和 23.4%。
  • 其他模型（如 Cosmos 1/2, V-JEPA 2）有时甚至无法提供有效的模拟指导，导致规划失败。
• 定性分析：
  • 在结构化规划任务中，PAN 能生成目标导向的多样化动作序列，并进行迭代修正；而 Cosmos 系列模型倾向于重复单一策略（如“移至中心”），缺乏对目标结构的分解能力。
  • 在环境模拟（如降雨变化）中，PAN 能保持场景身份（车辆、视角）一致的同时，物理准确地呈现天气变化的因果效应。

---

5. 意义与展望 (Significance)

1. 诊断工具与路线图：WR-Arena 不仅揭示了当前世界模型与人类水平假设推理之间的巨大差距，还为下一代模型的开发提供了明确的诊断指标和改进方向。
2. 推动架构演进：实验结果表明，单纯追求视觉逼真度或独立的预测模块是不够的。未来的世界模型需要联合优化理解、预测和控制，形成紧密耦合的统一架构，以实现鲁棒的长程推理和目的性行动。
3. 赋能复杂应用：该基准为自动驾驶、机器人导航等需要长程规划和环境交互的领域提供了可靠的评估标准，有助于筛选出真正具备“思维实验”能力的智能体。
4. 开源贡献：代码和基准已开源（GitHub: MBZUAI-IFM/WR-Arena），促进了社区对世界模型深层能力的研究。

总结：WR-Arena 标志着世界模型评测从“看视频像不像”向“看逻辑对不对、规划能不能用”的范式转变，为构建具备真正智能的通用代理（AGI）奠定了重要的评估基础。