技术摘要：“世界模型应如何评估？——以决策为中心的立场”

1. 问题陈述

“世界模型”一词在现代人工智能领域大量涌现，现在指的是一组异质的对象，包括动作条件环境模型、潜空间想象模型、未来视频预测器、交互式神经模拟器、潜空间预测表示以及合成数据引擎。虽然这种多样性在科学上是富有成效的，但也导致了评估上的显著歧义。

识别出的核心问题是反复出现的声明/证据不匹配现象。许多论文对模型在具身决策（如规划、策略优化、安全性测试）方面的效用做出了强有力的声明，但提供的证据主要集中在较低层级的生成人工制品（如视频真实感、感知相似度、指令遵循能力）。作者认为，适用于评估视频生成器（视觉合理性）的指标，当目标是作为决策支持工具（可靠的反事实推理）时，往往是不充分甚至具有误导性的。一个模型可能生成视觉上引人入胜的未来场景，但在干预和分布偏移下的策略评估或优化方面却无法提供可靠支持。

2. 方法论与框架

本文通过全面的文献综述，提出了一个以模型预期用途为中心的结构化评估框架。

2.1 L0–L7 评估阶梯

作者将文献和评估目标组织成一个从视觉合理性到策略优化效用的层次化阶梯。该阶梯作为一个诊断工具，用于区分不同类型的世界模型，并辨别它们为决策声明提供的证据强度。

• L0（视觉合理性）： 输出看起来是否真实？（指标：FID, FVD, 美学度）。
• L1（日志未来预测）： 预测是否与行为分布中的留出轨迹相匹配？（指标：MSE, PSNR, SSIM, LPIPS）。
• L2（语义对齐）： 展开过程是否符合指令和场景语义？（指标：CLIPScore, VLM 评判器）。
• L3（物理合理性）： 展开过程是否遵守直觉物理规律和几何约束？（指标：物理问答, 深度一致性）。
• L4（动作可控性 / 反事实保真度）： 改变动作是否会产生正确的任务相关变化？这被认为是第一个真正的干预性测试，将决策世界模型与单纯的未来视频先验区分开来。
• L5（奖励、价值与结果保真度）： 模型预测成功、奖励或价值的准确度是否足以支持决策？
• L6（策略评估与排序）： 基于模型的评估是否与真实/模拟器中的策略性能一致？（指标：相关性, 排序准确度）。
• L7（策略优化 / 规划效用）： 使用该模型是否确实能改善在真实环境或受信任模拟器中的决策。

作者认为，L0–L3 最好的解释是生成人工制品的诊断工具，L4 标志着真正的干预测试阈值，而 L5–L7 则提供了决策有用性最直接的证据。

2.2 以决策为中心的评估框架

本文提出了一个框架，其评估基于声明的“决策契约”（任务族、策略类、动作接口、时界、决策用途）。该框架的关键组成部分包括：

• 反事实动作保真度： 评估模型区分 $P(o_{t+1:H} | h_t)$ 与 $P(o_{t+1:H} | h_t, do(a_{t:t+H-1}))$ 的能力。这涉及测量干预预测误差（IPE）和动作-效应一致性。
• 策略诱导的分布偏移： 在与用于训练数据的行为策略不同的目标策略下进行测试，而非仅仅依赖于开环的行为策略展开。
• 全时界结果保真度： 优先考虑任务相关的结果（奖励、成功谓词），而非短时界的像素重建，因为局部的小误差可能会随时间累积，或者与最终目标无关。
• 闭环展开有效性： 在策略基于模型生成的历史记录（而非仅基于教师强制的真实前缀）进行动作时，评估模型的表现。
• 可利用性与不确定性： 测试优化器是否能找到对模型而言看起来很好但在现实中失败的轨迹（可利用性差距），以及模型的确定性估计是否经过校准。

2.3 基准协议

作者提出了一个操作性的基准协议（步骤 0–8），包括：

1. 声明决策契约。
2. 构建策略拆分（行为、锚点、偏移、优化）。
3. 将 L0–L3 作为辅助诊断报告。
4. 评估干预动作保真度 (L4)。
5. 评估固定策略的闭环展开 (L5–L6)。
6. 在固定预算下的策略优化评估 (L7)。
7. 测试对抗性可利用性和不确定性校准。
8. 报告“决策效用剖面”（跨层级的得分向量），而不是单一标量，可能使用门控机制（例如，要求 L4–L6 通过/失败）以防止低层级指标补偿高层级的失败。

3. 主要贡献

1. 文献综述与诊断： 对近期世界模型文献进行了逐篇调查，按实际评估的内容进行组织，指出了普遍存在的声明/证据不匹配问题，即使用较低层级的证据来支持更强的决策声明。
2. L0–L7 阶梯： 一个将评估目标从视觉合理性组织到策略优化效用的概念框架，认为对于决策声明，L4 是最小的干预要求，而 L5–L7 提供了最强的证据。
3. 以决策为中心的评估框架： 提出了一种新的评估范式，强调反事实动作保真度、闭环展开有效性、奖励/价值预测、策略排序一致性、优化提升、模型可利用性和不确定性校准。
4. 基准协议： 一个用于评估旨在支持具身决策的世界模型的模块化、操作性协议，包括具体的策略拆分、干预测试和报告标准（例如，“世界模型评估卡”）。

4. 结果与发现

本文并未呈现新的实验结果或新模型。相反，其“结果”是基于对现有文献调查得出的分析性发现：

• 分化的评估文化： 文献中存在多种评估文化（基准/诊断、环境模型/策略优化、策略评估/可执行性、潜空间/基础模型），这些文化经常被统称为“世界模型评估”。
• 不匹配的普遍性： 许多论文评估的是较低层级的人工制品属性 (L0–L3)，却将其讨论为建立了更强的决策声明 (L6–L7)。相反，一些潜空间模型（如 V-JEPA）可以在不产生逼真像素的情况下对规划有用，这挑战了高层视觉指标的必要性。
• 当前指标的不足： FVD、PSNR 和基于 VLM 的物理 QA 等指标对于调试和界面设计很有用，但通常是策略效用、排序或优化提升的糟糕代理指标。一个模型在视觉上可能表现很强，但在控制方面却是一个糟糕的环境模型。
• 干预的必要性： 对于具身决策，观测性指标 (L1–L3) 是不足够的；必须通过干预性指标 (L4+) 来验证模型是否正确建模了动作的后果。

5. 重要性与主张

本文的意义在于呼吁改变评估世界模型的方式，特别是针对那些声称支持具身决策的模型。

• 条件性主张： 作者并不主张每一个被称为“世界模型”的系统都必须根据策略优化来评判。如果预期用途是未来视频生成，那么视觉质量就是主要目标。然而，当一个模型被呈现为具身决策（规划、策略优化、安全性）的工具时，所需的证据会发生根本性的变化。
• 核心论点： 对于决策主张，动作级、结果级和策略级的评估 (L4–L7) 比仅凭人工制品质量提供的证据更强。不应允许低层级指标补偿高层级的失败。
• 实际影响： 所提出的框架旨在防止优化出“视觉精美但策略不可靠”的模型。它鼓励社区声明清晰的决策契约，并优先考虑反事实推理、策略排序和优化提升的证据，而非视觉保真度。
• 谦逊态度： 作者承认，在真实机器人上进行完全的干预性评估（例如，精确匹配重置的分支）是困难的，且在某些领域，低层级指标可能与高层级效用相关。其提议是一个模块化的、启发性的协议，旨在澄清证据，而非一套僵化的普适公理。

总之，本文认为该领域一直在用同一个名称评估几种不同的对象。L0–L7 阶梯和所提出的以决策为中心的评估框架有助于区分这些对象，并定义验证模型决策效用所需的特定证据。