VideoVerse: Does Your T2V Generator Have World Model Capability to Synthesize Videos?

1. 研究背景与问题 (Problem)

随着文本到视频（Text-to-Video, T2V）生成技术的飞速发展，现有的评估基准（Benchmarks）已逐渐无法有效区分最先进的模型性能。主要存在以下三个核心问题：

1. 评估维度饱和且浅层：现有的基准（如 VBench, EvalCrafter）主要关注单帧美学质量、图像保真度或表面的语义对齐。随着模型在这些基础指标上趋于饱和，它们已无法区分不同模型的能力差异。
2. 缺乏“世界模型”能力的评估：视频区别于其他模态的核心在于事件级的时间因果性（Temporal Causality）。现有基准大多使用完全指定的提示词（Explicit Prompts），模型只需进行表面文本匹配即可生成符合预期的动态。然而，真正的“世界模型”应具备隐含的物理推理能力（即理解未明确陈述的因果和物理规律）。
3. 缺乏系统性的世界知识评估：现有基准缺乏对自然约束（Natural Constraints）、常识（Common Sense）以及物理/化学定律等世界知识的系统性评估。

核心问题：当前的 T2V 模型是否真正具备了理解复杂时间因果和世界知识，从而合成符合物理规律视频的“世界模型”能力？

---

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 VideoVerse，这是一个专注于评估 T2V 模型是否具备世界模型能力的综合性基准。

2.1 核心设计理念：隐藏语义 (Hidden Semantics)

VideoVerse 的提示词（Prompt）设计遵循“隐藏语义”原则。

• 传统做法：提示词包含所有细节（例如：“鸭子被扔向地板，显示出它撞击表面时的富有活力的弹跳”）。
• VideoVerse 做法：仅给出前因（例如：“一只软橡胶鸭被扔向地板”），省略结果。模型必须基于对物理世界的理解，隐式推理并生成“富有活力的弹跳”这一结果，而非仅仅匹配文本。

2.2 评估维度 (Evaluation Dimensions)

基准从**动态（Dynamic）和静态（Static）**两个互补视角定义了 10 个评估维度：

• 静态维度 (Static, 单帧可评估)：

  1. 自然约束 (Natural Constraints)：是否符合科学定律（如 -20°C 的水应结冰）。
  2. 常识 (Common Sense)：是否符合文化或社会共识（如“四川的代表动物”应是熊猫）。
  3. 属性正确性 (Attribution Correctness)：物体及其属性（颜色、材质）是否准确。
  4. 2D 布局 (2D Layout)：物体间的空间排列是否正确。
  5. 3D 深度 (3D Depth)：前景/背景等透视关系是否正确。

• 动态维度 (Dynamic, 需时序理解)：

  1. 事件跟随 (Event Following)：是否按时间因果顺序生成一系列事件（核心指标）。
  2. 力学 (Mechanics)：物体运动是否符合力学定律（如重力下落）。
  3. 交互 (Interaction)：物体间的直接交互是否合理（如剃须后胡须变短）。
  4. 材质属性 (Material Properties)：物体行为是否符合其固有属性（如巧克力受热融化）。
  5. 相机控制 (Camera Control)：是否准确执行相机运动指令。

2.3 数据构建 (Data Construction)

• 数据来源：涵盖日常生活（ActivityNet）、科学实验（高中水平实验）和科幻（VidProM）三个领域。
• 构建流程：
  1. 利用 GPT-4o 提取事件并识别因果链条。
  2. 由独立的人类标注者（具备学士学位以上）将原始提示词改写为包含“隐藏语义”的最终 Prompt，并针对每个维度设计二值（Yes/No）评估问题。
• 规模：300 个精心策划的 Prompt，包含 815 个事件，793 个主要评估问题，以及针对力学、交互和材质属性的 556 个子问题（Sub-questions）。

2.4 评估协议 (Evaluation Protocol)

• 评估模型：使用强大的视觉语言模型（VLM）—— Gemini 2.5 Pro 作为评估者。
• 防幻觉机制：不同于以往将完整 Prompt 暴露给 VLM 的做法，VideoVerse 仅向 VLM 提供特定维度的二值问题，避免 VLM 因看到提示词而假设视频中必然存在某些元素（Hallucination）。
• 评分机制：
  • 事件跟随：使用最长公共子序列（LCS）算法计算生成事件序列与真实序列的匹配度。
  • 其他维度：统计正确回答的二值问题数量。
  • 总分：采用累积计分策略（Cumulative Scoring），而非百分比。

---

3. 主要贡献 (Key Contributions)

1. 提出了 VideoVerse 基准：首个系统性地从“世界模型”角度评估 T2V 模型的基准，包含 10 个维度（6 个世界模型级，4 个基础级），涵盖 300 个高难度 Prompt。
2. 揭示了现有模型的局限性：通过实验证明，尽管开源和闭源模型在传统基准上表现相近，但在世界模型能力（如物理推理、常识理解）上存在巨大差距，且目前最先进的模型（如 Sora-2, Veo-3）仍未完全达到理想的世界模型水平。
3. 建立了人类偏好对齐的评估流程：验证了基于 VLM 的评估与人类判断具有高度一致性（>90%），为未来大模型评估提供了高效、低成本且可靠的方案。
4. 细粒度评估方法：针对动态交互类任务，提出了子问题分解（Sub-question Decomposition）机制，能够更细致地诊断模型在中间步骤的失败原因。

---

4. 实验结果 (Results)

研究评估了包括 CogVideoX, HunyuanVideo, Wan2.1/2.2, OpenSora 等开源模型，以及 Veo-3, Sora-2, Minimax-Hailuo 等闭源模型。

• 总体表现：
  • 闭源模型（Sora-2, Veo-3）在整体得分上显著优于开源模型，但在世界模型维度上仍有提升空间。
  • 开源模型（如 Wan2.2-A14B）在基础维度（如属性、布局）表现尚可，但在世界模型维度（特别是事件跟随和常识）上差距明显。
• 世界模型能力差距：
  • 以 Veo-3 为例，其在基础能力维度得分率为 80.3%，但在世界模型维度（不含事件跟随）仅为 72.4%。这表明模型在理解隐含物理规律和常识方面仍显不足。
  • Sora-2 虽然表现最强，但在某些世界模型维度（如相机控制的精确执行）上仍有失败案例。
• 视频长度的影响：实验表明，视频长度（5s vs 10s）并不是影响事件跟随能力的主要因素。即使是生成 5 秒视频的模型（如 Wan2.2），其事件跟随能力也优于生成 10 秒视频的旧模型，说明核心瓶颈在于推理能力而非时长。
• 细粒度评估价值：子问题评估显示，即使整体得分相近的模型（如 Hunyuan 和 CogVideoX1.5），在交互（Interaction）等具体子任务上的表现也存在显著差异，证明了细粒度评估的必要性。

---

5. 意义与展望 (Significance)

• 重新定义 T2V 评估标准：VideoVerse 将评估重点从“视觉质量”和“表面语义”转移到了“世界模型能力”和“物理/逻辑推理”，为 T2V 模型的进化指明了新方向。
• 推动世界模型研究：该基准揭示了当前生成式 AI 在理解现实世界物理规律和常识方面的短板，为未来构建真正的“世界模拟器”（World Simulator）提供了具体的改进目标和测试集。
• 高效评估范式：通过“隐藏语义”设计和 VLM 辅助的二值问答，VideoVerse 提供了一种比传统人工评估更高效、比传统自动指标更智能的评估范式，特别适用于评估日益庞大的视频生成模型。

总结：VideoVerse 不仅是一个新的基准，更是一个信号，表明 T2V 技术的下一个竞争高地在于模型是否真正“理解”了世界，而不仅仅是“模仿”了视频。