技术摘要：ImageTime —— 一种用于探测视觉世界建模时空一致性的新型基准测试

1. 问题陈述

当前的图像生成模型在静态图像合成方面已取得了卓越的成就，能够生成高质量且语义对齐的视觉内容。然而，它们如何表征视觉世界随时间演变的能力仍难以被充分理解。诸如分镜脚本、逐步插图和视频预可视化等实际工作流，要求模型在多个视觉状态之间保持实体身份（entity identity）、物体状态、空间关系和因果顺序。

现有的评估协议主要关注单图正确性（例如：物体存在、属性绑定、空间关系）或密集视频质量（例如：运动平滑度、闪烁现象）。这些方法无法诊断模型是否能够连贯地想象一个具有时间顺序的过程。一个模型可能会生成一个合理的最终帧，但跳过了必要的中间动作、重复了物体、导致场景身份漂移或违反了因果顺序。目前存在一个关键的研究空白，即如何评估图像模型是否能在有序的状态下维持一个连贯的视觉世界，而非仅仅渲染孤立的快照。

2. 方法论

2.1 ImageTime 基准测试

ImageTime 是一个旨在通过时空一致性来探测视觉世界建模能力的诊断性基准测试。为了避免密集视频动态（如光流插值）带来的干扰，该基准没有生成连续视频，而是采用了四关键帧协议，同时其对时间维度的要求仍高于单图生成。

• 任务形式化： 给定一个动作指令（以及可选的初始状态参考图），模型必须生成一张正方形图像，其中包含四个按时间顺序排列的关键状态，采用 $2 \times 2$ 的布局：
  1. $t_1$ 初始状态： 起始配置。
  2. $t_2$ 动作起始： 交互的开始。
  3. $t_3$ 过渡状态： 中间的交互或状态变化。
  4. $t_4$ 最终状态： 动作的结束。
• 数据集规模： 该基准包含 750 个案例，涵盖 22 个领域（如家用、厨房、实验室、运动）和 375 个动作概念。
• 设置： 主要评估采用严格的仅提示词（prompt-only）设置，即模型仅根据文本合成全部四个面板。此外还定义了一个基于参考条件的脚手架设置，但在主要的跨模型比较中将其排除，以隔离生成能力本身。

2.2 渐进式能力树 (L0–L6)

为了构建评估体系，ImageTime 引入了一个七级能力层级结构。任务并非扁平化的，高层级任务依赖于对低层级承诺的成功执行：

• L0 (静态落地/Static Grounding)： 实现主体、场景、风格和初始状态。
• L1 (身份与锚点/Identity & Anchors)： 在不同面板间保持角色、物体、材质和背景锚点的稳定性。
• L2 (空间过渡/Spatial Transition)： 表征位置、包含关系和方位在客观上的变化。
• L3 (物体状态过渡/Object-State Transition)： 追踪状态变化（如填充量、计数）以及源—目标守恒。
• L4 (交互与示能性/Interaction & Affordance)： 描绘合理的接触、工具使用和生物力学。
• L5 (因果过程/Causal Process)： 确保状态变化遵循可见的触发因素和中间阶段（无过早出现的最终状态）。
• L6 (约束/反事实/Constraint/Counterfactual)： 遵守否定指令、受阻动作和条件性结果。

2.3 结构化 VLM-as-Judge 评估

论文采用结构化的 GPT-5.5 作为评判者对生成的图像进行评分，超越了整体偏好评分。评估协议包括：

• 布局验证： 确保输出是一个有效、可读的 $2 \times 2$ 动作稿。
• 双重评分系统：
  • 能力得分 (C0–C9)： 涵盖布局、实体一致性、空间视角稳定性、运动连续性、时间顺序、因果过程、交互、约束敏感度和视觉质量的粗粒度评分。
  • 诊断性子得分 (D0–D14)： 提供失败原因的视觉证据的细粒度评分（例如：面板解析完整性、物体持久性、轨迹-姿态耦合、状态转换可见性、约束执行情况）。
• 聚合： 树级得分 ($T_L$) 通过映射后的 C 和 D 维度的平衡平均值计算，确保高层级的能力主张有具体的视觉证据支撑。

3. 核心贡献

1. 视觉世界建模的行为探针： ImageTime 引入了一个诊断性基准，利用有序关键状态之间的时空一致性作为可观测的探针。它将评估从单状态正确性转向了有序的多状态一致性，并提供了包含 750 个案例的具体标准。
2. 七级能力树与结构化评估： 作者设计了一个 L0–L6 层级结构和一个结构化的 VLM-as-judge 协议。这使得既可以进行关于渐进式能力退化的树级分析，也可以通过诊断性子得分实现精细化的失败定位。
3. 系统的多模型基准测试： 论文使用 750 个案例的基准测试对八种不同的图像生成模型（包括 GPT Image 2, Nano Banana 2, Seedream 5.0 Lite, FLUX.2 Pro, Qwen-Image-2512, Z-Image-Turbo, HunyuanImage-2.1 和 SDXL）进行了评估，揭示了常见的失败模式，如身份漂移、缺失中间状态和因果前提违背。

4. 实验结果

• 性能层级： GPT Image 2 获得了最高的综合平均分 (7.86)，其次是 Nano Banana 2 (7.45) 和 Seedream 5.0 Lite (7.16)。SDXL 得分最低 (1.57)，主要是由于无法生成所需的有序四面板界面。
• 能力差距： 最强的系统（GPT Image 2, Nano Banana 2）在实体一致性、空间视角稳定性及因果过程方面保持了广泛的覆盖范围。然而，即使是这些顶尖模型，在因果过程 (C6) 和 约束敏感度 (C8) 方面与静态落地相比也表现出显著下降。
• 诊断性洞察：
  • 运动连续性 (C4) 和 时间顺序 (C5) 是主要的区分特征。较弱的模型经常产生“过早的最终状态”或跳过中间阶段。
  • 因果前提违背： 许多模型生成了物理上不可能的交互（例如：物体在抽屉打开之前就出现在手中）或未能实现量值守恒（例如：倒水过程中液体高度没有变化）。
  • 树级退化： 性能较低的模型在较高的能力等级（L4–L6）表现出剧烈的退化，这表明虽然它们可以构建静态场景，但在维持有序状态下的连贯因果过程方面存在困难。
• 可靠性： 分布分析显示，顶尖模型不仅平均分高，而且在多样化提示词下保持了一致性；而较低层级的模型则表现出严重的失败长尾现象，特别是在约束密集型和关注数量的任务中。

5. 重要性与主张

论文将 ImageTime 定位为一种行为探针，旨在探测图像模型是否能外显出类世界模型的行为，而非仅仅测量其内部世界模型。

• 超越静态合成： 结果表明，高视觉质量并不保证可靠的临时过程构建。目前的模型往往难以保留构建连贯过程所需的“隐藏变量”（如：源头数量、因果触发因素）。
• 新兴能力： 基准测试显示，即使是开源权重和低成本系统（如 Qwen-Image-2512, Z-Image-Turbo）也能生成可读的动作稿并表现出非平凡的实体保持能力，这表明基础的时空过程生成能力正在闭源前沿模型之外兴起。
• 当前推理的局限性： 虽然面向推理的系统（如 GPT Image 2）擅长进行跨面板的规划，但在物体状态守恒、接触几何学和反事实推理方面仍面临挑战。
• 未来方向： 作者认为，图像生成的进展不应仅通过视觉质量和提示词遵循度来报告，还应通过对状态持久性和因果连贯性的显式诊断来报告。ImageTime 作为连接静态图像评估与密集视频评估的桥梁，提供了一个受控的接口来追踪视觉世界建模的演进。

论文总结道，虽然目前的模型展现出了基础的类世界模型行为，但其时间状态追踪在面对更长、更受限或因果要求更高的过程时仍然是脆弱的。