💬 NLP

PAN: A World Model for General, Actionable, and Long-Horizon World Simulation

本文介绍了 PAN，这是一个基于生成式潜在预测（GLP）架构构建的世界模型，它通过结合有状态的潜在表示、闭环信息流以及混合 LLM/扩散模型骨干网络，克服了现有在通用、开放领域、动作驱动预测及长程一致性方面的局限性，从而实现先进的模拟推理与规划。

原作者： PAN Team, Zihan Liu, Yi Gu, Mingkai Deng, Guangyi Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Yichi Yang, Kun Zhou, Jiannan Xiang, Zhiting Hu, Zhengzhong Liu, Eric P. Xing

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： PAN Team, Zihan Liu, Yi Gu, Mingkai Deng, Guangyi Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Yichi Yang, Kun Zhou, Jiannan Xiang, Zhiting Hu, Zhengzhong Liu, Eric P. Xing

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个不仅仅是在对世界做出反应，而是在预判世界的头脑。几十年来，科学家们一直试图构建能够超越识别照片中的猫或撰写诗歌的人工智能；他们希望机器能够理解当你推一下杯子、转动方向盘或打开一扇门时，物理世界是如何变化的。这种基于当前行动来预测未来的能力被称为“世界模型”（world model）。它是让生物能够进行规划、构思“如果……会怎样”以及在危险发生前进行规避的认知引擎。虽然现代计算机在生成图像和文本方面已变得非常出色，但它们往往难以模拟现实中的因果逻辑。它们可以创造一段汽车行驶的美丽视频，但却无法可靠地预测如果那辆车突然转向以避开一个坑洼会发生什么。如果没有这种预测能力，人工智能仍然只是一个被动的观察者，而不是一个能够在复杂多变的环境中进行决策的主动参与者。

来自穆罕默德·本·扎耶德人工智能大学（Mohamed bin Zayed University of Artificial Intelligence）的一个研究小组推出了一种名为 PAN 的新系统，旨在弥补这一差距。PAN 并非简单地从头开始生成视频，而是作为一个模拟器，学习世界如何响应特定指令而演变。研究人员将该系统建立在一种称为“生成式潜空间预测”（Generative Latent Prediction）的基础之上，这种方法迫使计算机在预测未来时保持一个一致的内部世界记忆。它不是试图一次性猜出未来图像的每一个像素，因为这往往会导致随着时间的推移产生混乱和错误，而是将任务分解。它首先创建一个关于当前场景和正在进行的动作的紧凑、抽象的摘要。然后，它使用一个强大的基于语言的推理引擎来预测该摘要将如何变化。最后，它将这个新的摘要转换回视频。这个三步过程使系统能够在长时间内追踪物体、人物和物理规律，确保即使在经过许多秒的模拟时间后，树木依然是树木，汽车依然是汽车。

研究人员在包含八百万个视频片段的大规模数据集上训练了 PAN，这些片段都配有对其中发生的动作的详细描述。这些视频涵盖了从日常人类活动到人与周围环境之间复杂交互的一切内容。通过教导系统根据诸如“在雪林中驾驶”或“拿起一个蓝色杯子”之类的语言指令来预测视频的下一刻，团队使 PAN 能够学习物理因果律。在测试中，该系统展示了在长序列中保持一致性的卓越能力。在一组实验中，研究人员要求模型模拟一系列动作，例如机器人将物体在托盘之间移动。当其他系统在几步之后就会迅速丢失对物体的追踪或产生不可能的物理现象时，PAN 能够持续生成连贯、逻辑清晰的结果超过十步。它成功地预测了如果一个机器人抓取一个黄色罐子并将其移动到新托盘，那么在下一帧中，罐子会出现在那个新托盘里，而旧托盘则是空的。

为了验证 PAN 确实是在模拟现实而非仅仅是在创造漂亮的图片，研究人员使用了一个名为“世界推理竞技场”（World Reasoning Arena）的严格基准对其进行了评估。该测试衡量了三个具体的技能：系统模拟动作即时结果的准确性、在长时间内维持一致世界的能力，以及其预测是否能帮助另一个计算机程序做出更好的决策。结果显示，PAN 超越了其他开源模型，并能与领先的商业系统进行竞争。在需要机器规划一系列动作以实现目标的任务中（例如在桌子上对物品进行分类），集成 PAN 使规划智能体的成功率比使用标准模型提高了百分之二十以上。这表明该系统的预测不仅在视觉上具有合理性，而且在因果上是准确的，为决策智能体提供了一张可以信任的可靠未来地图。

这项研究还强调了当这些系统缺失关键组件时会发生什么。研究人员进行了测试，在移除基于语言的推理引擎或用于平滑视频片段之间过渡的专门方法后进行对比。如果没有推理引擎，系统将难以理解涉及智能体（如人或机器人）的复杂指令，且视频过渡会变得生硬。如果没有平滑机制，随着模拟时间的延长，视频质量会迅速下降，物体会出现变形或消失。这些发现证实了将“推理大脑”与细致的逐步生成过程相结合，对于长期稳定性至关重要。该系统并不依赖于单一的技巧，而是依赖于一个闭环，即预测必须不断对照“必须看起来像是现实中可观察到的变化”这一要求进行检查。

尽管取得了成功，研究人员也明确了该系统的当前局限性。PAN 在动作被描述为自然语言（如“左转”或“开门”）时表现最佳。它尚未被设计用于处理精细机器人任务所需的精确、连续的肌肉指令，例如控制机械手的确切力量。此外，虽然该系统比之前的尝试要稳定得多，但在极长时间内仍会出现漂移，偶尔会丢失微小的细节或凭空创造出不存在的物体。作者指出，该系统继承了一些构建它的视频生成模型的视觉习惯，这些模型优先考虑的是看起来真实而非物理上的完美。这意味着虽然模拟过程通常是可靠的，但它还不是一个完美的物理表现。

这项工作代表了在教导机器思考未来方面迈出的重要一步。通过将语言推理能力与生成视觉序列的能力相结合，PAN 提供了一种让人工智能探索各种可能性而不必承担现实后果的新途径。它允许一个智能体进行“思想实验”，测试不同的行动方案，以观察哪一种能导致预期的结果。研究人员计划向公众发布其代码和数据，邀请他人在此基础上进行开发。随着领域的发展，目标始终是创造出不仅能看到世界，而且能理解世界运作方式的系统，为能够像人类一样进行导航、规划和行动的智能机器铺平道路。

技术摘要：PAN —— 用于通用、可操作及长程世界模拟的世界模型

1. 问题陈述

开发能够具备物理与具身智能的 AI 系统，需要超越大语言模型（LLM），转向世界模型：即允许智能体对环境演化（无论是自发演化还是动作驱动的演化）进行推理的认知模拟器。尽管近期在视频生成、3D 场景演化和游戏模拟方面的进展取得了令人印象深刻的视觉保真度，但仍存在显著局限性，特别是在通用、开放域、动作驱动的预测、长程一致性以及抽象推理方面。

现有方法面临着特定的架构权衡：

强化学习（RL）世界模型：（如 Dreamer, JEPA）通常在狭窄、特定任务的领域内运行，具有受限的动作空间。纯潜空间目标（如 JEPA）存在**表示崩溃（representation collapse）**和信息丢失的风险，会丢弃对于忠实模拟至关重要的细粒度细节。
大语言模型（LLM）： 虽然具备推理能力，但 LLM 并非原生配置为从非语言数据中学习，这限制了其世界知识仅限于可通过语言表达的内容。
视频生成模型： 这些模型擅长从固定提示词进行开环媒体生成，但缺乏持久的内部状态、可控的动作接口以及对象级的因果动力学。它们针对的是视觉真实感而非模拟推理或反事实想象。

核心挑战仍然是：如何将开放域视觉覆盖能力与动作条件的时序一致性相结合，同时保持基于观测的动态展开（observation-grounded dynamic rollout）。

2. 方法论：PAN 架构

本文介绍了 PAN，一种基于**生成式潜空间预测（Generative Latent Prediction, GLP）**架构的通用世界模型。GLP 解决了潜空间抽象（实现可扩展、长程演化所需）与观测锚定（确保预测对应于可实现的感官变化所需）之间的张力。

2.1 核心架构

PAN 通过三个耦合组件实现 GLP：

视觉编码器 ( $h$ )： 将观测结果（视频块）映射为结构化的潜世界状态。它利用 Qwen2.5-VL-7B-Instruct 的视觉塔，将帧划分为空间补丁（patches），并将连续帧进行分组以实现时序相干性。
预测骨干网络 ( $f$ )： 在动作作用下向前演化潜状态。PAN 采用 Qwen2.5-VL-7B-Instruct 的语言模型作为自回归骨干网络。这利用了预训练的多模态知识和语言条件的序列建模，以支持符号推理、组合泛化和长程一致性。该骨干网络在以全量历史潜状态和语言动作为条件的情况下，预测下一个潜状态。
视频扩散解码器 ( $g$ )： 从预测的潜状态重建可观测结果。该解码器改编自 Wan2.1-T2V-14B，它不仅是一个可视化模块，更是主要的训练信号。它使用流匹配（flow-matching）目标在观测空间中监督预测，从而防止与纯潜空间目标相关的表示崩溃。

2.2 关键技术创新

Causal Swin-DPM（因果 Swin 去噪过程模型）： 为了解决重建所有像素级细节的难解性，并防止在长程展开中的误差累积，PAN 采用了分块因果去噪机制。
- 它在一个持有两个不同噪声水平的视频块（例如，前一个块处于 $K/2$ 噪声，后一个块处于 $K$ 噪声）的滑动时序窗口内运行。
- 通过将每个块置于前序块的部分加噪（而非完全去噪）表示之上进行条件化，该机制能够抑制偶然的像素级细节，并将监督重点放在语义持久结构（场景布局、物体存在、运动方向）上。
- 因果注意力掩码（causal attention mask）防止了来自未来动作的信息泄露，确保模型遵循模拟的时序因果关系。
动作接口： 动作以视频块级别的自然语言指令形式指定（例如，“穿过雪林驾驶”），从而实现语言条件的视觉展开。
训练策略： PAN 在 800 万个视频-文本对（约 4,500 小时）上进行训练，这些数据源自公开渠道，且强调时序动态的密集描述。训练分为两个阶段：
1. 模块化训练： 在冻结编码器和骨干网络的情况下，将视频解码器适配到 Causal Swin-DPM 架构。
2. 联合训练： 在 GLP 生成式监督目标下进行端到端训练，将潜空间预测与观测空间重建耦合。

3. 评估与结果

PAN 在 World Reasoning Arena (WR-Arena) 基准测试上进行了评估，该基准衡量三个维度的能力：动作模拟保真度、长程预测以及模拟推理与规划。

3.1 性能指标

动作模拟保真度： PAN 取得了 58.7 的总分，在所有开源模型中排名最高，并与领先的商业系统（如 KLING, Gen-3）具有竞争力。它在智能体模拟（动画化可控实体，得分：70.3）和环境模拟（场景级干预，得分：47.1）方面均表现出强劲性能。
长程预测： PAN 在过渡平滑度（53.6%）和模拟一致性（64.1%）方面取得了最高分，超越了商业系统和开源基准。与在 5–8 步后迅速退化的独立视频生成器不同，PAN 的一致性在 9 步以上仍呈渐进式下降。
模拟推理与规划： 当与基于 VLM 的规划智能体集成时，与不使用世界模型的智能体相比，PAN 使任务成功率分别提升了 26.7%（开放式规划）和 23.4%（结构化规划）。这证实了 PAN 的模拟是具有因果信息的，而不仅仅是视觉上合理的。

3.2 消融实验

渐进式消融研究证实了每个组件的必要性：

移除 VLM 骨干网络（保留解码器）保留了短程保真度，但降低了长程一致性和智能体动力学。
移除 Causal Swin-DPM 机制导致过渡平滑度和模拟一致性显著下降，凸显了其在防止误差累积中的作用。
完整的 GLP 系统能够维持连贯的模拟，而独立的生成器（如 Wan-2.1）则会迅速恶化。

4. 意义与主张

论文认为，世界模型的主要目的是实现假设性思维——允许智能体模拟替代行动的后果并选择最优计划。PAN 的意义在于其架构设计，它严格区分了世界模型（预测状态转换）与智能体模型（决定动作），这种分解避免了在单一模型上同时训练预测和奖励信号所带来的偏差。

关于 PAN 贡献的关键主张包括：

生成式监督作为锚定： 通过将潜转换解码回感官领域，GLP 确保了表示始终锚定于现实，避免了纯潜空间目标的退化问题。
可扩展的长程推理： 通过结合用于符号动力学的 LLM 骨干网络和用于感知实现的扩散解码器，实现了能够在长程内保持因果结构的连贯多步展开。
重建的可行性： 与认为完全重建是难解的观点相反，PAN 证明了当使用架构选择（如 Causal Swin-DPM）来调节保真度与语义显著性之间的权衡时，生成式监督是一种稳定且有效的训练目标。

作者将 PAN 定位为不仅是一个媒体生成器，更是一个用于推理的模拟器，为未来开放域、交互式及具有因果锚定的世界建模工作提供了基础。论文也承认了当前的局限性，包括目前对语言级动作接口的依赖（可能不支持细粒度的连续控制）以及长程漂移的存在，并将其建议为未来的研究方向。