💻 computer science

WorldMind: Decoupled Game World Model for State-Aware NPC Behavior

该论文介绍了 WorldMind，这是一个将游戏世界建模解耦为理解、决策、控制和生成层的框架，旨在实现具备状态感知能力的 NPC 行为，该框架由 BOSS-140K 数据集提供支持，并证明了其相比现有基准模型具有更优越的战术连贯性。

原作者： Zhiyang Deng, Boran Zhang, Danze Chen, Yeying Jin

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiyang Deng, Boran Zhang, Danze Chen, Yeying Jin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在电子游戏的数字景观中，世界通常是为单个玩家旅程搭建的舞台。然而，最令人难忘的时刻往往并非源于玩家自身的行为，而是源于他们在旅途中遇到的角色所做出的反应。这些非玩家角色（NPC）是游戏世界的居民，其任务是让环境显得生动鲜活。几十年来，游戏设计师一直依赖僵化的脚本来驱动这些角色的移动和行动，从而创造出可预测且往往重复的行为。近年来，人工智能开始提供一种新的前进方式，利用可以生成整个游戏过程视频序列的模型。然而，一个显著的障碍仍然存在：在这些新的 AI 系统中，角色的行为往往只是生成视频的副产品，或者是被迫遵循来自系统外部的指令。这意味着角色无法真正“看到”周围不断变化的情况并决定如何即时做出反应。它们缺乏一个能将屏幕上发生的事情与下一步该做什么联系起来的思想。

来自腾讯和新加坡国立大学的研究团队通过引入一个名为 WorldMind 的新框架解决了这一差距。他们的工作代表了游戏世界建模方式的一种转变，从角色行为隐藏在视频生成过程中的系统转向了另一种模式。相反，他们构建了一个将理解游戏状态的行为与生成视频的行为明确分离的系统。想象一下这样一个游戏：计算机首先暂停以评估玩家与怪物之间的距离，检查怪物拥有哪些可用技能，然后有意识地决定一个特定的动作，之后再绘制下一帧视频。这就是 WorldMind 的核心。研究人员证明，通过将过程分解为不同的步骤——理解场景、对响应进行推理，然后生成视觉结果——他们可以创造出能够对不断演变的游戏状态做出反应的非玩家角色，其战术意识达到了生成式模型此前从未见过的水平。

这种新方法的基础在于一个模仿感知与行动循环的四层结构。第一层充当系统的“眼睛”，它获取目前生成的视频帧，并重建出一个关于当前情况的紧凑数字摘要。这个摘要包含了具体的细节，例如玩家与 Boss 之间的距离、他们相对而立的角度，以及 Boss 最近使用了哪些技能的历史记录。这是一个至关重要的步骤，因为在之前的模型中，AI 必须在尝试绘制视频的同时猜测这些细节，这往往导致困惑或无响应的行为。通过创建一个清晰、独立的各种状态摘要，该系统确保决策过程拥有坚实的实事基础。

一旦建立了这个紧凑的状态，它就会被传递到第二层，这里充当操作的“大脑”。在这里，一个大型语言模型（一种经过训练以理解和生成人类语言的人工智能）会阅读游戏状态的摘要以及 Boss 可用技能及其描述的列表。该模型随后会对情况进行推理，以规划下一步行动。它会问自己类似这样的问题：“玩家离得很近，所以需要进行拉近距离的攻击，”或者“玩家离得很远，所以我应该使用远程技能。”这一层不仅仅是在猜测；它是根据游戏的机制和场景的现状来制定战术计划。研究人员非常小心地确保这种推理是基于实际的游戏规则，而不是仅仅模仿训练数据中的模式。他们发现，当他们改变技能描述或游戏状态时，模型会相应地改变其决策，这证明了它是在真正理解机制，而非仅仅记忆结果。

第三层充当“翻译官”，将来自大脑的高层计划转换为视频生成器可以理解的一组指令。它获取选定的动作和玩家的移动，并将它们转化为一组带有时间顺序的自然语言提示词。例如，它可能会生成一个短语，如“玩家正在进行攻击，而 Boss 正在进行跳跃重击”。这确保了第四层也是最后一层——视觉生成层——能够接收到精确且在时间上对齐的指令。随后，视频生成器根据这些提示词创建下一段游戏片段。至关重要的是，它产生的帧并不是终点；它们会被反馈回第一层以重新开始循环。这创造了一个闭环，在这个环路中，世界不断被观察、分析和更新，使得非玩家角色能够对自身之前的行为后果做出实时反应。

为了训练和测试这个系统，研究人员面临着巨大的数据挑战。标准的视频游戏录像通常只捕捉玩家的行为和屏幕显示的内容，缺乏 AI 学习如何决策所需的内部游戏状态数据。为了解决这个问题，他们构建了一个自动化的流水线来收集一个庞大的新数据集，称为 BOSS-140K。该数据集包含超过 14 万个游戏片段，总计超过 200 小时，涵盖了三个不同游戏中针对 14 个不同 Boss 的战斗。与之前的数据集不同，这个数据集将视频素材与详细的、逐帧标注的内部游戏状态配对，包括精确的距离、技能冷却时间和玩家输入。他们使用了一个专门的智能体来自动进行游戏，确保在无需人工操作员手动控制每个动作的情况下，记录下多样化的交互。这种丰富且结构化的数据对于教导系统如何将视觉世界与底层规则联系起来至关重要。

当研究人员测试 WorldMind 时，结果显示非玩家角色的行为有了显著改善。在与现有方法的对比测试中（在这些方法中，角色要么在视频内部隐式行动，要么遵循外部命令），新系统在约 70% 的案例中更受评估者的青睐。由 WorldMind 生成的角色不仅在战术上更加得当，而且更具连贯性，能在整个战斗过程中保持一致的策略。它们可以适应玩家的移动，在需要时缩短距离或撤退以使用远程攻击，同时视频生成速度保持在每秒约 20 帧。这个速度足以支持实时交互，意味着系统可以在人类进行游戏时流畅运行。研究还证实，只要提供正确的内部状态信息，该系统就能将其理解泛化到训练期间未见过的游戏中，这表明该方法足够鲁棒，可以应用于本研究涉及的具体游戏之外。

这篇论文所展示的工作为交互式娱乐开辟了一条新路径，在这种路径下，管理游戏世界的 AI 不仅仅是视觉的生成者，更是游戏逻辑的参与者。通过将状态理解与视频生成解耦，研究人员创建了一个框架，使非玩家角色可以拥有某种形式的情境感知能力。它们不再受限于预设脚本或单一生成过程的限制。相反，它们可以观察世界，思考选项，并带着意图行动。虽然该系统目前专注于 Boss 战和特定游戏类型，但将状态理解与动作生成分离的底层原则，为未来创造更动态、更具响应性的数字世界提供了充满希望的方向。研究人员已经证明，当你给 AI 一个清晰的游戏状态视角和一种思考方式时，它所创造的角色便能真正“活起来”。

技术摘要：WorldMind

问题陈述

现有的游戏世界模型在生成视觉连贯且可进行动作控制的游戏视频方面展现出了令人印象深刻的能力。然而，这些系统中的非玩家角色（NPC）行为存在一个根本性的局限性：其行为要么是隐式纠缠于视频生成过程中的（从训练数据中学习行为模式），要么是通过外部控制信号进行显式规定的。

这两种方法都没有为**基于状态的决策（state-grounded decision-making）**提供明确的接口。因此，模型必须在单一的生成过程中同时推断当前游戏状态、推理 NPC 的响应并渲染视觉结果。这种纠缠限制了 NPC 行为的响应能力，特别是在需要根据快速变化的变量（如 Boss 与玩家的距离、相对角度和技能冷却时间）进行规划的动态场景（如 Boss 战）中。核心挑战在于缺乏一种将状态理解与决策过程从视觉合成中解耦的机制。

方法论：WorldMind 框架

为了解决这些局限性，作者引入了 WorldMind，这是一个旨在实现状态感知型 NPC 行为的解耦框架。WorldMind 将交互式世界建模循环结构化为四个截然不同且相互关联的层级：

1. L1：理解层 (Understanding Layer)

该层从生成的帧和动作历史中构建一个紧凑状态 ( $s_t$ )，作为决策的输入。它利用两个互补的分支：

技能分支 (Skill Branch)： 一个确定性追踪器，记录已释放的 Boss 技能、时间戳，并推导出变量，如前一个技能、经过的时间和冷却可用性。这在推理时不需要引擎状态。
几何分支 (Geometry Branch)： 一个学习模块，利用卷积编码器和 GRU，从因果窗口内的生成 RGB 帧中推断空间配置（距离、相对角度、朝向）。
紧凑状态 (Compact State)： 该层从这两个分支及 Boss 身份中选择最具信息量的变量，形成紧凑状态表示 ( $s_t = [id_b, e_{ct}, e_{gt}]$ )，并将其传递给决策层。

2. L2：决策层 (Decision Layer)

该层基于紧凑状态进行推理，以规划 NPC 的下一个动作。

实现： 使用通用大语言模型（LLM）实例化。至关重要的是，LLM 并未在数据集上进行微调，以避免直接模仿动作分布。
流程： LLM 接收紧型状态以及包含自然语言机械描述和冷却状态的可用技能列表。它会针对当前状态推理每种技能在战术上的适用性。
控制模式：
- 直接控制 (Direct Control)： LLM 根据玩家输入规划 Boss 的动作。
- 导演控制 (Director Control)： LLM 根据高层自然语言指令规划玩家和 Boss 的动作。
输出： 一个包含技能、移动指令及可选理由的短时程动作计划。通过确定性检查确保动作符合冷却时间等合法规则。

3. L3：控制层 (Control Layer)

该层将 L2 中的离散实体动作转换为用于视频生成的时序对齐条件序列。

接口： 它使用格式为 "[ACTION] while [MOVEMENT]" 的结构化自然语言接口，以保留不同的控制维度（技能执行 vs. 移动）。
时序对齐： 它将动作持续时间转换为固定的生成槽位，在间隔内重复动作-移动短语，以创建组合式提示词序列。
输入处理： 它将低级键盘/鼠标输入（直接控制）或高级指令（导演控制）映射到结构化提示词格式。

4. L4：生成层 (Generation Layer)

该层合成交互的视觉结果。

基础模型： 利用在 BOSS-140K 数据集上微调过的 Wan 2.2 TI2V-5B 视频扩散模型。
蒸馏： 为了实现实时性能（~20 FPS），该双向模型通过三阶段流水线（因果强制、因果一致性蒸馏和非对称 DMD）被蒸馏为一个少步数的因果自回归生成器。
闭环： 生成的帧被反馈回 L1，更新视觉观测并完成交互循环。

核心贡献

WorldMind 框架： 首个将状态重建与 NPC 决策从视觉生成中解耦的游戏世界模型。它使 NPC 能够在闭环系统中做出显式的、状态感知的决策，支持 ~20 FPS 的实时交互。
四层解耦架构： 一种将状态理解、推理、动作调节和视觉合成分离的新颖设计。这使得 NPC 动作成为基于紧凑状态的显式决策，而非隐式的涌现行为或外部信号。
BOSS-140K 数据集： 一个大规模数据集，包含来自三款游戏（Game A、Hollow Knight、《吸血鬼幸存者》风格的 The Binding of Isaac）中 14 名 Boss 共计超过 200 小时的游戏视频。它将视频与帧对齐的玩家控制、Boss 技能、引擎内部状态变量以及自然语言说明配对。
自动化采集流水线： 开发了一个状态驱动的游戏智能体和全自动流水线，用于大规模采集多样化的玩家-Boss 交互，无需人工操作。

实验结果

作者将 WorldMind 与两个基线进行了对比评估：Wan w/o NPC Control（隐式行为）和 Wan w/ NPC Control（显式外部控制）。

紧凑状态重建 (L1)： 理解层在三种不同游戏中对 Boss-玩家距离和相对角度的重建误差极低，证明了从生成帧中可靠恢复几何信息的有效性。
基于机制的推理 (L2)： 消融实验表明，决策层的选择是基于技能机制而非固定名称的。当技能描述被移除或交换时，模型选择的技能发生了显著变化，遵循的是机制而非标识符。
闭环性能 (全系统)： 在一分钟的回合测试中，WorldMind 在约 70% 的案例中优于两个基线。它在 动作有效性 (Action Validity)（74.0% vs. ~63.6%）和 序列拟合度 (Sequence Fit)（3.85 vs. ~3.20）上也取得了更高分数，表明其 NPC 行为更具战术合理性和连贯性。
泛化能力： 决策层在 WildWorld 数据集上展示了部分跨游戏泛化能力，尽管紧凑状态重建仍需目标域适配。

重要性与主张

论文声称，WorldMind 通过显式解决状态、决策与生成的“纠缠”问题，代表了交互式游戏世界建模迈出的重要一步。通过分离这些功能，该系统允许实现响应迅速且具备状态感知能力的 NPC 行为，能够适应不断变化的各种游戏条件（如距离、冷却时间），而不是依赖于学习到的视觉模式或静态外部脚本。

作者强调，这种方法支持闭环、实时的交互式游戏体验，其中 NPC 的下一个动作是由对当前状态的有理理解所决定的，而该动作的视觉结果会立即反馈到下一个循环的决策中。BOSS-140K 数据集的引入被强调为关键的赋能因素，它提供了标准游戏数据集所缺乏的必要监督信息（内部状态与技能），从而支持训练状态依赖型的 NPC 决策。