🤖 AI

Orchestrated Reality: From Role-Play to Living, Playable Game Worlds -- LLM-Driven World Simulation as a Parameterized-Action POMDP

本文提出了“编排现实”（Orchestrated Reality），这是一个由大语言模型驱动的框架，它将游戏世界形式化为参数化动作部分可观测马尔可夫决策过程（Parameterized-Action POMDPs），通过一个管理规范 JSON 状态的单例编排代理，利用“计划-差异-验证-应用”（Plan-Diff-Validate-Apply）流水线，从而弥合了自由叙事与严谨、持久的世界模拟之间的鸿沟。

原作者： Yuhang Huang, Chenmiao Li, Chaowei Fang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhang Huang, Chenmiao Li, Chaowei Fang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一款文字冒险游戏，一个超级聪明的 AI 充当着地下城主（Dungeon Master）。在目前大多数 AI 游戏中，这个“地下城主”就像是一个讲故事的人，每隔五分钟就会忘掉剧情。如果你问：“铁匠在哪里？”AI 可能会说他今天在村子里，但五分钟后，它可能会说他在城堡里，或者说他根本不存在。这种感觉虽然在当下很真实，但背后的“世界”却是一团混乱的矛盾和遗忘的细节。

这篇论文提出了一种构建这些世界的新方法，称为**“编排现实”（Orchestrated Reality）。与其让 AI 在自由流动的对话中仅仅是“凭空捏造”，作者们将游戏世界视为一个严格组织的档案柜**，AI 必须不断地检查并更新它。

以下是使用简单类比进行的详细拆解：

1. 问题所在：“健忘的讲故事的人”

目前的 AI 游戏依赖于 AI 的短期记忆（其“上下文窗口”）。这就像一个讲故事的人试图仅通过看剧本的最后几页来记住一部 10 小时的电影。

结果： 世界失去了形状。角色漂移，地点在毫无理由的情况下改变，游戏感显得非常脆弱。如果会话结束，这个世界实际上也随之消失了。

2. 解决方案：“首席图书管理员”（世界代理）

作者引入了一个名为**“世界代理”（World-Agent）的单一中央管理者。请不要将这个代理视为讲故事的人，而要将其视为一个拥有游戏“事实真相来源”的图书管理员**。

世界是一个档案柜： 世界不再是一段文本，而是一个由 JSON 文件（结构化数据文件）组成的树状结构。每一个城镇、每一个角色、每一件物品和每一条规则都是一个具有严格格式的特定文件。
只有图书管理员有权书写： 无论说话者是谁（玩家、NPC 或战斗裁判），他们都不能直接改变故事。他们必须向图书管理员提交请求。

3. 运作方式：“计划、检查、盖章”循环

每当游戏中发生事情时，系统都会经过一个严格的四步流程（称为 PDVA）：

计划 (Plan)： AI 查看当前的文件（状态）和玩家的行为（例如，“我走进酒馆”）。它起草一段故事并提议对文件进行更改（例如，“将玩家的位置文件从‘广场’移动到‘酒馆’”）。
差异 (Diff)： 它创建一个“增量”（delta）——一份关于文件究竟需要做出哪些精确更改的小清单。
验证 (Validate - 守门员)： 在更改被保存之前，一个严格的“守门员”会检查三件事：
- 模式 (Schema)： 更改是否符合文件格式？（例如，你不能把一个“金币”数字放在“姓名”字段里）。
- 权限 (Permission)： 该参与者是否有权更改此项？（例如，玩家可以移动自己，但不能更改国王的位置）。
- 规则 (Rules)： 这是否违反了游戏规则？（例如，你不能在没有钥匙的情况下穿过一扇锁着的门）。
应用 (Apply)： 如果通过了守门员的检查，更改将被原子性提交（一次性保存）到文件中。随后，系统会为新的世界状态创建一个“指纹”（哈希值）。

4. “部分可观测性”的魔力

论文将游戏描述为一个 Parameterized-Action POMDP。用通俗的话说，这意味着：

世界是真实的： 磁盘上的文件是实际的现实。
玩家是盲目的： 玩家看不见这些文件。他们看到的只是基于这些文件由 AI 生成的叙事投影（一个故事）。
类比： 想象一场木偶戏。世界代理是拉着线（JSON 文件）的操纵师。玩家只看到舞台上移动的木偶（故事）。操纵师完全知道每个木偶在哪里，即使玩家并不知道。如果玩家试图抓住一个木偶，操纵师会在允许木偶移动前先检查规则。

5. 为什么这很重要（“审计追踪”）

因为世界是以带有“指纹”（哈希值）的文件形式保存的，所以游戏是可审计的。

如果玩家说：“等等，铁匠昨天明明在这里！”系统可以查看文件历史记录，并准确证明发生了什么、何时发生以及为什么发生。
这防止了 AI “欺骗”世界状态，因为 AI 无法在未通过验证检查的情况下更改文件。

6. 他们发现了什么（目前为止）

作者使用一小群测试者测试了这个框架，发现：

世界感觉是活的： 即使没有人说话，世界也会根据规则（如时间流逝或事件发生）持续存在并变化。
记忆是真实的： 角色之所以能记住事情，不是因为 AI “回想”了聊天记录，而是因为信息在每一回合都被重新注入到文件中。
调试更容易： 创作者可以通过查看文件来了解 AI 做出某个决定的确切原因，而不是猜测 AI 在想什么。

他们尚未做到的事情

这篇论文是一个“进行中的工作”。他们构建了引擎并用少数人进行了测试，但他们尚未：

进行大规模研究，通过数百名玩家来证明它比标准游戏更好。
完全实现一个数十个 NPC 同时行动的世界（他们计划下一步这样做）。
证明这适用于每一种不同类型的 AI 模型。

总而言之： 论文认为，要使 AI 游戏真正具有可玩性和持久性，我们必须停止将世界视为一场对话，而要将其视为一个数据库。AI 变成了一个纪律严明的图书管理员，负责更新数据库，而不是一个会忘掉剧情的混乱的讲故事的人。

技术摘要：编排现实 (Orchestrated Reality)

问题陈述

当前的语言大模型（LLM）系统难以维持连贯且持久的游戏世界，特别是在开放式沙盒或开放世界设定中。虽然 LLM 擅长角色扮演，但它们无法维持一个经过验证且一致的世界状态表示（例如：“谁在哪里”、“发生了什么”、“当前什么是真实的”）。现有的方法通常依赖于自由散文式的叙事，这种方式仅是断言状态，而非建立持久且经过验证的表示。这导致了三个反复出现的架构失效：

无状态性（Statelessness）： 一旦会话结束，世界便不复存在；“记忆”受限于上下文窗口的邻近性。
未经验证的写入（Unvalidated Writes）： 模型可以断言任意的世界变化，导致状态发生漂移并默默积累矛盾。
单体化代理（Monolithic Agency）： 单一提示词将叙事、角色发声和规则裁决混为一谈，无法实现复杂模拟所需的关注点分离。

因此，构建一个无需人工干预更新的全自主游戏引擎仍然是不可行的。本文认为，这并非语言模型本身的固有局限，而是当前部署中的架构局限。

方法论：编排现实框架

作者提出了一个名为**编排现实（Orchestrated Reality）**的框架，该框架将游戏世界视为一个由单一 世界代理（World-Agent） 管理的规范化、可审计对象。该系统将 LLM 驱动的游戏世界形式化为一个 参数化动作部分可观测马尔可夫决策过程（PA-POMDP）。

1. 形式化模型

系统由元组 $M = (S, A, \Omega, O, F, \rho_0)$ 定义：

状态 ( $S$ )： 世界状态不是一段文本块，而是在磁盘上存储的规范化 JSON 实体树。每个实体（NPC、地点、任务、玩家档案）都是一个类型化的 JSON 文档。该状态是可检查、可分支且可通过内容哈希进行寻址的。
动作 ( $A$ )： 动作被参数化为 $a = (k, x_k)$ ，其中 $k$ 是离散的意图类型（例如 move、speak）， $x_k$ 是结构化的 JSON 参数集。
观测 ( $\Omega$ )： 代理（玩家）并不观察原始状态 $s_t$ 。相反，它观察由世界代理生成的叙事投影 $o_t = O(s_t)$ 。
转移核 ( $F$ )： 转移由 计划–差异–验证–应用（PDVA） 流水线控制，该流水线由 LLM 驱动，但受到模式（Schema）约束。

2. PDVA 流水线

每一轮次通过四个截然不同的阶段进行：

计划 (Plan)： 从规范 JSON 状态的相关切片和玩家输入中构建一个有界上下文 $p$ 。
差异 (Diff)： LLM 生成一个响应 $r$ ，其中既包含用于下一轮观测的叙文文本，也包含一个结构化的提议变更 $\Delta_t$ （一组 JSON 操作列表：路径、操作、值）。
验证 (Validate)： 每一个提议的变更 $\delta_j$ $δ_{j}$ 都要经过严格验证：
- SchemaOK： 必须符合 JSON 模式。
- PermOK： 必须处于提议者的权限范围之内。
- RuleOK： 必须符合游戏规则。
应用 (Apply)： 经过验证的变更被原子地提交到 JSON 树中。新状态通过内容哈希（SHA256）进行标记，以确保规范的历史记录。

3. 世界代理 (The World-Agent)

世界代理充当单例游戏主持人（GM）。它拥有世界目录，管理回合循环，并执行“拒绝优先”的权限模型。

记忆注入： 与依赖上下文窗口保留不同，世界代理在每一轮将相关的规范 JSON 条目直接注入到正在行动的模型提示词中。
原子提交： 来自玩家、专家子代理（如战斗裁判）或未来 NPC 心智的提议都会汇聚到世界代理处。每轮只有一个原子化的、经内容哈希处理的提交被写入磁盘，从而防止竞态条件。

核心贡献

论文报告了正在进行中的工作，其主要贡献包括三个方面：

形式化： 将 LLM 驱动的游戏世界正式定义为 PA-POMDP，其中单个世界代理既作为转移核（通过 PDVA），也作为观测核（通过叙事）。
JSON 状态模型： 一个具体的实现，其中世界是一个 JSON 文档树，使得状态是可检查、可对比差异且可通过内容哈希进行回放的。
事件目录： 从实际部署（涉及约 5 名测试者，持续三个月）中提取的 15 个可审计事件。这些事件展示了该框架机制的运作方式，特别是：
- 多智能体编排： 将回合分发给专家子代理。
- JSON 强制记忆注入： 基于重新注入的状态而非聊天历史，在长时间间隔后使实体重新浮现。
- JSON 流状态提交： 应用经过模式验证的增量（Deltas）到文件。

结果与观察

论文并未呈现大规模玩家研究的最终统计结果，因为那是计划中的未来工作。然而，它提供了来自非正式测试和挖掘的游玩历史的早期观察：

假设 H1： 前置条件触发的环境事件（例如时间推进、预定事件）即使在没有活跃角色对话的情况下，也能创造出一种“活生生的世界”感。
假设 H2： 对无效动作的叙事性拒绝（验证失败）在不破坏沉浸感的前提下，增强了玩家对后果的感知。
假设 H3： 可检查、经哈希识别的状态降低了作者调试和分支世界的门槛。

15 个事件示例作为概念验证，证明了该框架可以在真实的游玩历史上运行，并在传统 LLM 聊天系统会发生漂移的地方保持一致性。

意义与主张

论文将 编排现实 定位为从“基于角色的叙事生成”向“游戏故事编排”的转变。

架构转型： 它将问题从语言模型的局限性重新定义为架构选择，从未经验证的散文转向经过验证的、基于事件的状态模型。
下一代游戏的基石： 通过将世界视为一个由 GM 类代理拥有的规范化对象，该系统为全自主游戏引擎提供了必要的底层设施。
未来方向： 作者指出了向 多智能体马尔可夫博弈（其中 NPC 作为并发代理行动）以及 强化学习（RL）环境（用于游戏世界模型）发展的路径。他们承认了在 LLM 随机性下的确定性、并发代理的成本控制以及未追踪细节导致的叙事漂移等开放性问题。

论文最后邀请针对此框架进行讨论，并强调向多 NPC 马尔可夫博弈和可学习 RL 环境的过渡，强调当前工作建立了实现这些进步所必需的“运行时世界模型”。