🤖 AI

Persistent Computational State: A Session-Centric Runtime for Generative World Models

本文认为，当前生成式世界模型无法支持有状态模拟任务的原因并非源于架构限制，而是源于丢弃持久计算状态的以请求为中心的运行时设计，并据此提出一种以会话为中心的运行时，旨在通过实现不可再计算状态的近乎瞬时的检查点保存与恢复，来促进高效且字节级一致的世界模型演进。

原作者： Zhen Lin

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhen Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在开发一款电子游戏，其中的世界不仅仅是播放一段脚本，而是真正地在“生活”。在这种游戏中，如果你走开离开篝火，火会继续燃烧；如果你留下一个正滚下山坡的小球，它会继续滚动。这就是“生成式世界模型”（Generative World Models）的梦想：AI 系统能够模拟出一个连贯的、活生生的现实，而不仅仅是生成漂亮的图像。但问题在于：为了让这个世界保持鲜活，计算机需要记住发生的每一件事，甚至是最微小的细节，即使在玩家转过身离开后再转回来时也是如此。

长期以来，科学家们一直认为这些 AI 模型之所以失败，是因为它们“健忘”或“记性不好”。他们假设 AI 的大脑容量不够大，无法承载整个故事。但本论文提出了一个不同的问题：如果问题不在于 AI 呢？如果问题出在运行这款游戏的计算机系统上——即每次玩家休息时，该系统都会把 AI 的笔记丢掉？作者们发现，AI 维持世界一致性所需的“记忆”并不是一种神奇的超能力，它仅仅是几项特定的数据，而计算机系统却在不经意间删除了它们。

“你忘了吗？”之大谜团

在 AI 视频生成的领域中，存在着一个令人沮衷的故障。你告诉 AI 展示一只猫跳上床，然后你要求它展示猫走开；接着，你又要求它展示猫跳回床上。在一个完美的世界里，猫应该落在完全相同的位置，毛发也以同样的方式凌乱。但在 2026 年，当研究人员使用 MBench（测试了 14 种不同的模型）和 WRBench（测试了 23 种不同的模型）进行测试时，他们发现了同样的遗憾结果：猫没能回到正确的位置。世界发生了“漂移”。床看起来变了，猫的位置不对，物理规律也感觉破碎了。

专家们看着这些破碎的世界说：“这些 AI 模型太弱了。它们需要新的训练、更大的大脑以及特殊的记忆模块来学习如何记忆。”他们认为问题出在模型的“大脑”内部。

但由 Zhen Lin 领导的论文作者们决定扮演侦探的角色。他们怀疑罪魁祸首不是 AI 的大脑，而是运行它的计算机系统——即“运行时”（Runtime）。

侦探的实验：“时空旅行”测试

为了证明他们的理论，研究人员设计了一个聪明的实验。他们选取了一个正在工作的 AI 模型并让它生成一个场景。然后，就在场景变得复杂之前，他们对计算机持有的两个非常具体的东西拍摄了一个“快照”：

AI 看到的最后一帧图像（以简单的数字列表形式存储）。
“随机数生成器”（RNG）状态。可以把它想象成 AI 的内部掷骰子。每当 AI 做出决策或创造新细节时，它都会掷一次数字骰子。如果你没有保存骰子落下的确切数字，下一次掷出的结果就会不同，世界也会随之改变。

在拍摄完快照后，研究人员强迫 AI 进行了一场“旅程”。他们让它生成一段漫长且疯狂的事件序列——足以彻底扰乱 AI 可能试图在脑中保持的任何“隐性”记忆。然后，他们停止了旅程，丢弃了计算机此前持有的所有内容，并恢复了快照。

结果令人震惊。当 AI 从快照继续运行并生成视频时，它生成的视频与 AI 从未离开过时生成的视频在字节级上完全一致。它是完美的。猫落在了完全相同的位置。像素是完全一样的。

这证明了 AI 能够完美地记住一切。问题不在于 AI 健忘，而在于运行 AI 的计算机系统在 AI 使用这些笔记之前就把它们扔掉了。

“请求”与“会话”的混淆

为什么计算机要扔掉这些笔记？事实证明，计算机遵循的是为聊天机器人（比如那些帮你写作业的机器人）设计的规则。聊天机器人在“请求”（Request）模式下工作。你问一个问题，计算机回答，然后它会清理桌面以便为下一个人做好准备。这对于聊天机器人来说效果很好，因为即使丢失了上下文，计算机也可以通过重新阅读你之前的文字来理解情况。

但世界模型不同。它们在“会话”（Session）模式下工作。会话是一个连续的故事。如果你暂停一个故事并在稍后回来，你不希望计算机重新阅读整本书，而是希望它能准确地从中断处继续。

作者们将缺失的数据部分称为持久计算状态（Persistent Computational State, PCS）。这是为了保持世界一致性而必须保存的微小且核心的数据列表。

对于一个简单的模型，PCS 只是最后一帧图像和掷骰子状态（约 1.38 MB）。
对于一个带有“记忆库”的更复杂的模型，它是该记忆库加上掷骰子状态（约 185 KB）。
对于一个使用过去数据“窗口”的模型，它是该窗口加上掷骰子状态（约 1.67 GB）。

论文表明，你不需要保存所有东西（那会非常庞大且缓慢），你只需要保存 PCS。而且最棒的是？保存和恢复这些数据仅需 0.012 毫秒。这比生成单步视频所需的时间（1.85 秒）快了五个数量级。这几乎是免费的。

“相关性”与“新鲜度”的转折

论文还发现了关于在计算机内存满时如何管理记忆的一个惊人发现。在聊天机器人中，计算机通常使用“新鲜度”（Recency）规则：它们会丢弃最旧的消息以腾出空间给新消息。但对于世界模型来说，这简直是灾难。

想象一下你在看电影，计算机决定因为某段画面“太旧了”而丢弃 10 分钟前的场景，只保留 1 分钟前的场景。如果这部电影需要你记住 10 分钟前发生的事情才能理解结局，那么电影就崩塌了。

作者测试了管理记忆的不同方法。他们发现，对于世界模型，你需要使用**“相关性”（Relevance）**规则。你应该保留那些对于“回归时刻”（即相机转回来的那一刻）至关重要的记忆部分，即使它们已经很旧了。

当计算机被迫极其吝啬地使用内存（仅有 2 MB 可用）时，“新鲜度”规则仅成功恢复了 16 个世界中的 6 个。
而“相关性”规则则成功恢复了全部 16 个世界。

这是一个巨大的转变。这意味着，要让一个世界保持鲜活，你不能再像对待聊天机器人那样思考，而要像一个知道哪些情节至关重要的“讲故事的人”那样去思考。

核心启示

论文总结道，AI 世界模型的“健忘”并不是 AI 大脑中的 Bug。它是计算机系统家务处理中的一个 Bug。AI 已经准备好去记忆了，只是系统一直在把笔记扔进垃圾桶。

通过将系统改为保存“持久计算状态”（快照和掷骰子状态），并采用更聪明的方法在内存紧张时决定保留什么，研究人员证明了：

世界可以被完美还原。 AI 可以回到与之前完全相同的状态，即使是在经历了一段漫长的旅程之后。
成本几乎为零。 保存这种状态仅需微秒级时间。
你可以运行更多的会话。 因为计算机不必将沉重的完整记忆保存在高速显卡上，它可以将“笔记”存储在普通的硬盘上。这意味着单个显卡可以处理的活跃会话数量比以前增加了约 2,300 倍。

作者们不仅找到了修复记忆的方法，他们还发现这个“修复方案”实际上是关于如何管理计算机的时间与空间的简单改变。世界并没有丢失，它只是在等待被重新拾起。

技术摘要：生成式世界模型的持久计算状态

1. 问题陈述

到 2026 年年中，大规模基准测试（MBench 和 WRBench）已经确立了一个事实：生成式视频世界模型在处理“视角偏移”（例如，摄像机远离场景并返回）时，无法维持一致性。当模型被要求在暂停或分叉后恢复轨迹时，返回的场景往往无法匹配先前的配置，且离开视野的对象无法一致地回归。

该领域普遍的诊断将其归因于模型本身，认为当前的架构缺乏必要的“what-memory”来记录隐藏的变化，或者训练目标未能监督终点持久性。因此，提议的补救措施涉及昂贵的架构变更、新的记忆模块以及大规模重训。

本文的反向诊断：
本文认为，对于很大一类模型而言，上述诊断是不完整且往往是错误的。这种失败并非由于模型能力的缺失，而是一种运行时失败（runtime failure）：服务层丢弃了维持世界运行所需的不可重计算状态（non-recomputable state）。现代生成式服务是“以请求为中心”的，它基于一种继承自 LLM 服务的假设——即所有有用的状态都是可重计算的——并在请求边界回收状态。这一假设对于世界模型来说是错误的，因为世界模型的状态携带了一个不可重计算的核心（non-recomputable kernel）（例如，随机数生成器 RNG 的流或循环记忆激活）。当这一状态被丢弃时，世界就丢失了；这并不是因为模型无法生成它，而是因为运行时把种子（seed）给扔了。

2. 方法论与核心抽象

恢复实验 (The Restore Experiment)

作者进行了一项建设性实验，旨在证伪“模型缺陷”假说。他们采用一个世界模型，生成一段展开过程（rollout），并对特定的运行时对象（观测值、RNG 状态或记忆库）进行快照。随后，他们驱动模型经历一次真实的视角偏移（破坏隐式连续性），恢复该快照，并继续运行。

结果： 恢复后的延续过程与从未离开过的轨迹是字节级一致的（DINOv2 相似度为 1.0，像素误差为 0.0）。
消融实验： 从快照中移除 RNG 会导致结果退化，证明该快照是“承载负载”的，而非被忽略。
结论： 能力确实存在；是运行时丢弃了必要的状态。

持久计算状态 (Persistent Computational State, PCS)

本文将持久计算状态 (PCS) 定义为：为了保证语义连续性，必须在请求之间存续的最小非重计算状态集合。

形式化定义： $PCS(M) = \arg \min_S \{ |S| : D(restore(S), oracle) \le \epsilon \}$ $P C S (M) = ar g min_{S} {∣ S ∣ : D (r es t or e (S), or a c l e) \leq ϵ}$
- 其中 $S$ 是完整运行时状态 $H$ 的一个子集， $D$ 是语义距离度量， $\epsilon$ 为容差（对于字节级精确度， $\epsilon$ 为 0）。
属性：
1. 最小性： 不存在任何更小的子集可以满足要求；每个元素都是承载负载的。
2. 可恢复性： 补集 $H \setminus PCS$ 是可导出的（可重计算的），因此无需存储。
3. 模型依赖性： PCS 的组成随架构而异（例如，马尔可夫模型的平坦观测 + RNG，对比非马尔可夫模型的增长型记忆库）。

PCS 合约

本文为以会话为中心的运行时规定了一套合约：

API： checkpoint(s)（检查点）, restore(c)（恢复）, fork(c)（分叉）, delete(c)（删除）。
不变性：
- 往返一致性 (Round-trip)： 恢复后的状态在语义上等同于原始状态。
- 持久性 (Durability)： 检查点在进程死亡和跨进程边界时依然存在。
- 分叉独立性 (Fork Independence)： 子延续在语义上独立于父项。
- 快照完整性 (Snapshot Completeness)： 检查点精确捕捉 PCS，而不包含任何可导出的内容。

通过测量进行发现 (测绘/指纹识别)

作者并未采用人工设计状态列表的方法，而是提出了一种与模型无关的指纹识别程序 (Fingerprinting Procedure)：

必要性测试： 系统性地消融运行时缓冲区。如果移除某个缓冲区导致返回一致性指标超出容差，则该缓冲区是“必要的”。
充分性测试： 仅恢复必要集合。如果指标在容差范围内，则该集合即为 PCS。
冗余回退： 通过贪婪选择处理相关的缓冲区。
该程序可以自动发现不同模型类别的结构化差异化的 PCS 组成（平坦型、增长型或窗口型），而无需架构假设。

以会话为中心的运行时

作者构建了一个以会话 (session) 而非请求为单位进行服务的运行时。

架构： GPU 持有一个活跃会话；所有其他会话的 PCS 驻留在主机（CPU 内存）中。
驱逐策略： 不同于 LLM 依据近期性（LRU）进行驱逐，世界模型需要基于相关性键值的驱逐 (relevance-keyed eviction)。与“回归点”（锚点）相关的帧必须保留，而来自偏移过程的近期帧可以丢弃。
验证： 使用返回一致性符合性测试 (Return-Consistency Conformance Test)。不同于字节级精确度（可能会在错误的状态上通过），该测试验证恢复的世界在语义上与锚点一致，从而拒绝“看似合理但已漂移”的世界。

3. 关键结果

实验设置

在单张 A800 GPU 上对三种不同类别的模型进行了评估：

Cosmos3-Nano： 马尔可夫型，动作条件扩散模型。
WorldMem： 带有显式记忆库的非马尔可夫模型。
Matrix-Game 2.0： 具有可寻址 KV 上下文的自回归因果扩散模型。

性能与扩展性

字节级精确恢复： 所有三个模型在跨进程恢复后均实现了字节级一致的延续（或对于 Matrix-Game 为潜空间一致），证实了“运行时丢弃假说”。
成本： 检查点/恢复操作耗时约为 0.012 ms，这比生成步骤（1.85 s）快了 五个数量级。状态管理消耗的运行时间仅为 0.0003% 左右。
会话扩展性：
- 设备内存： 无论会话数量多少，设备内存保持恒定（约 4.7 GB），因为只有一个会话驻留。
- 主机内存： 随会话数量线性扩展。
- 容量： 以会话为中心的运行时可以支持比以请求为中心的运行时多出约 2,300 倍的常驻会话（后者必须将每个会话的工作集都保留在设备上）。
驱逐效率： 在内存压力下，基于相关性的驱逐（保留锚点帧）显著优于基于近期性的（LRU）驱逐。在紧缩预算下，基于相关性的保留机制成功保留了 16/16 个世界，而 LRU 仅保留了 6/16 个。
规划器工作负载： 在蒙特卡洛树搜索 (MCTS) 规划器场景中，基于近期性的驱逐导致搜索树崩溃（导致分叉孤立），而基于相关性的驱逐则允许搜索完成且无任何丢失的回归。

未奏效的部分

预测性驱逐 (Predictive Eviction)： 研究发现，在内存绑定之前过早缩小会话规模，其效果单调劣于反应性驱逐，因为这会导致会话过早触及保留底线，从而在后期导致更多的丢弃。
预测性准入 (Predictive Admission)： 基于预期需求拒绝会话的做法是有害的，因为它拒绝了那些在反应性基准线下本可以成功完成的世界。

4. 重要性与主张

本文声称，生成模型中“世界的丢失”通常是一个服务差距 (serving gap)，而非模型差距。

范式转移： 它主张将服务的单元从“请求”转向“会话”，并将引入持久计算状态 (PCS) 作为一种原语。
可测量性： 它证明了维持持久性所需的最小状态可以通过测量来发现，而不是通过假设或人工设计。
正确性 vs. 效率： 它强调，针对世界模型的标准 LLM 服务假设（可重计算性）是不正确的。依赖于重计算缓存的世界模型运行时会返回一个“看似合理”但错误的世界，而拥有 PCS 的会话中心运行时则返回一个完全精确的世界。
谦逊性： 作者明确表示，他们并不声称对所有架构（例如，未测试循环潜状态模型）具有普适性，并且指出“精确性”结果是针对那些观测值或记忆库能完全捕捉可见状态的模型。他们同时澄清，其贡献在于抽象和服务层，而非模型架构本身。

核心结论是：保留世界是一个成本仅为微秒级的服务原语，而丢失世界是因为丢弃了不可重计算的状态，而非模型能力的不足。