🤖 machine learning

Addressable Memory for Video World Models

该论文介绍了 WorldTrace，这是一个无需训练的框架，它通过为压缩记忆槽分配不同的虚拟位置，实现了视频世界模型中的长程视觉持久性，从而克服了时间性旋转位置嵌入（Rotary Positional Embeddings）的局限性，并显著提升了在全新 LoopBench 基准测试上的时间一致性和情景回溯能力。

原作者： Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在构建一个不仅仅是向你展示世界，而是随着你的游玩而“梦幻”出世界的视频游戏引擎。你向前走，游戏生成下一帧场景；你转过一个弯，它发明了一条新的走廊。这就是“视频世界模型”（video world models）的魔力。但问题在于：这些数字梦想家们的注意力非常短暂。它们只能记住游戏过去几秒钟内发生的事情。如果你绕了一个巨大的圈，在十分钟后回到原点，游戏通常会忘记起点看起来是什么样子的。它可能会展示一棵略有不同的树、一堵偏移的墙，或者完全错误的颜色。这就像是一个讲故事的人，他记得故事的开头，但到了故事中间，他就忘了主角的名字，于是又发明了一个听起来很像但并不完全对的名字。

为了解决这个问题，科学家们通常尝试给计算机一个更大的“笔记本”来记录它所看到的一切。但这里有一个问题：这个笔记本有一个神奇的规则。写得越久远，就越难辨认你自己的字迹。在这些人工智能模型的世界里，“字迹”是一种被称为“位置编码”（具体来说是 RoPE）的特殊代码，它告诉模型某件事发生在何时。如果你试图在一个固定大小的笔记本里塞进太多的历史记录，代码就会变得混乱。模型能看到笔记，但它无法弄清楚哪条笔记属于哪个时刻。这就像是在读一本日记，日期都被抹去了；你知道你写过关于海滩的事，但你不知道那是昨天还是去年。这篇论文探讨的就是这个特定的难题：如何让一个视频游戏世界保持一致性和可识别性，即使玩家进行了一段漫长且曲折的绕行。

这项研究背后的研究人员与 NVIDIA 以及多所大学合作，提出了一种巧妙的新系统，名为 WorldTrace。他们发现，这些人工智能模型之所以会遗忘，不仅是因为它们耗尽了空间，更是因为它们失去了寻找已存储记忆的能力。想象一位图书管理员，他有一大叠书，但没有目录系统。如果你向他询问十年前的一本书，管理员可能知道它就在那一叠书中，但他无法从架子上把它取下来，因为书脊上的标签已经褪色或与当前日期不匹配了。

团队发现了两个主要的问题。首先，当游戏运行时间超过模型的训练时长时，记忆的“标签”会变得混乱。其次，当人们尝试压缩旧记忆以节省空间时（比如将一整章的内容总结成一句话），他们会不小心搞混事件的“日期”，导致总结变成一段由不兼容信息组成的混乱模糊的内容。

为了解决这个问题，WorldTrace 扮演了一个拥有特殊归档系统的超级组织严密的图书管理员。它并没有让“日期标签”漂移到未知领域，而是为每一段记忆分配了一个模型无论游戏运行多久都能读懂的固定且安全的地址。这就像是给每本书一个永久的架位编号，即使图书馆变得越来越大，这个编号也永远不会改变。

在这个新的归档系统内部，研究人员尝试了两种不同的方式来决定记录什么：

WorldTrace-Field（平滑总结）： 这种方法就像是在进行一次漫长且蜿蜒的公路旅行，并写下一份平滑、连续的旅行日志，捕捉旅程的整体“氛围”。它通过平均化细节来保持故事的自然流动。这有助于让游戏感觉连贯且稳定，所以天空不会突然变色，或者地面不会在你行走时发生抖动。在测试中，这种方法比旧方法使视频的平滑度提升了 15.5%。
WorldTrace-Landmark（相册）： 这种方法更像是一个剪贴簿。它不是总结一切，而是挑选出特定的、重要的时刻——比如你转过弯角或看到一座独特建筑的那一刻——并保存下那个场景完美的、冻结的快照。当你稍后回到那个地方时，模型会从剪贴簿中调出那张完全相同的“照片”。这对于“情景回忆”（episodic recall），即记住特定地点，至关重要。在测试中，这种方法将长时间绕行后回忆场景的能力提升了 19.5%。

为了证明他们的想法奏效，团队发明了一个新的测试，叫做 LoopBench。想象一个你在正方形或三角形路径中行走，访问不同地点，然后回到起点的游戏。该测试会检查游戏是否记得起点看起来是什么样子的。结果显示，如果没有 WorldTrace，游戏往往无法重建原始场景，而是显示出一个模糊或错误的版本。但在有了 WorldTrace 之后，游戏可以可靠地重建原始场景，即使是在经历了一段漫长的旅程之后。

论文指出，让这些 AI 世界感到真实且持久的关键，不在于存储更多的数据，而在于以一种能够保持可寻性的方式来存储数据。通过修复记忆的“地址”并选择合适的总结类型（无论是平滑的故事还是清晰的快照），WorldTrace 让这些数字世界能够持续更长时间地保持一致性，这使得短视频片段有可能变成无尽的、可探索的冒险，让世界能够记住你。

技术摘要：面向视频世界模型的地址化存储（WorldTrace）

1. 问题陈述

自回归视频世界模型旨在模拟交互式环境，使智能体能够探索并重新访问特定位置，这要求具备视觉持久性（visual persistence）——即在返回时能够一致地重新生成先前见过的场景。然而，一旦生成时长超过训练上下文范围，这些模型在视觉持久性方面会出现快速退化。

本文识别了导致这一失效的两个耦合瓶颈：

地址化失效（Addressability Failure）： 随着生成时长的增加，当前查询与缓存键（keys）之间的时距偏移量超过了训练期间所见的范围。由于这些模型依赖于旋转位置嵌入（RoPE），在分布外（OOD）偏移量下的查询会导致模型关注到“位置噪声”而非实际内容，使得存储的记忆实际上变得无法读取。
信息量失效（Informativeness Failure）： 在 RoPE 旋转空间中的标准压缩策略（例如对键进行平均）会导致相位抵消（phase cancellation）。当来自不同时间戳的键进行平均时，它们截然不同的 RoPE 旋转角度会指向相反的方向，从而抵消信号并损坏压缩后的摘要。

现有方法通常仅解决其中一个问题（例如限制偏移量或压缩内容），但无法解决这两个耦合的问题，导致要么记忆无法被寻址，要么摘要缺乏信息量。

2. 方法论：WorldTrace

作者提出了 WorldTrace，这是一个无需训练的记忆框架，旨在保持压缩记忆既可寻址又具信息量，且无需对底层世界模型进行重训。

核心机制

WorldTrace 将注意力窗口划分为近期窗口（逐帧数据）和摘要缓存（压缩的历史记录）。它通过以下方式解决上述两个瓶颈：

槽位秩虚拟位置（Slot-Rank Virtual Positioning，解决地址化问题）：
与其使用绝对时间戳或限制偏移量（这会导致不同的槽位坍缩到相同位置），WorldTrace 根据每个摘要槽位在缓存中的秩（rank, $s$ ）为其分配一个固定的、分布内的虚拟位置。
- 虚拟位置 $t^v_s$ 计算为 $q - (L_{attn} - 1 - s)$ ，其中 $q$ 是当前查询位置。
- 这确保了每个摘要槽位都能保持在 RoPE 偏移量的训练边界范围内，无论总生成长度如何，从而使 Token 能够被单独寻址。
规范键存储（Canonical Key Storage，解决信息量问题）：
为了防止压缩过程中的相位抵消，键在进行平均或存储之前会被逆旋转回其规范（未旋转）表示形式。
- 逆旋转： $K_{canonical} = R(-\theta_f t_m) K_f^{t_m}$
- 重旋转： 压缩后的键仅在进行注意力计算时，才被重新旋转到该槽位的特定虚拟位置。
- 这确保了平均操作是在旋转不变的空间中进行的，从而保留了源帧的平均注意力得分。

两种变体

WorldTrace 提供了两种针对不同查询模式定制的互补“内容写入器”（投影矩阵）：

WorldTrace-Field（时间相干性）：
- 策略： 在规范空间中，将分配给每个摘要槽位的连续帧组进行均匀平均。
- 目标： 保留过去信息的“粗糙场（coarse field）”，优化平滑的时间延续，使未来的注意力能平滑地扩散到历史记录中。
- 实现： 在主机内存中维护源帧的移动平均，以避免不可逆的信息丢失，并在每一步重新计算槽位均值。
WorldTrace-Landmark（情景回忆）：
- 策略： 存储原始的高价值帧（场景入口）而非平均值。
- 选择： 通过检测规范键中的余弦距离峰值来识别场景入口事件。
- 优化： 使用冻结的规范键。一旦选定地标，其规范键会被计算一次并存储。随后的槽位偏移不会重新旋转该键，从而消除了浮点漂移并保留了精确的场景轨迹。
- 目标： 优化情景回忆，即智能体需要重建特定的、显著的过去场景。

3. 主要贡献

长时程失效诊断： 本文指出，长时程失效从根本上说是地址化问题（由 OOD RoP 偏移引起）与信息量问题（由 RoPE 相位抵消引起）的耦合。
WorldTrace 框架： 一种无需训练的方法，实现了位置分配与内容压缩的解耦。它引入了槽位秩虚拟位置以维持地址化能力，并引入了规范键存储以维持信息量。
LoopBench： 一个评估自回归世界模型情景回忆能力的全新基准测试。它测试了压缩缓存是否能在长时间绕路（如 ABA, ABCA, ABCDA 循环）后重建先前访问过的场景，而无需外部参考图像。
实证验证： 证明了 WorldTrace 能有效扩展记忆时程，在时间相干性和场景重建方面显著优于滑动窗口基线和其他压缩方法。

4. 实验结果

评估使用了 Matrix-Game-2 (MG2) 世界模型（1.3B 参数）和 LoopBench 基准测试。

时间相干性 (WorldTrace-Field)：
- 在长程生成（ $N=48$ 个块）中，WorldTrace-Field 相比滑动窗口基线提升了 15.5% 的 Temporal SSIM。
- 它在基线（Block-relative, Centroid-linear）开始出现漂移并生成不连贯几何结构的 $N=18$ 之后，仍能维持场景相干性。
- 消融研究证实，位置分配是约束的关键；如果没有分布内的虚拟位置，压缩将无法带来收益。
情景回忆 (WorldTrace-Landmark)：
- 在 LoopBench ABA 重访测试中，WorldTrace-Landmark 相比滑动窗口基线提升了 19.5% 的情景回忆率（以 Position-Aligned CLIP, PAC 衡量）。
- 它成功重建了各种拓扑结构（ABA, ABCA, ABCDA）和相机朝向下的原始场景外观，而基线则无法恢复场景结构。
- 在扩展时程（ $N=256$ ）下，仅有逐帧地标回忆能维持高 PAC 分数（ $\approx 0.99$ ），而没有地标的规范键锚定法（canonical-K anchoring）得分显著下降。
消融洞察：
- 位置 vs. 内容： 正确的位置分配（WorldTrace）是任何压缩生效的前提；使用正确位置进行标准平均的效果仍逊于规范平均。
- 相位抵消： 在 $N_s=4$ 个摘要槽位的情况下，规范平均比标准 RoPE 空间平均降低了 25.3% 的 LatentDiff，证明了逆旋转键对于保留低频内容至关重要。

5. 重要性与主张

本文认为，视频世界模型的视觉持久性不仅在于存储更多内容，更在于确保内容是可寻址的且被忠实地压缩。

理论见解： 作者认为，视频世界模型的记忆设计必须回答两个问题：记忆放在哪里（以确保可通过 RoPE 进行寻址），以及存储的是什么（以确保具有信息量）。
实际影响： WorldTrace 使视频生成能够从秒级扩展到分钟级的原路返回生成，且无需重训基础模型。
局限性： 作者坦诚地指出，WorldTrace 是为具有固定 KV 缓存预算的 temporal-RoPE 自回归模型设计的。目前的两种内容写入器（Field 和 Landmark）代表了简单的结构化投影；未来的系统可能需要更具适应性的投影选择机制，特别是在智能体从变化视角重新访问位置的交互式场景中。

总之，WorldTrace 提供了一种机制，通过解决 RoPE 基注意力机制固有的地址化和信息量瓶颈，扩展了视频世界模型的有效记忆时程。