🤖 machine learning

WorldPack: Dynamic Frame Compression for Long-context Video World Modeling

WorldPack 是一种视频世界模型，它通过引入具有空间感知能力的压缩记忆，并基于轨迹打包和几何选择，根据 3D 视角相关性动态分配压缩率，从而增强了长时程空间一致性，将有效上下文从 4 帧扩展到了 22 帧。

原作者： Yuta Oshima, Yusuke Iwasawa, Masahiro Suzuki, Yutaka Matsuo, Hiroki Furuta

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuta Oshima, Yusuke Iwasawa, Masahiro Suzuki, Yutaka Matsuo, Hiroki Furuta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何在巨大的、无尽的迷宫中导航。为此，机器人需要一个“世界模型”——一个能够基于它当前的位置和计划前往的地方，预测几步之后世界会是什么样子的心理模拟。这就像是一个电子游戏角色在下一帧画面实际发生之前，先预判游戏画面的样子。长期以来，这些数字大脑一直面临着一个大问题：它们的记忆太短了。如果机器人在原地转圈，回到了十分钟前去过的地方，它已经忘记了那个地方长什么样。这就像是在解一个拼图，而有人却一直在擦掉你已经放好的拼图块。

挑战在于，计算机拥有有限的“脑容量”（或上下文窗口）来保存这些过去的图像。如果你试图把太多照片塞进这个空间，计算机就会不堪重负并变得缓慢。如果你为了腾出空间而丢弃旧照片，机器人就会迷失方向，无法记住自己去过哪里。科学家们一直试图研究如何让机器人的记忆足够长，以便处理复杂的旅程，而不至于让它的“大脑”崩溃。这正是名为《WorldPack》的论文试图解决的谜题。

WorldPack 的研究人员意识到，旧的记忆管理方式有点像是在为旅行收拾行李，你只是随手扔进最后穿过的几件衣服，而忽略了其他的。他们问道：如果我们能装入更多东西，但同时压缩那些现在没那么重要的东西呢？他们的解决方案是一个被称为 WorldPack 的巧妙两步走策略。

首先，他们使用了一种叫做**几何选择（Geometric Selection）**的技术。想象一下你正在观察你的旅程地图。机器人不再仅仅记住你最近走的几步，而是观察自己的当前位置并询问：“我现在正在注视哪些过去的地方？”如果机器人正站在几小时前去过的一个房间里，那个旧记忆突然变得极其重要。系统会给这个旧记忆打出“高分”，并以高清格式保留它。如果一段过去的记忆来自机器人目前完全不在附近的地点，它就会得到一个“低分”。

其次，他们使用了轨迹打包（Trajectory Packing）。这是见证奇迹的时刻。机器人并没有删除那些低分记忆，而是将它们缩小了。这就像是把一张远处高分辨率的山脉照片变成一张微小的、模糊的缩略图。你看不清细节，但你仍然知道那座山在那里。通过缩小不重要的记忆，机器人可以将更多的记忆塞进其有限的脑容量中。在实验中，他们成功地将原本只能容纳 4 帧的历史帧压缩到了 22 帧。

论文表明这种方法效果非常好。当他们在类 Minecraft 的世界（一个用于研究的数字沙盒）中测试 WorldPack 时，机器人可以进行长距离的循环航行，并回到很久以前去过的地方而不会感到困惑。它在记忆世界布局方面比之前的模型表现得更好，因为之前的模型要么会遗忘过去，要么思考起来变得太慢。研究人员发现，虽然机器人处理这些打包后的记忆时多花了一点点时间（大约 16%），但这种权衡是值得的，因为它可以看得更远。

然而，论文也指出这并不是一个完美的、能解决所有问题的万灵药。该系统依赖于精确知道机器人的摄像头正对着哪里（即其“位姿/pose”）。如果机器人对自己所在的位置产生了困惑，系统可能会缩小错误的记忆，或者保留错误的记忆。作者建议，在现实世界中，由于摄像头可能会晃动或丢失位置信息，这种方法可能需要额外的辅助才能保持准确。

简而言之，WorldPack 表明，拥有聪明、长期的记忆秘诀不仅在于拥有一个更大的大脑，还在于如何更聪明地收拾你的行李。通过保持重要的过去时刻清晰，并将不太重要的时刻缩小，一个数字大脑可以走得更远，而不会忘记自己从哪里出发。

技术摘要：WorldPack：用于长上下文视频世界建模的动态帧压缩技术

问题陈述
视频世界模型旨在根据过去的观测结果和导航动作，生成高保真度的未来视觉观测。这类模型在长时程一致性方面面临着关键瓶颈。现有的方法在维持长时间展开过程中的时空相干性方面表现不佳。目前的方法大致分为两类，且均存在局限性：

通用压缩（Generic Compression）： 如 FramePack 等方法基于时间邻近性或特征相似度对过去帧进行压缩。然而，这些调度方案并未显式地利用 3D 视角几何信息，可能导致丢弃了来自遥远过去的具有空间关键性的信息。
空间检索（Spatial Retrieval）： 如 WorldMem 和 Context-as-Memory 等方法根据 3D 共视性或视场角（FoV）重叠来选择帧。虽然具备空间感知能力，但它们在固定的上下文窗口内运行，通过完全替换较不相关的帧来工作，而非以降低分辨率的方式保留它们。这造成了一种权衡：包含空间相关的远端帧必然意味着必须舍弃其他潜在有用的观测。

因此，模型要么无法获取必要的远端历史信息，要么在被迫依赖有限上下文时产生误差累积和漂移。

方法论：WorldPack
作者提出了 WorldPack，这是一种将帧选择与压缩统一为单一机制的视频世界模型：空间感知压缩记忆。其核心洞察在于，压缩率不应是均匀的或由时间决定的，而应根据相对于当前视角的 3D 空间相关性进行动态分配。

WorldPack 通过两个紧密耦合的机制来实现这一目标：

几何选择（Geometric Selection）：
- 该模型不再依赖时间近邻性，而是根据历史帧与当前视图的 3D 空间重叠程度对其进行评分。
- 利用相机位姿信息 ( $p$ )，系统计算历史帧 $i$ 与目标帧 $t$ 之间的视场角（FoV）重叠情况。通过在视锥体内进行蒙特卡洛采样来估计重叠得分 $o_i$ 。
- 最终得分 $s_i$ 通过结合重叠得分与轻微的时间惩罚项来计算，后者仅在空间重叠相似时才会倾向于较新的帧，从而打破平局。
- 帧按此得分进行排序。得分最高的 $S$ 帧（空间相关性最强）被分配到“非压缩槽位”，而剩余帧则根据其排名被分配到离散的压缩组中。
轨迹打包（Trajectory Packing）：
- 历史帧根据其分配的优先级以不同的分辨率进行编码。
- 高优先级帧（高空间相关性）保持全分辨率 ( $L_f$ )。低优先级帧则按因子 $\lambda^{d_i}$ 进行压缩（其中 $\lambda=2$ ，且 $d_i$ 为优先级索引）。
- 这使得模型能够在固定的长度上下文预算内（相当于 4 个未压缩帧），打包显著数量的历史帧（例如 22 帧），而不会丢失任何历史信息。

架构
WorldPack 构建在带有**旋转位置嵌入（RoPE）的条件扩散 Transformer（CDiT）**骨干网络之上。

CDiT： 将自注意力限制在目标帧的 token 上，并使用交叉注意力处理过去帧，从而将计算复杂度从相对于上下文长度 $m$ 的二次方 ( $O(m^2)$ ) 降低到线性 ( $O(m)$ )。
RoPE： 确保无论记忆帧在上下文中的距离如何变化，都能保持一致的表示。
实现： 系统使用一组离散的压缩率（ $2^0, 2^2, 2^4$ ）以及针对每种速率的独立输入投影层。在实验中，上下文包含 2 个未压缩帧、4 个 $2^2$ 压缩帧和 16 个 $2^4$ 压缩帧，在 4 个 token 的预算内总计容纳了 22 帧。

核心贡献

统一机制： WorldPack 通过将动态压缩与空间检索视为同一个问题（即基于 3D 空间相关性分配 token 预算），弥合了两者的差距。
扩展有效上下文： 该方法在适度计算开销下，将有效上下文从 4 帧扩展到了 22 帧，使模型能够对更长时程进行推理。
空间自适应压缩： 它证明了通过为空间关键帧保留高保真度，同时对不太相关的帧进行激进压缩，其效果优于均匀压缩和固定窗口检索。

实验结果
作者在 LoopNav（一个用于长时程空间一致性的 Minecraft 基准测试）和 RECON 数据集（真实世界导航）上对 WorldPack 进行了评估。

LoopNav 性能： 在 空间记忆检索（ABA） 和 空间推理（ABCA） 任务中，WorldPack 均超越了强基线模型（Oasis, Mineworld, DIAMOND, NWM）。
- 它在 SSIM, LPIPS, PSNR, DreamSim 和 FVD 指标上均取得了卓越的表现。
- 在 ABCA 任务（长路径返回）中增益尤为显著，因为在该任务中，回忆远端观测的能力至关重要。
消融实验：
- 通过将 WorldPack 与“最近帧打包”（仅压缩而不进行几何选择）进行比较，分离出了几何选择带来的收益，表明 3D 感知的重要性评分优于时间近邻性。
- 通过与“记忆检索”（仅选择而不进行压缩）进行比较，分离出了轨迹打包带来的收益，表明通过压缩保留更多帧比使用固定上下文窗口更有效。
真实世界数据： 在 RECON 数据集上，WorldPack 展示了强大的生成性能，证实了其在模拟环境之外的实用性。
效率： 该方法在实现 5.5 倍可见历史帧增加的同时，使扩散模型的推理时间增加了约 16%，内存使用量增加了 12%。几何选择的成本随候选数量线性缩放（例如，在 H100 上处理 1,600 个候选者的耗时为 0.26 秒）。

意义与主张
论文声称 WorldPack 解决了视频世界建模中上下文长度与计算成本之间的根本权衡。作者认为，单纯扩大上下文长度的效果不如通过空间引导智能地压缩更长的历史记录。其核心贡献不仅在于空间评分本身，更在于利用该评分来控制更大规模帧集的压缩率。这种方法允许模型在保持对空间关键远端观测的高保真访问的同时，保留进行连贯长期模拟所需的更广泛上下文。作者指出，尽管该方法依赖于相机位姿（在现实世界设置中可能存在噪声），但它代表了迈向鲁棒、长时程视频世界建模的重要一步。

技术摘要：WorldPack：用于长上下文视频世界建模的动态帧压缩技术

类似论文