🤖 AI

Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory

该论文介绍了 Infinite-World，这是一个鲁棒的交互式世界模型，通过采用分层无位姿记忆压缩器、不确定性感知动作标注模块以及重访密集型微调策略，克服了由噪声位姿估计和稀缺视角重访所带来的挑战，从而在真实世界环境中实现了连贯的 1000 帧以上视觉生成。

原作者： Ruiqi Wu, Xuanhua He, Meng Cheng, Tianyu Yang, Yong Zhang, Zhuoliang Kang, Xunliang Cai, Xiaoming Wei, Chunle Guo, Chongyi Li, Ming-Ming Cheng

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruiqi Wu, Xuanhua He, Meng Cheng, Tianyu Yang, Yong Zhang, Zhuoliang Kang, Xunliang Cai, Xiaoming Wei, Chunle Guo, Chongyi Li, Ming-Ming Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一款电子游戏，你可以走动、观察窗外以及转弯。大多数“世界模型”（试图理解并预测当你移动时世界如何变化的 AI 系统）都像是短期记忆设备。它们可以向你展示几秒钟内发生的事情，但如果你尝试走很长一段路——比如走 1,000 步——它们就会开始变得混乱。它们可能会忘记门长什么样，或者突然让墙壁消失。

名为 “Infinite-World” 的论文介绍了一种全新的 AI 系统，旨在解决这个问题。它可以模拟一个世界超过 1,000 帧（大约是 30–40 秒的连续视频），而不会失去理智或忘记房间的布局。

以下是他们实现这一目标的原理，通过简单的类比进行解释：

1. 问题所在：“模糊的地图”与“抖动的摄像机”

现实世界的视频是杂乱无章的。

抖动： 当你用手持摄像机拍摄视频时，你的手会抖动。AI 并不知道是你移动了摄像机，还是摄像机仅仅是在抖动。这使得很难教 AI 如何准确地移动世界。
记忆限制： 大多数 AI 试图记住它们见过的每一帧。如果要求它们记住 1,000 帧，它们的“大脑”就会过载，导致崩溃或开始产生幻觉（凭空捏造不存在的事物）。

2. 解决方案：三个聪明的技巧

技巧 A：“总结型图书管理员”（分层无位姿记忆压缩器）

想象你正在读一本很长的书。如果你试图记住每一个字，当你读到结尾时，你就会忘记开头。

其他 AI 的做法： 它们试图把整本书都摊在桌子上。这会让过程变得混乱且沉重。
Infinite-World 的做法： 它使用了一位“总结型图书管理员”。
- 短期记忆： 对于最近的几页，管理员会保持细节清晰。
- 长期记忆： 随着你读得越来越深，管理员不再记录每一个字。相反，他们会为之前的章节写一份摘要。
- 神奇之处： 这个摘要被压缩成固定的大小。无论你读了 10 页还是 1,000 页，管理员只需要在口袋里放一张小小的摘要卡片。这使得 AI 能够记住房间的“大意”（窗户在哪里，书桌在哪里），而不会被数据压垮。它在不需要 GPS 或摄像机地图（无位姿）的情况下完成这一切；它只是学会了如何总结重要的信息。

技巧 B：“运动交通灯”（不确定性感知动作标注）

现实世界的视频数据是有噪声的。有时摄像机移动是因为你在行走；有时是因为你的手在抖。

问题： 如果你根据一段抖动的视频来教 AI “向左移动”，它可能会学到“向左移动”实际上意味着“抖动摄像机”。
解决方案： 作者为运动创建了一个交通灯系统：
- 绿灯（通行）： 运动清晰且强烈。AI 将其学习为真实的动作。
- 红灯（停止）： 运动微小或仅是噪声。AI 会忽略它。
- 黄灯（不确定）： 运动模糊或令人困惑。系统不会强迫 AI 去猜测，而是将其标记为“不确定”，并告诉 AI：“不要从这个特定的瞬间中学习。”
- 结果： AI 只从清晰、强烈的运动中学习，这使得它在响应你的控制指令时表现得更加出色，不会被摄像机的抖动所迷惑。

技巧 C：“练习赛”（重访密集微调）

作者意识到，要教会 AI 记住一条长路径，你不需要数百万小时的随机视频。你需要一种特定类型的练习。

洞察： 如果你沿着直线走 10 英里，你永远看不到起点。但如果你绕圈走并回到起点，你就学会了世界的形状。
策略： 他们使用了一个极小的数据集（仅 30 分钟长），其中的摄像机不断绕圈并反复经过相同的地点。他们利用这个数据集来“唤醒”AI 的长期记忆。这就像给学生进行一次针对特定概念的快速、专注的小测验，以确保他们真正理解了概念，而不是让他们去读完整个图书馆的随机书籍。

结果

当你在这些技巧中组合在一起时，Infinite-World 变成了一位大师级的讲故事者。

它可以观看你在房间里长时间走动。
即使在你走过并绕回来之后，它依然记得窗户在左边。
即使训练视频有些抖动，它也能准确响应你的“向左移动”指令。
它完成这一切时，并不需要一台超级计算机来同时持有所有数据。

简而言之，他们构建了一个能够长时间进行“探索世界”游戏的 AI，它不会迷路、不会遗忘，也不会崩溃，这得益于聪明的总结技术和对杂乱数据的仔细过滤。

技术总结：Infinite-World

问题陈述

现有的交互式世界模型在合成环境（如 Unreal Engine 5、GTA5）中取得了显著成功，因为这些环境提供了完美的地面真值（ground-truth）相机位姿以及配对的视频-动作数据。然而，将这些模型过渡到真实世界场景面临三个关键障碍：

位姿不准确与控制不可靠： 真实世界的视频需要估计相机外参，这会引入噪声和误差，从而降低动作-响应映射的精度。
视角重访稀缺： 自然视频流主要是线性的，缺乏实现模型学习全局几何结构和长程空间记忆所需的密集“闭环”（即返回之前的位置）。
计算瓶颈： 标准注意力机制随序列长度呈二次方（ $O(L^2)$ ）增长，使得生成 1000 帧以上的视频在计算上变得极其昂贵。现有的记忆解决方案要么依赖于易出错的位姿元数据进行检索，要么使用会导致严重信息丢失的简单下采样。

方法论

作者提出了 Infinite-World，这是一个鲁棒的交互式世界模型，旨在利用未经处理的真实世界视频，在 1000 帧以上的长度内保持连贯的视觉记忆。该框架由三个核心组件组成：

1. 分层无位姿记忆压缩器 (HPMC)

为了解决计算瓶颈并消除对显式几何先验的需求，作者引入了一个两阶段递归蒸馏流水线：

局部压缩： 对于短程序列，时间编码器直接压缩原始潜变量（latents），将时间分辨率降低 $k=4$ 倍。
全局压缩： 对于超过记忆预算的长程序列，模型采用自适应滑动窗口机制。原始潜变量被划分为重叠块，进行局部压缩，然后递归地蒸馏成统一的全局表示。
联合优化： 压缩器与 DiT（Diffusion Transformer）骨干网络进行端到端训练。这使得模型能够自主学习哪些历史线索对于未来合成和闭环是显著的，而无需外部位姿元数据，从而在总序列长度无论多长的情况下，都能保持严格受限的记忆占用（ $T_{max}$ ）。

2. 不确定性感知动作标注

为了处理真实世界数据中噪声较大的位姿估计，作者提出了一种将连续运动离散化为三态逻辑的策略：

无操作（No-operation）： 当运动幅度低于噪声阈值（ $\tau_1$ ）时分配。
离散动作（Discrete Action）： 当运动超过触发阈值（ $\tau_2$ ）时分配，并映射到语义方向（例如用于平移的 W/A/S/D）。
不确定（Uncertain）： 在两个阈值之间的模糊、低信噪比（SNR）运动被分配为此状态。
模型并没有丢弃这些模糊样本，而是将它们明确标记为“不确定”。这保护了确定性动作空间不会被抖动或缓慢漂移的位姿所破坏，同时最大限度地利用了原始视频数据。

3. 重访密集型微调策略

基于一项初步研究（该研究表明，空间记忆的激活更多取决于轨迹的拓扑密度而非数据总量），作者采用了两阶段训练方法：

预训练： 模型在大型开放域数据集（30 多小时）上进行训练，以学习多样化的视觉先验和局部动力学。
微调： 使用一个紧凑的、包含 30 分钟数据的**重访密集型数据集（RDD）**来激活长程一致性。该数据集具有频繁的视角重访和闭环特征，使模型能够高效地学习全局空间结构，而无需海量数据。

核心贡献

无位姿长程建模： HPMC 的引入使交互式世界建模能够在受限的计算成本下扩展到 1000 帧以上，消除了对显式相机位姿的依赖。
鲁棒训练范式： 一个全新的框架，通过不确定性感知动作标注来减轻位姿噪声，并通过重访密集型微调策略来激活长程记忆。
实证验证： 广泛的实验证明，与最先进的基准模型相比，该模型在视觉质量、动作可控性和空间一致性方面均表现出卓越的性能。

结果

作者针对多个基准模型（包括 HY-World 1.5、Hunyuan-GameCraft、Matrix-Game 2.0 和 Yume 1.5）进行了评估，测试基准包含 100 个不同场景的 16 块（约 1000 帧）轨迹。

定量指标： Infinite-World 在 VBench 指标（运动平滑度、动态程度、美学质量）中取得了顶尖或接近顶尖的分数。
用户研究： 在大规模 ELO 评分用户研究中，Infinite-World 获得了 1719 的统治级分数，显著超过了表现次优的模型（HY-World 1.5 为 1542）。
- 记忆一致性： 排名第 1（1.92），证明了其在有效缓解长程误差累积方面的能力。
- 视觉保真度： 排名第 1（1.67），保留了全局地标和结构细节。
- 动作响应性： 排名第 1（1.54），证明了即使从带有噪声、不完美的真实轨迹中，模型也能学习鲁棒的动作-响应映射。
定性分析： 视觉对比显示，虽然基准模型会出现重影、结构畸变或“向前移动”的偏差，但 Infinite-World 能够成功执行长程闭环，并在数百帧后保持场景连贯性。
效率： 内存消耗分析显示，当未压缩的基准模型在约 180 帧处因 OOM（显存溢出）错误失效时，Infinite-World 在约 45GB 左右趋于稳定，支持超过 1300 帧的推理。

意义与主张

本文声称 Infinite-World 成功弥合了世界建模中的“现实鸿沟”。通过移除对完美几何先验的依赖，并开发处理噪声控制信号的机制，它证明了在复杂真实环境中实现稳定的长程交互式模拟是可行的。

作者强调，他们的工作提供了一个开放且高效的框架，用于长程真实世界交互建模，这与闭源的最先进系统形成了对比。他们得出结论，长程建模的瓶颈不在于数据量，而在于单个轨迹的拓扑密度和持续时间，这一发现通过仅用 30 分钟微调数据即可激活 1000 帧一致性的能力得到了验证。这项工作旨在为自动驾驶和具身智能等领域的未来真实世界神经模拟器奠定基础。