💻 computer science

WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation

该论文提出了 WorldCam，一种通过将相机姿态作为统一几何表示来构建交互式自回归 3D 游戏世界的方法，利用基于物理的连续动作空间实现精确控制，并借助全局相机姿态索引确保长时程导航中的 3D 一致性，从而显著提升了现有游戏世界模型的动作可控性、视觉质量及空间一致性。

原作者： Jisu Nam, Yicong Hong, Chun-Hao Paul Huang, Feng Liu, JoungBin Lee, Jiyoung Kim, Siyoon Jin, Yunsung Lee, Jaeyoon Jung, Suhwan Choi, Seungryong Kim, Yang Zhou

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jisu Nam, Yicong Hong, Chun-Hao Paul Huang, Feng Liu, JoungBin Lee, Jiyoung Kim, Siyoon Jin, Yunsung Lee, Jaeyoon Jung, Suhwan Choi, Seungryong Kim, Yang Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 WorldCam 的新技术，你可以把它想象成是一个**“拥有完美空间记忆和精准身体控制力的虚拟游戏导演”**。

为了让你更容易理解，我们可以把生成游戏世界的过程比作**“在脑海中构建一个真实的虚拟迷宫”**。

1. 以前的“导演”遇到了什么麻烦？

在 WorldCam 出现之前，现有的 AI 游戏世界模型（比如之前的各种尝试）就像是一个**“有点糊涂的导演”**：

动作控制不准： 当你告诉它“向右转”时，它可能转得太猛，或者转到了奇怪的角度。它把“按键盘”这个动作当成了抽象的指令，而不是真实的物理运动。
记性不好（3D 不一致）： 当你在这个虚拟世界里走了一圈，又回到刚才经过的同一个房间时，它可能会把房间的样子搞错（比如墙上的画变了，或者门的位置不对）。因为它没有真正理解“我在空间中的位置”，只是凭感觉在画下一帧画面。

2. WorldCam 的“独门秘籍”：把“相机位置”作为核心

WorldCam 的核心创新在于，它不再把用户的操作（按键盘、动鼠标）看作简单的指令，而是把它们直接翻译成**“相机在三维空间中的精确位置”**。

比喻一：乐高积木 vs. 真实物理引擎

旧方法（乐高积木）： 就像是用乐高积木搭房子。你每走一步，导演就随便搭一块新的积木。走远了再回头看，发现刚才搭的墙和现在的墙对不上，因为每一块积木都是独立搭的，没有整体结构。
WorldCam（真实物理引擎）： 它像是一个**“带着 GPS 的探险家”。当你按下“前进”键，它不是随便画个新画面，而是计算出：“探险家现在向前移动了 1 米，同时向右转了 15 度”。它把这个精确的坐标**（就像 GPS 定位）作为“锚点”，告诉 AI：“接下来要画的画面，必须严格符合这个坐标下的样子。”

比喻二：数学家的“螺旋运动”

当你一边向前走一边向右转时，你的轨迹其实是一条螺旋线。

旧方法就像把“走”和“转”分开算，结果走出来的路是歪歪扭扭的折线。
WorldCam 使用了一种叫**“李代数”**（听起来很数学，其实就是一种处理旋转和移动的高级数学工具）的方法。它完美地模拟了这种“螺旋运动”，确保你的视角变化是平滑且符合物理规律的。

3. 它是怎么“记性”这么好的？

WorldCam 有一个**“时空记忆库”**。

以前的模型： 就像是一个只有短期记忆的画家，画完一张就忘了上一张。当你回到老地方，它只能凭模糊的印象瞎画，所以画出来的房间和之前不一样。
WorldCam： 它手里拿着一本**“带坐标的相册”**。
1. 当你走到一个新地方，它会把刚才生成的画面和对应的“坐标”存进相册。
2. 当你再次走到某个坐标附近（比如你转了一圈回到原点），它会立刻去相册里检索：“嘿，刚才在这个坐标我拍过什么？”
3. 然后，它把之前拍过的画面细节“借”过来，融合进现在的画面里。
  结果： 无论你走多远再回来，那个房间的墙壁、灯光、位置都和第一次看到时一模一样，完美复刻。

4. 他们做了什么准备？（数据集）

为了训练这个“导演”，以前的研究要么用太简单的游戏（比如《我的世界》，方块世界太简单），要么用不能公开的数据。
WorldCam 团队收集了50 个小时的真实人类游戏录像（来自《反恐精英》等游戏），并给每一帧都标注了**“相机在哪里”以及“玩家在做什么”。这就像给 AI 找了一个“超级教练”**，手把手教它如何像真人一样在三维空间里移动和观察。

5. 总结：WorldCam 厉害在哪里？

简单来说，WorldCam 解决了两个大问题：

指哪打哪： 你按什么键，它就精准地往哪个方向看，不会乱转。
永不迷路： 无论你在虚拟世界里逛多久，回头再看，场景依然严丝合缝，不会出现“鬼打墙”或者“房间变形”的情况。

一句话总结：
WorldCam 就像是一个**“拥有完美空间感和超强记性的虚拟导游”，它不再只是随机生成画面，而是真正理解你在三维空间里的每一步移动，让你能在一个真实、连贯且可控**的虚拟世界里自由探索。

1. 研究背景与问题 (Problem)

尽管基于视频扩散 Transformer (DiT) 的模型在生成逼真视频方面取得了显著进展，但在构建交互式 3D 游戏世界模型时仍面临两大核心挑战：

精确的动作控制缺失：现有方法通常将用户输入（如键盘、鼠标操作）视为抽象的条件信号，直接注入生成模型。这种做法忽略了动作与 3D 世界之间根本的几何耦合关系。用户动作实际上是在 3D 场景中诱导相对相机运动，这些相对运动随时间累积形成全局相机轨迹。缺乏显式的几何约束导致相机运动与预期动作不匹配。
长程 3D 一致性差：现有的交互式游戏世界模型难以在长序列生成中保持 3D 几何的一致性。当用户重新访问之前的位置或视角时，生成的场景往往出现几何扭曲或物体漂移。现有的相机控制视频生成方法虽然关注 3D 一致性，但通常仅针对短视频（如 16 帧），无法处理由动作驱动的长程推理。

核心痛点：现有工作未能将“即时动作控制”与“长程 3D 一致性”通过统一的几何表示（即相机位姿）结合起来。

2. 方法论 (Methodology)

论文提出了 WorldCam，这是一个基于视频 DiT 的交互式游戏基础模型。其核心创新在于将相机位姿 (Camera Pose) 确立为统一几何表示，同时用于动作控制和长程一致性。

2.1 基于李代数的动作到相机映射 (Action-to-Camera Mapping)

物理连续动作空间：不同于以往将动作解耦为线性近似的方法，WorldCam 在 李代数 $se(3)$ 中定义动作空间。
6-DoF 位姿推导：将用户输入（键盘/鼠标）表示为螺旋向量（Twist vector） $A = [v; \omega]$ （线速度和角速度）。通过矩阵指数映射 $\exp(\hat{A})$ 严格推导精确的 6-DoF 相对相机位姿 $\Delta P \in SE(3)$ 。
优势：这种方法能够准确捕捉耦合运动（如“前进同时右转”产生的螺旋运动），避免了线性近似带来的轨迹漂移。
注入机制：生成的相对位姿被累积为全局位姿，并通过 Plücker 嵌入 编码，经由相机嵌入模块注入到 DiT 的中间特征中，确保生成内容严格遵循物理运动规律。

2.2 位姿锚定的长程记忆 (Pose-Anchored Long-Term Memory)

几何索引：利用推导出的全局相机位姿作为空间索引，从“长期记忆池”中检索相关的历史潜在变量 (Latents)。
分层检索策略：
1. 位置检索：选取与当前相机位置距离最近的 $K$ 个候选记忆。
2. 方向检索：在候选中进一步选取与当前朝向最一致的 $L$ 个记忆（基于旋转矩阵迹的相似度）。
一致性约束：检索到的历史潜在变量及其对应的相机位姿嵌入被拼接并注入到当前生成过程中。这使得模型在生成新帧时，能够显式地建立与过去场景的几何对应关系，从而在用户回看旧位置时保持 3D 结构的一致性。

2.3 渐进式自回归推理 (Progressive Autoregressive Inference)

渐进噪声调度：采用分阶段的噪声调度策略，为每个去噪窗口内的帧分配单调递增的噪声水平。早期帧作为低噪锚点，后期帧保持高噪以便修正，从而在长序列生成中平衡稳定性与可修正性。
注意力池 (Attention Sink)：引入类似 StreamingLLM 的机制，保留初始帧作为注意力锚点，防止长序列生成中的视觉饱和和 UI 元素扭曲。
短期记忆：保留最近生成的潜在变量作为短期记忆，减少自回归过程中的误差漂移。

3. 数据集贡献 (WorldCam-50h)

为了解决缺乏大规模、高保真人类游戏数据的问题，作者构建了 WorldCam-50h 数据集：

规模：包含 3,000 分钟（约 50 小时）的真实人类游戏录像。
来源：涵盖一款闭源商业游戏（Counter-Strike）和两款开源游戏（Xonotic, Unvanquished），确保数据的可复现性。
内容：覆盖复杂场景，包括导航、360°快速旋转、反向遍历等。
标注：每个视频片段均标注了丰富的文本描述（世界布局、视觉主题等）以及伪真值的全局相机位姿（使用 ViPE 提取）。

4. 实验结果 (Results)

在动作可控性、长程视觉质量和 3D 一致性三个维度上，WorldCam 均显著优于现有最先进模型（如 Yume, Matrix-Game 2.0, GameCraft）及相机控制视频生成方法（CameraCtrl, MotionCtrl）。

动作可控性：
- 在 200 帧的长序列生成中，WorldCam 的相机位姿相对误差 ( $RPE_{camera}$ ) 最低（0.086），比次优模型 GameCraft 降低了 16.3%。
- 在短序列（16 帧）对比中，相机控制误差比 CameraCtrl 降低了 36.1%。
- 用户研究评分中，动作可控性达到 4.31/5.0，远超其他模型。
3D 一致性：
- 在闭环轨迹测试中，WorldCam 在 PSNR (16.69)、LPIPS (0.3277) 和 DINO 相似度 (0.8884) 等指标上均取得最佳成绩。
- 特别是在锐度 (Sharpness) 指标上，WorldCam (656) 远高于其他生成模型，证明其生成的清晰且无模糊，避免了因模糊导致的虚假高分。
- 用户研究评分中，3D 一致性达到 4.36/5.0。
视觉质量：
- 在 VBench++ 综合评分中达到 0.844，优于次优模型 8.1%。
消融实验：
- 验证了基于李代数的动作映射比线性近似更准确。
- 证明了基于相机位姿的记忆检索策略比随机或时间顺序检索更有效。
- 展示了注意力池和短期记忆对长程稳定性的关键作用。

5. 核心贡献与意义 (Significance)

理论突破：首次明确将相机位姿确立为连接“即时动作控制”与“长程 3D 一致性”的统一几何表示。通过李代数严格建模动作与相机的耦合关系，解决了传统方法中动作控制模糊和几何不一致的难题。
架构创新：提出了基于位姿索引的长程记忆检索机制，使生成模型能够像人类一样“记住”并一致地重现之前的 3D 场景，实现了真正的交互式 3D 世界建模。
数据开源：发布了 WorldCam-50h 数据集，填补了大规模、高保真、带相机位姿标注的开源游戏数据空白，为可复现的交互式世界模型研究奠定了基础。
性能领先：在保持高视觉质量的同时，实现了精确的键盘/鼠标控制，并在长序列生成中保持了惊人的 3D 几何稳定性，为构建下一代 AI 游戏引擎和虚拟世界提供了强有力的技术支撑。

总结：WorldCam 通过引入几何感知的动作映射和基于位姿的记忆机制，成功解决了交互式 3D 生成中“控制不准”和“记忆不准”的两大瓶颈，是迈向真实、可控、持久虚拟世界的重要一步。