✨ 要点🔬 技术摘要
想象一下，你正站在一个小房间里，手里拿着相机，正在拍摄一个角落的照片。现在，想象你想构建一个虚拟世界，让你可以在其中走动、回头观察，并探索整个房屋，即便你最初只有那一张小小的快照。这正是 MoVerse 所要解决的挑战。
把 MoVerse 看作是一个三步走的魔术，它能将一张照片转化为一个完全可探索的实时视频世界。以下是它的工作原理，我们使用简单的类比来解释：
问题所在：“盲区”
大多数 AI 系统试图仅凭一张图片就猜出整个世界。如果它们猜错了，世界看起来就会出现闪烁或扭曲，或者当你转身时，AI 会感到困惑。MoVerse 通过将任务分配给三个各司其职的专业团队来避免这个问题，每个团队都只专注于做好一件特定的事情。
第一步：“想象力艺术家”（全景生成）
任务： 在构建 3D 世界之前，系统首先需要看到整个房间。类比： 想象你拥有一块拼图碎片（你的照片），但你需要完整的图像。与其进行随机猜测，这一步使用了一位了解房间构造的特殊艺术家。
重力对齐： 艺术家首先将照片校正，使地板平整、墙壁垂直，就像真实的房间一样。360° 包围： 然后，艺术家在你的四周“绘制”出缺失的部分，创造出一个完整的 360 度全景视图。至关重要的一点是，这位艺术家经过专门训练，确保绘画的左侧和右侧边缘能够完美衔接，这样当你环视四周时就不会出现接缝。
第二步：“建筑师”（高斯支架）
任务： 现在我们有了完整的 360 度绘画，我们需要将其转化为一个你可以穿行的 3D 结构。类比： 可以把这想象成用数百万个微小的、发光的雾球（称为高斯体/Gaussians ）搭建起一个骨架或“支架”。
系统将 360 度绘画提升到 3D 空间中。
它放置这些雾球来代表墙壁、地板和家具。
为什么这很重要： 与仅仅播放电影的视频游戏不同，这个支架是一个真实的、持久的 3D 地图。如果你向前走，雾球会保持在原处。这赋予了系统对世界形状的“记忆”，因此当你移动时，你不会迷失方向，也不会看到世界发生形变。
第三步：“特效导演”（视频渲染）
任务： 3D 支架（雾球）对于结构很有帮助，但它可能看起来有点模糊，或者存在一些小孔洞（就像一份草稿）。这一步负责让它看起来具有照片级的真实感。类比： 想象支架是一个粗糙的粘土模型。这一步就像是一位高端电影导演，他将那个粘土模型进行精细处理，实时为其涂抹上超写实的纹理、光影和阴影。
老师与学生： 系统首先训练一个“老师”AI，它可以同时观察整个视频以使其达到完美状态。然而，那对于实时行走来说太慢了。因此，他们训练了一个向“老师”学习的“学生”AI。流式传输： “学生”速度很快。它观察着你移动摄像机时的 3D 支架，并瞬间逐帧“绘制”出最终的视频画面。它会修复模糊点并填补空隙，但它绝不会改变房间的布局（因为“建筑师”已经构建好了那个布局）。
结果：实时漫游
通过分离这些任务，MoVerse 实现了一些罕见的效果：
稳定性： 因为“建筑师”构建了一个真实的 3D 地图，所以当你行走时，世界不会漂移或改变形状。美观度： 因为“导演”绘制了视频，所以它看起来就像一部高质量的真实电影。速度： 该系统足够快，可以在单台强大的计算机（NVIDIA RTX 4090）上运行，让你以大约每秒 8 帧的速度在生成的世界中漫游。
简而言之： MoVerse 接收一张照片，想象出整个房间，构建出它的 3D 骨架，然后在其上绘制出美丽的实时视频，让你能够即时进行探索。
MoVerse 技术摘要：基于全景高斯骨架的实时视频世界建模
问题陈述
本文旨在解决从单张窄视野（NFOV）图像生成可导航、可交互 3D 世界的挑战。这项任务本质上是欠定（under-constrained）的，因为输入仅捕捉了环境中的一个微小视锥体，而交互式应用（如 VR 原型设计、数字孪生、具身智能体仿真）则需要一个完整的、具有空间持久性的世界，并支持可控的相机运动和时空连贯的高保真观测。
现有方法难以同时满足所有要求：
显式 3D 方法 （点云、网格、3D 高斯）提供了持久的空间记忆和精确的相机控制，但由于直接从单张 NFOV 图像提升时证据不足，往往会出现空洞、漂浮物（floaters）以及感知质量受限的问题。隐式视频/世界模型 生成的视频视觉效果强大，但缺乏长程几何稳定性，在长轨迹生成过程中经常出现漂移、身份变化或边界不连续现象。混合系统 试图结合两者，但在几何锚定的强度与生成渲染器的可部署性之间面临权衡，通常会导致引导过于稀疏，或产生不适合实时交互的高计算成本双向模型。
方法论
MoVerse 提出了一个三阶段系统，将世界构建 （离线）与观测渲染 （在线）进行解耦。这种因子分解允许系统在利用显式 3D 表示的可控性的同时，发挥生成式视频模型的感知质量。
第一阶段：几何感知全景生成
给定单张 NFOV 图像，系统首先将其扩展为完整的、符合重力对齐的 360° 等距柱投影（ERP）全景图。这一步在进行任何 3D 提升之前，先完成了缺失视野的补全。
规范化（Canonicalization）： 输入通过**可微自动调平（differentiable auto-leveling）**被稳定到符合重力对齐的规范观察空间中。该模块预测稠密 2D 相关性，并求解刚性球面变换以消除俯仰（pitch）和横滚（roll），确保地平线水平且垂直结构端正。拓扑感知补全： 一个掩码潜扩散模型用于补全缺失的视野。为了尊重 ERP 全景图的水平 S 1 S^1 S 1 循环潜编码 （在方位角轴上使用循环卷积填充）和平移等变生成 （强制执行水平循环平移下的连贯性）。训练： 模型在经过规范化处理的 Horizon360 数据集上进行训练，结合了潜扩散损失、平移一致性损失和几何流损失。
第二阶段：全景高斯骨架构建
补全后的全景图被提升为一个持久的、可直接渲染的 3D 高斯（3DGS）骨架。
初始化： 高斯通过从预测的全景深度图中进行球面反向投影进行初始化。至关重要的是，初始化是 ERP 感知的 ，高斯尺寸随 cos ϕ \cos \phi cos ϕ 残差预测： 一个前馈网络在**角向-逆深度空间（angular–inverse-depth space）**中预测高斯属性（中心、缩放、旋转、颜色、不透明度）的残差修正。这确保了更新与 ERP 几何保持一致，并维持水平闭合性。输出： 结果是一个稠密的 3DGS 资产 (G G G V ^ 1 : T \hat{V}_{1:T} V ^ 1 : T
第三阶段：高斯条件流式视频渲染
此阶段将不完美的骨架渲染转换为高保真、时空连贯的实时视频。
教师-学生蒸馏： 一个双向扩散教师模型 （基于 Wan2.1-T2V 初始化）经过训练，执行稠密高斯条件视频渲染，通过关注全量剪辑来实现高质量输出。随后，该教师模型通过自强制（self-forcing）和分布匹配（RAVEN）被蒸馏为一个因果自回归学生模型 。因果流式处理： 学生模型以自回归方式生成视频块，以当前的骨架渲染为条件，并通过局部键值（KV）缓存关注近期历史。这种设计实现了受限延迟的流式传输。内存管理： 系统使用 MemRoPE （带有汇（sink）和长期 EMA 内存标记的滑动窗口）来管理长程展开过程中的时间位置。显式骨架承载长程空间记忆，而视频模型则专注于局部伪影修复和感知增强。
核心贡献
三阶段因子分解： 一种新颖的架构，将世界构建（全景生成 + 3D 提升）与观测渲染（视频生成）解耦，从而实现离线资产创建与在线实时交互。全景高斯骨架： 一种利用纬度感知初始化和角向残差预测，将重力对齐的全景图提升为 3DGS 的方法，创建了稠密的、可直接渲染的空间记忆。拓扑感知扩散： 用于 360° 全景补全的技术，通过可微自动调平和平移等变潜扩散，强制执行重力对齐和水平 S 1 S^1 S 1 因果视频蒸馏： 一种蒸馏流水线，将高质量的双向视频教师转化为低延迟的因果学生模型，在不牺牲骨架提供的几何一致性的前提下，实现实时流式传输（在单张 RTX 4090 上达到 8 FPS）。
结果
性能： 系统支持在单张 NVIDIA RTX 4090 GPU 上进行 8 FPS 的实时场景漫游。定性输出： 该流水线成功地从单张 NFOV 输入生成了可导航视频。3D 高斯骨架提供了稳定的相机控制和布局，而因果渲染器增强了感知质量和时空连效性，有效地修复了喷绘（splatting）伪影并填补了微小失遮蔽区域。消融/分析： 结果表明，阶段分离的设计使系统能够处理长轨迹而不产生纯隐式模型常见的几何漂移，同时也避免了直接单图 3D 重建中常见的对大规模未观测区域的幻觉问题。
意义与主张
本文声称 MoVerse 展示了实现单图世界创建与交互式视频输出 的一条切实路径。通过将显式 3D 表示（全景高斯骨架）的可控性与长程一致性 与生成式视频模型（蒸馏后的因果渲染器）的感知质量 相结合，该系统克服了现有显式与隐式方法的局限性。
作者强调，该设计并不要求视频模型从零开始幻觉出整个世界；相反，显式骨架锚定了场景布局和相机运动，使得视频模型能够专注于高保真观测合成。这种混合方法实现了此前无论是单一方法都无法实现的实时交互。
承认的局限性：
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。