💻 computer science

OmniX: Any-view and Any-time 4D Reconstruction via Feed-forward Trajectory Fields

OmniX 是一个前馈式 4D 重建框架，通过使用紧凑的动态标记将动态运动建模与静态几何解耦，从而为具有大幅度相机运动的视频预测稠密 3D 点轨迹，并由新引入的大规模合成数据集提供训练支持。

原作者： Yanqin Jiang, Tengfei Wang, Zhengwei Wang, Chenjie Cao, Junta Wu, Wenhan Luo, Weiming Hu, Jin Gao, Chunchao Guo

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanqin Jiang, Tengfei Wang, Zhengwei Wang, Chenjie Cao, Junta Wu, Wenhan Luo, Weiming Hu, Jin Gao, Chunchao Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在电子游戏中重建一个繁忙的城市广场，但你手里只有一段手持拍摄的晃动视频，画面中人们在走动，汽车在疾驰，太阳也在移动。摄像机剧烈摇晃、缩放并跳跃。以往尝试从这类视频构建 3D 模型的方法就像是在戴着眼罩解谜：它们要么会冻结移动的人物（忽略了动作），要么会在摄像机移动过大时感到困惑，导致结果变得模糊且破碎。

这时，OmniX 登场了。它是一个全新的“前馈式”（feed-forward）框架（可以把它想象成一个超级快速、一步到位的配方），终于能够重建这些动态场景的 4D 维度——这意味着它不仅捕捉了 3D 形状，还捕捉了每一个点随时间变化的运动方式，即使在摄像机疯狂移动的情况下也是如此。

核心魔术：分离静态与旋转

该论文指出，以往的方法之所以失败，是因为它们试图在没有将建筑形状和人物舞步进行分离的情况下，同时搞定两者。这就像是在没有调音台分离音轨的情况下，试图同时听清小提琴独奏和架子鼓独奏。

OmniX 通过显式地解耦（unmixing）这两个部分解决了这个问题。它将背景（静态几何体）和前景（动态运动）视为不同的成分：

静态部分： 它确定墙壁和地面在哪里。
动态部分： OmniX 并没有采用追踪每一个像素点运动的笨办法（那样既慢又耗费计算资源），而是使用了一个聪明的技巧。它识别出一组极小的、稀疏的“动态标记”（dynamic tokens）。你可以把它们想象成派出去绘制整个人群运动图谱的几名超级侦察兵。由于 3D 运动本质上是稀疏且有组织的（低秩性），这几名侦察兵就能生成一个“轨迹场”——即一张关于视频中每个像素如何从任何角度、在任何时刻移动的地图。

“单次通过”的超能力

旧的方法通常像是一个慢动作侦探，逐帧检查：“这个点去了哪里？”然后问：“它下一步又去了哪里？”如此循环往复。这种方法被称为“迭代式”（iterative），速度很慢。

OmniX 则不同。它能在单次通过中预测出每个点的完整路径。这就像是在看电影时，瞬间就能知道每个角色的未来路径，而不需要暂停或倒带。这得益于一种名为**稀疏时空注意力机制（Sparse Spatiotemporal Attention, SSA）的新机制。SSA 挑选出最重要的“动态标记”，将它们扩展到时间维度，并让它们与所有图像数据进行“交流”，从而推算出运动规律。随后，一个可变形轨迹采样头（Deformable Trajectory Sampling Head）**会利用这些稀疏的线索来填补空白，从而为整个场景提供密集且像素级的轨迹。

构建训练健身房：UE5 引擎

如果你从未见过舞池，你就无法教机器人跳舞。作者意识到，目前缺乏能够训练如此宏大模型的、带有“大幅度相机运动”和完美 3D 标签的真实世界数据。因此，他们构建了自己的“健身房”。

利用 Unreal Engine 5 (UE5)，他们创建了一个自动数据引擎。他们提取静态环境，加入动态物体（如行驶的汽车和行人），并使用一套自定义摄像机系统进行疯狂旋转拍摄。

结果： 他们生成了一个包含 80,000 个场景和 128 万个多视角视频的海量数据集。
标注： 每一个视频都附带完美的“真值”（ground truth）标签：精确的深度、相机姿态以及密集的 3D 点轨迹。正是这些合成数据，让 OmniX 学会了如何处理那些会让以往模型感到困惑的、高达 180 度的剧烈相机摆动。

结果如何？表现如何？

论文对 OmniX 进行了多项测试，数据表明它成为了该领域的新领跑者。

密集 3D 点轨迹： 在其自定义验证集上，OmniX 以显著优势击败了以往的最优方法（如 VDPM 和 TraceAnything）。例如，在“不相交视频对”（Disjoint Video Pairs，即两个在时间上不重叠的独立视频片段）任务中，OmniX 对所有点的 APD3D（平均点距离）为 0.444，而排名第二的 VDPM 为 0.306。（注意：在这种特定指标中，较高的 APD3D 表示性能更好）。误差率也显著下降，在某些设置下，OmniX 的 EPE（终点误差）为 0.101，而 VDPM 为 0.306。
3D 点追踪： 在 TAPVid-3D 基准测试中，OmniX 在三个数据集（ADT, DriveTrack, PStudio）上均取得了最先进（state-of-the-art）的结果。例如，在 ADT 数据集上，它达到了 0.367 的 APD3D，大幅超越了紧随其后的方法（VDPM 为 0.266）。由于此处 APD3D 越高越好，这代表了追踪准确性的实质性提升。
其他任务： 它在视频深度估计和相机姿态估计方面也表现出色，在 KITTI 和 Sintel 等数据集上达到或超越了顶尖竞争对手。

它“不是”什么（以及它排除了哪些可能）

基于实验，论文非常明确地指出了哪些做法是无效的：

侦察兵不需要“自注意力”： 他们尝试在 Sparse Spatiotemporal Attention 模块中加入一个“自注意力”层（让动态标记彼此交流），结果发现这几乎没有任何影响。论文明确指出这是不必要的，并通过移除它节省了计算能力。
拒绝“迭代猜测”： 论文反对传统的“迭代查询”点的方法。他们证明了这种“单次通过”的方法在进行密集预测时更快且更准确。
没有“小幅度相机运动”限制： 以前预测密集轨迹的方法受限于相机几乎不动的情况。OmniX 则明确证明了它能够处理大幅度相机运动（高达 180 度）甚至是不连续的时间输入。

总结

OmniX 表明，通过将“什么是移动的”与“什么是静止的”进行分离，并利用包含 80,000 个场景和 128 万个视频的海量合成数据集进行训练，我们终于可以实现通过单次高效运行，从混乱的手持视频中重建动态的 4D 世界。这不仅仅是一个微小的进步；作者展示了它如何为预测场景中每个点的运动设定了新的行业标准（state-of-the-art），使其成为自动驾驶和 AR/VR 内容创作等领域的强大工具。

论文并未声称这已经解决了宇宙中“所有可能”的场景问题，但来自其 8 万个场景和 128 万个视频的证据有力地表明，这是目前处理复杂相机运动最稳健的方法。

技术摘要：OmniX - 通过前馈轨迹场实现任意视角与任意时间的 4D 重建

1. 问题陈述

目前的前馈式 4D 重建方法面临两个主要局限性：

运动建模： 许多方法预测的是逐帧的静态点云，而没有显式地对跨时间的运动进行建模，这需要计算昂贵的迭代跟踪过程来恢复时间相关性。
视角与运动约束： 虽然有些方法能够预测密集的 3D 点轨迹，但它们通常受限于单目视频且相机运动较小。在面对大幅度视角变化时，它们表现不佳，因为它们无法将静态几何特征匹配与动态前景时间相关性学习解耦，从而导致相互干扰。

目前缺乏能够在单次前馈传递中，从具有大相机运动和时间不连续输入的视频中预测密集 3D 点轨迹的框架。

2. 方法论：OmniX 框架

OmniX 是一个前馈式 4D 重建框架，旨在从任意视角和任意时间恢复一致的 4D 几何结构。它通过显式地将动态前景运动与静态场景结构解耦来实现这一目标。

2.1 公式化表达

该模型以一系列视频作为输入，并输出：

3D 几何： 深度图、射线图（ray maps）以及相机参数（外参和内参），用于恢复 3D 点。
4D 几何： 随时间变化的密集 3D 点轨迹。
- 轨迹被建模为一个变换 $\tau$ （旋转 $A$ 和平移 $b$ ），应用于参考 3D 点 $P^{(i_0)}_{j_0}$ 以获得其在任何时间 $(i, j)$ 的位置： $P^{(i)}_j = A^{(i)}_j P^{(i_0)}_{j_0} + b^{(i)}_j$ 。
- 为了确保效率，运动通过**轨迹场（trajectory field）**来表示，其中每个像素的变换是少量学习到的轨迹变换基底的加权组合。

2.2 架构

OmniX 构建在基于前馈式 3D 重建模型（具体为 DepthAnything3）的基础上，并引入了一个由两个核心组件构成的轨迹模块（Trajectory Module）：

稀疏时空注意力机制 (SSA)：
- 动态 Token 选择： 一个 MLP 预测图像 Token 的动态概率，选择前 $\rho\%$ 的 Token 作为代表运动前景的“动态 Token”。
- 时间维度扩展： 这些动态 Token 使用视频和帧索引的正弦编码，并通过每 Token 系数进行调制，沿时间维度进行扩展。
- 交叉注意力（Cross-Attention）： 扩展后的动态 Token 作为查询（queries）进入交叉注意力机制，对所有图像 Token（键/值）进行注意力计算，以提取几何和运动线索。这使得模型能够高效地建立时空相关性并预测轨迹变换基底。模型省略了查询 Token 之间的自注意力，因为其提供的收益微乎其微。
可变形轨迹采样头 (DTSH)：
- 为了将稀疏轨迹场（在 Token 位置处预测）转换为密集的逐像素变换，DTSH 使用了基于 DPT 架构的可变形采样机制。
- 它通过统计分支（均值/方差）和显著性分支（最大池化）结合动态得分来聚合稀疏场。
- 该头部预测采样偏移量和权重，从而将稀疏场上采样为像素级的变换图。
- 可微分选择： 模型预测一个动态得分 $\theta$ ，并用于调制最终的轨迹，从而鼓励背景点保持静止（ $\hat{P}_{traj} = P + \theta \cdot (P_{traj} - P)$ ）。

2.3 训练目标

模型使用针对深度、射线图和点轨迹的置信度感知损失进行监督，以处理离群值（例如遮挡、天空）。

回归损失： 根据预测的置信度进行加权，根据不确定性重新调整误差权重。
梯度损失： 在深度图中保留锐利的边缘。
相机姿态损失： 使用 Huber 损失以增强鲁棒性。
动态得分损失： 当存在地面真值（ground-truth）动态掩码时，对 Token 级和像素级的动态得分应用二元交叉熵（BCE）损失。

3. 核心贡献

3.1 OmniX 框架

本文提出了一种新型架构，将动态运动建模与静态几何预测分离。通过利用 3D 运动的稀疏性和低秩结构，该模型使用一小组动态 Token 来生成所有视角和所有时间的像素轨迹场。这实现了在单次传递中处理大相机运动和时间不连续输入的稳健性能。

3.2 大规模 4D 数据集与引擎

针对具有大相机运动和完整几何标注的 4D 数据集匮乏的问题，作者开发了一个基于 Unreal Engine 5 (UE5) 的自动数据引擎。

合成： 将静态环境与动态物体复合，并使用定制的多相机系统进行渲染。
规模： 生成的数据集包含 80,000 个场景 和 128 万个多视图视频。
标注： 包括完整的几何标注（深度、相机姿态）和密集的 3D 点轨迹。

3.3 达到最先进水平（SOTA）的性能

OmniX 在密集 3D 点轨迹预测和 3D 点跟踪方面达到了最先进的结果。同时，它在视频深度估计和相机姿态估计任务上也展示了极具竞争力的性能。

4. 实验结果

4.1 密集 3D 点轨迹预测

在自定义基准测试（来自 40 个场景的 600 个视频）上进行评估，指标包括终点误差（EPE）和平均点距离（APD3D）。

性能： OmniX 在单目视频、不连续视频对（Disjoint Video Pairs）以及混合图像-视频集上显著优于以往方法（如 TraceAnything, VDPM）。
大运动： 该模型在相机运动较大（高达 180°）和不连续视频对的场景中表现尤为强劲，而基准方法由于训练数据的限制通常在此类场景下失效。
前景 vs 全体点： 该模型在前景和全体点上均实现了高精度，而基准方法由于相机估计不准确导致背景点被投影到视野外，其在“全体点”上的表现往往会下降。

4.2 稀疏 3D 点跟踪

在 TAPVid-3D 基准测试中，OmniX 在 ADT、DriveTrack 和 PStudio 数据集上均实现了 SOTA 性能。

定性分析： 在复杂场景（如行走、腿部交叉）中，OmniX 能正确捕捉非刚性运动模式，而基准方法往往无法区分前景与背景，从而产生扭曲伪影或错误的背景位移。

4.3 其他任务

视频深度估计： 在 KITKI 数据集上取得了具有竞争力的结果，与 SOTA 方法（如 DepthAnythingV3）相当。
相机姿态估计： 在 Sintel 和 TUM-dynamic 数据集上表现出色。

4.4 效率

推理： OmniX 在对比的方法中效率排名第二。虽然由于需要原生单次预测所有轨迹，其内存消耗比简单的跟踪头更多，但它避免了像 VDPM 和 St4RTrack 那样所需的迭代推理循环，因此运行速度比这些迭代方法更快。
消融实验： 移除交叉注意力机制会导致性能大幅下降，证实了其对于捕捉前景动态性的必要性。研究发现，动态 Token 之间的自注意力是冗余的。

5. 重要性与主张

论文声称 OmniX 代表了动态场景理解迈出的重要一步，原因如下：

解决了大运动问题： 通过显式地将动态运动与静态几何解耦，实现了在大幅度相机运动和任意视角下的稳健重建，克服了以往前馈方法的局限性。
实现了密集预测： 该框架能够高效地进行单次传递预测密集的 3D 点轨迹，克服了迭代跟踪带来的计算瓶颈。
数据可扩展性： 引入基于 UE5 的数据引擎及由此产生的 8k 场景数据集，解决了 4D 重建中数据稀缺的关键瓶颈，证明了更大规模、高质量的合成数据集能直接转化为更高的模型精度。

作者总结道，他们的框架和数据生成流水线为具身智能（Embodied AI）、自动驾驶以及 AR/VR 内容创作领域的未来研究提供了坚实的基础。