💻 computer science

Depth Anything V4: Dynamic 4D Scene Reconstruction via Riemannian Flow Matching on 4D Gaussian Splatting

Depth Anything V4 (DAV4) 引入了一种用于单目动态 4D 场景重建的新颖框架，该框架利用基于 4D 高斯泼溅（4D Gaussian Splatting）参数的黎曼流匹配（Riemannian Flow Matching）来确保有效的中间状态，并在无需人工标注深度标签的情况下实现卓越性能。

原作者： Jiaming Fan, Jian Lu, Jinling Jia, Chenbin Zhang

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiaming Fan, Jian Lu, Jinling Jia, Chenbin Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下试图捕捉一个随时间变化的客厅场景：一只猫跃过地板，窗帘在微风中摇曳，一个人走过画面。一张标准照片冻结了一个瞬间，但视频只向我们展示了一段平面的、二维的图像序列。几十年来，科学家们一直致力于将这些平面的视频帧转化为真正的、像现实世界一样移动和呼吸的三维模型。这就是动态 4D 重建所面临的挑战。其目标是构建一个场景的数字孪生体，它不仅具有深度，还能理解物体如何随着时间的流逝而变形、旋转和移动。为了实现这一目标，研究人员经常使用一种称为高斯泼溅（Gaussian Splatting）的技术，这种技术不将场景表示为实心网格，而是表示为数百万个微小的、有颜色的、半透明椭圆组成的云团。每一个微小的形状都包含了关于其位置、大小、颜色以及遮挡程度的具体信息。当你从新的角度观察场景时，计算机将这些形状融合在一起，从而创造出一幅新的图像。难点在于当这些形状需要随时间移动和改变形状时；如果计算机预测的移动方式错误，数学逻辑就会崩溃，导致 3D 模型坍塌成无意义的状态。

一个研究团队推出了一种名为 Depth Anything V4 的新系统，旨在解决从单个视频摄像机创建动态 3D 世界的这一特定问题。该技术的先前版本速度极快，能够在不到一秒的时间内估计出深度，但它们是为静态场景或简单的深度图而设计的。它们无法很好地处理动态环境中复杂的连续运动。新的方法优先考虑准确性和一致性而非纯粹的速度，旨在创建适用于离线用途的高质量 3D 存档，例如保存历史遗迹或创建详细的虚拟环境。核心创新在于计算机如何学习预测那数百万个微小 3D 形状的运动。研究人员意识到，与其将运动视为平面网格上的简单直线，不如将控制这些形状的规则视为更类似于一种曲面规则。例如，一个形状的大小只能是正数，其旋转必须遵循特定的循环规则；如果你尝试以直线方式移动这些数值，可能会意外地创建一个具有负数大小或损坏旋转的形状，这在物理上是不可能的。

为了在这一弯曲的数学景观中航行，该团队开发了一种称为黎曼流匹配（Riemannian Flow Matching）的方法。把它想象成一个完美了解地形的向导。普通的向导可能会尝试沿直线行走，然后在行进者偏离路径时将其强行拉回，而这个新向导则完全沿着弯曲的表面规划路线。这确保了计算机在学习过程中的每一步都保持有效且符合物理规律。研究人员通过将他们的新系统与一个使用相同数据和相同处理时间处理视频的标准刚性计算机程序进行对比来测试这一点。标准程序以一定的准确度重建了场景，但使用这种“弯曲路径向导”的新系统显著提高了这种准确度。研究人员分离了这一改进，以证明它是源于新方法而非仅仅因为拥有更多数据或额外的处理时间。他们发现，新方法本身就为重建质量带来了可衡测的提升，从而证实了尊重数据的弯曲性质对于实现高保真结果至关重要。

该系统的工作流程是首先分析视频帧以理解场景的结构和物体的运动。然后，它利用一种学习到的“先验”（prior）——本质上是对 3D 形状通常行为的深度理解——来生成整个视频序列的粗略 3D 模型。随后，通过一个称为“测试时优化”的过程对该初始模型进行精细化处理，计算机会对模型进行微调，以确保其与视频帧完美匹配。研究人员展示了他们的系统可以在大约 420 毫秒内生成高质量的 3D 重建。虽然这比一些仅需 38 毫秒的最快现有工具要慢，但对于质量重于即时结果的离线应用来说已经足够快了。此外，研究人员证明，如果使用该系统处理大量场景（例如一万个），最初用于训练系统的时长将被分摊，使得每个场景的成本在与那些每个视频都需要数小时优化的其他方法竞争时，具有非常具有竞争力的成本。

这项工作最引人入胜的方面之一是它如何处理不确定性。在许多计算机视觉任务中，系统会直接给出答案而不承认自己是否不确定。然而，Depth Anything V4 可以告诉你它对重建结果有多大的信心。通过使用轻微的变化多次运行生成过程，系统可以识别出结果不稳定的区域，例如在快速移动的物体周围或视频模糊的区域。研究人员发现，该系统非常擅长标记这些困难点，在视觉信息模糊的地方显示出高不确定性。这对于需要安全性或精确性的应用至关重要，因为它能防止系统自信地呈现错误的答案。团队还验证了与那些试图将直线数学强加于曲面问题的旧方法相比，他们的方法产生的“无效”3D 形状更少。在测试中，新方法几乎在所有情况下都能产生有效的形状，而旧方法偶尔会产生必须被丢弃的损坏或无意义的形状。

该研究还探讨了时间在学习过程中的重要性。研究人员测试了如果系统忽略视频中的特定时刻，并试图学习一种单一的、平均的场景运动方式，会发生什么。他们发现，如果没有这种时间意识，系统将难以保持运动物体在帧与帧之间的连贯性，导致 3D 模型出现抖动和不稳定。通过显式地教导系统去关注每一帧的时间索引，模型学会了准确追踪运动流，从而实现了更平滑、更真实的重建。这证实了对于动态场景而言，理解时间的流逝不仅是一个微小的细节，更是成功的根本要求。研究人员得出结论，虽然他们的系统目前还不足以用于实时机器人技术或自动驾驶，但它代表了创建高质量、概率性 3D 世界的重要进步。它提供了一种捕捉运动场景复杂性的方法，其细节程度和数学正确性是以前难以企及的，为更好的数字存档和更具沉浸感的虚拟体验铺平了道路。

技术摘要：Depth Anything V4 (DAV4)

1. 问题陈述

本文解决了单目视频动态 4D 场景重建的挑战。前作 Depth Anything 系列（V1–V3）虽然在前馈式单目深度估计方面确立了最先进的性能，但这些模型侧重于速度，并产生缺乏时间建模的逐点估计，依赖于判别式回归范式。

Depth Anything V4 (DAV4) 将重心从速度转向了体积保真度和时间一致性，目标指向离线内容创作和 3D 存档。其核心技术挑战在于生成有效的 4D 高斯泼溅（4D Gaussian Splatting, 4DGS）参数（缩放、旋转、不透明度和位置）随时间演变的过程。标准的欧几里得插值方法在遍历这些参数固有的非欧几里得流形时，往往会产生无效的中间状态（例如负缩放或非单位四元数），从而需要通过后验投影来修正，但这会降低重建质量。

2. 方法论

2.1 核心框架：黎曼流匹配 (Riemannian Flow Matching, RFM)

DAV4 的核心创新是将 黎曼流匹配 (RFM) 应用于 4D 高斯泼溅的参数。与在欧几里得空间中运行的标准流匹配不同，RFM 直接在高斯参数所在的非欧几里得流形上定义概率路径：

缩放 ( $s$ )： 使用对数变换和测地线插值在 $\mathbb{R}^3_{>0}$ 上建模（ $s_t = s_z^{1-t} s_1^t$ ）。
旋转 ( $q$ )： 使用 Exp/Log 映射通过测地线插值在 $SO(3)$ 上进行单位四元数建模。
不透明度 ( $\alpha$ )： 使用 logit 变换在 $(0, 1)$ 上建模以映射到 $\mathbb{R}$ 。
位置 ( $\mu$ )： 在 $\mathbb{R}^3$ 上建模。

目标函数最小化学习到的向量场 $v_\theta$ 与流形上条件向量场 $u_t$ 之间的距离：
$L_{RFM} = \mathbb{E}_{t, G_z \sim p_0, G_1 \sim p_1} \left[ \|v_\theta(G_t, t, f_{img}, \gamma(\tau)) - u_t\|^2_{\mathcal{M}} \right]$
其中 $G_t$ 代表流时间 $t$ 时的状态，以图像特征 $f_{img}$ 和视频时间 $\tau$ 为条件。

2.2 架构与流水线

骨干网络： 使用冻结的 DINOv2-L 骨干网络从单目视频帧中提取语义特征。
感知器模块 (Perceiver Module)： 将高斯编码集合映射为固定大小的潜变量（latent tokens）。
时间调节 (Temporal Conditioning)： 向量场通过可学习嵌入 $\gamma(\tau)$ 显式地以视频时间索引 $\tau$ 为条件，使模型能够捕捉时间的演变而非静态平均值。
自监督教师模型： 教师模型使用无需人工标注深度标签的自监督损失进行训练。该损失函数结合了：
- 渲染损失 ( $L_{render}$ ) 用于光度一致性。
- SE(3)-等变性损失 ( $L_{equiv}$ ) 及刚性得分。
- 光流一致性损失 ( $L_{flow}$ ) 使用 RAFT。
- 缩放正则化 ( $L_{scale}$ ) 使用来自 DA2 的中值深度（弱监督）。
- 正则化项 ( $L_{reg}$ )。

2.3 推理与采样

推理过程采用 由粗到精的 ODE 采样策略 (算法 1)：

粗糙阶段： 10 步以捕捉全局场景布局。
精细阶段： 20 步以细化细节。
测试时优化 (TTO)： 在精细阶段使用渲染损失梯度 ( $\nabla G L_{render}$ ) 进行可选引导，以进一步优化生成的高斯分布。

3. 关键贡献与受控实验

论文通过一系列使用 确定性 MLP 基准模型 的受控实验，严谨地将 RFM 的贡献从其他因素（预训练和 TTO）中分离出来。该基准模型具有完全相同的数据、架构（DINOv2-L + Perceiver）和 TTO 协议，但将 RFM 目标替换为标准 $L_2$ 回归。

隔离增益 (Dynamic-Sim 上的 F-score)：

TTO 贡献： 在标准 4D-GS 基准上添加 TTO 可获得 +0.046 的增益。
预训练贡献： 在 WebVid-10M 和 MegaDepth 上进行大规模预训练（不含 RFM）相比 4D-GS+TTO 可获得 +0.014 的增益。
RFM 贡献： RFM 公式本身相对于确定性 MLP+TTO 基准提供了 +0.044 的隔离增益（0.806 对比 0.762）。

这种分解表明，改进不仅仅是由于更大的数据集或优化技术，而是专门源于在正确的非欧几里得流形上定义概率路径。

4. 实验结果

4.1 动态重建

在 Dynamic-Sim 和 KITTI Dynamic 基准测试中，DAV4 (RFM + TTO) 分别实现了 0.806 和 0.652 的 F-score。它优于：

全优化逐场景 4D-GS (5000 次迭代)：0.781 (Dynamic-Sim)。
确定性 MLP + TTO：0.762。
欧几里得流匹配 + 后验投影：0.684 (存在 12.3% 的无效高斯分布)。

DAV4 将无效高斯分布（负缩放、非单位四元数）的比例从 12.3%（欧几里得方法）降低到了 0.01%，证实了黎曼方法的数学有效性。

4.2 新视角合成 (NVS)

在 ETH3D 和 ScanNet 上进行评估，DAV4 在仅使用 20 步 TTO 的情况下，在 ETH3D 上达到了 25.13 dB PSNR。这超过了：

随机初始化并使用 20 步 TTO 的 3D-GS (22.34 dB)。
全优化 3D-GS (5000 次迭代, 24.12 dB)。

结果表明，学习到的黎曼先验提供了比随机初始化显著更好的初始化，从而能以更少的优化步骤收敛到更好的局部最优解。

4.3 消融研究

时间调节： 从调节输入中移除视频时间 $\tau$ 会使 F-score 从 0.806 降至 0.742，并将时间一致性 (TC) 从 0.92 降至 0.78，证明了显式时间建模的必要性。
不确定性量化： DAV4 通过多假设采样提供经过良好校准的不确定性估计。它实现了 -1.58 的负高斯对数似然 (NGLL) 和 0.058 的预期校准误差 (ECE)，优于 MC-Dropout 和集成方法。

4.4 计算成本

预训练： 需要 360 GPU 小时。
推理： 每个场景 420 毫秒（比 DA3 的 38 毫秒慢 11 倍）。
摊销： 论文指出，虽然 DAV4 不适合实时应用，但其预训练成本在进行大规模部署时可以有效摊销。对于 10,000 个场景，摊销成本降至约 550 毫秒/场景，在提供更高质量的同时，与逐场景优化方法相比具有竞争力。

5. 意义与主张

论文声称 Depth Anything V4 代表了迈向 概率性 4D 场景理解 的重要一步。其主要意义在于：

几何有效性： 证明了直接在黎曼流形（缩放、旋转、不透明度）上进行流匹配优于带有后验投影的欧几里得近似，确保了所有中间状态都是有效的，并提高了重建质量。
隔离贡献： 提供了经验证据，证明黎曼公式本身贡献了显著的 +0.044 F-score 增益，且独立于预训练规模或测试时优化。
自监督范式： 在无需依赖人工标注深度标签进行训练损失的情况下，实现了高保真动态重建。
不确定性感知： 提供了一个通过 NGLL 和 ECE 量化不确定性的框架，这对于动态环境中的下游决策至关重要。

作者承认了局限性，包括缺乏实时适用性（420 毫秒推理）、高昂的预训练成本，以及在与随机初始化 3D-GS 进行 NVS 对比时存在的固有初始化偏差。然而，他们将 DAV4 定位为对快速前馈深度估计（V1–V3）的一种补充性进展，专门针对高保真离线 3D 存档和内容创作而设计。