技术摘要：MVFusion-GS

1. 问题陈述

通过变形场（deformation fields）将 3D 高斯泼溅（3DGS）扩展到动态场景，是实现两项核心任务的关键：动态场景重建（忠实地建模前景运动）和无干扰重建（通过移除瞬态物体来恢复干净的静态背景）。虽然像 DeGauss 这样解耦的框架将场景分为静态和动态分支，但它们存在一个关键局限性：缺乏显式的运动感知能力。

标准的变形网络通过时空网格编码潜特征，却未显式地对单个高斯的运动模式及其时间上下文进行建模。因此，这些网络往往无法捕捉低振幅或瞬态运动。这导致了**“伪静态”残差（"pseudo-static" residuals）**的产生，即动态前景元素被错误地归类为静态并留在背景分支中。这种污染降低了重建静态背景的质量，并导致前景变形不准确。

2. 方法论：MVFusion-GS

作者提出了 MVFusion-GS，这是一个插件式精细化框架，通过两个互补的运动感知机制来增强现有的变形网络。该方法将基准变形网络视为粗略预测器，并添加了一个纯粹在特征空间运行的轻量级精细化阶段，无需修改原始的变形头（deformation heads）。

总变形量公式化为：
$$\Delta \mathcal{G}_d(t) = \Delta \mathcal{G}_d^{\text{base}}(t) + \Delta \mathcal{G}_d^{\text{MR}}(t)$$
其中精细化项 $\Delta \mathcal{G}_d^{\text{MR}}(t)$ 是通过结合了基准特征与两个新增运动感知模块的融合特征向量预测而得。

A. 运动方差引导精细化 (MVG)

该模块通过聚合跨时间的每个高斯的变形统计特性，解决了全局运动线索缺失的问题。

• 全局轨迹特征签名 (Global Trajectory Signature)： 系统定期采样每个高斯在多个时间步上的变形轨迹。它计算位置位移、旋转幅度以及缩放变化（包括各向同性和各向异性）的统计数据（均值和方差）。这些数据被聚合为一个 13 维全局轨迹特征签名 ($v_i$)，作为长期的运动强度先验。
• 局部方差字典 (Local Variance Dictionary)： 为了捕捉短期变化，一个轻量级字典会在滑动时间窗口内缓存局部运动方差。这通过插值法为任何查询时间提供瞬时运动强度得分 ($e_i(t)$)。
• 注入 (Injection)： 这些特征签名通过一个轻量级 MLP 被编码进变形特征空间，为网络提供显式先验，以区分静态高斯与真正的运动物体。

B. MotionFormer 时间注意力 (MFTA)

虽然 MVG 提供了全局统计信息，但它缺乏短期时间交互。MFTA 通过建模局部时间依赖关系来解决这一问题。

• 时间特征构建： 对于时刻 $t_i$ 的高斯，该模块构建一个包含 $t_{i-w}, t_i, t_{i+w}$ 的时间邻域。它利用变形特征、预测变形和局部运动强度来构建 Token。
• 交叉注意力 (Cross-Attention)： 基于 Transformer 的交叉注意力机制聚合来自相邻时间步的信息，使网络能够利用局部时间上下文来实现更一致的变形预测。
• 注入 (Injection)： 生成的时间运动特征在被变形头解码之前，会与基准特征及 MVG 特征进行融合。

训练策略

训练分为三个阶段：

1. 基础几何 (Base Geometry)： 在禁用变形的情况下优化静态几何。
2. 基础变形 (Base Deformation)： 激活基准变形网络以学习基本的变换。
3. 运动感知精细化 (Motion-Aware Refinement)： 激活完整的 MVG 和 MFTA 分支，采用零初始化权重进行端到端训练，以精细化变形更新。

3. 核心贡献

本文确定了三个主要贡献：

1. 双任务插件模块： 一个增强变形网络运动感知的框架，可在动态场景重建和无干扰重建基准测试中带来一致性的提升。
2. 运动方差引导精细化 (MVG)： 一种将全局轨迹统计信息聚合为显式运动强度先验的机制，有助于实现更精确的动态-静态分离。
3. MotionFormer 时间注意力 (MFTA)： 一个基于 Transformer 的模块，利用交叉注意力来建模跨时间运动依赖关系，从而提高变形精度和时间一致性。

4. 实验结果

该方法在 NeRF On-the-Go（无干扰）、RobustNeRF（具有跨视图不一致性的无干扰场景）和 Neu3D（动态场景重建）上进行了评估。

• 无干扰重建 (NeRF On-the Go)： MVFusion-GS 在所有平均指标（PSNR, SSIM, LPIPS）上均达到了最先进（SOTA）的性能。值得注意的是，它在所有六个测试场景中均实现了最低的 LPIPS，表明其具有卓越的感知质量。定性结果显示，它消除了在 DeGauss 等基准方法中仍然存在的“幽灵般”的伪静态残差（例如，背景中模糊的行人轮廓）。
• 动态场景重建 (Neu3D)： 该方法取得了最佳的平均 PSNR 和 LPIPS。在动态区域，它优于 SpaceTimeGS 和 ST-4DGS 等 SOTA 方法，在高度动态区域（如火焰、快速移动物体）保留了更锐利的结构细节，而竞争对手则表现出运动模糊。
• 消融实验： 移除 MVG 或 MFTA 都会导致性能下降，证实了长期运动统计和短期时间上下文都是必要的。完整模型优于仅使用位置方差或自注意力的变体，验证了全局签名和交叉注意力机制的具体设计。

5. 重要性与主张

本文声称，显式运动感知是提高前景运动建模和静态背景重建质量的关键。通过将伪静态高斯正确地重新归类到动态分支，该方法带来了双重收益：

1. 更干净的背景： 这对于无干扰重建至关重要，消除了由误分类动态元素引起的伪影。
2. 更精细的前景细节： 这对于动态重建至关重要，能够捕捉标准变形网络容易忽略的细微及瞬态运动。

作者在结论中保持了谦逊的态度，承认该方法仍依赖于基准变形场来提供可靠的初始运动线索。他们指出，在重度遮挡或运动证据极其微弱的情况下（即初始变形欠拟合时），可能仍会存在残余伪影，这指明了未来在更鲁棒的运动感知重新分配方面的工作方向。