Learning Explicit Continuous Motion Representation for Dynamic Gaussian Splatting from Monocular Videos

本文提出了一种从单目视频实现高质量动态高斯泼溅的新方法，通过引入基于 SE(3) B 样条的显式连续运动表示、自适应控制机制、软片段重建策略以及多视图扩散模型，有效解决了复杂运动建模与过拟合问题，并在 Novel View Synthesis 任务中超越了现有最先进方法。

要点

这篇文章介绍了一种名为 SE3B-SplineGS 的新方法，它的核心目标是：只用一部手机拍的视频（单目视频），就能生成高质量、逼真的 3D 动态场景，让你可以从任何新角度去“看”这个场景。

为了让你更容易理解，我们可以把这项技术想象成**“给 3D 世界里的跳舞小人编排一套完美的舞蹈”**。

1. 核心难题：以前的“舞蹈”为什么跳不好？

想象一下，你想用视频还原一个正在转动的风车（或者一个跳舞的人）。

• 以前的方法（如 MoSca, SplineGS 等）： 就像是一群笨拙的舞者。他们知道风车叶片在每一帧的位置，但不知道叶片在两个位置之间是怎么平滑过渡的。
  • 结果：风车转起来时，叶片会“瞬移”或者“抽搐”，看起来像卡顿的动画，甚至出现奇怪的扭曲（就像风车叶片突然断了一样）。
  • 原因：他们只关注了“位置”的变化，忽略了“方向”（姿态）的连续变化，或者用的数学工具不够平滑。

2. 我们的解决方案：SE3 B-Spline（给舞者装上“平滑轨道”）

这篇论文提出了一种新的“舞蹈编排系统”，核心思想是显式地、连续地控制每一个 3D 小点（高斯点）的运动。

比喻一：B 样条轨道（SE3 B-Spline Motion Bases）

想象风车的每一个叶片上都有成千上万个微小的“舞者”（3D 高斯点）。

• 以前的做法： 给每个舞者发一张“时刻表”，告诉他们第 1 秒在哪，第 2 秒在哪。如果时刻表不够密，舞者就会直接“瞬移”。
• 我们的做法： 我们给舞者铺设了一条光滑的、连续的数学轨道（B-Spline）。
  • 这条轨道不仅规定了位置（去哪里），还规定了姿态（头朝哪、身体怎么转）。
  • 就像过山车轨道一样，无论怎么转弯，都是平滑流畅的，不会出现生硬的跳跃。
  • SE(3) 这个词听起来很复杂，简单说就是它同时管好了“在哪里”和“怎么转”，让风车转起来像真的一样丝滑。

比喻二：自适应控制器（Adaptive Control Mechanism）

• 问题： 如果风车转得慢，我们不需要给每个舞者都配轨道；但如果风车转得飞快或者形状很复杂，轨道太简单就不够用了。
• 我们的做法： 我们有一个智能管家。
  • 在风车转得慢的地方，管家会减少轨道的密度（省资源）。
  • 在风车转得复杂、容易出错的地方，管家会自动增加轨道的密度（加细节）。
  • 这样既保证了画面清晰，又不会让电脑算得太累。

比喻三：软片段重建（Soft Segment Reconstruction）

• 问题： 如果视频很长，风车转了半圈，我们再用半圈前的样子去参考，可能会因为时间隔太久，导致算出来的位置不准（就像你试图用昨天的记忆来描述今天的动作，容易出错）。
• 我们的做法： 我们给每个舞者加了一个**“时间衰减滤镜”**。
  • 如果参考的时间点离现在很近，舞者的动作就很清晰（不透明度高）。
  • 如果参考的时间点离现在很远，我们就让它的动作变得“模糊”一点（降低不透明度），避免它干扰现在的画面。
  • 这就像是在看老照片，离得越近越清晰，离得越远越模糊，从而避免画面出现重影。

比喻四：多视角扩散模型（Diffusion-based Multiview Prior）

• 问题： 手机视频只有一个角度。当你想从侧面看风车时，风车背面是被挡住的（看不见）。以前的方法因为没见过背面，画出来的背面往往是乱码或者黑乎乎的（过拟合）。
• 我们的做法： 我们请了一位**“想象力大师”**（多视角扩散模型，比如 AI 绘画工具）。
  • 虽然手机没拍到背面，但这位大师见过无数种风车，它知道风车背面大概长什么样。
  • 我们利用这位大师的“常识”（先验知识），强行修正那些看不见的区域，防止画面出现奇怪的伪影。

3. 最终效果：风车转得飞起，依然清晰

通过这套组合拳：

1. 平滑轨道（SE3 B-Spline）：保证动作不卡顿、不抽搐。
2. 智能管家（自适应控制）：哪里复杂补哪里，效率最高。
3. 时间滤镜（软片段）：避免长距离参考带来的混乱。
4. 想象力大师（扩散模型）：补全看不见的部分，防止画面崩坏。

实验结果：
在测试中，他们的风车（动态场景）重建效果比目前最先进的方法都要好。别人画出来的风车可能叶片是断的、转起来有残影，而他们画出来的风车，叶片完整、旋转丝滑，甚至能从手机没拍过的角度看到清晰的风车背面。

总结

这就好比以前我们是用**“定格动画”（一帧一帧拼）来表现动态，容易出现卡顿；而这篇论文是用“流畅的 3D 动画轨道”，配合“智能资源分配”和"AI 想象力补全”**，让手机拍的视频也能变成电影级的 3D 动态场景。

一句话概括： 他们发明了一套更聪明的数学工具，让手机视频里的动态物体在 3D 世界里转得既顺滑又真实，还能脑补出看不见的细节。

技术摘要

这是一篇关于从单目视频中进行高质量动态高斯泼溅（Dynamic Gaussian Splatting）重建的论文总结。该论文提出了一种名为 SE3BSplineGS（根据代码库和标题推断）的新方法，旨在解决现有方法在处理复杂动态场景时出现的姿态不连续、伪影以及过拟合等问题。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

• 核心挑战：从单目视频（Monocular Videos）中重建高质量的新视角（Novel View Synthesis, NVS）是一个极具挑战性的任务，因为缺乏多视角几何约束。
• 现有方法的局限性：
  • 隐式变形：许多现有方法（如 MoSca, HiMoR）通过隐式学习从规范空间到观测空间的仿射变换来构建动态高斯轨迹。这无法保证高斯在观测空间中的轨迹是连续的，容易导致姿态（Orientation）不连续。
  • 显式但非统一：部分方法（如 SplineGS）使用样条曲线显式建模位置轨迹，但往往忽略了旋转（Orientation）的连续性，导致在复杂运动区域出现明显的伪影（Artifacts）和姿态抖动。
  • 过拟合与长时干扰：单目视频缺乏多视角信息，模型容易过拟合训练视角；此外，长时段的运动变形会干扰场景重建的准确性。

2. 方法论 (Methodology)

该方法的核心思想是显式地建模动态高斯的位置和旋转的连续变形轨迹，并引入自适应机制和多视角先验来增强鲁棒性。

2.1 基于 SE(3) B-样条的运动基 (SE(3) B-spline Motion Bases)

• 连续轨迹建模：为了同时保证位置和旋转的连续性，作者使用数学上连续的 SE(3) 累积 B-样条（Cumulative B-spline） 来表示运动基。
• 控制点初始化：利用 3D 轨迹（Tracklets）的姿态状态 $Q=[R, t]$ 作为控制点。通过计算相邻轨迹间的相对姿态变换 $\Delta Q$，将其转换到李代数空间，构建 B-样条基函数。
• 优势：相比传统的线性组合或独立样条，SE(3) B-样条能确保高斯在时间和空间上的平滑过渡，避免姿态突变。

2.2 自适应控制机制 (Adaptive Control Mechanism)

• 动态调整：为了平衡计算效率和建模能力，设计了一个自适应机制来动态调整运动基和控制点的数量。
  • 剪枝 (Pruning)：定期移除对运动表示贡献较小的冗余控制点，防止过拟合。
  • 加密 (Densification)：在运动复杂且渲染误差较大的区域，自动增加控制点密度，以捕捉更复杂的运动细节。

2.3 软片段重建策略 (Soft Segment Reconstruction)

• 解决长时干扰：针对单目视频中长帧间隔导致的变形误差累积问题，提出了一种软片段重建策略。
• 透明度调整：根据参考时间戳（$t_{ref}$）与观测时间戳（$t_{obs}$）的时间差，动态调整动态高斯的透明度（Opacity）。时间间隔越长，透明度越低。这确保了重建主要依赖于邻近时间帧的变形，减少了长时变形带来的不确定性。

2.4 基于扩散模型的多视角先验 (Diffusion-based Multiview Prior)

• 解决过拟合：针对单目视频缺乏多视角线索导致模型过拟合训练视角的问题，引入多视角扩散模型（Multi-view Diffusion Model）。
• SDS 损失：利用扩散模型生成的场景先验信息，通过 分数蒸馏采样（SDS）损失 来优化训练视角中不可见区域（Occluded regions）的重建，增强模型在未见视角下的泛化能力。

2.5 损失函数

除了常规的重建损失（L1 + SSIM）和几何深度损失外，还引入了：

• 运动平滑损失：包括多尺度 ARAP 损失和光流约束，确保运动基的刚性变换和动态高斯的平滑变形。
• 相机平滑损失：由于单目相机位姿往往不准，将相机外参设为可学习参数，并施加时间平滑约束，保证相机轨迹的连续性。

3. 主要贡献 (Key Contributions)

1. 显式连续运动表示：提出了基于自适应 SE(3) B-样条运动基的框架，首次在同一框架下显式且连续地建模了动态高斯的位置和旋转变形轨迹。
2. 软片段重建策略：提出了一种新的重建策略，有效缓解了长时运动变形对场景重建的干扰，提升了长序列视频的重建质量。
3. 多视角先验增强：利用多视角扩散模型引入 SDS 损失，解决了单目视频重建中的过拟合问题，显著提升了新视角合成的泛化能力。
4. SOTA 性能：在 iPhone 和 NVIDIA 等基准数据集上，该方法在 PSNR、SSIM 和 LPIPS 等指标上均超越了现有的最先进方法（如 MoSca, HiMoR, SplineGS 等）。

4. 实验结果 (Results)

• 数据集：在 iPhone 数据集（14 个场景，5 个用于评估）和 NVIDIA 数据集（7 个场景）上进行了测试。
• 定量指标：
  • 在 iPhone 数据集上，mPSNR 达到 20.17，mSSIM 达到 0.729，优于次优方法 MoSca (19.33 / 0.718)。
  • 在 NVIDIA 数据集上，PSNR 达到 27.81，LPIPS 低至 0.049，表现出极高的图像质量和结构保持能力。
• 定性对比：视觉对比显示，该方法在风车等复杂运动物体上能重建出清晰、无伪影的细节，而对比方法（如 MoSca, SplineGS）往往出现模糊或结构扭曲。
• 消融实验：证明了自适应控制、软片段重建、SDS 损失和相机平滑损失对最终性能均有显著的正向贡献。
• 鲁棒性：即使 2D 跟踪先验存在随机噪声，该方法性能下降有限，表现出对跟踪误差的容忍度。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 推动了单目动态场景重建的发展，证明了显式建模连续 SE(3) 轨迹的有效性。
  • 结合了传统几何优化与生成式扩散模型先验，为处理单目数据中的欠约束问题提供了新思路。
  • 代码已开源，促进了后续研究。
• 局限性：
  • 对于具有大幅非刚性变形（如极度扭曲的布料）和严重运动模糊的场景，重建效果仍不理想。
  • 在相机或物体运动极快导致视频模糊时，方法可能会失效。

总结：这篇论文通过引入数学上严谨的 SE(3) B-样条运动基，结合自适应控制、软片段重建和扩散模型先验，成功解决了单目动态高斯泼溅中轨迹不连续和过拟合的关键难题，实现了目前该领域最高质量的新视角合成效果。