🤖 machine learning

ODE-GS: Latent ODEs for Dynamic Scene Extrapolation with 3D Gaussian Splatting

本文提出了一种名为 ODE-GS 的新方法，通过将 3D 高斯泼溅（3D Gaussian Splatting）与潜在神经常微分方程（Latent Neural ODEs）相结合，将高斯参数的运动建模为连续时间动力学过程，从而实现了动态 3D 场景在任意未来时间点的平滑外推与渲染。

原作者： Daniel Wang, Patrick Rim, Tian Tian, Dong Lao, Alex Wong, Ganesh Sundaramoorthi

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daniel Wang, Patrick Rim, Tian Tian, Dong Lao, Alex Wong, Ganesh Sundaramoorthi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这份论文介绍了一种名为 ODE-GS 的新技术，它的核心目标是让计算机不仅能“看清”过去发生的场景，还能像人类一样“预判”未来会发生什么。

为了让你轻松理解，我们可以把这个复杂的技术拆解成一个**“超级电影导演”**的故事。

1. 背景：现在的 AI 只是个“填空高手”

想象一下，你手里有一段电影胶片，但中间缺了几帧。现在的 AI 技术（比如 3D Gaussian Splatting）非常擅长**“插值”——也就是把缺失的那几帧补上，让画面看起来连贯。这就像是一个“填空高手”**，它能根据前后的画面猜出中间发生了什么。

但是，如果你问它：“如果电影继续拍下去，下一分钟会发生什么？”现在的 AI 往往就“懵”了。因为它只学会了在已有的时间范围内“填空”，一旦超出这个范围，它就会开始胡言乱语，画面会变得扭曲、破碎。这在学术上叫“外推失败”。

2. ODE-GS 的绝招：从“填空”升级为“物理预言家”

ODE-GS 不再仅仅盯着画面看，它引入了一个强大的工具——神经常微分方程（Neural ODE）。

我们可以用一个生动的比喻来理解：

传统的 AI（填空高手）： 像是一个只会背课文的学生。他知道第 1 页写了什么，第 3 页写了什么，所以能猜出第 2 页的内容。但如果你给他一本全新的书，他完全不知道后面会写什么。
ODE-GS（物理预言家）： 像是一个观察过无数次物体运动的物理学家。他不仅看画面，还试图理解**“运动的规律”**。他会观察：这个球现在的速度是多少？它的轨迹是什么样的？它受到的力大概是什么方向？

ODE-GS 的工作流程就像是在拍一部“预言电影”：

第一步：建立“数字模型”（插值阶段）
它先用 3D 高斯泼溅（3DGS）技术，把观察到的场景变成无数个可以移动的小“发光点”（高斯点）。这就像是先搭建一个极其逼真的 3D 舞台模型。
第二步：学习“运动逻辑”（Transformer + Latent ODE）
它用一个叫 Transformer 的“大脑”去观察这些小点的运动轨迹，然后把这些轨迹转化成一种“内在的运动逻辑”（潜空间状态）。接着，它利用 ODE（微分方程） 这个数学工具，去模拟这些逻辑是如何随时间演变的。
- 比喻： 这就像是它不仅记住了球的位置，还记住了球的“惯性”和“加速度”。
第三步：开启“未来时空”（外推阶段）
当你问它未来会怎样时，它不再是靠“猜”下一个像素是什么颜色，而是通过数学公式，把那个“运动逻辑”顺着时间轴一直推导下去。因为它遵循的是物理规律（平滑、连续），所以预测出来的未来画面非常自然，不会出现突兀的跳变。

3. 为什么它这么厉害？（核心优势）

它懂“丝滑”的道理（平滑约束）： 论文里提到了“正则化”。这就像是给 AI 戴上了“物理紧箍咒”，告诉它：运动必须是连续的，不能瞬间瞬移，也不能乱抖。这让预测的画面看起来非常真实。
它能“举一反三”（动态采样）： 它在训练时，会故意给它看各种长度的“过去”，让它练习预测“短未来”和“长未来”。这让它变得非常稳健，无论你想看未来 1 秒还是 5 秒，它都能应对。

4. 总结

如果说以前的 AI 是在**“修补旧照片”，那么 ODE-GS 就是在“编写物理剧本”**。

它通过将高精度的 3D 渲染技术与理解物理规律的数学方程结合在一起，让计算机第一次能够真正地、平滑地“预见”一个动态世界的未来。这对于自动驾驶（预判行人下一步怎么走）和机器人技术（预判物体掉落的轨迹）来说，都是一个巨大的飞跃。

1. 问题定义 (Problem Statement)

目前的动态场景重建方法（如 4D Gaussian Splatting, Deformable 3DGS 等）主要侧重于时间插值（Interpolation）。这些方法通过将时间戳作为条件输入变形网络，能够重建观测窗口内任意时刻的视图。

然而，时间外推（Extrapolation）——即根据过去观测预测未来动态——面临巨大挑战：

欠约束性：给定过去观测，未来的运动轨迹有无数种可能性。
分布外（OOD）失效：现有方法依赖显式的时间戳条件，当预测时间超出训练时的观测窗口时，模型会因为输入处于训练分布之外而导致性能崩溃。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 ODE-GS，其核心思想是将动态场景的演化建模为连续时间潜空间（Continuous-time Latent Space）中的轨迹，并利用**神经常微分方程（Neural ODEs）**来描述这种演化。

该方法采用了**解耦训练（Decoupled Training）**的策略，分为两个阶段：

第一阶段：轨迹生成（插值模型）

首先训练一个标准的 3D Gaussian Splatting 插值模型（包含规范高斯集 $G$ 和变形网络 $D_\omega$ ）。该模型负责在观测窗口内实现高保真的重建。训练完成后，冻结该模型，将其作为“数据生成器”，通过采样生成高斯参数随时间变化的连续轨迹。

第二阶段：未来预测（Transformer-Latent ODE）

这是本文的核心架构，将外推任务转化为一个**序列到序列（Seq-to-Seq）**的预测问题：

编码（Encoder）：使用 Transformer 编码器处理过去的一段高斯参数轨迹 $\gamma$ ，将其压缩为一个能够代表过去运动状态的潜向量 $z(t_0)$ 。
演化（Evolution）：利用 Neural ODE 描述潜状态的连续演化。通过数值积分（Numerical Integration）求解 $\dot{z} = f_\theta(z(t))$ ，从而在任意未来时间点生成连续的潜状态轨迹 $z(t)$ 。
解码（Decoder）：使用解码器将演化后的潜状态映射回高斯参数（位置、旋转、缩放等）。

关键技术细节：

动态轨迹采样（Dynamic Trajectory Sampling）：为了让模型具备处理不同预测长度的能力，训练时采用动态采样策略，使预测目标（Suffix）的长度随起始时间变化，从而涵盖短时和长时预测任务。
物理先验正则化（Regularization）：为了确保预测的运动符合物理直觉，引入了两种正则项：
- 潜空间正则化：惩罚潜轨迹的高频振荡，确保运动平滑。
- 轨迹正则化：直接惩罚 3D 高斯位置的加速度，强化连续运动假设。
自适应权重机制：根据训练损失的收敛情况，动态调整正则化项的权重，确保模型先学会运动，再学会平滑运动。

3. 主要贡献 (Key Contributions)

新范式：提出了将 3DGS 与 Transformer-Latent ODE 结合的新架构，将动态场景外推从“时间条件回归”转变为“潜空间轨迹预测”。
解耦策略：通过先训练插值模型再训练外推模型的解耦方式，有效避免了时间戳导致的 OOD 问题。
物理约束：通过在潜空间和 3D 空间同时引入平滑性正则化，保证了外推轨迹的物理合理性。
性能突破：在多个主流基准数据集上达到了 SOTA 水平。

4. 实验结果 (Results)

作者在 D-NeRF、NVFi 和 HyperNeRF 三个数据集上进行了验证：

定量指标：在 D-NeRF 和 NVFi 数据集上，ODE-GS 的性能显著优于现有的外推方法（如 GaussianPrediction）。在 NVFi 上，其 PSNR、SSIM 和 LPIPS 指标较之前的 SOTA 平均提升了约 20% 以上。
定性效果：通过残差图（Residual Maps）对比发现，现有方法在预测未来帧时，物体形状和位置会出现严重偏差（残差图亮区多），而 ODE-GS 的预测结果非常接近真实值（残差图暗区多），运动轨迹平滑且连贯。
消融实验：证明了 ODE 结构（提供平滑先验）和正则化项对于防止预测轨迹出现突变或震荡至关重要。

5. 研究意义 (Significance)

ODE-GS 的意义在于它为动态场景的智能预测提供了一种稳健的数学框架。通过引入连续时间动力学，它不仅解决了 3D 重建中的“插值”问题，更跨越到了“预测”领域。这对于自动驾驶（预测行人/车辆轨迹）、**机器人操作（预测物体运动）以及增强现实（AR，预测环境变化）**等需要理解并预判物理世界动态的应用场景具有重要的理论和实践价值。