💻 computer science

LagrangeGS: Non-Conservative Lagrangian System on Dynamic 3D Gaussian Splatting

LagrangeGS 为动态 3D 高斯泼溅（Dynamic 3D Gaussian Splatting）引入了一种非保守拉格朗日框架，通过单位矩阵近似、时不变力约束和局部刚性对齐，解决了物理不一致性、不可逆性和几何坍塌问题，从而实现了稳定的长期外推和基于物理的反事实编辑。

原作者： Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图捕捉一个运动的场景，比如旋转的电扇或落下的球，不仅仅是将其记录为一段平面的视频，而是将其构建成一个你可以走进去观察的三维世界。多年来，科学家们已经开发出通过照片构建这些数字世界的方法，创建了看起来极其真实的静态场景。最近，他们学会了让这些世界动起来，允许摄像机穿梭于一段繁忙房间或旋转物体的视频之中。然而，这些运动的数字世界有一个主要的弱点：它们本质上是记忆视频中发生情况的巧妙骗局。如果你要求计算机展示视频结束一秒后发生了什么，或者倒回视频以显示开始前发生了什么，这个数字世界往往会崩溃。物体可能会变形为奇怪的形状、消失，或者以违背物理定律的方式运动，因为计算机从未真正学习过重力或动量是如何运作的；它仅仅学习了像素是如何变化的。

日本 NTT 的一个研究小组引入了一种名为 LagrangeGS 的新方法，通过教导数字世界遵守物理规则来解决这个问题。该系统不再仅仅观察场景如何变化，而是使用一种被称为拉格朗日力学（Lagrangian mechanics）的基础框架来描述运动。简单来说，这个框架将场景中的每个运动部分视为具有质量、能量以及受力作用的物理对象。通过这样做，计算机不仅仅是在猜测下一步会发生什么；它还在根据能量如何存储以及力如何推拉来计算未来。这使得系统可以预测未来场景的样子，倒流时间以查看过去，甚至改变场景的规则，例如让重力变弱，而无需针对新数据进行重新训练。

研究人员将他们的系统构建在一种技术之上，该技术将场景表示为数百万个微小的、有颜色的、模糊的球体，即高斯粒子（Gaussian particles）。在以往的方法中，这些粒子被允许自由漂移和变形以匹配视频，这在视频记录期间效果很好，但在系统试图猜测接下来会发生什么时却表现得极差。新方法强制这些粒子表现得像一个物理系统。为了让这数百万个粒子能够实现这一点，团队简化了通常用于计算这些粒子如何相互作用的复杂数学。他们将每个粒子视为具有相同的简单权重并独立移动，这消除了巨大的计算障碍。他们还确保作用于粒子的力不会随着时间任意变化，这是允许系统在向后运行时间时与向前运行一样容易的关键要求。

为了防止数字物体崩塌，研究人员添加了一个聪明的约束，使成组的粒子像坚硬的固体部件（如电扇叶片或球体）一样协同运动。这可以防止粒子在系统尝试模拟超出原始视频的时间段时，散落成一片噪声云。当他们在包含旋转电扇和落球的场景中测试这个新系统时，结果令人瞩目。虽然旧的方法很快就会将旋转的电扇变成一团模糊的混乱，或让落下的球爆炸成一大团像素云，但新系统保持了形状完整且运动平滑，即使在预测比原始视频长三倍的时间步长时也是如此。

这项工作的最引人注目的演示之一是逆转时间的能力。由于该系统是建立在对时间流向不敏感的物理定律之上的，研究人员只需告诉计算机向后运行模拟即可。结果是场景的完美倒放，球滚回到起始高度，电扇反向旋转，粒子精确地返回到它们最初的位置。这是之前的系统无法做到的；如果被要求向后运行，它们只会失败或产生一团混乱。研究人员还展示了他们可以即时编辑场景的物理特性。通过调整一个设置，他们可以让球落下得慢得多，就像在月球上一样，或者快得多，就像重力增强了一样。他们这样做并不是通过重新训练模型，而是通过简单地改变定义模拟中力的数值。

这项研究证实，通过将这些数字表示植根于实际的物理定律，可以创建稳定、可逆且可编辑的动态 3D 世界。研究人员发现，虽然在某些特定的室内场景中，他们的方法产生的图像可能比最先进的纯视觉方法略显模糊，但它完全消除了在长时间模拟过程中困扰其他系统的几何崩溃问题。他们还指出，目前的方法在物体互不碰撞或不发生复杂碰撞时效果最好，因为系统将粒子视为独立移动。尽管存在这一局限性，这项工作仍标志着一个重要的进步，它将动态 3D 场景从静态的视觉记录转变为可以被探索、逆转和操纵的、具有生命力的物理模型，其逻辑与我们理解现实世界的方式完全一致。

技术摘要：LagrangeGS

问题陈述
动态 3D 高斯泼溅（3DGS）已实现了对随时间变化的场景的高保真重建，但现有的物理感知扩展方法存在根本性的局限性。虽然近期的研究通过预测速度或加速度场来实现外推，但它们仅仅是将向量场拟合到视觉形变上，并未满足拉格朗日力学。这种缺乏物理基础的问题导致了三个关键问题：

物理不一致的轨迹： 运动不符合守恒定律或能量原理。
缺乏时间可逆性： 系统无法从当前观测中一致地重建过去的状态。
几何崩溃： 长时间的外推往往会导致无界的体积发散或模糊的雾状现象。

此外，将标准的广义拉格朗日神经网络（G-LNNs）直接应用于动态 3DGS 在计算上是难以实现的。这需要对数百万个高斯粒子在每个积分步进行大规模速度-海森矩阵（ $\partial^2 L / \partial \dot{q}^2$ ）的求逆。此外，标准的 G-LNNs 通常采用与时间相关的力，这在数学上排除了精确的时间反转。

方法论
作者提出了 LagrangeGS，该框架将动态 3DGS 表述为一个由势能（ $U$ ）、初始速度（ $v_0$ ）和非保守力（ $Q$ ）参数化的非保守拉格朗日系统。该架构由三个核心组件组成：

时间无关解耦 LNN (TD-LNN)：
为了解决海森矩阵求逆的计算瓶颈，该方法将速度-海森矩阵近似为单位矩阵。这在物理上等同于为所有高斯粒子分配统一单位质量，并解耦它们的惯性动力学。动能被简化为 $T(\dot{q}) = \frac{1}{2}\|\dot{q}\|^2$ 。
为了实现时间反转，非保守力被限制为显式与时间无关，即 $F(q, \dot{q}, t) = Q(q, \dot{q})$ 。这使得系统可以通过负时间步长进行向后积分，确保了状态恢复的数学良定性。每个粒子 $j$ 的加速度是一个闭式解：
$\ddot{q} = -\nabla_q U(q) + Q(q, \dot{q})$
$U$ 和 $Q$ 均由多层感知机（MLP）参数化。
局部刚性对齐 (LRA)：
为了解决由解耦粒子动力学引起的几何崩溃，该方法引入了一个正则化步骤。对于每个粒子，利用其在初始状态下的 $k$ -最近邻定义一个局部刚性支撑。在展开（rollout）过程中，由 TD-LNN 预测的候选位置会通过可微的 Kabsch 解算器，对齐到该支撑的局部刚性运动上。这使粒子被绑定在局部刚性结构中，同时允许全局连续形变。
三阶段优化：

第一阶段（轨迹蒸馏）： 训练 TD-LNN 以最小化其积分轨迹与从预训练动态 3DGS 模型（如 DefGS 或 FreeGave）提取的轨迹之间的均方误差（MSE）。惩罚项鼓励动力学尽可能保持保守。
第二阶段（TD-LNN 微调）： 使用渲染图像上的光度损失（SSIM 和 $L_1$ ）对模型进行微调。梯度通过可微的 Kabsch 对齐流向 TD-LNN 参数，使模型能够摆脱对源轨迹的过拟合。
第三阶段（高斯参数微调）： 冻结物理参数，并精细化初始高斯参数（位置、旋转、缩放、不透明度和颜色），以吸收残余的视觉误差。

核心贡献

拉格朗日表述： 第一个明确将动态 3DGS 表述为非保守拉格朗日系统的框架，从根本上解决了物理不一致的轨迹问题，并为物理操作定义了理论基础。
TD-LNN 架构： 一种新型神经架构，通过将速度-海森矩阵近似为单位矩阵来保证计算可行性，并采用与时间无关的力来实现一致的时间反转。
局部刚性对齐 (LRA)： 一种通过将解耦粒子绑定到局部刚性结构中，防止长时间外推时发生几何崩溃的机制。
物理操控： 能够在推理阶段进行反事实物理编辑（例如，缩放重力或初始速度）和时间反转，而无需重新训练。

实验结果
实验在动态物体和动态室内场景基准上进行，将 LagrangeGS 与基于形变的算法（T-NeRF, DefGS）以及物理感知基准（NVFi, TRACE, FreeGave）进行了对比。

外推： LagrangeGS 展示了稳定的长期外推能力。当 DefGS 出现不自然的运动，且 FreeGave 表现出几何漂移和体积发散时，LagrangeGS 保持了物理一致且平滑的运动。定量而言，在从 DefGS 蒸馏时，LagrangeGS 将 PSNR 提升了 +5.05。在从 FreeGave 蒸馏时，虽然光度指标略有下降，但显著改善了几何稳定性（防止体积膨胀从 1.9 $\times$ 降至 1.1 $\times$ ）。
时间反转： 系统成功实现了对过去状态（ $t < 0$ ）的高一致性恢复。前向-后向循环测试显示，平均位置误差仅为 1.3%（动态物体）和 0.19%（动态室内场景）。
反事实编辑： 该框架允许对物理参数进行显式操控。缩放学习到的势场（ $U$ ）会导致坠落时间发生可预测的变化，且非常接近理论关系 $t \propto \beta^{-0.5}$ （ $R=0.999$ ）。
消融实验： 移除 LRA 会导致长期展开过程中的几何崩溃。移除非保守力 $Q$ 会降低在非保守运动场景（动态物体）中的性能，但在严格保守场景（室内）中略微提高了评分，这证实了模型的适应性。

重要意义
论文声称 LagrangeGS 建立了将动态场景作为拉格朗日系统的显式表述，弥合了视觉保真度与物理合理性之间的鸿沟。通过解决标准 LNNs 的计算不可行性并强制执行时间无关性，这项工作实现了稳定的长期外推、一致的时间反转以及可解释的物理编辑。这为物理驱动的建模与操控铺平了道路，而这些对于机器人运动规划和具身智能等下游应用至关重要。作者也指出了局限性，包括依赖预训练运动学轨迹进行初始化，以及解耦动力学的假设可能无法捕捉复杂的碰撞，并建议将其作为未来的研究方向。

技术摘要：LagrangeGS

类似论文