Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

技术摘要：作为动态 3D 高斯泼溅（D-3DGS）中即插即用连续时间变形场的液态神经网络

问题陈述
动态 3D 高斯泼溅（D-3DGS）通过以受帧时间 $t$ 条件化的多层感知机（MLP）为变形函数，从单目视频中重建运动场景。虽然 $t$ 是一个连续的物理变量，但标准的 D-3DGS 变形 MLP 将其视为离散输入。该架构缺乏相邻时间步之间的时间耦合；它是针对训练集中的每一帧独立拟合的，时间平滑性仅作为优化过程中的一种副产品出现，而非结构化强制实现的。现有的连续时间替代方案，如 Neural ODEs 或 Latent-ODE 变体（例如 ODE-GS），引入了显式的连续时间先验，但由于需要在训练循环中调用数值求解器，导致了显著的计算成本。作者指出，目前缺乏一种既能提供连续时间语义，又不会产生数值积分开销的架构设计。

方法论
本文提出将 D-3DGS 的变形场 $F_\theta$ 重新设计为由 闭式连续时间（CfC） 单元组成的堆栈，这是一种液态神经网络（LNN）类型。这种设计保留了 D-3DGS 管道的其余部分（规范高斯、渲染器、损失函数和训练计划），仅替换了变形网络。

• CfC 单元结构： 每个单元都是液态时间常数（LTC）常微分方程（ODE）的闭式解。与标准 MLP 不同，CfC 单元通过一个正弦时间门 $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$ 计算更新后的隐藏状态 $h'$，其中 $\tau$ 是经过的时间信号。该门控在两个候选隐藏状态（$g$ 和 $h_{cand}$）之间进行插值，从而有效地将学习到的、对时间变化的平滑响应直接植入损失景观中，而无需调用数值求解器。
• 深度即时间： 作者将变形场实例化为 $D$ 个 CfC 单元的堆栈。至关重要的是，他们并没有在视频帧之间以递归方式使用这些单元。相反，网络的深度充当了时间递归机制。对于每一次前向传播，隐藏状态都会重置为零，并将帧时间 $t$ 作为经过时间信号输入到堆栈中的每个单元。这种“深度即时间”的方法使得网络能够作为一个具有连续时间语义的前馈模块运行。
• 实现： 该实现是 D-3DGS 变形模块的即插即用替代方案。作者使用了宽度为 64、隐藏层大小为 128、包含 6 个 CfC 单元的默认配置，这与原始 D-3DGS 的位置编码方案相匹配。

核心贡献

1. 液态变形场： 引入了一种基于 CfC 单元堆栈构建的 D-3DGS 变形场，它实现了对帧时间 $t$ 的显式时间门控更新。该设计保持了与标准前馈 MLP 完全相同的推理成本特征。
2. 实证评估： 在八个合成 D-NeRF 场景和七个真实世界 NeRF-DS 场景上进行了全面测试。研究报告了 PSNR、SSIM、LPIPS、参数量和 MACs（乘加运算），证明液态场能够匹配或超过 MLP 基准。
3. 架构定位： 明确划分了 CfC 在连续时间方法光谱中的位置。论文将 CfC 定位为光谱中的“廉价端”：它提供了连续时间的语义和对抖动的鲁棒性，且没有 ODE/SDE 求解器所带来的计算惩罚。

结果

• 合成场景 (D-NeRF)： 液态变形场在 8 个场景中的 6 个场景里达到或超过了重新训练的 D-3DGS MLP 基准。聚合平均 PSNR 几乎相同（CfC 为 38.25 dB，MLP 为 38.26 dB）。在具有高频关节运动的场景（如 Hook +1.49 dB, Hell Warrior +0.82 dB）中观察到了最显著的提升，其中时间门控非线性起到了隐式平滑先验的作用。
• 真实场景 (NeRF-DS)： 在由位姿噪声主导的七个真实场景中，CfC 方法在所有平均指标上均优于 MLP 基准（PSNR: 23.86 dB vs. 23.39 dB; SSIM: 0.8491 vs. 0.8403; LPIPS: 0.1891 vs. 0.2011）。最大的改进出现在具有重度镜面反射运动的 As 场景，其中 CfC 方法实现了 +2.74 dB 的 PSноR 增益。
• 计算效率： 当配置为与基准 MLP 匹配的深度和宽度（$D=8, W=256$）时，CfC 堆栈增加了约 50% 的参数和 MACs 开销。然而，作者的默认配置（$D=6, W=128$）实际上将计算足迹降低到了比 MLP 基准低 36%，同时保持了更优或相当的质量。
• 消融实验： 在 Hell Warrior 场景上的实验证实，CfC 单元架构优于标准的 MLP 主干。研究发现最优深度为 $D=6$，且 GELU 激活函数产生了最佳结果，这表明无界平滑主干能更好地与单元级非线性进行组合。

意义与主张
论文声称提出了一种“近乎零摩擦的架构设计”，将 D-3DGS 的离散 MLP 变形场转化为关于 $t$ 的显式连续时间函数。其意义在于，无需数值求解器的计算负担，即可实现连续时间语义以及对噪声监督（如位姿漂移和运动模糊）的鲁棒性。

作者谦逊地将他们的贡献定位为一种架构改进，而非重建范式的根本转变。他们承认，“深度即时间”方法并未利用典型循环 LNN 中的长时程时间记忆，因为每个高斯集合是非平稳的。因此，连续性保证完全源于时间门控非线性。论文结论指出，虽然 ODE/SDE 类方法在处理外推或严重损坏的数据时可能仍然更优，但对于标准的动态 3D 场景重建中的插值机制，CfC 方法提供了最具经济性的选择，允许从业者循序渐进地采用连续时间先验。