💻 computer science

DriveSplat: Unified Neural Gaussian Reconstruction for Dynamic Driving Scenes

本文提出了 DriveSplat，一种统一的神经高斯框架，通过引入面向场景的自适应多尺度 LOD 建模策略处理静态背景、利用对象中心的两阶段形变机制处理动态演员，并结合深度与法线先验进行正则化，从而在 Waymo 和 KITTI 基准上实现了具有时空稳定性与几何一致性的大规模动态驾驶场景重建与新视图合成。

原作者： Cong Wang, Ruiqi Song, Wei Tian, Chenming Zhang, Lingxi Li, Long Chen

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cong Wang, Ruiqi Song, Wei Tian, Chenming Zhang, Lingxi Li, Long Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DriveSplat 的新技术，它的主要任务是把自动驾驶汽车看到的真实街景，变成可以在电脑里随意观看、甚至修改的“超级 3D 模型”。

想象一下，你坐在车里看风景，有静止的楼房、树木（背景），也有跑动的汽车、行人（动态物体）。要把这些瞬间变成永久的 3D 世界，以前很难，因为：

远近差异大：近处的树细节要多，远处的山只要个轮廓。
动静混杂：背景是死的，但人车是活的，而且走路还会变形（非刚性运动）。
视角多变：换个角度看，以前的模型容易“穿帮”或变模糊。

DriveSplat 就像一位全能且聪明的“场景魔术师”，它用了一套独特的“魔法”解决了这些问题。我们可以用三个生动的比喻来理解它的核心创新：

1. 背景处理：像“智能变焦镜头”一样看世界

（场景感知的 LOD 建模）

以前的做法：就像用一台固定焦距的相机拍全景。为了看清近处的树叶，必须把镜头拉得很近，结果远处的山就糊成一团；或者为了看清远处的山，近处的树叶就全是马赛克。
DriveSplat 的做法：它像一个拥有“智能变焦”功能的超级镜头。
- 它把世界分成了近处、中间、远处三个区域。
- 近处（比如你车旁边的路牌）：它分配了超高清的“像素点”（高细节），让你能看清纹理。
- 远处（比如几公里外的摩天大楼）：它只分配概括性的“大色块”（低细节），既省资源又保持整体协调。
- 最神奇的是：这个分配不是死板的。当你开车靠近某栋楼时，它会自动把那里的“像素点”升级，从“大色块”变成“超高清”，就像镜头自动对焦一样。这让重建出来的背景既清晰又自然，没有多余的噪点。

2. 动态物体：像“骨架带动皮肉”一样运动

（基于锚点的非刚性变形）

以前的做法：如果要模拟一个行人走路，以前的方法可能要把行人的每一块“皮肤”（每一个小点）都单独计算怎么动。这就像让成千上万个独立的木偶师同时控制一个木偶，既慢又容易乱套，导致行人走路时身体扭曲、变形。
DriveSplat 的做法：它采用了**“骨架带动皮肉”**的策略。
- 它先给每个动态物体（如行人）设定一个**“骨架”（Anchor）**。
- 当行人走路时，系统只计算**“骨架”怎么动**（比如手抬起来、腿迈出去）。
- 然后，附着在骨架上的所有“皮肉”（具体的 3D 点）会自动跟随骨架一起变形。
- 比喻：就像牵线木偶，只要拉动主线（骨架），整个木偶（行人）就会协调地动起来。这样不仅计算速度快，而且行人走路时不会“散架”或出现奇怪的扭曲，看起来非常真实稳定。

3. 几何修正：像“戴着 3D 眼镜”看世界

（几何先验监督）

以前的做法：主要靠“猜”。看着照片，猜哪里是墙，哪里是路。有时候猜错了，墙就是歪的，或者地面是波浪形的。
DriveSplat 的做法：它请来了两位**“专业助教”**（预训练的深度和法线模型）。
- 深度助教：告诉它“这棵树离我有多远”。
- 法线助教：告诉它“这面墙是垂直的，还是倾斜的”。
- 在重建过程中，DriveSplat 会不断对照这两位助教的建议，修正自己的错误。这就像画画时，不仅看照片，还拿着尺子和水平仪去测量，确保重建出来的 3D 世界不仅好看，而且结构准确。

总结：它有什么用？

DriveSplat 就像是为自动驾驶世界打造了一个**“数字孪生实验室”**：

看得更真：它能生成非常逼真的新视角视频，哪怕是你没去过的角度，也能完美还原。
动得更稳：无论是飞驰的汽车还是奔跑的行人，在 3D 模型里都动得很自然，不会闪烁或变形。
改得更易：因为它是基于数学模型重建的，你可以像玩《模拟城市》一样，把路上的车移走、旋转，或者把行人换成机器人，用来测试自动驾驶算法在各种极端情况下的反应。

一句话总结：
DriveSplat 就像给自动驾驶汽车装上了一双**“会思考、会变焦、会测量”的 3D 眼睛**，把复杂的现实街景变成了既清晰又灵活、还能随意编辑的虚拟世界。

1. 研究背景与问题 (Problem)

自动驾驶场景的三维重建对于闭环测试、验证以及感知模型的训练至关重要。尽管基于神经辐射场（NeRF）和 3D 高斯泼溅（3D-GS）的方法在静态或小规模场景中取得了显著进展，但在大规模动态驾驶场景的重建中仍面临巨大挑战：

极端尺度变化与深度差异：驾驶场景包含从近处车辆到远处建筑物的巨大深度范围。现有的单尺度高斯细化策略往往在远处引入大量冗余的高斯点，导致远处几何结构模糊，而在近处细节不足。
动态与非刚性运动：场景中包含车辆（刚性）和行人/骑行者（非刚性）。现有方法通常将动态与静态解耦，但在处理非刚性形变（如行人动作）时，往往缺乏几何一致性或计算效率低下。
几何一致性差：现有的高斯方法在生成新视角（Novel View Synthesis, NVS）时，常出现几何伪影、深度不一致和表面法线混乱的问题，尤其是在缺乏稠密深度监督的情况下。
现有方法的局限：如 StreetGS 等方法虽然处理了动态场景，但在处理大规模背景时会产生大量冗余高斯点，且在新视角下的几何稳定性不足。

2. 核心方法论 (Methodology)

作者提出了 DriveSplat，这是一个统一的神经高斯框架，旨在在一个优化框架内同时重建静态背景和动态演员。其核心模块包括：

2.1 大规模驾驶背景表示 (Large-scale Driving Background Representation)

为了解决尺度变化问题，作者提出了一种场景感知的可学习多尺度（LOD）建模策略：

多尺度分区点云：将背景点云根据深度划分为**近（Near）、中（Mid）、远（Far）**三个区域。利用主成分分析（PCA）确定场景的主方向，并基于分位数阈值进行划分。
场景感知的可学习 LOD 分配：
- 引入可学习的分辨率级别（Level-of-Detail），每个空间锚点（Anchor）关联特定层级的潜在特征。
- 提出视图自适应（View-adaptive）LOD 选择机制：根据当前相机视点动态计算每个锚点的目标 LOD 级别。当相机靠近某区域时，该区域自动切换到更高分辨率的表示，从而在保证全局一致性的同时，增强近景的几何细节。
- 区域边界（ $\tau_1, \tau_2$ ）被设为可学习参数，通过重建损失进行联合优化，而非固定不变。

2.2 动态演员建模 (Dynamic Actor Modeling)

采用**以物体为中心（Object-centric）**的公式，将运动分解为全局刚性变换和非刚性形变：

全局刚性运动：对于车辆等刚性物体，使用跟踪的位姿（Pose）将局部坐标系下的参数变换到世界坐标系。
锚点级非刚性形变（Anchor-centric Non-rigid Motion）：
- 针对行人等非刚性物体，不直接对每个高斯点进行 4D 形变建模（参数过多），而是引入 AnchorFlow（一个 MLP 网络）。
- AnchorFlow 在规范空间（Canonical Space）中预测稀疏锚点的连续流场（Flow Field），从而得到随时间变化的锚点位置 $P_a(t)$ 。
- 形变传播：将锚点的运动传播到关联的高斯属性上。首先通过几何更新头同步空间属性（位置、旋转、缩放），随后通过外观头更新不透明度和颜色。这种设计既保证了非刚性运动的连贯性，又大幅减少了可学习参数。

2.3 几何增强优化 (Geometry Enhanced Optimization)

为了提升几何精度和表面一致性，利用预训练单目模型提供的稠密深度和表面法线先验作为辅助监督：

深度监督：结合相对深度（Relative Depth）和绝对深度（Absolute Depth）先验，使用相关性损失（Correlation Loss）和 L1 损失。
法线监督：利用预训练模型生成的法线图，通过 L1 损失和余弦相似度损失约束表面法线方向，确保几何结构的物理合理性。

3. 主要贡献 (Key Contributions)

统一的神经高斯表示框架：提出了一种能够同时建模大规模静态背景和动态（包括非刚性）演员的统一框架，避免了针对特定组件的临时性设计。
场景感知的可学习 LOD 策略：针对驾驶环境特有的深度分布，设计了显式考虑近、中、远区域结构的 LOD 分配机制，通过视图自适应机制显著提升了近景几何保真度和远景的全局一致性。
锚点级非刚性形变机制：设计了基于锚点流场（AnchorFlow）的非刚性运动建模方法，通过连续形变场传播运动，实现了非刚性演员的稳定重建，同时保持了与背景表示的兼容性。
几何感知正则化：引入稠密深度和法线先验进行监督，显著改善了重建结果的几何一致性和表面质量。

4. 实验结果 (Results)

作者在 Waymo 和 KITTI 数据集上进行了广泛实验，对比了包括 3D-GS, StreetGS, OmniRe, Desire-GS 等在内的多种 SOTA 方法：

新视角合成（NVS）性能：
- 在 Waymo 数据集上，DriveSplat 在 PSNR (33.83 dB), SSIM (0.923), 和 LPIPS (0.103) 上均取得了**最佳（SOTA）**成绩，显著优于 StreetGS 和 OmniRe。
- 在 KITTI 数据集上，同样在重建和新视角合成任务中超越了所有基线方法。
几何质量：
- 消融实验表明，引入深度和法线先验显著降低了深度误差（Abs Rel 从 0.527 降至 0.179）并提高了法线相似度。
- 生成的深度图和法线图在细节和连续性上表现优异。
效率分析：
- 训练时间约为 69.6 分钟（Waymo），渲染速度达到 73.5 FPS，在保持高质量的同时实现了实时渲染，优于 Desire-GS 等慢速方法。
非刚性物体重建：
- 在包含大量行人的序列中，DriveSplat 在动态区域的 PSNR* 指标上优于 Deform-GS 和 OmniRe，证明了其非刚性建模的有效性。
鲁棒性：
- 在具有挑战性的视角偏移（如 1m-5m 的相机位移）测试中，DriveSplat 保持了比竞争对手更清晰的背景细节和更少的伪影。

5. 意义与影响 (Significance)

填补了空白：DriveSplat 是目前少数能够同时处理大规模驾驶场景中的极端尺度变化、刚性/非刚性动态物体以及复杂几何约束的统一重建框架。
推动自动驾驶仿真：其生成的高保真、几何一致的 3D 场景和动态数据，为自动驾驶系统的闭环测试、感知模型训练及决策规划提供了高质量的合成数据源。
技术启示：提出的“视图自适应 LOD"和“锚点级形变传播”机制为处理大规模动态场景的神经渲染提供了新的思路，平衡了计算效率与重建质量。
应用潜力：除了重建，该方法还支持场景编辑（如移动车辆、旋转行人），展示了在数字孪生和虚拟测试环境中的广泛应用前景。

总结：DriveSplat 通过引入场景感知的多尺度表示和高效的非刚性形变建模，成功解决了大规模动态驾驶场景重建中的几何不一致和细节丢失问题，在重建质量、几何精度和运行效率上均达到了当前领先水平。