DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

想象一下，你正试图仅凭几张智能手机拍摄的照片，构建出一个完美的、三维的房间全息图。这就是**三维重建（3D reconstruction）**这一令人兴奋的世界——在这个领域，计算机试图通过扁平的照片来理解现实世界的形状与外观。通常情况下，这些计算机“建筑师”在照片清晰明亮时表现得最好。但如果此时正下着大雨呢？照片会被水痕覆盖，会出现由水滴造成的模糊斑点，以及一层灰蒙蒙的雾气。如果你尝试用这些杂乱的照片来构建三维模型，计算机就会感到困惑，最终生成的全息图看起来会扭曲且破碎。这是一个重大问题，对于像自动驾驶汽车或机器人这样需要清晰“视觉”来安全导航的设备来说，即便是在天气恶劣的情况下，也必须能够看清周围环境。

长期以来，科学家们有两种主要的解决方法。一种是尝试在构建三维模型之前，先单独清理每一张照片，就像在看穿窗户前先擦干净它一样。另一种方法是缓慢地构建模型，针对每一个特定的雨天场景进行反复调整，但这极其缓慢。一种被称为**3D高斯泼溅（3D Gaussian Splatting）**的新型快速方法已经出现，它可以在一次极速的“瞥视”中构建出三维场景。然而，这种快速方法是为晴天设计的，在面对降雨时会崩溃。研究人员一直在思考一个大问题：我们能否教会计算机，让它通过几张多雨的照片，瞬间“看透”其下方洁净、干燥的三维世界，而无需先清理照片，也不需要等待数小时才能得到结果？

于是，DerainSplat 这一新方法出现了，它给出了肯定的回答：“是的，我们可以！”这项工作的研究人员意识到，试图先清理照片再构建模型是一个错误的思路，因为被清理过的照片之间无法达成一致，从而导致混乱的三维结果。相反，他们建立了一个庞大的训练游乐场，教计算机去理解雨水本身。他们创建了一个合成数据集，通过对精美的、清晰的三维场景进行数字化的雨天处理，分四个阶段添加了雨景：首先，他们调暗了灯光以模拟阴天；接着，他们添加了随深度增加而变厚的弥漫性雾气；然后，他们在画面上绘制了真实的雨痕；最后，他们添加了粘在相机镜头上的、会使视野发生畸变的水滴。

利用这些训练数据，Derain-Splat 表现得像一个超级聪明的侦探，它不仅仅是在擦拭窗户，它还能准确地推断出雨水是如何干扰视线的。它会预测“天气因子”——例如雨痕分布图、雾气的厚度以及镜头水滴隐藏的位置。然后，它利用这些地图来引导三维构建过程。你可以把它想象成一支建筑队，他们清楚哪些砖块被泥巴覆盖了。与其试图刷掉砖块上的泥，他们干脆忽略掉那些沾泥的部分，并利用其他角度看到的干净砖块来填补空隙，同时降低那些沾泥部位的可信度，以免它们破坏整体结构。

结果令人印象深刻。在包括真实雨天场景在内的各种数据集测试中，DerainSplat 生成的三维模型比以往的方法更加洁净且准确。它在某些测试中将图像质量得分提升了超过 4 dB，显著超越了现有的快速方法，而且完成这一切仅用了不到一秒钟的时间。论文指出，通过学习将“天气”与“场景”一次性分离，而不是分步处理，我们终于能够在天空阴沉、地面湿滑的情况下，构建出可靠的三维世界。这意味着在未来，机器人和自动驾驶车辆即使在雨天街道上，也能像在晴天一样自信地导航，透过风暴看清世界的真实轮廓。