⚡ 电气工程

Optical-Mass Water Gaussians for Per-Scene Underwater Rendering

该论文提出了 AquaMass-GS (AM-GS)，一种通过将物体高斯与归一化自由空间水高斯耦合，并利用解析有限路径积分，从而实现物体外观与水体效应解耦的新型水下渲染框架，在实现具有竞争力的新视角质量的同时，相比现有方法显著提升了介质建模的准确性。

原作者： Jun Zhao, Jiafei Cao, Rongfeng Lu, Longjian Zeng, Yiming Cui, Zhangyi Yang, Xichun Sheng, Yahong Chen

发布于 2026-09-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jun Zhao, Jiafei Cao, Rongfeng Lu, Longjian Zeng, Yiming Cui, Zhangyi Yang, Xichun Sheng, Yahong Chen

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正站在一艘研究船的甲板上，俯瞰着深蓝色的海洋。在人类眼中，水下世界通常是一片模糊的、带绿色的阴影，色彩逐渐褪去，细节也随之消散。这不仅仅是光线不足的问题；水本身就是我们所见景象的积极参与者。当光线从物体传播到相机时，水会吸收光线，使远处的物体变得暗淡，同时微小的悬浮颗粒会将光线散射回镜头，形成一层遮蔽视线的雾状薄幕。对于研究海底的科学家、绘制古代沉船地图的考古学家，或是检查水下结构的工程师来说，这种失真是一个主要的障碍。他们需要看到水面之下真实的形状和颜色，而不仅仅是环绕在周围的水汽。

近年来，一种被称为 3D 高斯泼溅（3D Gaussian Splatting）的强大新工具脱颖而出，它能帮助计算机通过一系列照片重建三维场景。可以将这种技术想象成一种方法，利用数百万个代表表面的微小、模糊的椭圆来构建场景的数字模型。当这些椭圆排列正确并从不同角度观察时，它们会创造出一个逼真的、可导航的三维世界。然而，标准的版本在水下表现不佳，因为它们将水视为简单的、均匀的背景，或者无法处理水随相机移动而发生的变化。水并非静态的过滤器；它是一种动态介质，会根据光线经过的具体路径改变物体的外观。

一组研究人员开发了一种新方法来解决这一特定问题，创建了一个能够将物体与其所处的水域分离出来的系统。他们将这种方法称为 AquaMass-GS。该方法并非试图根据物体的表面来推测水的特性，而是构建了一个独立的、不可见的“水云”网格，漂浮在相机与物体之间的空隙中。这些云并不是物理实体，而是水密度及其阻挡或散射光线能力的数学表示。通过将水的表示与物体区分开来，系统可以精确计算出从相机到物体上任意一点的路径中，损失或散射了多少光线，无论相机如何移动。

研究人员在包括珊瑚礁和水下花园在内的真实水下场景中测试了这一新系统，使用的是从不同角度拍摄的照片。他们将结果与现有的六种用于水下成像的方法进行了对比。在重建图像与原始照片的匹配程度上，该方法表现优异，实现了最高的平均图像清晰度得分和最低的视觉失真得分。虽然另一种名为 WaterSplatting 的方法在保留场景精细结构细节方面略胜一筹，但该新方法在整体色彩准确度和感知质量方面更为出色。尽管差距很小，但在所有测试场景中表现得非常一致，这表明新方法为处理复杂的水下光学物理提供了一种更可靠的方式。

要理解该系统究竟在做什么，有助于观察它如何处理水的“薄雾”。在以往的许多尝试中，计算机试图通过观察物体本身来学习水的行为，这往往会导致物体颜色与水的色调产生混淆。新方法通过为“空隙”分配特定的“光学质量”避免了这个问题。想象一下，水是填充空间的系列隐形且柔软的云团。当计算机追踪从相机到物体的连线时，它会累加沿这条线分布的云团密度。这种计算告诉系统，水应该让物体变暗多少，以及应该向图像中添加多少散射光。由于这种计算是针对每一条光线进行的，因此即使相机移动到全新的位置，系统也能准确地重建场景，而这往往会让旧模型感到困惑。

研究人员还进行了一系列受控模拟，在这些模拟中，他们预先知道了水的精确属性和隐藏的物体。在这些测试中，他们能够观察到系统如何“看穿”水层以揭示洁净、无遮挡的物体。在这里，新方法显示出了相对于其最接近竞争对手的显著优势。当从数字模型中移除水后，系统对隐藏物体的重建比其他方法更接近真实的、洁净的版本。具体而言，与标准的基于体素（voxel-based）的方法相比，重建物体真实外观的误差减少了一半以上。这表明，这种新的水表示方法不仅是一种制作精美图像的技术，更是一个关于光线如何在海洋中传播的更准确的物理模型。

然而，研究人员也谨慎地指出了他们工作的局限性。虽然该系统擅长创建逼真的水下视图并实现水与物体的分离，但如果水极其浑浊或光照条件未知，它目前还无法完美恢复物体的原始真实色彩。该系统是一个诊断工具，用于揭示场景的结构和水的性质，但它尚未能在所有可能的场景下提供完美的、经过校准的还原。该方法在拥有足够照片来构建坚实 3D 模型时效果最好，并且依赖于水以可预测的单次散射方式运行的假设。

这项工作的意义不仅在于制作更好的水下视频。通过创建一个将水与物体视为独立但相互作用实体的数字模型，科学家现在可以对水本身进行查询。他们可以提出诸如“如果我们移动相机，光线会损失多少？”或“如果水更清澈，这个物体看起来会是什么样？”之类的问题。这种高保真模拟和可视化水下环境的能力，可能会彻底改变海洋考古学家规划挖掘工作、工程师检查水下基础设施以及生物学家研究海洋生物的方式，而无需每次都亲自潜入水中。该方法在模糊、扭曲的水下摄影现实与清晰、可导航的淹没世界数字地图之间架起了一座桥梁。

最终，这种新方法的成功在于其概念的简洁性，即便其背后的数学原理非常复杂。通过将水视为一个独特的、可查询的场，而不是物体的属性，研究人员解开了长期困扰水下成像的问题。其结果是，该系统能够生成更清晰、更准确的水下场景 3D 重建，为我们通过计算机视觉的镜头观察、理解和探索隐藏的深海世界提供了更清晰的窗口。虽然在完善每一个细节的物理恢复方面仍有工作要做，但这一进步代表了我们在通过计算机视觉技术观察、理解和探索水下世界能力上的重大飞跃。

技术摘要：用于单场景水下渲染的 AquaMass-GS

1. 问题陈述

单场景水下重建旨在从稀疏的相机调查中生成可导航的 3D 地图，用于海洋考古、海底勘测和离岸检测等应用。然而，这项任务面临两个耦合的挑战：

外观纠缠： 与波长相关的衰减削弱了物体信号，而悬浮颗粒引入了累积的反向散射。这些水体效应与几何、反射率、光照以及相机响应纠缠在一起。
空间查询限制： 相机运动会改变到每个可见表面的 3D 水体路径。现有的用于水下场景的 3D 高斯泼溅（3DGS）方法通常通过深度定律（全局性）、方向性（神经预测）或在物体表面（表面性）来对介质进行编码。这些方法缺乏一个自由空间传输载体（free-space transport carrier），使得当相机原点和遍历路径发生变化时，能够独立评估水体的光学贡献。因此，它们无法显式地查询从相机到可见表面的有限路径上的水体体积。

2. 方法论：AquaMass-GS (AM-GS)

作者提出了 AquaMass-GS (AM-GS)，这是一个在保持统一渲染管线的同时，将物体表示与水体介质表示解耦的框架。

2.1 混合场景表示

物体分支： 保留标准的 3D 高斯泼溅（3DGS）模型，用于场景的几何和外观（均值、各向异性协方差、不透明度和球面谐波辐射度）。该分支从姿态确定的水下图像中进行优化。
水体分支： 引入了一个独立的**归一化自由空间水体高斯（normalized free-space water Gaussians）**场。
- 放置： 水体中心固定在场景边界内的面心立方（FCC）晶格上。
- 参数： 每个中心仅优化两个非负 RGB 密度向量：一个用于直接消光 ( $\sigma_D$ )，另一个用于反向散射衰减 ( $\sigma_B$ )。
- 光学质量（Optical Mass）： 与标准不透明度不同，这些参数编码了“光学质量”。对于单元体积 $\Delta V$ ，质量为 $m = \Delta V \cdot \text{softplus}(\rho)$ 。这确保了参数在 $\mathbb{R}^3$ 上具有积分意义，并随晶格分辨率进行缩放。

2.2 脱离有限表面查询

为了解决由于相机运动导致的变换水体路径问题，AM-GS 采用了解析积分策略：

代理深度（Proxy Depth）： 物体分支渲染一个不含水体的 alpha 加权相机空间深度 ( $z^*$ )。这作为水体查询的脱离端点。
有限路径积分： 对于每个像素，系统沿从相机原点到代理深度 $t^*$ 的射线段积分水体高斯场。这产生光学深度 $\tau_D$ 和 $\tau_B$ 。
覆盖归一化： 为了处理高斯求和与几何射线长度不完全匹配的情况（例如在边界处），系统计算单位密度覆盖长度 $q$ 。
等效系数： 系统推导出每个像素、每个段的等效传输系数： $\hat{\beta} = \tau / q$ 。该系数将水体场的深度剖面压缩为该特定段内的单个均匀系数。

2.3 渲染与组合

最终图像使用导出的系数进行组合：

物体项： 物体辐射度根据沿射线到物体表面的直接消光系数 $\hat{\beta}_D$ 进行衰减。
介质项： 反向散射通过使用 $\hat{\beta}_B$ 和方向条件渐近颜色头 ( $B_\infty$ ) 在物体深度区间内进行累积。
分离： 这一过程使物体外观保持“场景绑定”，同时通过一个空间可查询的载体来表示水体。

3. 核心贡献

归一化自由空间水体场： 一种直接消光和反向散射参数具有“光学质量”语义的公式，其语义独立于物体采样和晶格分辨率。
脱离有限表面查询： 一种结合了解析高斯积分与单位分解覆盖归一化的方法。它在保留现有物体渲染器的同时，恢复了在每个正覆盖射线上具有恒定底层场的精确等效系数。
全面评估： 作者从三个维度提供了证据：
- 端到端新视角合成： 在真实世界场景中具有竞争力的质量。
- 介质禁用诊断： 在配对模拟中实现了介质与物体的更好分离。
- 受控表示： 验证了载体在不可见相机原点下的光学变化定位能力。

4. 实验结果

4.1 真实场景渲染 (SeaThru-NeRF)

在四个开发场景（Curasao, IUI3-RedSea, Japanese Gardens, Panama）中，AM-GS 与六种基线方法（包括 WaterSplatting, SeaSplat 和 3D-UIR）进行了比较。

性能： 在六种方法中，AM-GS 取得了最高的平均 PSNR (27.871 dB) 和最低的平均 LPIPS (0.1389)。
比较： 与最强的基线 WaterSplatting 相比，它展现了适度的平均优势（PSNR 提升 0.282 dB，LPIPS 提升 0.0002）。然而，其平均 SSIM 略低于 WaterSplatting。
统计显著性： 作者指出，在配对不确定性下，其相对于 WaterSplatting 的优势幅度在统计上并不具有决定性（95% 置信区间包含零）。

4.2 独立确认 (Underwater360)

在三个独立持有的场景中，AM-GS 在 PSNR 上与 WaterSplatting 统计上无法区分，但在感知差异上表现出一致的轻微不利（更高的 LPIPS）。

4.3 配对模拟 (Plenodium)

使用带有隐藏清洁目标的合成场景：

水下重建： 在端到端水下渲染方面，AM-GS 并没有超越官方的 Plenodium 实现（Plenodium 在 PSNR, SSIM 和 LPIPS 上均领先）。
介质禁用分支： 当禁用介质以对比隐藏的清洁目标时，AM-GS 取得了最高的 SSIM (0.8299) 和第二高的 PSNR (21.158 dB)，显著优于 WaterSplatting（SSIM 提升了 0.1139）。这表明其具有更优越的结构分离能力。

4.4 受控载体测试

在利用程序生成的随机水体场和不可见相机原点的受控测试中：

紧凑型高斯载体（ $\sigma/\Delta = 0.30$ ）与三线性体素载体相比，将不可见原点的透射率 RMSE 降低了 52.7%。
这证明了光学质量高斯表示的可定位性，尽管作者澄清该特定宽度与最终的真实场景部署不同（ $\sigma/\Delta = 1.3$ ）。

4.5 效率

由于需要用于解析查询的密集积分核，AM-GS 目前比 WaterSplatting 慢（在 RTX 5090 上为 19.12 FPS 对比 239.63 FPS）。作者将其识别为原型阶段的局限性。

5. 意义与主张

本文将 AM-GS 定位为针对介质表示这一特定领域的研究进展，而非解决所有水下渲染挑战的通用方案。

核心成就： 本研究成功分离了“介质载体问题”，证明了归一化自由空间水体高斯场结合有限路径查询，可以实现独立于物体采样的水体传输表示。
承认局限性：
- 该方法使用单次散射模型，并假设每个像素只有一个可见表面端点；它不处理多重散射、折射或偏振。
- 由于训练仅依赖于水下 RGB 图像，物体辐射度和水体传输并非完全可辨识的。因此，其“介质禁用”输出是一个诊断性工具，而非经过校准的物理恢复。
- 由于集成核的成本，目前的实现无法实现实时渲染。
结论： 证据支持了一种可查询的水体表示，它提供了具有竞争力的单场景渲染质量，并在受控设置中提供了改进的介质结构分离。然而，论文也得出结论，校准后的物理恢复仍然是一个开放性问题。