💻 computer science

BALTIC: A Benchmark and Cross-Domain Strategy for 3D Reconstruction Across Air and Underwater Domains Under Varying Illumination

本文提出了名为 BALTIC 的基准测试，旨在通过涵盖空气与水下环境及多种光照条件的 13 个数据集，系统评估 3D 重建方法在跨域场景下的性能，并发现经过简单预处理的高斯泼溅（Gaussian Splatting）在受控纹理一致条件下可媲美专用水下方法。

原作者： Michele Grimaldi, David Nakath, Oscar Pizarro, Jonatan Scharff Willners, Ignacio Carlucho, Yvan R. Petillot

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Michele Grimaldi, David Nakath, Oscar Pizarro, Jonatan Scharff Willners, Ignacio Carlucho, Yvan R. Petillot

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 BALTIC 的新工具，它就像是为"3D 建模”领域设立的一个**“水下与空中双重考场”**。

为了让你更容易理解，我们可以把这项研究想象成在教一个**“超级摄影师”（也就是现在的 3D 重建 AI 算法）如何同时学会在晴朗的公园**（空气环境）和浑浊的游泳池（水下环境）里拍照并拼出完美的 3D 模型。

以下是这篇论文的通俗解读：

1. 为什么要搞这个“考场”？（背景与问题）

现在的 3D 重建技术（比如 NeRF 和 3D Gaussian Splatting）在空气里表现得很棒，就像在阳光明媚的公园里，摄影师能轻松拍出清晰的照片，拼出完美的 3D 雕像。

但是，一旦把相机扔进水里，情况就变了：

水像一层磨砂玻璃：光线会散射，颜色会变绿或变蓝（就像你在水下看东西总是雾蒙蒙的）。
光线乱跑：有时候只有阳光，有时候只有潜水灯，有时候两者混在一起。
结果：AI 算法在水里“晕头转向”，拼出来的 3D 模型经常是断断续续的、破碎的，或者根本拼不出来。

以前的测试大多只在空气里做，或者只考虑单一的水下条件，缺乏一个系统性的、可控的测试环境来比较谁强谁弱。

2. BALTIC 是什么？（解决方案）

作者们造了一个特制的大水箱，里面装满了模拟波罗的海颜色的水（加了染料和散射剂），并配备了：

超级精准的定位系统：就像给相机戴上了“谷歌眼镜”和“运动追踪器”，能精确知道相机在水里的每一个动作（误差只有几毫米）。
多种灯光组合：他们设置了三种光照模式：
1. 自然光（像白天有太阳）。
2. 人造光（像晚上只有潜水灯）。
3. 混合光（太阳 + 潜水灯）。
13 套不同的“考题”：涵盖了从空气到水，从不同光线到不同运动轨迹（像割草机一样规律扫描，或者像鱼一样自由乱游）的各种组合。

这就好比给 AI 出了一套**“从简单到困难”的完整试卷**，让它在各种极端环境下都能被公平地测试。

3. 他们发现了什么？（核心实验结果）

A. 传统方法在水里会“迷路”

他们测试了经典的 COLMAP 算法（就像传统的拼图高手）。

在空气里：它拼得又快又准，模型很完整。
在水里：它经常“崩溃”，拼出来的模型是碎片的，或者根本找不到特征点。这就好比在雾天里，你很难看清拼图块上的图案，自然拼不起来。

B. 新技术（3D 高斯泼溅）表现不错，但需要“眼镜”

他们测试了最新的 3D Gaussian Splatting（一种很火的新技术，像把场景看作无数发光的粒子）。

即使在水里，只要给照片做一点简单的**“美颜处理”**（比如白平衡校正，把偏蓝偏绿的颜色调回来），它的表现就能接近专门针对水下设计的复杂算法。
比喻：这就像给近视眼戴了一副普通眼镜，虽然不如定制隐形眼镜（专门的水下算法）那么完美，但在很多情况下已经够用了，而且更简单、更便宜。

C. 最大的惊喜：“空中 + 水下”混合战术（跨域重建）

这是论文最精彩的发现！

问题：如果物体在水下看不清，怎么办？
妙招：作者提出，先在空气中拍几张同样的物体（在类似的光线下），然后把这几张“清晰的照片”混入水下的模糊照片里一起训练 AI。
比喻：想象你要拼一个被泥巴糊住的拼图（水下）。如果你手里只有泥巴糊住的碎片，很难拼。但如果你手里有几张原本清晰的照片（空中），哪怕只有几张，也能告诉你这块拼图原本长什么样。AI 就能利用这些“清晰线索”把水下的模糊部分“脑补”出来。
结果：这种方法极大地提高了水下重建的完整性和稳定性，而且不需要复杂的物理公式，只需要一点点“空中数据”作为**“作弊小抄”**（先验知识）。

4. 总结与意义

这篇论文告诉我们：

没有万能药：在空气里很厉害的算法，直接扔进水里可能会失效。我们需要像 BALTIC 这样的标准来测试它们。
简单有效：有时候不需要发明最复杂的算法，简单的**“预处理”（调颜色）加上“混合数据策略”**（空中 + 水下），就能解决大部分问题。
未来方向：对于海洋机器人、水下考古或管道检查来说，**“先在空中拍个底，再下水干活”**是一个非常实用且低成本的策略，能让机器人在浑浊的水下也能看清世界。

一句话总结：
这就好比教机器人学会“水下生存”，作者发现与其发明一种全新的“水下视力”，不如教它**“带上空气里拍好的清晰照片作为参考”**，这样它就能在浑浊的水下也能拼出完美的 3D 世界了。

BALTIC 论文技术总结

1. 研究背景与问题 (Problem)

高质量的 3D 重建是机器人感知、测绘、导航及场景理解的核心。尽管基于运动恢复结构（SfM）、神经辐射场（NeRF）和 3D 高斯泼溅（3DGS）的最新方法在受控的陆地（空气）环境中表现优异，但在水下环境及**跨介质（空气 - 水）**场景中的应用仍面临巨大挑战。

主要问题包括：

视觉退化严重：水下环境中，光的散射和吸收导致对比度降低和颜色不一致，折射引起几何畸变，且光照条件（自然光、人工光、混合光）变化剧烈。
现有基准缺失：现有的数据集和基准大多仅关注单一因素（如光照或运动），缺乏在介质（空气/水）和光照条件下进行系统性变化的受控基准，导致难以评估重建算法在真实水下环境中的鲁棒性。
跨介质重建困难：在实际应用中（如水下考古、设施检查），物体往往先在空气中扫描，随后部署到水下。如何有效利用少量空气视图来增强水下重建是一个未充分探索的领域。

2. 方法论 (Methodology)

2.1 BALTIC 基准数据集构建

作者构建了一个名为 BALTIC 的开源基准，旨在系统评估 3D 重建方法。

实验设置：使用定制的水箱（2.2 × 1 × 0.8 米），配备单目相机（带半球形端口）和 HTC Vive 追踪系统，以获取高精度的真值轨迹（定位误差 < 3mm，旋转误差 < 0.3°）。
数据多样性：包含 13 个数据集（E1-E13），系统性地变化了以下维度：
- 介质：空气（Air）与水（Water，添加染料模拟波罗的海绿色，添加 Maalox 模拟散射）。
- 光照：定向光（阳光模拟）、人工光、混合光。
- 运动模式：割草机式（Lawn-mower）扫描轨迹和自由式（Free-form）3D 轨迹。
校准策略：采用鱼眼镜头校准，并通过物理模型校正折射效应，确保水下数据仅用于研究辐射度（radiometric）挑战，而非几何畸变。

2.2 评估流程

SfM 评估：使用 COLMAP 在 BALTIC 数据集上进行稀疏重建，评估轨迹精度（ATE, RPE）和几何完整性。
密集重建与渲染：将 SfM 输出的位姿和点云作为输入，应用以下方法生成 3D 模型：
- Neural Radiance Fields (NeRF) 变体：Nerfacto, SeaThru-NeRF。
- 3D Gaussian Splatting (3DGS) 变体：基础 3DGS, WaterSplat, SeaSplat。
跨域重建策略：提出一种跨域增强方法。将水下序列与少量在相似光照条件下拍摄的“空气视图”结合。通过贪心算法选择能覆盖水下“弱体素”（稀疏区域）的最优空气图像子集，以提供几何结构和辐射度先验。
预处理：对输入图像进行白平衡校正和曝光归一化，以模拟 SeaThru-NeRF 的预处理流程。

2.3 评估指标

几何指标：绝对轨迹误差 (ATE)、相对位姿误差 (RPE)、点云配准指标（Chamfer RMS, 表面粗糙度）。
渲染质量：峰值信噪比 (PSNR)、结构相似性 (SSIM)、学习感知图像块相似度 (LPIPS)。
颜色恢复：CIE Lab 空间下的色差 ( $\Delta E$ )。

3. 主要贡献 (Key Contributions)

BALTIC 开源基准：提供了一个受控的、包含空气和水下域的系统性数据集，涵盖了光照、介质和运动的多种变化，并包含精确的真值轨迹。
全面的性能评估：系统评估了 SfM、NeRF 和 3DGS 方法在水下及混合光照条件下的鲁棒性和失效模式。
跨域重建分析：证明了通过引入少量相似光照条件下的空气图像，可以显著提升水下重建的质量（几何完整性和轨迹稳定性），为实际应用提供了一种简单有效的策略。

4. 实验结果 (Results)

4.1 SfM 性能

空气环境：COLMAP 表现优异，能生成密集且全局一致的点云。
水下环境：性能显著下降，特征点匹配减少，导致重建稀疏、碎片化（出现多个子图）。
预处理效果：对水下图像进行裁剪（聚焦中心光锥）和 CLAHE 对比度增强，可显著改善重建质量，减少碎片化。
跨域增强：在水下序列 E12 中加入少量空气图像（E14），成功将原本碎片化的重建融合为单一、密集且全局一致的地图。

4.2 渲染与重建质量

3DGS 的优势：在大多数情况下，3D Gaussian Splatting (3DGS) 配合简单的预处理（如白平衡）表现最佳，PSNR 和 SSIM 最高，LPIPS 最低。
水下挑战：所有方法在水下数据集（E8-E13）上的指标均低于空气数据集。NeRF 类方法在散射严重的环境中表现较差（LPIPS 接近 1）。
光照影响：人工光照（E10, E12）下的水下重建效果优于纯自然光模拟（E8, E9），表明受控光照有助于缓解散射和颜色衰减。
跨域提升：跨域重建（E14）相比纯水下重建（E12），PSNR 和 SSIM 更高，LPIPS 更低，证明了空气视图对稳定几何和提升感知保真度的作用。

4.3 颜色恢复

在颜色恢复方面，WaterSplat 和 SeaSplat 在对比度和色彩信息恢复上表现较强，但 $\Delta E$ 均值较高（亮度调整大）。SeaThru-NeRF 则提供更平滑的颜色过渡。

5. 意义与结论 (Significance & Conclusion)

核心发现：
1. 经典的 SfM 管道在水下严重退化，需要更强的先验或学习模型。
2. 学习-based 方法（NeRF, 3DGS）高度依赖 SfM 初始化的质量。
3. 跨域重建是有效的：在物体部署到水下之前，预先采集少量空气视图，可以作为一种轻量级且高效的策略，显著提升水下重建的完整性和稳定性，无需复杂的物理模型或重新训练。
局限性：当前基准基于受控水箱环境，未完全涵盖真实海洋环境的尺度、动态和生物附着（biofouling）等复杂因素。
未来方向：扩展至更大规模的原位（in-situ）水下环境，结合物理渲染模型，并探索显式处理散射和介质属性的学习方法。

总结：BALTIC 基准填补了水下 3D 重建评估的空白，并揭示了一个关键见解：利用跨域（空气 - 水）信息进行增强，是解决水下视觉退化、提升机器人感知鲁棒性的实用且有效途径。