💻 computer science

Semantic-guided Gaussian Splatting for High-Fidelity Underwater Scene Reconstruction

该论文提出了 SWAGSplatting 框架，通过引入基于 CLIP 的语义先验指导高斯原语优化，并采用自适应原语重分配策略，有效解决了水下散射与衰减导致的成像退化问题，实现了高保真的水下场景三维重建。

原作者： Zhuodong Jiang, Haoran Wang, Guoxi Huang, Brett Seymour, Nantheera Anantrasirichai

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhuodong Jiang, Haoran Wang, Guoxi Huang, Brett Seymour, Nantheera Anantrasirichai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 SWAGSplatting 的新技术，它的目标是解决一个非常棘手的问题：如何在浑浊、光线昏暗的水下世界里，用相机拍出的照片重建出清晰、逼真的 3D 场景。

想象一下，你想在海底给一艘沉船或一片珊瑚礁建一个完美的 3D 数字模型。但在深水里，光线会被水吸收（变暗），还会被水中的微粒散射（像雾一样模糊），而且你很难绕着物体转圈拍（视角很少）。传统的 3D 重建方法在这里通常会“晕头转向”，重建出来的模型要么模糊不清，要么细节丢失。

这篇论文提出的 SWAGSplatting 就像是一位拥有“超级直觉”和“智能调度员”的 3D 重建大师。它通过三个核心“魔法”来解决这些问题：

1. 给每个“像素点”装上“语义大脑” (Semantic-guided)

传统方法： 就像一群没有头脑的工人，只盯着照片里的颜色和亮度干活。如果水太浑，颜色看不清，他们就不知道该怎么摆弄手里的“积木”（3D 高斯点），导致重建出来的东西一团糟。

SWAGSplatting 的做法： 它给每一个 3D 积木都装上了一个**“语义大脑”**。

比喻： 想象你在拼一个巨大的乐高模型。普通的工人只看颜色，看到一片模糊的蓝色就随便拼。但 SWAGSplatting 的工人会问：“这块蓝色是‘珊瑚’的一部分，还是‘海水’？”
怎么做： 它利用了一个叫 CLIP 的 AI 模型（就像是一个读过很多书、认识很多事物的“博学老师”）。这个老师能告诉系统：“这片区域是‘沉船’，那片是‘鱼’。”
效果： 即使水很浑，看不清细节，系统也知道：“哦，这里应该是沉船的船体，结构应该是硬的、连续的。”于是，它会把那些模糊的、像雾气一样的噪点（比如漂浮的泥沙）排除掉，专注于把“沉船”这个主体拼得整整齐齐。这就像在迷雾中，你虽然看不清路，但你知道“路”应该在哪里，所以能坚持画对路线。

2. 智能的“资源大挪移” (Adaptive Reallocation)

传统方法： 就像在一个班级里，老师只给那些“表现好”（看得清楚）的学生发更多的糖果（计算资源）。结果，看得清楚的地方堆满了糖果（冗余的积木），而看不清楚、最需要帮助的地方（比如沉船的阴影处）却连一颗糖都没有。这导致好的地方浪费资源，坏的地方重建失败。

SWAGSplatting 的做法： 它有一个**“智能调度员”**。

比喻： 这个调度员会时刻盯着哪里“重建得不好”（误差大）。一旦发现某个区域（比如沉船底部）重建得很烂，它就会立刻从那些“表现太好、有点多余”的区域（比如明亮的水面）拿走一些积木，搬运到那个烂泥潭里。
效果： 这样，有限的积木（计算资源）就被用在了刀刃上。原本模糊不清的地方，因为得到了更多的“积木”去填补，瞬间变得清晰了。这就像把原本堆在桌子上的多余砖头，拿去填补墙上的大洞，让整面墙都结实了。

3. “先搭骨架，再精装修”的两步走策略 (Stage-wise Optimization)

传统方法： 就像盖房子，工人试图一边打地基、一边砌墙、一边刷油漆，最后往往地基不稳，或者油漆刷得乱七八糟。

SWAGSplatting 的做法： 它采用了**“分阶段施工”**的策略。

第一阶段（搭骨架）： 先不管颜色好不好看，先把房子的大轮廓和结构搭好。这时候，系统会忽略一些细节，专注于让沉船的形状、位置是对的。
第二阶段（精装修）： 等骨架稳固了，再开始精修。这时候，系统会冻结住位置，专门去调整颜色、光泽和纹理，让画面看起来像照片一样逼真。
效果： 这种“先粗后细”的方法，避免了在混乱的水下环境中“顾此失彼”，让最终出来的模型既结构正确，又色彩鲜艳。

总结：它好在哪里？

简单来说，SWAGSplatting 就是让 3D 重建技术从**“死板地看图”变成了“聪明地理解场景”**。

以前： 水太浑，看不清，重建出来的沉船像一坨模糊的面团。
现在： 系统知道那是“沉船”，知道哪里该有结构，并且把计算力集中用在最难看清的地方。

实验结果：
研究人员在真实的深海数据集（包括沉船、珊瑚礁等）上测试了这种方法。结果显示，它的重建质量（清晰度、真实感）比目前最先进的其他方法都要好，特别是在那些水很浑、光线很差的地方，效果提升非常明显。

一句话总结：
这就好比给水下 3D 重建装上了“透视眼”（理解物体是什么）和“智能搬运工”（哪里需要补哪里），让原本模糊不清的深海世界，在电脑里变得清晰、立体且真实。

这是一篇关于SWAGSplatting（语义引导的水下场景增强高斯泼溅）的技术论文总结。该方法旨在解决水下环境中的高保真 3D 场景重建难题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

水下 3D 重建面临独特的挑战，现有的基于 3D 高斯泼溅（3DGS）的方法在退化成像条件下表现不佳：

成像退化：水下环境存在散射、衰减和非均匀光照，导致图像对比度降低、颜色失真和可见度空间变化。
信息质量不均：前景物体通常信号较强，而背景或远距离区域受散射影响严重，信息质量极差。
现有方法的局限性：
- 优化不平衡：传统的 3DGS 仅基于光度信号（Photometric signals）优化，导致在观测良好的区域过拟合（高斯球冗余），而在退化区域重建不足。
- 缺乏语义引导：现有方法通常忽略高层语义信息，难以在低可见度下保持物体边界的清晰度和结构的连贯性。
- 高斯分配策略单一：基于梯度的高斯致密化（Densification）策略在退化条件下会导致高斯球分布不均，无法有效利用有限的计算资源。

2. 方法论 (Methodology)

作者提出了 SWAGSplatting，一个多模态框架，将语义先验与物理建模相结合。其核心流程如图 2 所示，主要包含以下创新模块：

A. 语义引导的高斯原语 (Semantic-guided Gaussians)

可学习语义特征：每个 3D 高斯原元（Primitive）不仅包含几何和外观属性，还增加了一个可学习的语义特征向量 ( $f_s$ )。
CLIP 监督：利用 BLIP3-o 生成场景描述，结合 Grounded-SAM 提取感兴趣区域，并通过 CLIP 模型生成区域级的语义嵌入（Embeddings）。
语义一致性损失 ( $L_s$ )：引入辅助损失函数，强制落在同一语义区域（如珊瑚、沉船）内的高斯原元的语义特征与参考嵌入对齐。
- 作用：在不直接修改几何参数的情况下，作为正则化项增强结构连贯性，抑制浮游粒子或雾气等噪声区域的密度分配，保护显著物体的边界。

B. 自适应高斯原语重分配 (Adaptive Gaussian Primitives Reallocation)

问题：标准 3DGS 的致密化策略导致高信号区域高斯球堆积，而低可见度区域覆盖不足。
策略：提出一种动态重分配机制，在固定的高斯原元预算下，根据重要性分数和重建误差重新分配资源。
- 重要性分数 ( $\tilde{S}_i$ )：衡量高斯对渲染图像的贡献。
- 误差分数 ( $\tilde{E}_i$ )：衡量高斯对重建损失的贡献。
- 操作：定期（每 3000 次迭代）剪枝掉贡献度最低（后 10%）的高斯，并将其预算“克隆”给重建误差最高（前 10%）的区域。
- 作用：平衡空间覆盖，将计算资源集中到重建困难区域，提升整体 fidelity。

C. 分阶段优化策略 (Stage-wise Optimization)

采用由粗到细的两阶段训练策略以提高稳定性：

重建阶段 (Stage 1)：联合优化全局几何和外观。主要使用 $L_1$ 损失（鲁棒性强）和 SSIM，结合深度监督、语义对齐和边缘平滑等正则化项。
细化阶段 (Stage 2)：冻结几何和语义参数，专注于外观细化。移除部分正则化项，强调 $L_2$ 损失以恢复高频细节和颜色一致性。

D. 损失函数组合

总损失函数包含重建损失、深度监督、灰度世界先验、边缘平滑、语义损失 ( $L_s$ )、像素级 $L_2$ 损失以及针对水下衰减系数的铰链损失 ( $L_h$ )。

3. 主要贡献 (Key Contributions)

首个语义引导的水下 3DGS 框架：将视觉 - 语言模型（CLIP）的嵌入引入 3DGS，实现了物体感知和语义一致的重建。
语义一致性损失：在特征空间中对齐语义与几何表示，显著改善了退化条件下的结构连贯性和物体边界保持。
自适应重分配机制：解决了传统致密化导致的分布不平衡问题，在不增加计算成本的前提下提升了低可见度区域的重建质量。
分阶段优化策略：通过冻结参数和损失函数调度，增强了在稀疏视角和噪声条件下的训练稳定性。

4. 实验结果 (Results)

作者在三个真实世界水下数据集（SeaThru-NeRF, Submerged3D, S-UW）上进行了广泛评估，并与 6 种 SOTA 方法（包括 3DGS, UW-GS, RUSplatting 等）进行了对比。

定量指标：
- 在 SeaThru-NeRF 上，平均 PSNR 提升了 0.67 dB，SSIM 提升 1.05%，LPIPS 降低 5.70%。
- 在更具挑战性的 Submerged3D（稀疏视角、严重退化）上，相比 UW-GS，PSNR 平均提升 1.80 dB。
- 在 S-UW 数据集上，取得了最佳的平均 PSNR (25.64 dB) 和均衡的 SSIM/LPIPS 表现。
定性分析：
- 相比基线方法，SWAGSplatting 能更好地恢复珊瑚等精细结构，减少背景伪影，并在低光照和强散射区域保持更清晰的几何细节。
- 消融实验证明，移除语义引导、分阶段优化或重分配机制中的任何一项都会导致性能下降，其中语义引导对性能提升贡献最大。

5. 意义与价值 (Significance)

理论价值：证明了将高层语义先验（Semantic Priors）引入显式神经渲染（3DGS）的有效性，为在退化成像条件下（如水下、雾天、烟雾）的 3D 重建提供了新的思路。
应用价值：该方法显著提升了水下机器人、考古勘探和海洋生态监测中的 3D 可视化质量，能够生成更准确、更连贯的三维模型，减少了对昂贵主动传感器（如声纳、激光雷达）的依赖。
技术突破：通过自适应资源分配策略，解决了非均匀观测条件下的重建不平衡问题，为高效、实时的水下场景重建提供了可行的解决方案。

代码开源：项目代码已公开在 GitHub (https://github.com/theflash987/SWAGSplatting)。