💻 computer science
Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting
本文提出了 Underwater360，这是一个物理信息驱动的 omnidirectional 3D 高斯泼溅框架，通过在球面空间执行射线投射并将固有辐射度与介质效应解耦，来重建水下全景场景，从而实现卓越的渲染质量和外观复原。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，试图在深海水下拍摄一张完美的 360 度全景照片。这之所以是一场噩梦，主要有两个原因：
- “鱼缸”畸变：如果使用普通相机，你必须拍摄数百张重叠的照片才能覆盖整个场景，而在水下将它们拼接在一起，就像试图组装一个拼图，但拼图的碎片却在不断改变形状。
- “浑浊汤”效应：水不是清澈的空气。它就像透过一层厚厚的绿色迷雾看东西。水会吸收光线（使物体看起来呈蓝色或绿色）并散射光线（产生朦胧的光晕），从而掩盖物体的真实颜色和形状。
论文《Underwater360》提出了一种新的解决方案。可以将其想象为构建一个虚拟的、晶莹剔透的 3D 水下世界模型，尽管输入给它的照片是模糊且畸变的。
以下是他们是如何做到的，使用了一些简单的类比：
1. “球形气球”而非平面地图
标准的 3D 计算机图形学通常试图将 3D 场景“压平”到 2D 屏幕上，就像将地球仪投影到平面地图上。这会导致边缘拉伸和扭曲（就像在平面地图上格陵兰岛看起来巨大无比一样）。
- 论文的解决方案：作者没有将世界压平，而是构建了一个在巨大的透明气球内部运行的系统。他们从气球中心直接向表面投射“光线”（就像激光束）。这避免了试图将 360 度视野强行塞入平面图片时发生的拉伸和扭曲。这就像试图用一张平纸包装礼物（到处是褶皱），与使用一个预先塑形的、完美贴合形状的气球之间的区别。
2. “魔法滤镜”（将汤与物体分离）
当你在水下看一条红色的鱼时，它看起来不是红色的，而是浑浊的棕色，因为水吸收了红光并添加了灰色的雾气。
- 论文的解决方案：他们创建了一个智能的“数字滤镜”，其作用就像一位正在分离食材的厨师。
- 厨师的目标：弄清楚鱼实际上看起来是什么样（固有颜色），与水如何改变了它的样子（衰减和背散射）之间的区别。
- 工作原理：该系统学会同时猜测两件事：
- “干净”图像：如果水是清澈的，场景会是什么样子。
- “水”图像：水阻挡了多少光线，以及添加了多少“雾气”（背散射）。
- 通过分离这两者，计算机可以在数学上“逆转”水的影响，揭示水下场景的真实颜色和清晰细节。
3. “智能喷漆器”（高斯泼溅）
为了构建 3D 模型，该系统使用成千上万个微小的、模糊的 3D“油漆泼溅点”（称为高斯点），而不是僵硬的 3D 方块。
- 类比：想象试图重现一朵云。你可以使用硬塑料立方体，但那样看起来会像方块。相反，你可以使用成千上万个重叠的、柔和发光的雾气团。计算机计算出确切放置这些雾气团的位置以及它们应该有多透明，以匹配照片。
- 创新点：通常，这些“雾气团”是为清澈空气设计的。在水下，作者的教会这些雾气团携带一张附加的“水图”。这使得系统能够知道：“这个雾气团距离 5 米，所以水让它看起来暗了 20%，模糊了 10%。”
结果：一张新的“水下地图”
作者不仅构建了工具，还构建了训练场。
- 他们创建了一个名为OmniUW的新数据集（在视频游戏引擎中制作的合成场景）和Insta360（在游泳池拍摄的真实照片）。
- 他们将他们的方法与其他顶级 AI 模型进行了测试。结果表明，他们的“气球 + 魔法滤镜”方法生成的水下场景 3D 模型比以前的方法更清晰、更准确，而以前的方法往往会让物体保持模糊或颜色错误。
简而言之：Underwater360 是一种新的 3D 重建方案，它利用球形相机视角来避免畸变，并利用智能数学滤镜“剥离”浑浊的水层，揭示隐藏在下面的清晰、多彩的世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。