Multimodal Detection for Underwater Cultural Heritage: A Physics-Guided Color-Bias-Aware Network and Dataset
为了克服水下文化遗产检测中数据稀缺和颜色失真等挑战，本文引入了 WRF 数据集和 UCH-Net，这是一种物理引导的双流检测器，通过有效地融合 RGB 和深度信息，显著优于现有的基准模型。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
海洋底部保存着人类历史的无声档案，古老的沉船、淹没的城市以及散落的陶器都静静地躺在黑暗中。这些水下遗址提供了人类如何旅行、贸易和建立文明的直接证据，但它们也非常脆弱，且不断受到恶劣海洋环境的威胁。为了研究并保护这些珍宝，研究人员必须首先找到它们并记录其状况，这项任务传统上依赖于人类潜水员和遥控无人潜水器捕捉数以千计的图像。然而，水下世界提出了独特的视觉挑战：水会吸收光线并散射微粒，使清晰的场景变成浑浊的蓝绿色薄雾，从而导致色彩失真和边缘模糊。虽然现代计算机可以被训练在清晰的空气中识别物体，但在这种退化的环境中却往往表现挣扎——在这里，一个陶瓷罐可能看起来像一个影子，而一根木梁可能会消失在背景之中。
为了解决这个问题，一组研究人员开发了一种结合了观察水下世界两种不同方式的新方法。他们构建了一个包含真实考古遗址的专门图像集，其中包括来自墨西哥湾、黑海和地中海的沉船与遗迹。他们将这个数据集命名为“沉船、遗迹与碎片化遗产数据集”（Wrecks, Ruins, and Fragmentary Heritage dataset），其中包含了近 5,000 张涵盖 21 种不同类型人工制品的图像，从陶罐、钱币到船只部件和雕像。由于原始的水下照片缺乏关于物体距离的信息，研究人员使用计算机程序为每张图像生成了相应的深度图。这张图就像一份地形指南，即使物体的颜色被水冲淡，也能显示出物体的形状和距离。通过将标准的彩色照片与这些深度指南配对，该团队创造了一种资源，使计算机不仅能学习一个物体看起来是什么样子，还能学习它在空间中是如何成形的。
利用这些新数据，研究人员开发了一个名为 UCH-Net 的专门计算机系统，旨在专门搜寻深海中的文化遗产。与仅依赖颜色和纹理的标准系统不同，该系统拥有两条视觉流：一条分析彩色图像，另一条研究深度图。创新的核心在于这两条流如何协同工作。该系统包含一个能够理解水如何随距离改变颜色的模块；它知道红光消散得很快，而蓝光传播得更远，这使其能够在尝试识别物体之前纠正视觉失真。随后，它将纠正后的色彩细节与几何形状融合，利用深度数据的坚实轮廓来引导搜索，即便此时彩色图像因过于模糊而不再可靠。这种物理感知能力帮助系统忽略漂浮微粒产生的噪声，转而专注于人工制品的实际结构。
在与其它领先的检测方法进行对比测试时，这个新系统证明了其显著更高的效能。在这一新的沉船与遗迹数据集上，它能以极高的准确度正确识别物体，大幅超越了现有的最佳模型。它在精准定位物体的确切位置和边界方面表现尤为出色，对于需要精确了解文物所处位置以规划回收或保护工作的考古学家来说，这是一项至关重要的技能。该系统在另一个公开的通用水下物体数据集上也表现良好，表明其处理色彩失真和深度信息的能力不仅适用于沉船领域。虽然该系统需要大量的计算能力，且目前尚未精简到能在每台水下机器人上运行，但结果表明，将色彩校正与几何深度信息相结合是看透浑浊深海的一种强大方式。这项工作为自动化筛选水下遗址提供了切实的基础，有望让研究人员快速处理海量视频资料，并识别出最具研究价值的重要历史遗迹。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。