UDR-Mamba: A Depth-Structured Reliability-Guided Mamba Framework for RGB-D Underwater Salient Object Detection
本文提出了 UDR-Mamba，一种深度结构化且可靠性引导的 Mamba 框架，该框架将原始深度图转化为结构化线索，并通过共享编码器将其与 RGB 特征进行选择性融合，从而在尽管存在噪声深度测量的情况下，仍实现了水下显著性目标检测的最先进性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在深邃的海底，阳光逐渐褪去成一片朦胧的蓝色，色彩也随之消褪，机器人和摄像机在其中难以看清前方的景象。这就是水下视觉的世界，一个对于引导自主航行器、监测海洋生物以及帮助人类探索深海至关重要的领域。在这些浑浊的环境中，标准相机经常失效，因为水体会散射光线、模糊边缘并扭曲色彩，使得计算机很难分辨出哪里是鱼，哪里是岩石，或者哪里是船只，哪里是海床。为了解决这个问题，科学家们长期以来一直尝试将标准相机提供的熟悉彩色图像与深度图（类似于展示物体距离远近的3D草图）相结合。然而，水下深度图通常充满噪声且不可靠，充满了会导致计算机产生困惑的空缺和错误，其程度不亚于浑浊的水水对人类眼睛造成的困扰。挑战在于，如何教会机器利用这些3D草图中有效的部分，同时忽略那些破碎或具有误导性的部分。
常州大学的一个研究小组开发了一种应对这一问题的新方法，他们将该系统命名为 UDR-Mamba。该方法并非简单地将原始彩色数据和原始深度数据输入计算机，而是首先将杂乱的深度信息重新组织成更清晰、更有用的格式。想象一下，当你拿到一张模糊、颗粒感重的照片时，你不仅描绘出物体内的轮廓，还同时强调了纹理发生剧烈变化区域的过程；这本质上就是他们的系统对深度数据所做的处理。他们将深度图分解为三个不同的组成部分：一个显示整体布局的归一化版本、一个显示深度突变的边缘图，以及一个衡量局部对比度以突出微小几何差异的指标。通过向计算机呈现这三种结构化的深度视图，该系统能够更好地理解物体的形状和边界，即使原始深度数据并不完美。
其创新的核心在于系统如何决定信任哪些部分的深度信息。在许多水下场景中，深度传感器产生的某些数据本身就是错误的，这可能是由于水中的气泡或颗粒造成的。研究人员设计了一种机制，充当“守门员”的角色，在处理的每个阶段不断评估深度信息的可靠性。它观察彩色图像、结构化深度数据以及两者之间的差异，以此来决定给予深度线索多少权重。如果深度信息看起来是可靠的，系统就会将其融合进来以锐化图像；如果看起来有噪声或不可靠，系统则会忽略它以防止出错。这种选择性的过程确保了计算机仅在深度数据有帮助时才使用它，从而有效地过滤掉了通常困扰水下视觉的噪声。
为了将这些组件联系起来，研究人员采用了一种现代类型的人工智能架构，即一种被称为 Mamba 的状态空间模型变体。不同于以往处理图像时采用的小块隔离处理方式，这种架构旨在理解整个图像的长程连接，使其既能理解场景的全局大局，又能注意到精细的细节。团队使用了一套共享的、类脑的参数来处理彩色数据和深度数据，这使得他们的系统比以往使用两个独立、沉重处理器的的方法更高效、冗余更少。这种共享方法让系统能够在不需要庞大计算能力的情况下，学习颜色与深度之间的关系，在速度与准确性之间取得了平衡。
在大型水下图像集上的测试表明，该系统在准确识别重要物体及其轮廓方面，表现出了明显优于现有方法的能力。在一个包含超过一万张水下图像的标准基准测试中，该系统在识别显著物体的形状和位置方面达到了极高的精确度，在几项关键的准确性指标上都超越了之前的先进技术。它在处理低对比度和复杂背景的场景时表现得尤为出色，而其他系统在这些场景下往往会产生不完整的轮廓或完全遗漏物体。研究人员发现，通过显式地对深度数据的结构进行建模并对其可靠性进行把关，该系统即使在最挑战性的条件下也能恢复清晰的边界。
结果表明，提升水下视觉的关键不在于拥有更多的数据，而在于拥有更聪明的方式来解读现有数据。通过将原始深度图转化为结构化线索，并通过可靠性检查进行仔细过滤，该系统克服了水下传感器固有的局限性。这项工作为开发更强大的机器人视觉系统提供了一条切实可行的路径，使这些系统能够在光照匮乏、环境艰苦的海洋环境中有效运行，从而有望改善从环境监测到水下探索的方方面面。研究人员指出，虽然目前的系统非常有效，但未来的工作将侧重于使其更加轻量化和鲁棒化，以确保它能在现实世界水下机器人的有限硬件上运行。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。