QMSR: Query-Conditioned Mask-wise Expert Routing for Robust Open-Vocabulary Underwater Object Retrieval
本文提出了 QMSR，一种查询条件的掩码专家路由框架，该框架能够针对每个查询-候选对，自适应地选择并融合预训练的水下图像增强专家与原始表示，从而克服了固定增强策略的局限性，并显著提升了复杂水下环境中的开集目标检索性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在深海之下，海洋是一个光线行为与陆地上截然不同的世界。水体会吸收色彩、散射光线，并将世界变成一个模糊、低对比度的景象。对于探索这些深处的机器人而言，这种视觉失真是一个主要的障碍。为了执行有用的任务，比如拿起特定的工具或识别一片碎片，机器人需要能够清晰地“看见”。近年来，科学家们开发了强大的计算机系统，使机器能够通过语言来理解图像。人类只需输入类似“寻找红色扳手”的请求，计算机就可以扫描图像并定位它。然而，这项技术在水下却表现挣扎。海洋产生的这种模糊且色彩偏移的图像经常会让计算机感到困惑，使其难以将视觉场景与描述它的文字相匹配。
长期以来，解决这一问题的标准方案是尝试先修复图像。研究人员开发了许多不同的软件工具，旨在清理水下照片，在机器人尝试识别物体之前锐化边缘并恢复自然色彩。其假设很简单：更清晰的图片理应总能带来更好的答案。但这种方法存在一个隐藏的缺陷。海洋并非均匀一致的；图像的某些部分可能很模糊，而另一些部分则很清晰，且不同的物体可能依赖不同的视觉线索。一个让整幅图像看起来更明亮的软件工具，可能会意外地冲淡机器人寻找目标所需的特定颜色或纹理。事实上，这项新研究背后的研究人员发现，将这些标准的修复手段应用到每一张图像上，往往会让机器人的搜索变得更糟，而不是更好。有时，原始的、未经编辑的图像实际上包含了寻找正确物体的最佳线索。
为了解决这个问题，来自南洋理工大学和香港中文大学的一个研究小组开发了一个名为 QMSR 的新系统。该系统不再强迫每张图像都经过单一的清理过程，而是像一个智能决策者一样，对每个潜在物体进行单独评估。当机器人接收到指令（例如“寻找塑料杯”）时，系统首先将图像分解成许多可能包含该物体的微小候选部分，即掩码。对于其中的每一个部分，系统都会问一个关键问题：“这个特定的图像片段是否需要进行清理，以匹配我正在寻找的词汇？”
该系统拥有一个包含九种不同图像清理“专家”的库，每位专家都经过训练，以略微不同的方式来修复水下照片。有些专家可能更擅长恢复蓝色调，而另一些则擅长锐化边缘。这个新框架并不会为整幅图像选择一位专家。相反，它会观察机器人正在搜寻的特定物体以及它正在检查的特定图像片段。然后，它会为那对特定的“物体-片段”组合选择最合适的单一清理专家。如果系统判定某个图像片段已经足够清晰，或者认为进行清理反而会遮盖它所需的线索，它就会选择让该片段保持原样。这是一个关键的区别：系统学会了何时“不”去增强图像，从而保留了对搜索至关重要的原始信息。
研究人员使用大量的海洋图像和文本查询对这种方法进行了测试。他们将这种新方法与使用单一清理工具处理所有情况的旧方法，以及完全不进行清理的方法进行了对比。结果令人瞩目。新系统显著提高了机器人寻找正确物体的能力，其表现优于表现最好的固定清理策略近 26%。它还证明了极高的灵活性；当研究人员使用训练期间从未见过的词汇和物体进行测试时，它的表现仍然远好于传统方法。这表明该系统学习到的是关于如何将视觉线索与语言相匹配的一般规则，而不仅仅是记忆特定的修复方法。
或许最令人惊讶的发现是，该系统在训练期间并不需要被告知哪种清理方法是最好的。相反，它通过观察其选择的最终结果来进行学习。研究人员使用了一种特殊的训练技术，其中一个拥有所有答案的“教师”程序引导系统为每个物体选择哪位专家。随着时间的推移，系统学会了仅凭原始图像和文本指令自主做出这些决策。事实证明，对于几乎所有情况，只需选择一位专家并决定如何强烈地应用其修复效果，就足以捕捉到拥有全部九位专家所带来的好处。系统明白了，“一刀切”的方法正是问题所在，而要在水下看清事物的关键，在于明确知道针对眼前的每一个物体，究竟该使用哪种工具，以及何时使用它。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。