Exploring Efficient Open-Vocabulary Segmentation in the Remote Sensing
本文通过引入标准化的 OVRSISBench 并提出 RSKT-Seg 框架，解决了开放词汇遥感图像分割中缺乏统一基准和存在领域差异的问题，该框架通过其专门的旋转不变聚合、高效融合以及知识迁移模块，在准确率和推理速度上均超越了现有基线模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在计算机视觉领域，长期以来，机器一直被训练用于识别并标注照片中的物体，就像孩子学习辨认猫或汽车一样。多年来，这些系统受限于它们被明确教授的固定类别列表；如果一个模型知道什么是“汽车”，除非经过新数据的重新训练，否则它无法突然识别出“自行车”。随着开放词汇分割（open-vocabulary segmentation）技术的兴起，这种情况发生了改变，该技术允许计算机通过语言来理解图像。通过将视觉模式与文本描述相连接，这些系统现在可以识别它们从未见过的物体，仅仅是因为用户可以对其进行描述。然而，这项技术是为人们和场所的日常照片而构建的。当科学家尝试将这些相同的工具应用于卫星和无人机捕捉到的广阔高空视图时，系统表现得十分吃力。从高空俯瞰的世界看起来截然不同：道路和农田延伸成无尽的网格，而飞机或船只等物体可能以任何角度出现，打破了人类习惯的垂直定向。弥合熟悉的街景照片与遥感独特视角之间的鸿沟仍然是一个重大挑战。
一组研究人员现在通过创建一种新的测试标准和一个专门为从高空观察世界而设计的工具，解决了这一特定问题。他们首先意识到，开放词汇遥感领域缺乏一个共同的基础。由于缺乏统一的测试不同计算机模型的方法，很难判断哪些方法在卫星图像上实际上效果最好。为了解决这个问题，该团队构建了一个全面的基准测试，收集了涵盖从密集城市布局到农业地区以及高分辨率航空视图在内的八个多样化数据集。他们组织这些图像，使模型在其中一些数据集上进行训练，并在另一些数据集上进行测试，从而确保系统是在真正学习识别新概念，而不是仅仅记忆特定的图片。当他们让现有的强大模型通过这项新测试时，结果是令人警醒的。虽然这些模型在处理标准照片时表现良好，但面对遥感数据时，其准确性显著下降。它们未能考虑到航空视图的独特特征，例如建筑物或车辆可能会向任何方向旋转，或者场景的上下文往往跨越比典型照片大得多的区域。
为了解决这些缺陷，研究人员开发了一个名为 RSKT-Seg 的新框架，它充当了卫星图像的专门翻译器。该系统的核心建立在三个协同工作的不同策略之上，以理解这种高空视角。首先，该系统承认航空照片中的物体没有单一的“向上”方向。为了处理这一点，它同时从多个角度分析图像，旋转视觉数据，以确保无论船只或桥梁在画面中如何定向，都能被识别出来。这种旋转不变（rotation-invariant）的方法使模型能够对那些因卫星路径不同而看起来完全不同的形状建立稳定的理解。其次，该框架使用一种轻量级的方法将这些视觉线索与文本描述相结合。它并没有陷入沉重的计算中，而是高效地将图像的空间布局与单词的含义进行融合，使其能够在不减慢处理过程的情况下，精确地定位特定物体的具体位置。最后，该系统利用了已经专门针对遥感数据进行过训练的模型所积累的知识。它利用这种预先存在的专业知识来填补空白，有效地教导新系统如何解读地球表面的独特纹理和模式。
这种新方法的成果是巨大的。在针对新基准进行测试时，该系统始终优于设计用于普通照片的经典模型以及较新的遥感分割尝试。它实现了准确性的显著提升，在各种具有挑战性的数据集上正确地识别并勾勒出物体。或许同样重要的是，该系统的速度非常快。当其他先进模型需要相当长的时间来处理一张图像时，这个新框架完成任务仅用了大约一半的时间，这使得它更适用于对速度要求极高的实时应用场景。研究人员发现，通过整合这些针对旋转、高效数据融合和特定领域知识的专门调整，他们可以创造出一个不仅能理解“天空语言”，而且能以此前难以企及的精度和速度完成任务的工具。这项工作建立了一条清晰的前行之路，证明了只要进行适当的调整，人工智能就可以被定制化，从而精准地观察从高空看世界的景象。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。