Frequency and Edge-Guided Segment Anything Model for Remote Sensing Image Semantic Segmentation
本文提出了 FE-SAM，这是一个用于遥感图像语义分割的可扩展框架，它通过引入一个用于自适应分解频率特征的频率调制适配器（Frequency-Modulated Adapter）以及一个用于整合多尺度边缘信息的 EGRefiner，增强了 Segment Anything Model，从而克服了特征适配限制和边界模糊问题，实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
卫星和飞机不断捕捉着地球上详尽且宏大的照片，展现了从繁华都市到偏远森林的一切景象。理解这些图像需要一个被称为“语义分割”的过程，即通过这种方式教计算机识别并勾勒出它所看到的每一个独特物体，例如特定的建筑物、一段道路或一片树木。多年来，科学家们一直依赖专门的计算机程序来执行这项任务，但面对地球表面独特的复杂性时，这些工具往往显得力不从心。计算机视觉领域最近的一项重大突破引入了一个强大的通用模型，该模型是在数百万张日常照片上训练而成的。虽然这个模型在识别标准照片中的物体方面表现得极其出色，但当应用于航空视图时却会失灵，因为地表的纹理、图案和光照与它最初学习理解的街景场景非常不同。
研究人员一直致力于弥补这一差距，试图将这些强大的通用模型适配到遥感领域的特定需求中，而无需从头开始重新训练。挑战在于，地面是一个由平滑的田野、锯齿状的屋顶和蜿蜒的道路组成的混乱混合体，每种元素都有其独特的视觉特征。一个标准的模型可能会将平坦的屋顶与铺设的道路混淆，或者完全遗漏建筑物的锐利棱角，从而模糊了对于精确绘图至关重要的边缘。为了解决这个问题，一个科学团队开发了一种新方法，教模型去“倾听”图像中隐藏的频率，并更加关注定义周围世界的锐利线条。
由冯高（Feng Gao）及其同事领导的研究小组创建了一个名为 FE-SAM 的系统，其全称为“频率与边缘引导的分割一切模型”（Frequency and Edge-guided Segment Anything Model）。他们的工作专注于两个困扰以往尝试将这些通用模型用于航空摄影的具体问题。首先，这些模型往往无法适应遥感图像中发现的多样化土地覆盖类型。其次，它们往往会丢失物体边界处的精细细节，导致轮廓模糊，难以区分一个物体在哪里结束以及另一个物体在哪里开始。为了修复这一点，团队设计了两个与现有模型协同工作的全新组件。第一个是频率调制器，它扮演着一种高级滤波器的角色。该组件并非仅仅将图像视为一张扁平的照片，而是将其分解为其底层的频率模式。它识别出图像的不同部分——例如密集的城市街区充满了快速的高频变化，而其他部分——如大型田野则更为平滑，由低频模式主导。通过分析这些模式的能量，系统可以自动决定图像的哪些部分需要更多关注，并据此调整其理解能力，确保它对森林的处理方式与对高速公路的处理方式不同。
第二个组件是边缘引导细化器，它充当了最终结果的“锐化器”。由于主模型为了节省时间通常以大块区域处理图像，它往往会丢失绘制汽车或房屋完美线条所需的微小、精确细节。新的细化器会获取原始图像，寻找主模型可能遗漏的锐利边缘和结构线条。然后，它将这些额外信息反馈回系统，有效地告诉模型：“看这里，边缘实际上是这么尖锐的，而不是那样模糊。”这使得系统能够重建景观的精细细节，确保建筑物、道路和树木的边界以极高的精度被绘制出来。
该团队在三个不同的真实世界卫星和航空图像数据集上测试了他们的新系统，涵盖了从城市中心到农村地区的各种景观。结果表明，他们的方法始终优于现有的最佳技术。在测试数据集中，该新系统在识别和勾勒物体方面的准确度高于目前任何其他可用方法。它在处理困难情况时表现尤为成功，例如区分颜色相似的道路与建筑屋顶，或者将单辆汽车从背景噪声中分离出来。研究人员还发现，他们的系统效率很高，仅增加了少量的额外计算量，却带来了显著的性能提升。通过将对图像频率模式的深度理解与对结构边缘的敏锐观察相结合，该团队创造了一个能够以以往难以实现的细节水平和精度来绘制地球表面的工具。这一进展表明，我们现在可以依靠这些强大的计算机视觉工具，为从城市规划到灾害监测的各个领域提供更清晰、更可靠的地图，从而以更高的信心将复杂的航空数据转化为可操作的信息。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。