技术摘要：面向应用地球观测的组合图像检索基准测试

问题陈述

地球观测（EO）数据的爆炸式增长产生了海量的卫星图像档案，使用传统的遥感图像检索（RSIR）系统难以进行导航。大多数现有的 RSIR 方法依赖于单模态查询（图像或文本），当用户的意图涉及超出整体相似性的特定修改时，这种依赖限制了表达力。例如，分析师可能需要找到一个在视觉上与参考区域相似但具有特定属性变化（例如，占用率较低的停车场）或特定状态变化（例如，野火后的同一地点）的位置。

遥感组合图像检索（RSCIR）通过将参考图像与自然语言修饰符相结合来解决这一问题，以检索既保留相关视觉上下文又满足文本规范的图像。然而，现代组合方法向 EO 图像的迁移能力、在统一评估协议下的表现，以及其在操作工作流（特别是那些需要场景身份保持的工作流）中的有效性，仍未得到充分探索。

方法论

作者提出了一项统一基准和应用导向的研究，以评估 EO 领域中的 RSCIR。

1. 数据集与评估协议

本研究利用了两个反映不同操作目标的不同数据集：

• PatternCom：源自 PatternNet，该数据集专注于属性修改检索。相关性由“同类别 + 目标属性”标准定义（例如，寻找特定形状的游泳池）。它涵盖六种属性类型：颜色、上下文、密度、存在性、数量和形状。
• xView2-CIR：由作者引入的新数据集，源自 xView2，专注于灾害监测的以变化为中心的检索。相关性遵循“同一场景/位置 + 目标状态”标准。查询由事件前图像和修饰符（例如，“火灾后”）组成，要求检索完全相同地理位置的事件后图像。这隔离了在应用状态变化时保持场景身份的挑战。

2. 视觉 - 语言骨干网络

本研究评估了六种视觉 - 语言模型（VLM），均利用 ViT-L/14 视觉骨干网络：

• 通用型：OpenAI CLIP、SigLIP、CLIP LAION-2B。
• 遥感适配型：RemoteCLIP、CLIP LAION-RS、SkyCLIP-50。

3. 组合方法

作者适配并评估了一系列组合策略，从简单的分数融合到先进的反演和扩散技术：

• 基线：单模态（仅文本、仅图像）和简单多模态融合（平均或相乘分数）。
• 免训练方法：
  • WeiCom：带有高斯 CDF 校准的分数融合。
  • FreeDom：基于文本锚点词汇表的基于内存的文本反演。
  • BASIC：免训练特征校准，涉及中心化、语义投影和乘法融合。
• 文本反演：
  • Pic2Word：学习文本编码器的逆映射，将图像嵌入映射到伪文本令牌。
  • SEARLE：利用 LLM 正则化对伪令牌进行测试时优化。
• 标题/LLM 流程：
  • CIReVL：将图像转换为标题，然后使用 LLM 将其与修饰符合并。
• 扩散与监督方法：
  • CompoDiff：将组合视为嵌入空间中的扩散过程。
  • MagicLens：一种在网采三元组上训练的监督多模态池化方法。

4. 针对 EO 的适配

为了使这些方法与遥感语义保持一致，作者：

• 使用 GPT-4o 创建了合成、基于领域的词汇表（RSText），涵盖 150 到 2,000 个概念，以及一个混合词汇表（HybridText-23k），将 RSText 与 Open Images v7 相结合。
• 应用了最小化的基于领域的修改（例如，提示模板、词汇表替换），而无需在测试集上进行大量重新训练。

主要贡献

1. 统一基准：建立了 PatternCom 上 RSCIR 的标准协议，评估了六种 VLM 骨干网络和多种经过领域适配的组合方法。
2. 新数据集（xView2-CIR）：引入了一项以变化为中心的基准，用于灾害和损害监测，其中相关性取决于场景身份和目标事件后状态，解决了操作 EO 工作流中的空白。
3. 实证分析：提供了关于何时使用组合检索的实用指导，强调了基于属性的设置与以变化为中心的设置之间的不同挑战。

结果

定量发现

• 骨干网络性能：更强的通用骨干网络（例如 SigLIP）和遥感适配模型（例如 RemoteCLIP）通常优于通用的 CLIP 变体。领域适配带来了提升，但通用 VLM 架构和预训练数据的改进同样关键。
• PatternCom 上的方法性能（基于属性）：
  • FreeDom 在所有骨干网络中表现最强，实现了最高的平均 mAP（例如，在 SigLIP 上为 46.61%）。其成功归因于有效的文本替代方案和基于领域的词汇表。
  • CIReVL 和 BASIC 构成了第二梯队，在 RS 适配骨干网络上表现尤为出色。
  • WeiCom 作为一个有竞争力的轻量级基线。
  • 依赖合成嵌入或伪令牌反演的方法（例如 Pic2Word、SEARLE、CompoDiff）通常竞争力较弱，往往表现不如简单基线或显示出不稳定性，表明其对 EO 图像中的领域偏移敏感。
• xView2-CIR 上的方法性能（以变化为中心）：
  • WeiCom 是整体最稳健的方法，在 OpenAI CLIP 和 SigLIP 上均取得了最佳分数。
  • FreeDom 和 BASIC 在此处的效果不如在 PatternCom 上。研究发现，FreeDom 中的查询扩展机制（视觉代理）引入了地理位置不同但视觉相似的场景，当“同一场景”约束严格时，这会降低性能。
  • 简单的分数融合（文本 + 图像）仍然非常可靠。

定性洞察

• 属性检索：FreeDom 始终尊重类别身份和目标属性。
• 变化检索：识别出的一个关键失败模式是“场景漂移”，即方法检索到了具有正确灾害状态（例如，火灾后）但来自错误地理位置的图像。这凸显了以变化为中心的检索需要严格锚定查询位置的机制，而基于代理的扩展往往无法做到这一点。

意义与主张

该论文将 RSCIR 定位为遥感工作流的互补工具，而非像素级变化检测或损害评估的替代品。其主要价值在于：

• 可控的档案探索：使分析师能够使用语义引导的定向查询搜索大型档案。
• 快速证据收集：促进检索视觉上相似的历史案例或特定状态变化，而无需密集标注。
• 工作流集成：作为面向变化的搜索、质量控制（硬负例发现）和弱监督的轻量级接口。

作者得出结论，免训练组合方法（如用于属性的 FreeDom 和用于变化的 WeiCom）为 EO 检索提供了强大且可扩展的基线。然而，他们强调以变化为中心的检索是与基于属性的编辑截然不同的设置；保持场景身份从根本上改变了方法排名，并暴露了严重依赖视觉相似性代理的策略的弱点。未来的工作应侧重于扩展以变化为中心的基准、细化提示设计，并将场景级检索与更细粒度的定位联系起来。