💻 computer science

RS-OVC: Open-Vocabulary Counting for Remote-Sensing Data

本文提出了首个面向遥感与航空影像的开放词汇计数模型 RS-OVC，旨在解决现有方法局限于预定义类别的缺陷，使其能够仅凭文本或视觉条件即可对训练阶段未见过的新型目标进行准确计数。

原作者： Tamir Shor, George Leifman, Genady Beryozkin

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Tamir Shor, George Leifman, Genady Beryozkin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 RS-OVC 的新工具，它的核心任务是：在卫星或航拍图片中，不仅能数数，还能“听懂”人类语言去数那些它从未见过的东西。

为了让你更容易理解，我们可以把这项技术想象成一位超级聪明的“空中清点员”。

1. 以前的“清点员”有什么毛病？

想象一下，你雇佣了一位专门数飞机的清点员。他非常专业，能一眼看出图片里有多少架飞机。但是，如果你突然让他去数“渔船”或者“卡车”，他会完全懵圈，因为他只学过数飞机。

现状：以前的遥感（RS）计数模型就像这位“死板”的清点员。它们只能数训练时见过的特定物体（比如只数“汽车”）。
痛点：如果你想让它数“渔船”，你就得重新给它找几千张渔船的照片，重新教它一遍。这在现实世界中太昂贵、太慢了，因为地球上的情况千变万化，我们不可能为每一种新出现的物体都重新训练模型。

2. RS-OVC 是什么？（“万能翻译官”）

RS-OVC 就像是一位拥有“万能翻译”能力的超级清点员。

它的超能力：你不需要教它数“渔船”。你只需要给它看一张渔船的照片（视觉提示），或者告诉它“请数一下渔船”（文字提示），它就能立刻明白：“哦，原来你要数这个！”然后它就能在复杂的航拍图中把渔船都找出来并数清楚。
核心突破：它是世界上第一个专门为遥感图像（卫星/航拍图）设计的“开放词汇计数”模型。以前这种技术只用在普通照片里，现在被成功移植到了高空视角。

3. 它是怎么做到的？（“老专家” + “新地图”）

作者发现，直接让模型去学新的遥感数据效果不好，因为遥感数据太少了，而且物体太密集（比如成千上万艘小船挤在一起），模型容易“晕头转向”甚至忘记以前学的东西。

为了解决这个问题，作者用了一个巧妙的**“混合双打”**策略：

大脑（通用知识）：他们借用了在普通照片领域训练得非常好的“老专家”（一个叫 CountGD 的模型）。这位老专家见多识广，懂得什么是“车”、什么是“树”，也懂得怎么理解人类的语言。
眼睛（遥感专长）：但是，老专家没怎么看过卫星图，看不清高空的小细节。所以，作者给老专家配了一副**“遥感特制眼镜”**（基于 DINOv3 的编码器）。这副眼镜专门看高空视角的图像，能看清密密麻麻的船只或车辆。
融合：RS-OVC 让“老专家的大脑”和“特制眼镜”协同工作。大脑负责理解你的指令（比如“数红色的卡车”），眼镜负责在复杂的卫星图中精准定位。

4. 它能做什么有趣的事？（不仅仅是数数）

论文展示了这个模型不仅能数数，还能进行**“逻辑推理”**，就像一位有智慧的侦探：

局部理解：如果你说“数一下红色车头的卡车”，它能在一堆卡车中，只挑出车头是红色的那几辆，忽略其他颜色的卡车。
全局关系：如果你说“数一下靠近树木的棒球场”，它能理解“棒球场”和“树木”之间的位置关系，只数那些挨着树的球场，而不是所有球场。
情景推理：如果你说“数一下正在停靠的船”，它能通过观察船旁边有没有码头，推断出哪些船是停着的，哪些是在航行中的。

5. 总结：为什么这很重要？

想象一下，发生了一场洪水，救援队需要知道灾区有多少辆被困的卡车，但之前的模型只教过数“汽车”。

旧方法：需要几天时间收集数据、重新训练模型，黄花菜都凉了。
RS-OVC 方法：救援人员直接对着卫星图说：“帮我数一下被困的卡车。”模型立刻就能给出准确数字。

一句话总结：
RS-OVC 就像给卫星图像分析装上了一个**“即插即用”的智能大脑**，让我们不再受限于“只能数见过的东西”，能够灵活应对各种突发、动态的地球监测任务。

1. 研究背景与问题定义 (Problem)

背景：
遥感（Remote Sensing, RS）图像中的物体计数在灾害控制、城市规划、野生动物追踪、人群监控和海事监视等应用中至关重要。随着遥感数据量和分辨率的增长，对自动化计数方法的需求日益增加。

现有挑战：

封闭集限制 (Closed-Set Limitation)： 现有的遥感计数方法大多针对预定义的有限类别集合（封闭集）。如果要计数训练时未见过的“新”物体类别，必须重新进行昂贵的数据标注和模型训练。
动态场景适应性差： 这种封闭集范式难以适应现实世界中动态变化的监测需求。
数据多样性不足： 现有的遥感计数数据集（如 RSOC, NWPU-MOC）通常类别单一，缺乏开放词汇计数（OVC）所需的广泛类别多样性。
直接迁移效果不佳： 直接将通用计算机视觉（CV）的开放词汇计数模型（如 CountGD）微调至遥感领域，由于遥感数据的高密度、低分辨率和特定背景噪声，往往会导致性能次优，甚至出现模式崩溃（Mode-collapse）和灾难性遗忘（Catastrophic forgetting）。

核心目标：
提出 RS-OVC，这是首个面向遥感和航空图像的**开放词汇计数（Open-Vocabulary Counting, OVC）**模型。该模型旨在仅通过文本提示（Text Prompts）和/或视觉示例（Visual Exemplars）的条件，即可准确计数训练时未见过的物体类别。

2. 方法论 (Methodology)

RS-OVC 基于通用的开放词汇计数模型 CountGD 进行构建，但针对遥感领域的特殊性进行了关键改进。

2.1 核心架构：CountGD 骨干网络

RS-OVC 沿用了 CountGD 的多模态框架，该框架允许用户通过文本、视觉示例或两者结合来指定目标物体。

输入： 图像 $X$ 、文本描述 $t$ 、视觉示例边界框 $B$ 。
编码器：
- 图像编码器：Swin Transformer。
- 文本编码器：BERT。
特征融合： 通过自注意力和交叉注意力机制融合图像、文本和视觉示例特征。
查询选择与解码： 选择与融合特征最相似的 Top-k 图像令牌（Tokens），通过跨模态解码器计算相似度矩阵，最终输出置信度得分并计数。

2.2 关键创新：遥感特征注入 (RS Feature Injection)

为了解决直接微调导致的性能下降和知识遗忘问题，作者提出了一种特征注入策略，而非完全重新训练编码器：

双编码器机制：
1. 通用 CV 编码器： 使用在大规模通用 CV 数据上预训练的 Swin Transformer（保留丰富的通用特征）。
2. 遥感专用编码器： 使用在遥感数据上预训练的 DINOv3 编码器（提取遥感特有的特征）。
交叉注意力融合： 将 DINOv3 提取的遥感特征（作为 Query）与 Swin Transformer 提取的通用特征（作为 Key 和 Value）进行交叉注意力（Cross-Attention）融合。
冻结策略： 在训练过程中，冻结图像编码器（Swin 和 DINOv3）和文本编码器。仅优化特征融合层、查询选择机制和解码器。
- 优势： 保留了预训练知识，减少了计算资源消耗，避免了优化不稳定和灾难性遗忘。

2.3 数据构建与训练策略 (Data Curation & Training)

针对遥感计数数据类别单一的问题，作者构建了大规模混合数据集：

数据源整合： 将现有的遥感计数数据集（NWPU-MOC）与大规模遥感检测数据集（FAIR1M, DIOR, DOTA）结合。
格式转换： 将检测数据集的边界框标注转换为基于质心的点实例标注，以适配计数任务。
样本筛选： 确保每个训练样本仅包含单一类别，且至少包含 4 个实例，以支持 3-shot 条件训练（3 个作为视觉示例，其余作为真值）。
零样本/少样本评估： 测试集的类别在训练和验证阶段完全未出现过（作为条件输入），以严格评估开放词汇能力。

3. 主要贡献 (Key Contributions)

首个遥感开放词汇计数模型： 提出了 RS-OVC，填补了遥感领域开放词汇计数研究的空白。
特征注入架构： 设计了一种高效的特征融合机制，将通用 CV 的丰富语义知识与遥感领域的特定特征相结合，同时通过冻结编码器避免了灾难性遗忘。
大规模混合数据集构建： 整合了多个主流遥感数据集，解决了遥感计数数据类别多样性不足的问题，为开放世界计数提供了必要的训练环境。
全面的性能验证： 在多个基准数据集（NWPU-MOC, FAIR-1M, DOTA, DIOR, RSOC）上进行了广泛测试，证明了其在复杂、高密度场景下的优越性。

4. 实验结果 (Results)

4.1 定量结果

指标： 平均绝对误差 (MAE) 和均方根误差 (RMSE)。
对比基线：
- CountGD (Off-the-shelf)： 直接应用通用模型。
- CountGD (RS-FT)： 在遥感数据上微调的原始 CountGD。
- LAE (Locate-Anything-on-Earth)： 最先进的遥感开放词汇检测（OVD）模型（通过检测框数量计数）。
- RS-OVC (RS-only)： 仅使用遥感编码器，无特征融合。
- RS-OVC (Ours)： 完整模型。
表现：
- 在高密度、小目标、低分辨率场景（如船只、房屋、储罐）中，RS-OVC 显著优于所有基线模型（包括 LAE 和微调后的 CountGD）。
- 在稀疏、大尺度场景（如体育场、飞机）中，基于检测的模型（LAE）表现略好，但 RS-OVC 仍保持竞争力。
- 综合性能： RS-OVC 在所有测试集的平均性能上均优于其他方法，证明了其在复杂场景下的鲁棒性。

4.2 定性结果

局部语义理解： 模型能准确识别具有特定属性的单个物体（例如：“红色车头的卡车”），即使颜色特征在图像中占比很小。
全局语义理解： 模型能处理空间关系推理（例如：“靠近树木的棒球场”、“靠近道路的風车”）。
基本推理能力： 模型能结合上下文进行推理（例如：根据“停泊 (docking)"提示，结合码头结构识别停泊的船只；根据“磨损 (worn-out)"提示，对比不同田地的状态）。

5. 意义与局限性 (Significance & Limitations)

意义：

范式转变： 将遥感计数从封闭集推向开放集，极大地降低了新任务部署的成本（无需重新标注和训练）。
技术融合： 成功展示了如何将通用计算机视觉的预训练知识与特定领域（遥感）的适应性相结合，为其他遥感任务提供了参考。
实际应用价值： 能够应对现实世界中动态变化的监测需求，如突发灾害后的新物体统计、非标准目标的快速计数等。

局限性：

稀疏场景表现： 在物体数量少、尺度大的稀疏场景中，性能略逊于基于检测的 OVD 模型（如 LAE）。
阈值依赖： 继承了 CountGD 的局限性，最终计数依赖于静态阈值，需要验证集进行调优，尚未实现完全自动化的阈值选择。
资源与简化权衡： 为了保持简单和高效，采用了冻结编码器的策略，这可能限制了模型在特定极端场景下的上限性能。

未来工作：

探索更自动化的阈值选择方案。
利用更丰富的遥感数据集进一步提升模型在稀疏场景下的表现。
探索更复杂的推理任务在遥感计数中的应用。

总结：
RS-OVC 通过创新的特征注入策略和大规模数据构建，成功实现了遥感图像中的开放词汇计数。它在处理高密度、复杂场景时表现卓越，为遥感领域的自动化监测提供了强大的新工具，尽管在稀疏场景下仍有提升空间。