💻 computer science

RefAerial: A Benchmark and Approach for Referring Detection in Aerial Images

本文针对现有地面图像数据集的局限性，提出了首个大规模航拍图像指称检测基准 RefAerial 及其高效标注工具，并设计了包含多粒度注意力机制与两阶段解码策略的 SCS 框架，有效解决了航拍场景中的尺度多样性问题并显著提升了检测性能。

原作者： Guyue Hu, Hao Song, Yuxing Tong, Duzhi Yuan, Dengdi Sun, Aihua Zheng, Chenglong Li, Jin Tang

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Guyue Hu, Hao Song, Yuxing Tong, Duzhi Yuan, Dengdi Sun, Aihua Zheng, Chenglong Li, Jin Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在说：“我们给无人机装上了一双能听懂‘指哪打哪’指令的‘火眼金睛’，并为此专门造了一本超级难的‘找茬’练习册。”

为了让你更容易理解，我们可以把这项研究想象成一场**“高空找东西”的游戏**。

1. 背景：为什么以前的游戏不好玩了？

以前，科学家训练电脑识别图片里的物体，主要是在地面照片里玩。

场景：就像你在自家客厅找东西。照片里通常只有几个人或几辆车，它们很大，就在画面正中间。
指令：你只需要说“找那个穿红衣服的人”或者“找那只狗”。
现状：电脑在这种环境下已经非常聪明了，准确率很高。

但是，现在无人机（低空经济）越来越火，我们需要电脑在高空俯瞰的照片里找东西。这就完全不一样了：

场景变了：就像你站在摩天大楼顶往下看，整个城市都在脚下。
物体变小了：以前像“苹果”那么大的车，现在看起来像“芝麻”一样小。
干扰变多了：以前画面里只有 1-2 辆车，现在一张图里可能有几十辆车、几百个人，还有一堆长得像的“替身”（干扰项）。
指令变难了：以前说“找红车”就行，现在你得说“找那辆停在斑马线左边、被路灯照着、旁边有个穿白衬衫骑电动车的人的银色轿车”。

2. 核心贡献一：RefAerial（一本超级难的“找茬”练习册）

作者发现，现有的数据集（练习册）太简单了，根本没法训练无人机。于是，他们造了一个新的数据集，叫 RefAerial。

它的特点：
1. 目标极小：物体在画面里占比很小，像大海捞针。
2. 干扰极多：一张图里全是目标，还要在一堆相似的物体里挑出那个特定的。
3. 描述极细：指令非常长，包含颜色、动作、位置关系等细节。
4. 场景极广：有白天、黑夜、雨天，有城市、公园、马路，视角也是千变万化。
怎么造出来的？（REA-Engine 引擎）
人工标注这么细的数据太慢了。作者发明了一个**“人机协作的半自动引擎”**。
- 比喻：就像请了一位AI 实习生（大模型）先给图片写初稿描述，然后人类专家（考官）来批改、修正、挑刺。
- 这个“实习生”和“考官”来回几轮，最终生成了 10 万多条高质量的“图片 + 文字指令”配对数据。

3. 核心贡献二：SCS 框架（给电脑装了一套“变焦 + 分层”的超级眼镜）

作者发现，把以前在地面照片上很厉害的方法直接用到无人机照片上，效果会断崖式下跌。为什么？因为无人机照片里，物体大小差异太大了（有的像芝麻，有的像西瓜），而且距离远近不一。

为了解决这个问题，他们设计了一个叫 SCS 的新框架，包含两个绝招：

绝招一：MoG 注意力（混合粒度注意力）—— “多倍变焦镜头”

问题：传统的电脑看东西，要么只看局部细节（看不清大轮廓），要么只看大轮廓（看不清小细节）。
比喻：想象你的眼睛同时装备了显微镜和望远镜。
- 显微镜模式：专门盯着那些像“芝麻”一样的小物体，看清细节。
- 望远镜模式：专门看大场景，理清物体之间的位置关系。
- 混合模式：电脑能同时用这两种视角看问题，不管目标是大是小，都能看得清清楚楚。

绝招二：CtS 解码策略（从全面到敏感）—— “先撒网，后钓鱼”

问题：要在成千上万个物体里精准找到那一个，直接找容易迷路。
比喻：
- 第一阶段（全面扫描）：先像撒大网一样，把画面里所有可能相关的区域都圈出来，不管准不准，先有个大致的范围（“哦，目标大概在左边那片区域”）。
- 第二阶段（敏感精修）：在圈出来的区域里，再像用鱼叉一样，精准地锁定那个特定的目标，把框框画得严丝合缝（“就是这辆银色轿车，边缘一点都不能错”）。

4. 结果：效果如何？

在无人机数据集上：这套新系统（SCS）的表现吊打现有的所有方法。就像在“地狱难度”的关卡里，别人只能拿 20 分，它能拿 28 分（虽然绝对数值看着不高，但在这么难的数据集上已经是巨大的突破了）。
在地面数据集上：甚至还能顺便提升一下在地面照片里的表现，说明这套方法很通用，很强大。

总结

这篇论文就是为了解决**“无人机高空看图找东西太难”**这个问题。

它造了一本超级难的新教材（RefAerial 数据集），让 AI 知道高空视角有多复杂。
它发明了一套新算法（SCS），让 AI 学会了**“既看细节又看大局”，并且“先粗找再精找”**。

这就好比，以前 AI 是在幼儿园里认人，现在它被送进了人山人海的体育场，还要在几万米高空通过望远镜认出一个穿特定衣服的人。这篇论文就是教它怎么在这个新环境里成功完成任务的。

这是一篇关于**航空图像指代检测（Referring Detection in Aerial Images）**的论文技术总结。该论文针对现有地面图像数据集在航空场景下的局限性，提出了一个新的基准数据集 RefAerial 以及一种名为 SCS 的新型检测框架。

以下是详细的技术总结：

1. 研究背景与问题 (Problem)

现有局限： 现有的指代检测（Visual Grounding）研究主要集中在地面图像（如 RefCOCO 系列）。这些图像通常目标居中、物体占比较大（Object-to-Scene Ratio 高）、场景相对简单。
航空场景挑战： 随着低空经济和无人机成像的普及，航空图像指代检测需求激增，但面临以下核心挑战：
1. 目标与场景比例低且多样： 航空视角下，目标通常只占图像很小一部分，且同一图像内或不同图像间目标尺度差异巨大。
2. 目标与干扰物众多： 单张图像包含大量潜在目标类别，且同类目标旁常有大量相似干扰物（Distractors）。
3. 描述复杂且细粒度： 航空场景下的指代描述通常更长、更复杂，包含丰富的属性、动作、位置和颜色等细粒度信息。
4. 场景多样性： 涵盖不同的海拔、视角、天气和地理环境。
性能退化： 现有的地面指代检测方法直接迁移到航空数据集时，由于无法处理巨大的尺度变化（Scale Variety），性能出现严重退化。

2. 核心贡献 (Key Contributions)

A. RefAerial 数据集

作者构建了一个大规模、具有挑战性的航空图像指代检测数据集 RefAerial。

规模： 包含 10,056 张高分辨率（1920x1080）无人机图像，共 114,517 个边界框 - 描述对。
特点对比：
- 目标数量： 平均每张图 11.4 个目标（地面数据集通常仅 1-3 个）。
- 物体场景比 (O2S)： 均值仅为 5.6%（地面数据集通常 >10%），且标准差大，尺度变化剧烈。
- 描述复杂度： 平均描述长度为 12.5 个单词，包含大量细粒度属性。
标注工具 (REA-Engine)： 开发了一种人机回环（Human-in-the-loop）的指代扩展与标注引擎。
- 利用大规模多模态基础模型（MFMs，如 GPT-4, CogVLM, SAM）辅助生成初步描述和检测框。
- 通过“视觉到文本扩展器”和“多模态辅助指代对生成器”两个模块，结合人类专家反馈，实现半自动化的高效标注，保证了数据的细粒度和准确性。

B. SCS 框架 (Scale-Comprehensive and Sensitive Framework)

为了解决航空图像中目标尺度变化剧烈的问题，提出了一种新的检测框架。

混合粒度注意力机制 (Mixture-of-Granularity, MoG Attention)：
- 目的： 实现尺度全面的特征理解。
- 原理： 在 Transformer 的注意力机制中引入不同感受野（通过不同的空洞率/扩张率 $d_g$ 控制）的子注意力分支。
- 作用： 细粒度分支（低 $d_g$ ）捕捉局部细节和小目标；粗粒度分支（高 $d_g$ ）捕捉非局部信息和大规模结构。通过动态路由权重融合多粒度特征。
两阶段“全面到敏感”解码策略 (Two-stage Comprehensive-to-Sensitive, CtS)：
- 第一阶段 (Scale-Comprehensive Decoder, SCD)： 利用 MoG 注意力进行尺度全面的编码，初步捕捉不同尺度的目标表示。
- 第二阶段 (Scale-Sensitive Decoder, SSD)： 基于第一阶段的粗粒度结果，结合多尺度特征融合，进行细粒度的尺度敏感解码，精确定位目标。
- 优势： 实现了从“粗”到“细”的渐进式解码，有效应对尺度变化。

3. 实验结果 (Results)

性能对比：
- 在 RefAerial 数据集上，现有主流方法（如 TransVG, SegVG, LLaVA 等）性能严重下降（P@0.5 普遍低于 27%）。
- 提出的 SCS 框架 在所有指标上均优于现有方法，P@0.5 达到 28.15%，mP 达到 18.29%，显著提升了在航空场景下的鲁棒性。
泛化能力：
- 在传统的地面数据集（RefCOCO, RefCOCO+, RefCOCOg）上，SCS 框架也带来了性能提升（例如在 RefCOCO 上提升 0.80%），证明了该方法不仅适用于航空图像，对地面图像中的尺度变化问题也有改善作用。
消融实验：
- 验证了 SCE（编码器）、SCD（全面解码器）和 SSD（敏感解码器）三个模块的必要性，三者结合效果最佳。
- 发现 MoG 注意力中的粒度数量（Granularity Number）设为 4 时效果最优，过多会导致性能下降。

4. 意义与价值 (Significance)

填补空白： 首次建立了针对航空图像指代检测的大规模基准数据集，填补了该领域缺乏标准数据的空白。
推动应用： 为低空经济下的无人机应用（如紧急救援、农业监测、生态保护、反无人机对抗等）提供了关键的视觉感知技术支持。
方法论创新： 提出的 MoG 注意力和 CtS 解码策略，为解决多尺度目标检测中的“尺度多样性”问题提供了新的思路，不仅适用于指代检测，对通用目标检测也具有借鉴意义。
标注效率： REA-Engine 展示了如何利用大模型辅助人类专家进行高效、高质量的复杂数据标注，为未来大规模多模态数据集的构建提供了范式。

总结： 该论文通过构建高质量的 RefAerial 数据集和提出适应航空尺度变化的 SCS 框架，有效解决了现有指代检测技术在航空视角下失效的问题，显著提升了复杂场景下的目标定位精度。