💻 computer science

Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers

本文通过利用预训练的视觉 Transformer 来应对多目标数据集中的关键设计挑战，重新审视了人机交互目标检索，最终为在无先验标签情况下实现有效的交互式目标类别检索提供了关于表征策略和主动学习循环的实用见解。

原作者： Kawtar Zaher, Olivier Buisson, Alexis Joly

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Kawtar Zaher, Olivier Buisson, Alexis Joly

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在一个堆满数千个箱子的巨大、杂乱的阁楼里寻找特定类型的物品。你告诉机器人：“帮我找消防栓的图片。”机器人给你展示了几张图片，但它们都不对：一张显示整条街道（上下文太多），另一张只显示一个模糊的红色圆柱体（上下文太少）。你不得不告诉机器人：“不，那不是”，并指出图片中具体的消防栓位置。

本文旨在教导该机器人如何更快、更智能地从你的修正中学习，尤其是当阁楼里除了消防栓外还混杂着其他物体（如汽车、狗或树木）时。

以下是他们方法的分解，使用简单的类比说明：

1. 问题：“整个房间”与“特定玩具”

传统搜索引擎通常查看整张图片（整个房间）来猜测其中包含的内容。

缺陷： 如果你在一张繁忙街道的照片中寻找一辆微型玩具车，查看整张照片可能只会告诉机器人“这是一个街景”。它会忽略微小的细节。
替代方案： 如果你只看照片中一个微小的、放大的方框，你可能会完美地看到玩具车，但你会失去判断它确实是一辆车而非随机红色色块的上下文信息。

作者希望找到完美的平衡点：一种既能看到整个房间（上下文），又能放大查看特定玩具（细节）的方法。

2. 解决方案：“人在回路”游戏

研究人员设计了一个计算机与人类协作的游戏：

开始： 计算机从一大堆未分类的照片开始。
猜测： 你给它一个起始示例（例如，“给我看消防栓”）。
反馈： 计算机向你展示几张照片。你说：“是的，那张是消防栓”，“不，那张是消防车”。关键在于，你还要指出“是”的照片中消防栓确切的位置。
学习： 计算机从你的“是”和“否”回答中学习。
智能选择（主动学习）： 计算机不是随机展示照片，而是利用一种特殊技巧挑选它最困惑的照片。它请求你标注这些特定的照片，因为它们最能教会它。这为你节省了时间。

3. 秘诀：“拼布”式描述

该论文测试了向计算机描述图像的不同方式。他们使用了一个现代“大脑”（视觉 Transformer），可以从不同角度观察图像：

仅全局（广角镜头）： 计算机将整张图片视为一个大色块进行观察。
- 结果： 适合大场景，但不适合隐藏在杂乱中的小物体。
仅局部（放大镜）： 计算机将图像切割成小方块（补丁）并单独观察它们。
- 结果： 非常适合寻找微小细节，但有时会因为缺乏大局观而混淆物体究竟是什么。
混合（集两者之长）： 这是获胜者。计算机同时观察整张图片和小方块，并将信息拼接在一起。
- 类比： 这就像一边查看城市地图（全局），一边拿着某栋建筑的街景照片（局部）。你确切地知道这栋建筑在哪里以及它长什么样。

4. 结果：找到正确的“缩放级别”

研究人员在两个不同的“阁楼”（数据集）上测试了这种方法：

阁楼 A（PascalVOC）： 物体较少，且通常较大。在这里，将图像切割成4 个大方块效果最好。
阁楼 B（COCO）： 杂乱得多，包含许多微小物体。在这里，将图像切割成16 个小方块效果要好得多。

关键发现： “混合”方法（结合广角视图和放大视图）始终优于其他方法。它使计算机能够更快、更少依赖人工修正地找到正确的物体。

5. 为什么这很重要

论文结论指出，通过使用这种“混合”策略，并仅要求人类标注最令人困惑的图片（主动学习），你可以构建一个系统，在杂乱拥挤的照片中非常快速地找到特定物体。它不需要预先在数百万个标注示例上进行训练；它只需通过与你的对话即可即时学习。

简而言之： 他们找到了如何打造一个搜索助手的方法，该助手不仅查看整张图片或仅查看微小细节，而是结合两者以确切理解你在寻找什么，即使是在杂乱的房间里，也仅在绝对必要时才寻求你的帮助。

以下是论文《基于预训练视觉 Transformer 的交互式目标检索重探》的详细技术总结。

1. 问题定义

本文针对交互式目标检索（HITL-OR）任务，旨在从大型未标注数据集中，通过迭代方式检索包含特定“感兴趣类别”目标的图像。

挑战： 传统目标检索在专业领域（如历史档案）中往往失效，因为单一查询会产生过多不相关结果。标准的深度学习检索方法通常需要在特定类别的标注数据上进行预先训练，而在这种零样本、交互式的场景中，此类数据不可用。
多目标复杂性： 该任务在多目标数据集（如 COCO、PascalVOC）中尤为困难，因为目标物体仅占据杂乱场景中很小的区域。全局图像描述符往往失效，因为它们捕捉的是主导的背景上下文，而非特定的小物体。
目标： 仅利用初始用户查询（包含感兴趣区域）和迭代式相关性反馈（RF），在**主动学习（AL）**的引导下，快速识别目标类别的多样化实例，以最小化用户标注工作量。

2. 方法论

作者提出了一个将主动学习循环与预训练视觉 Transformer（ViT）表示相结合的框架。

A. 框架工作流程

初始化： 使用预训练的 ViT（具体为 dinoV2）对大型未标注数据集 $D$ 进行编码以提取特征。
查询与标注： 用户提供查询图像并标记感兴趣区域（RoI）。随机采样一小部分负样本。
分类： 训练一个浅层线性 SVM，以区分感兴趣类别（正例）与其余部分（负例）。作者选择 SVM 而非微调深层网络，是因为其在极少量标注样本（低标注预算）下具有更好的泛化能力。
主动学习循环：
- 分类器对所有未标注图像进行评分。
- 利用不确定性准则（ $s_{AL} = 1 - |0.5 - s_i|$ ）选择前 $b$ 个最具信息量的图像供用户标注。
- 用户确认相关性，并在正例图像中选择具体的物体边界框。
- 更新训练集，循环重复。

B. 表示策略

核心技术创新在于如何从 ViT 构建图像特征以处理多目标场景。作者比较了三种策略：

仅全局（GO）： 使用整张图像的全局描述符。
仅局部（LO）：
- 将图像划分为 $M$ 个图块的网格（例如 $2\times2$ 或 $4\times4$ ）。
- 特征提取通过将裁剪后的图块输入网络或平均 ViT 图块 Token来实现。
- LO-One： 每张图像使用单个代表性图块（例如，与用户 RoI 重叠最大的图块）。
- LO-All： 将图像中的每个图块视为独立的训练样本。正例图像生成正样本（与物体重叠的图块）和负样本（背景图块）。
全局 - 局部（GL）/ 混合： 融合全局和局部上下文。
- 拼接： $[g_i, l_i]$ （保留独立的上下文）。
- 池化： $\frac{g_i + l_i}{2}$ （合并上下文）。
- 注意： 对于"LO-All"策略，作者发现将全局描述符与所有图块（包括负背景图块）拼接会混淆 SVM。因此，他们仅将全局描述符与正例局部图块进行拼接。

C. 推理

对于局部和混合策略，图像得分由其所有组成图块中的最高得分决定（ $s_i = \max_m s_{i,m}$ ），确保如果物体存在于任何图块中，该图像即被检索。

3. 主要贡献

基于 ViT 重探 HITL-OR： 首次全面研究将预训练的自监督 ViT（dinoV2）应用于交互式目标检索任务，且未在目标数据集上进行微调。
表示分析： 系统比较了全局、局部和混合表示。论文证明**混合（全局 - 局部）**策略更优，因为它们既能通过局部图块捕捉物体的细粒度细节，又能通过全局描述符捕捉场景上下文。
主动学习集成： 该框架有效利用基于不确定性的 AL 循环来选择信息量大的样本，仅需极少的用户输入（模拟为每轮迭代 10 张图像的预算）即可实现高检索性能。
图块粒度洞察： 研究表明，最佳图块大小取决于数据集的物体大小分布。较小的图块（ $4\times4$ ）更适合包含大量小物体的数据集（COCO），而较大的图块（ $2\times2$ ）则在物体大小分布更均衡的数据集（PascalVOC）中平衡了性能。

4. 实验结果

实验在 PascalVOC2012 和 COCO2017 上使用 dinoV2 特征进行。

指标： 检索准确率的平均平均精度（MAP）和用户满意度的覆盖率（检索实例的多样性）。
关键发现：
- 混合策略的优越性： 混合表示（特别是 GL-concat-All 和 GL-pool-All）始终优于仅全局和仅局部的基线。
  - 在 PascalVOC2012 上，混合策略相比仅全局策略将 MAP 提高了约 8-9%，覆盖率提高了约 3-6%。
  - 在 COCO2017 上，提升更为显著（MAP 提升 13-18%）。
- LO-All 策略： “局部 - 所有”方法（使用所有图块作为样本）在性能和覆盖率之间提供了最佳权衡，因为它为分类器提供了更丰富、更多样化的训练样本集。
- 图块大小：
  - COCO2017： $4\times4$ 图块（共 16 个）表现最佳，可能是因为该数据集中 74.7% 的物体属于“小”物体。
  - PascalVOC2012： $2\times2$ 图块（共 4 个）提供了最佳平衡，因为该数据集的物体大小分布更为均衡。
- ViT 寄存器： 基于寄存器的 ViT 实验表明，标准 ViT 在此特定检索上下文中表现更好，这可能是因为标准图块 Token 中“纠缠”的全局信息有助于多样性。

5. 意义与结论

这项工作为构建针对未标注、多目标数据集的交互式检索系统提供了实用蓝图。

效率： 它证明通过利用预训练基础模型和主动学习，仅需极少的用户努力（少样本学习）即可实现高性能检索。
设计指南： 本文为未来系统提供了具体的设计选择：
- 使用**混合（全局 - 局部）**表示以平衡精度和多样性。
- 如果检索精度是首要任务，使用拼接；如果覆盖多样化的物体实例更为重要，则使用池化。
- 根据目标数据集中预期物体的大小调整图块粒度。
未来工作： 作者建议开发自适应多尺度图块选择框架，以动态处理变化的物体大小，而无需手动配置。

总之，该论文通过将手工特征替换为预训练 ViT，成功现代化了交互式检索范式，并证明在复杂的多目标场景中，混合表示策略显著优于传统的仅全局或仅局部方法。