🤖 AI

Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

本文介绍了 ZeroSight，这是一个针对真正的零样本组合图像检索（Zero-Shot Composed Image Retrieval）的新型基准测试，它利用 post-CLIP 训练视频数据来确保真实的零样本条件和一致的参考-目标对，并结合了一种即插即用的 SC4CIR 方法，揭示了现有数据集和模型中被夸大的性能。

原作者： Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个庞大的数字图书馆中寻找一张特定的照片。你不仅仅是用像“狗”这样的关键词进行搜索。相反，你向管理员展示了一张棕色的狗的照片，并说：“帮我找一张白色的狗的照片。”这被称为组合图像检索（Composed Image Retrieval, CIR）。

多年来，研究人员一直试图构建能够实现这一功能的计算机程序。但根据这篇论文，他们用来给这些程序评分的“测试考试”是存在缺陷的。作者 Zhenyu Yang 及其团队构建了一个全新的、难度更高的测试，名为 ZeroSight，并开发了一个新的“学习指南” SC4CIR，以帮助计算机通过这项测试。

以下是他们工作的简要说明：

1. 问题所在：旧的测试在“作弊”

作者认为，以往针对这些图像搜索程序的测试在两个主要方面存在缺陷：

“假朋友”问题： 在旧的数据集中，“参考”照片（棕色的狗）和“目标”照片（白色的狗）通常只是从互联网上抓取的随机照片，它们之间并没有实际的关联。这就像是要求一名学生根据一张“蓝色的车”的照片去寻找一张“红色的车”的照片，但这两辆车可能来自完全不同的制造商，处于不同的国家，除了都是“车”之外没有任何联系。计算机可以通过仅仅知道“白色的狗”长什么样来猜出答案，而不需要真正理解第一张图片发生了什么样的变化。
“为考试而学习”问题： 计算机（特别是像 CLIP 这样的模型）在初始训练阶段已经见过这些测试中使用的照片了。这就像是给一名学生做数学测试，而题目与他上周做的家庭作业完全一样。学生拿到了满分，但他并没有学会如何解决新的问题。

2. 解决方案：ZeroSight（新的测试）

为了解决这个问题，团队构建了 ZeroSight，这是一个全新的基准测试，充当了一个公平且严苛的考试。

视频技巧： 他们没有从互联网上抓取随机照片，而是抓取了视频帧。想象一下一个人的行走视频。一帧显示他穿着红衬衫；下一帧（几秒钟后）显示他穿着蓝衬衫。因为这些图像来自同一个视频，它们保证是“朋友”——它们共享相同的背景、光照和人物。唯一的变量是标题所要求的变化。这确保了计算机必须理解特定的变化，而不仅仅是基于通用知识进行猜测。
“新鲜数据”规则： 他们确保使用在 2022 年 3 月 31 日之后发布的视频。为什么要这样做？因为流行的 AI 模型 CLIP 在那个时间点左右停止了从互联网学习。通过使用那个日期之后的数据，他们保证了计算机从未见过这些图片。这是一个真正的“零样本（Zero-Shot）”测试：计算机必须在没有任何预先学习的情况下，现场解决问题。
“难负样本”陷阱： 在他们的测试中，他们还加入了“诱饵”。这些图像看起来非常接近正确答案，但并不完全正确。这就像是展示一张看起来像白狗但实际上是狼的照片。计算机必须足够聪明，才能分辨出其中的区别。

3. 新工具：SC4CIR（聪明的学习指南）

即使有了公平的测试，计算机仍然表现挣扎。因此，作者创建了一种名为 SC4CIR（用于 CIR 的对称一致性）的新方法。

可以将其视为一个双重检查系统：

正向搜索： 计算机观察“棕色的狗”和指令“把它变成白色”，然后挑选出一个“白色的狗”候选对象。
反向检查 1： 计算机拿起这个“白色的狗”候选对象并询问：“如果我把它变回原来的样子，我会得到最初那只‘棕色的狗’吗？”
反向检查 2： 计算机询问：“如果我观察‘棕色的狗’和‘白色的狗’候选对象，它们之间的差异是否符合‘把它变成白色’的指令？”

如果计算机无法在两个方向上都解释清楚这种变化，它就知道自己选错了答案。这种方法是“即插即用”的，这意味着它可以附加到几乎任何现有的图像搜索程序上，使其变得更聪明，而无需从头开始重新训练整个系统。

4. 结果：真相大白

当他们在新的 ZeroSight 测试上运行 27 种不同的计算机程序时：

分数下降： 许多在旧的、有缺陷的测试中看起来像天才的程序，在 ZeroSight 上的得分大幅下降。这证明了旧的测试夸大了它们的能力。
“难负样本”至关重要： 新的指标（PNR-mAP）表明，许多程序被“诱饵”图像迷惑了。它们选了“狼”而不是“白色的狗”。
SC4CIR 起到了作用： 当加入 SC4CIR 双重检查系统后，得分显著上升，尤其是在那些不需要额外训练的程序上。

总结

该论文声称，“组合图像检索”领域一直在使用有缺陷的测试，使得 AI 看起来比实际能力更强。他们构建了一个新的、诚实的测试（ZeroSight），利用新鲜的视频数据来确保 AI 正在进行真正的学习，并提供了一个新的工具（SC4CIR），帮助 AI 验证自己的答案以避免错误。他们的目标是停止这种“作弊”行为，并构建能够处理现实世界图像变化的系统。

技术摘要：ZeroSight 与 SC4CIR

问题陈述
零样本组合图像检索（Zero-Shot Composed Image Retrieval, ZS-CIR）旨在根据由参考图像和相对文本描述组成的查询来检索目标图像，且不依赖于特定任务的训练样本。作者指出了现有 ZS-CIR 基准测试（如 CIRR、CIRCO、FashionIQ）中的两个关键缺陷：

不一致性（Inconsistency）： 现有数据集通常存在参考图像与目标图像之间的视觉与语义不一致问题。由于这些数据集构建自具有噪声、众包或抽象图像集合（如 NLVR2 或 MS COCO）的数据，参考图像与目标图像可能仅共享抽象概念（例如“一条领带”），但在视觉内容上差异巨大，使得检索任务可以通过标准的文本到图像技术来解决，而非真正的组合检索。
伪零样本场景（Spurious Zero-Shot Scenarios）： 大多数现有数据集利用了公开图像源（如 MS COCO），这些图像已包含在主流视觉-语言模型（VLM，如 CLIP）的预训练数据中。因此，模型并非真正的“零样本”，而是在利用记忆的关联进行检索，导致性能指标虚高，夸大了当前方法的能力。

方法论
为了解决这些挑战，本文引入了全新的基准测试 ZeroSight 以及无需训练的检索方法 SC4CIR。

ZeroSight 数据集构建：
- 来源： 与以往工作不同，ZeroSight 从 2022 年 3 月 31 日之后发布的视频中提取帧图像（晚于 LAION-2B 的发布时间），确保数据未被包含在 CLIP 的预训练中。
- 一致性： 通过从单个视频中提取帧，作者保证了参考-目标对在视觉和语义上是高度一致的，仅在文本描述的具体修改部分存在差异。
- 流程： 一个多阶段、由大语言模型（LLM）辅助的流水线（利用 GPT-4o 等模型）构建了该数据集。它包括：
  1. 从视频子集中选择非冗余的参考图像。
  2. 基于视觉和语义相似度阈值（使用 ViT 和 CLIP）过滤候选目标图像。
  3. 生成描述从参考到目标变化的相对文本描述。
- 规模与结构： 该数据集包含 12,048 个多样化的视频，产生了一个包含 197,313 张图像和 54,740 个查询的检索池。其独特之处在于，每个查询都包含多个地面真值（ground-truth）正向目标和硬负样本（hard negative targets，即与目标视觉相似但未满足文本描述条件的图像）。
- 查询类别： 查询被分为六个类别，以测试特定的检索能力：添加（Addition）、删除（Subtraction）、背景变化（Background Change）、视角变化（Viewpoint Change）、属性变化（Attribute Change）以及相对陈述（Relative Statement）。
SC4CIR（用于 CIR 的对称一致性）：
- 概念： 一种由多模态大语言模型（MLLM）驱动的无需训练、即插即用的方法，用于识别并惩罚那些在视觉上与真值相似但在语义上错误的“硬负样本”目标。
- 机制： 它采用了三种对称一致性检查：
  1. 前向检索： $I_r + T \rightarrow I_t$ （标准检索）。
  2. 反向过程 1： $I_t - T \rightarrow I_r$ （生成一个逆向指令 $T'$ ，将候选图像转回参考图像）。
  3. 反向过程 2： $I_t - I_r \rightarrow T$ （生成关于候选图像与参考图像之间差异的描述，并与原始文本 $T$ 进行比较）。
- 重排序： 最终得分结合了前向相似度与两个反向一致性得分（ $S = S_1 + S_2 + S_3$ ），通过重排序结果来抑制硬负样本。

核心贡献

ZeroSight 基准测试： 第一个确保真正零样本条件（无 CLIP 预训练重叠）并通过视频源数据保证高视觉/语义一致性的 ZS-CIR 数据集。它是首个包含多个真值和硬负样本目标的基准。
SC4CIR 方法： 一种新型的、无需训练的、由 MLLM 驱动的方法，通过验证对称一致性来提高检索性能，有效地过滤掉硬负样本，且无需重新训练模型。
新评估指标（PNR-mAP）： 作者提出了正负排名 mAP（Positive-Negative Ranking mAP），它考虑了负样本相对于正样本的排名情况，解决了标准 mAP 忽略硬负样本存在这一局限性。
全面评估： 本文评估了 27 种最先进的方法，揭示了现有基准测试会导致性能虚高。

实验结果

基准测试表现： 在 ZeroSight 上的实验表明，当前的 ZS-CIR 方法在现有数据集（如 CIRCO）上的表现远优于在 ZeroSight 上的表现，证实了新基准测试的难度与有效性。例如，SEIZE 的 mAP@5 从 CIRCO 上的 32.46 降至 ZeroSight 上的 16.63。
指标差异： 各方法在 ZeroSight 上的平均 mAP 比 PNR-mAP 高出 22.93%，这表明标准指标通过忽略硬负样本的排名来夸大性能。
SC4CIR 的效能： 集成 SC4CIR 显著提升了所有测试方法的性能。对于无需训练的方法，平均 PNR-mAP 提升了 25.66%。该方法对于基于 LLM 的 ZS-CIR 方法尤为有效，使其性能提升了 9.12%。
泛化性： SC4CIR 在应用于现有噪声数据集（CIRCO、CIRR、FashionIQ）时也展示了鲁棒性，始终优于基准方法，甚至能帮助零样本方法在 FashionIQ 上的表现接近经过训练的组合检索（CIR）方法。

意义
本文认为，现有的 ZS-CIR 研究受限于缺乏视觉一致性且无法反映真实零样本场景的数据集，这导致了对模型能力的过度估计。ZeroSight 通过强制执行严格的数据一致性和真正的零样本条件，为评估 CIR 方法建立了新标准。SC4CIR 的引入证明了利用 MLLM 推理进行一致性检查可以显著提高检索精度，而无需额外的训练。作者总结道，他们的基准测试和方法为开发更具泛化性和鲁棒性的组合图像检索系统提供了一个更可靠的框架，特别适用于对细微视觉差异要求极高的精密应用场景。

1. 问题所在：旧的测试在“作弊”

2. 解决方案：ZeroSight（新的测试）

3. 新工具：SC4CIR（聪明的学习指南）

4. 结果：真相大白

总结

类似论文