DQE-CIR: Distinctive Query Embeddings through Learnable Attribute Weights and Target Relative Negative Sampling in Composed Image Retrieval

本文提出了 DQE-CIR 方法，通过引入可学习属性权重以强化文本引导的视觉特征对齐，并结合目标相对负采样策略从“中间地带”筛选高信息量负样本，从而有效解决现有组合图像检索方法中的相关性抑制与语义混淆问题，显著提升了细粒度属性修改场景下的查询判别力与检索精度。

要点

这篇论文介绍了一种名为 DQE-CIR 的新方法，旨在解决“组合图像检索”（Composed Image Retrieval, CIR）中的一个核心难题。

为了让你轻松理解，我们可以把这项技术想象成在一家巨大的、没有标签的服装店里找衣服，或者在茫茫人海中找朋友。

1. 什么是“组合图像检索”？（CIR）

想象一下，你手里有一张参考照片（比如一件红色的长袖 T 恤），然后你对店员（AI）说：“帮我找一件蓝色的、短袖的，但款式要像这张照片一样的 T 恤。”

• 输入：一张参考图 + 一段修改文字（“蓝色”、“短袖”）。
• 目标：AI 需要从成千上万张图片中，精准找出那件符合所有条件的衣服。

2. 以前的方法出了什么问题？

以前的 AI 就像是一个死板的考试评分员，它只认“标准答案”。

• 问题一：误伤“好邻居”（Relevance Suppression）
  假设你要找“蓝色短袖”，但店里有一件“蓝色长袖”和一件“绿色短袖”。
  以前的 AI 认为：只有完全符合“蓝色 + 短袖”的那一件是“正解”，其他所有衣服（包括那件只差一个属性的“蓝色长袖”）都是“错误答案”，必须被狠狠推开。
  后果：结果就是，那件其实很接近的“蓝色长袖”也被排到了很后面，用户搜不到它，体验很差。
• 问题二：概念混淆（Semantic Confusion）
  如果用户搜“红色裙子”，AI 可能会把“红色裤子”和“红色裙子”混为一谈，因为它们颜色一样。AI 分不清“红色”这个属性在不同物体上的细微差别，导致找出来的东西虽然颜色对，但形状完全不对。

3. DQE-CIR 是怎么解决的？（两大法宝）

这篇论文提出了两个聪明的策略，让 AI 变得更像懂行的老练导购，而不是死板的机器。

法宝一：可学习的属性权重（Learnable Attribute Weights）

比喻：给关键词戴上“放大镜”

当你说“蓝色短袖”时，以前的 AI 可能觉得“蓝色”和“短袖”一样重要，或者随机分配注意力。
DQE-CIR 给 AI 装上了智能放大镜：

• 如果文字里强调“蓝色”，AI 就自动把“蓝色”这个特征的权重调大，死死盯着颜色看。
• 如果文字里强调“短袖”，AI 就重点看袖子长度。
• 效果：AI 不再“眉毛胡子一把抓”，而是能精准地捕捉到你最在意的细节，把“蓝色长袖”和“蓝色短袖”区分得清清楚楚。

法宝二：目标相对负采样（Target Relative Negative Sampling, TRNS）

比喻：只挑“最像的捣蛋鬼”来练手

这是论文最核心的创新。以前的训练方法是：把“正确答案”和“所有其他错误答案”放在一起比。

• 太简单的错误：比如你要找“蓝色短袖”，AI 拿“红色长靴”来比。这太容易了，AI 根本学不到东西（就像让小学生做 1+1）。
• 太难的错误（假阴性）：比如你要找“蓝色短袖”，AI 拿“蓝色长袖”来比。以前的方法会把它当成完全错误的，强行推开，导致 AI 不敢选它（这就是“误伤好邻居”）。

DQE-CIR 的做法是：
它计算一个**“相似度差值”**（$\Delta$-score）。

1. 它只挑那些**“既不像正确答案，但又有点像”**的中间地带图片（比如“蓝色长袖”或“绿色短袖”）。
2. 它把这些**“最像的捣蛋鬼”**挑出来，专门用来训练 AI。
3. 训练逻辑：告诉 AI，“这张‘蓝色长袖’虽然有点像，但‘蓝色短袖’（正确答案）应该比它更靠前，而且差距要拉大！”
4. 效果：AI 不再把“蓝色长袖”当成敌人推开，而是学会了**“虽然你很像，但正确答案应该排在你前面”**。这样既保留了相似选项，又精准区分了细微差别。

4. 总结：这带来了什么改变？

如果把以前的 AI 比作一个只会死记硬背的学生，那么 DQE-CIR 就是一个懂得举一反三的优等生：

• 更精准：它能听懂“蓝色”和“短袖”的具体要求，不会搞混。
• 更宽容：它知道“蓝色长袖”虽然不是最终答案，但也值得被排在前面，而不是被直接踢出列表。
• 更聪明：它通过专门挑“最难分辨”的例子来训练自己，所以面对复杂的搜索需求（比如“把这只狗变成小狗”或“把背景换成海边”）时，表现更好。

实验结果：
在时尚（FashionIQ）和通用场景（CIRR）的测试中，DQE-CIR 就像那个最懂你心思的导购，总能从海量商品中，精准地把那件既符合颜色、又符合款式、还符合你所有微调要求的衣服找出来，而且还能把那些“差点意思”的衣服也排在前面供你参考，大大提升了搜索体验。

一句话总结：
DQE-CIR 通过**“给关键词戴放大镜”和“只挑最像的捣蛋鬼练手”**，让 AI 在找图时不再死板，而是变得既精准又懂变通。

技术摘要

1. 研究背景与问题定义 (Problem)

组合图像检索 (Composed Image Retrieval, CIR) 的任务是：给定一张参考图像和一段修改文本（描述用户希望进行的改变，如“把红色的变成蓝色的”），从图像库中检索出应用了该修改的目标图像。

现有方法的局限性：
目前大多数 CIR 方法基于对比学习 (Contrastive Learning) 框架，将目标图像视为唯一的正样本，其余所有图像视为负样本。这种策略存在两个核心缺陷：

1. 相关性抑制 (Relevance Suppression)： 许多在语义上与目标相关（例如满足了部分属性修改，如颜色对了但袖长不对）的图像被错误地标记为负样本。在训练过程中，这些“假负样本”被强行推远，导致模型无法学习到细粒度的属性特征，降低了检索质量。
2. 语义混淆 (Semantic Confusion)： 不同的修改意图（例如“变红”和“变蓝”）在嵌入空间中容易坍缩到重叠区域。对比学习缺乏对属性区分度的显式建模，导致模型难以区分细微的属性变化（如颜色、袖长）。

目标： 学习更具区分度 (Distinctive) 的查询嵌入，能够精确捕捉细粒度的属性修改，同时避免将相关图像误判为负样本。

---

2. 方法论 (Methodology)

作者提出了 DQE-CIR 框架，主要包含三个核心组件：

2.1 可学习属性权重 (Learnable Attribute Weights)

为了增强查询表示对特定属性（如颜色、形状）的敏感度，模型在基于 BLIP-2 的 Q-Former 架构中引入了可学习的属性权重。

• 机制： 从修改文本中提取与特定属性（如颜色、形状）相关的子查询特征 ($q_{color}, q_{shape}$)。
• 公式： 最终查询嵌入 $q^*$ 定义为：
  $$q^* = q + w_{color} \cdot q_{color} + w_{shape} \cdot q_{shape}$$
  其中 $w$ 是可学习的标量权重。
• 作用： 模型可以自适应地调节关键属性特征的贡献，强调对当前检索意图至关重要的特征，抑制不相关信息，从而在嵌入空间中形成更具区分度的区域。

2.2 目标相对负采样 (Target Relative Negative Sampling, TRNS)

这是解决“相关性抑制”和“语义混淆”的关键策略。TRNS 不再将所有非目标图像视为同等重要的负样本，而是基于目标相对相似度差异 ($\Delta$-score) 构建负样本分布。

• $\Delta$-score 计算： 计算候选图像与目标图像相对于查询的相似度差值：$\Delta S_j = s_{tar} - s_j$。
• 中位区 (Mid-Zone) 选择： 定义一个 $\Delta S$ 的区间 $[\alpha, \beta]$。
  • 排除 $\Delta S$ 过大的样本（过于简单的负样本，无学习价值）。
  • 排除 $\Delta S$ 过小的样本（即 $\Delta S \approx 0$，这些通常是与目标高度相似的“假负样本”，即相关性抑制的来源）。
  • 保留 处于中间区域的样本，这些样本既具有挑战性（难以区分），又明确不是目标（非假负样本）。
• 作用： 确保训练集中在语义上有信息量且难度适中的样本上，避免模型被错误的负样本误导。

2.3 单负样本成对学习 (Single-Negative Pairwise Learning)

在确定了中位区负样本后，采用成对学习策略。

• 机制： 对于每个查询，从选定的中位区中随机采样一个负样本，构建“目标 - 负样本”对。
• 损失函数：
  • KL 散度损失： 优化查询分布，使其更倾向于目标图像。
  • 成对排序损失 (Pairwise Ranking Loss)： 强制目标图像与采样负样本之间保持特定的相似度间隔 (Margin)。
  • 属性辅助损失： 针对颜色、形状子查询分别计算辅助的排序损失。
• 优势： 相比于多负样本对比学习，单负样本成对学习能更清晰地建立排序偏好，强化细粒度属性的区分能力。

---

3. 主要贡献 (Key Contributions)

1. DQE-CIR 框架： 提出了一种新的 CIR 框架，通过可学习属性权重和辅助属性查询，构建了具有区分度和属性敏感性的查询嵌入。
2. 目标相对负采样 (TRNS)： 提出了一种创新的负样本选择策略。利用 $\Delta$-score 带识别“中位区”负样本，有效排除了假负样本（相关图像）和过于简单的负样本，使训练聚焦于语义信息丰富的样本。
3. 性能提升与验证： 在 FashionIQ、CIRR 和 CIRCO 等多个基准测试中，DQE-CIR 在监督学习和零样本 (Zero-shot) 设置下均取得了 SOTA (State-of-the-Art) 性能。特别是在缓解“相关性抑制”和“语义混淆”方面表现显著。

---

4. 实验结果 (Results)

实验在 FashionIQ (细粒度服装属性) 和 CIRR (复杂场景) 数据集上进行，并包含零样本测试 (CIRCO)。

• FashionIQ (验证集):
  • 在 Dress, Shirt, Toptee 三个类别上，DQE-CIR 的 Recall@10 和 Recall@50 均超越现有最佳方法 (如 QuRe, SPRC)。
  • 平均 Recall@10 达到 54.60 (QuRe 为 52.60)，Recall@50 达到 75.94。
• CIRR (测试集):
  • Recall@1 达到 54.05，Recall@50 达到 98.68。
  • 在最具挑战性的子集评估 (Recallsubset@K) 中，K=1 时达到 80.14，显著优于基线模型，证明其在视觉相似候选项中的区分能力极强。
  • 综合平均得分 (Average) 为 82.16，超越 QuRe (80.52)。
• 零样本性能 (CIRCO):
  • 在 mAP@50 上达到 28.13，优于 QuRe (27.24)，展示了良好的泛化能力。
• 消融实验:
  • 中位区范围： 实验证明 $\Delta S$ 区间 $[0.20, 0.80]$ (60% 范围) 效果最佳，过窄或过宽都会降低性能。
  • 骨干网络一致性： 即使固定使用相同的 BLIP 或 BLIP-2 骨干网络，DQE-CIR 依然优于其他基于相同骨干的方法，证明改进源于方法本身而非架构差异。
  • 可视化： 注意力机制可视化显示，模型能精准聚焦于修改文本指定的属性区域（如特定的袖长、图案），而非整个图像。

---

5. 意义与总结 (Significance)

DQE-CIR 解决了当前组合图像检索中对比学习框架固有的两个根本性问题：

1. 通过 TRNS 策略，它不再盲目地将所有非目标图像视为敌人，而是智能地筛选出“既难又对”的负样本，解决了相关图像被错误惩罚的问题。
2. 通过可学习属性权重和成对学习，它强制模型在嵌入空间中拉开不同修改意图的距离，显著提升了细粒度属性（如颜色、数量、形状）的检索精度。

实际价值：
该方法对于时尚搜索、产品推荐和内容管理系统具有极高的应用价值，能够更准确地响应用户复杂的修改指令（例如“把这件红裙子的袖子变短”），在视觉相似但属性不同的候选项中做出精准选择。

总结： DQE-CIR 通过重新设计负采样策略和查询构建方式，为 CIR 任务提供了一种更鲁棒、更精确的解决方案，显著推动了细粒度多模态检索技术的发展。