💻 computer science

CIRCLED: A Multi-turn CIR Dataset with Consistent Dialogues across Domains

本文介绍了 CIRCLED，这是一个大规模、高质量的多轮组合图像检索（MTCIR）数据集，涵盖九个领域，通过确保对话一致性并提供面向未来研究的稳健基准，解决了现有局限于时尚领域的数据集所存在的局限性。

原作者： Tomohisa Takeda, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Tomohisa Takeda, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在一家巨大且无边无际的百货商店里寻找一套特定的服装，但你无法用一句话完美地描述它。你知道自己想要一条“红色连衣裙”，但当你看到结果时，你会想：“不，那太亮了。我想要深一点的，要有长袖，也许还要加一条腰带。”

在计算机科学领域，这被称为多轮组合图像检索（Multi-Turn Composed Image Retrieval, CIR）。这是一种系统，你从一张图片和一段文字描述开始，然后逐轮不断细化你的搜索，直到找到你真正想要的东西。

这篇论文介绍了一种名为CIRCLED的新工具，旨在帮助研究人员构建更好的此类搜索系统。以下是他们所做工作的分解，使用了简单的类比。

问题：“破碎的地图”

在这篇论文之前，研究人员拥有一个名为Multi-turn FashionIQ的数据集（即练习问题集合）。但作者指出，这个旧数据集就像一张破碎的地图。

问题所在： 在旧数据集中，找到答案的步骤并不总是合乎逻辑。想象一下你在寻找一条“黑色连衣裙”。
- 第一轮： 你要求找一条“红色连衣裙”。
- 第二轮： 系统向你展示了一条“色彩缤纷的派对连衣裙”。
- 第三轮： 你要求找一条“黑色连衣裙”。
- 故障点： 旧数据集有时包含那些实际上让搜索离目标更远的步骤，或者指令是重复的废话（比如连续三次说“把它变红”）。这就像是一个 GPS，指示你先向北开，然后向南，再向北，却从未让你更接近目的地。
局限性： 旧数据集仅包含服装（时尚类）。它没有测试系统是否能找到狗、汽车或风景。

解决方案：CIRCLED（“完美的指南针”）

作者构建了CIRCLED，这是一个新数据集，它就像一把完美的指南针。

一致的进展： 在 CIRCLED 中，对话中的每一步都让你更接近目标。如果目标是“黑色连衣裙”，每一轮都会让你稍微更接近黑色连衣裙，绝不会偏离。
新信息： 每次你说话时，你都会添加一些新内容。你不会重复自己。这就像侦探在收集线索：“首先，它是一只狗。其次，它是一只金毛寻回犬。第三，它戴着红色的项圈。”每个线索都增加了价值。
更广阔的视野： 他们不仅局限于服装。他们将数据集扩展到了通用物品（如 CIRR 和 CIRCO 数据集中的物品），以便系统能够学习搜索任何东西，而不仅仅是时尚。

构建过程：“机器人店员”

为了创建这个数据集，他们并没有只是让人类编写随机的对话。他们使用了一个智能的自动化流程：

起点： 他们采用了现有的单轮搜索（一张图片 + 一段文字）。
模拟： 他们利用强大的 AI（一个大语言模型）来扮演“店员”。
- AI 查看搜索结果。
- 如果完美的物品不在顶部，AI 会挑选它找到的最接近的物品。
- 然后，AI 会写出一条新指令，说明如何将那个“最接近的物品”变成“完美的物品”。
- 示例： “这条裙子是红色的，但我需要黑色的。另外，加一条腰带。”
质量控制（过滤器）： 这是最重要的一环。他们将对话通过了四个严格的过滤器以确保质量：
- 成功过滤器： 搜索最终是否找到了物品？如果没有，就丢弃它。
- 多轮过滤器： 它是否真的需要超过一步？如果答案立即被找到，这就不是“多轮”对话，因此予以丢弃。
- 排名一致性过滤器： 搜索结果在中间是否变差了？如果“完美物品”在聊天中途从前十名列表中消失，那么这段对话就是断裂的。将其丢弃。
- 无重复过滤器： AI 是否只是重复了相同的词语？如果新指令与旧指令过于相似，就将其丢弃。

结果：一个庞大且高质量的游乐场

最终结果是一个包含**22,608 个对话（会话）**的数据集。

它的大小大约是之前最佳数据集的两倍。
它包含超过200,000 张图像。
它涵盖了时尚（连衣裙、衬衫）和通用物品（动物、物体）。
对话轮数从 2 轮到 6 轮不等，平均约为 2.5 轮。

为什么这很重要

作者在这个新数据集上测试了几种现有的 AI 方法。他们发现：

文字为王： 在这些多轮对话中，你给出的文字指令比你展示的图片参考重要得多。
渐进式学习： 最好的系统是那些能够记住整个对话历史，而不仅仅是你最后说了什么。
新标准： 由于 CIRCLED 具有一致性和高质量，它为研究人员提供了一种公平的方式来测试他们的新型“搜索机器人”是否真的变得更聪明了，还是仅仅在猜测。

简而言之，CIRCLED是一个新的、高质量的训练场，它确保 AI 学会进行合乎逻辑的、循序渐进的对话，以找到你正在寻找的精确目标，而不会感到困惑或重复自己。

技术摘要：CIRCLED——一个具有跨领域一致对话的多轮 CIR 数据集

1. 问题陈述

现有的多轮组合图像检索（MTCIR）研究面临两个关键局限：

对话历史不一致：当前数据集（如 Multi-turn FashionIQ）是通过简单拼接单轮查询构建的。这种方法无法保证中间轮次逐步逼近真实目标（GT）。因此，中间图像和描述可能与目标偏离，导致无法评估中间轮次的检索性能，也无法模拟真实的迭代搜索行为。
领域限制： prior 工作几乎完全局限于时尚领域（例如连衣裙、衬衫），使得通用领域的多轮 CIR 研究 largely 未被探索。

这些局限阻碍了能够处理不断演变的用户意图和多样化视觉上下文的鲁棒多轮 CIR 系统的开发。

2. 方法论

数据集构建（CIRCLED）

作者引入了CIRCLED，这是一个通过扩展三个现有单轮 CIR 数据集（FashionIQ、CIRR和CIRCO）构建的新数据集。构建过程涉及生成模拟用户根据中间结果细化搜索的多轮会话。

会话生成：从真实目标图像 $Z$ $Z$ 开始，生成一系列轮次 $\{(I_1, T_1), \dots, (I_L, T_L)\}$ ${(I_{1}, T_{1}), \dots, (I_{L}, T_{L})}$ 。
- 第 1 轮：使用源数据集中的原始参考图像和相对描述。
- 后续轮次：如果 GT 排名不够靠前，基线检索算法从 Top- $K$ 结果中选择最接近的图像作为新的参考图像（ $I_l$ ）。随后，视觉 - 语言模型（VLM）生成新的相对描述（ $T_l$ ），描述所选图像与 GT 之间的差异，同时明确避免重复之前的描述。
基线检索算法：作者采用扩展版的CIReVL（Karthik 等人，2024）来驱动会话生成。该流程使用：
- BLIP 进行图像描述生成。
- GPT-4o-mini 用于合并描述、生成差异描述和更新查询。
- CLIP 用于特征提取和相似度匹配。
- 查询更新机制聚合所选图像、未选图像和合并文本的特征，以引导检索朝向 GT。

质量控制过滤器

为确保高质量、一致的对话，对生成的会话应用了四个过滤器：

检索成功过滤器：移除在 6 轮中 GT 从未出现在前 10 名候选者中的会话。
多轮过滤器：排除在第一轮即成功的会话，确保仅保留真正的多轮交互（2 轮及以上）。
排名边际过滤器（ $\epsilon$ -一致性）：强制要求 GT 排名在每一轮中提升（或保持在较小边际 $\epsilon=30$ 内）（ $r_{l+1} \le r_l + \epsilon$ ）。这确保了向目标的单调进展。
文本冗余过滤器（ $\tau$ -多样性）：确保每一轮的相对描述提供新颖信息，通过限制新描述与之前描述之间的余弦相似度（ $\tau=0.8$ ）。

评估协议

本文提出了一种逐轮评估框架，其中检索算法 $S$ 被累积评估。对于长度为 $L$ 的会话，算法在第 $l$ 轮接收历史 $\{(I_1, T_1), \dots, (I_l, T_l)\}$ 并输出 GT 的排名 $r_l$ 。

引入了三个指标以捕捉性能的不同方面：

Hits@10（逐轮）：在第 $l$ 轮达到前 10 名的查询比例。
最终 Recall@10：使用最终轮所有可用信息的准确率。
Hits@10 的 AUC：Hits@10 曲线下的面积，衡量收敛速度和早期可达性。

3. 主要贡献

CIRCLED 数据集：一个大规模多轮 CIR 数据集，包含22,608 个会话，跨越九个子集（涵盖时尚和通用领域）。它包含202,845 张图像，支持 2–6 轮的会话，其规模和通用性显著超过 Multi-turn FashionIQ。
一致对话结构：与 prior 数据集不同，CIRCLED 强制执行 $\epsilon$ -一致性和 $\tau$ -多样性，确保每一轮都逐步且信息丰富地逼近真实目标。这使得能够评估任何中间轮次的检索性能。
广泛的领域覆盖：该数据集超越时尚领域，包含通用领域（通过 CIRR 和 CIRCO），促进了针对多样化对象类型和场景修改的多轮 CIR 研究。
评估框架：引入逐轮指标（Hits@10、AUC），允许对方法利用历史上下文的能力进行细粒度分析，而不仅仅是测量最终轮次的准确率。

4. 实验结果

作者在 CIRCLED 上评估了多种基线方法，包括纯文本、纯图像、Pic2Word、CIReVL 和 MagicLens。

逐轮性能：结果显示，随着轮次增加，检索准确率通常有所提升，但往往趋于平稳。MagicLens在通用领域数据（CIRCO）上表现强劲，而CIReVL在时尚领域表现优异。
模态：纯文本基线在所有子集中 consistently 优于纯图像基线，表明在多轮设置中，相对描述比单独的参考图像携带更具判别力的信息。
指标敏感性：AUC指标揭示了 Final Recall@10 可能忽略的性能差异。例如，在 CIRR 验证集上，CIReVL 从第 2 轮起优于纯文本，但其较弱的第 1 轮性能降低了其整体 AUC，凸显了评估整个轨迹的重要性。
质量验证：基于 LLM 的裁判评估（使用 GPT-5-mini）确认，与未过滤会话或简单拼接的单轮数据集相比，CIRCLED 会话在连贯性、目标进展和整体质量方面得分最高。

5. 意义与主张

本文主张，CIRCLED提供了一个实用的高质量基准，解决了 prior 工作中缺乏历史一致性和领域多样性的问题。通过确保多轮对话连贯并逐步收敛于目标，该数据集使得研究此前无法测量的迭代搜索行为成为可能。

作者强调，他们的工作通过以下方式促进了多轮 CIR 的未来研究：

提供标准化的评估协议，同时捕捉最终准确率和收敛速度。
提供支持超越时尚领域研究的数据集。
使开发能够有效聚合多轮交互中视觉和文本线索的系统成为可能。

该数据集和代码已公开，以支持可重复性并推动该领域的进一步发展。