💻 computer science

ChatSearch: a Dataset and a Generative Retrieval Model for General Conversational Image Retrieval

本文提出了名为 ChatSearch 的开放域多轮对话图像检索数据集，并设计了名为 ChatSearcher 的端到端生成式检索模型，该模型能够利用多模odal 上下文和世界知识进行推理，在对话图像检索及相关任务中展现出卓越性能。

原作者： Zijia Zhao, Longteng Guo, Tongtian Yue, Erdong Hu, Shuai Shao, Zehuan Yuan, Hua Huang, Jing Liu

发布于 2026-03-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Zijia Zhao, Longteng Guo, Tongtian Yue, Erdong Hu, Shuai Shao, Zehuan Yuan, Hua Huang, Jing Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个非常有趣的项目，我们可以把它想象成给搜索引擎装上了一个“会聊天、能看图、懂人心”的超级大脑。

为了让你更容易理解，我们把整个故事分成三个部分：痛点（为什么需要它）、新玩具（ChatSearch 数据集）和新大脑（ChatSearcher 模型）。

1. 痛点：以前的找图方式太“死板”了

想象一下，你想找一张照片，但你的脑海里只有一个模糊的概念。

以前的做法：你得像填表格一样，输入关键词（比如“红色的猫”），或者上传一张参考图。如果结果不对，你只能再换个词，或者手动点“相关度低”来反馈。这就像是在和一个只会听指令、不懂变通的机器人对话，非常生硬。
现在的痛点：人类找东西通常是聊天式的。你会说：“我要找一张像刚才那张图，但是背景要换成海滩，而且猫要戴个墨镜。”这种多轮、混合了图片和文字的复杂交流，以前的系统根本听不懂。

2. 新玩具：ChatSearch（给 AI 准备的“找图练习册”）

为了让 AI 学会这种高级聊天找图，作者们自己造了一本超级练习册，叫 ChatSearch。

它是怎么造出来的？
这就好比请了一位“超级助教”（大语言模型，如 GPT-4）。
1. 助教先看一张图（比如“一只在草地上的狗”）。
2. 助教发挥想象力，编造一段对话：“我想找一张图，跟这张很像，但狗要在水里，而且要是黑色的。”
3. 然后，助教去大海（互联网图库）里真的找到那张“黑色的狗在水里”的图作为答案。
4. 最后，人类专家像老师批改作业一样，检查这些对话和答案是否合理。
它的厉害之处：
这本练习册里不仅有文字对话，还有“看图说话”。有的题目是纯文字聊天，有的是“看图 + 文字”混合。最重要的是，它要求 AI 不能只靠死记硬背，必须推理。比如，用户说“把刚才那个场景的色调变冷一点”，AI 得先理解“刚才的场景”是什么，再理解“变冷”意味着什么，最后才能找到图。

3. 新大脑：ChatSearcher（能“边聊边找”的生成式检索员）

有了练习册，作者还训练了一个叫 ChatSearcher 的 AI 模型。它不像传统的搜索引擎那样只是去数据库里“匹配”关键词，它更像是一个会创作的艺术家。

它是如何工作的？
- 混合输入：你可以给它发一段文字，也可以发一张图，或者“图 + 文”混着发。就像你跟它发微信，可以发语音、发图片、发文字，它都能懂。
- 生成式检索：这是最酷的地方。传统的搜索是“从一堆东西里挑一个”，而 ChatSearcher 是直接“生成”答案。
  - 想象一下，它脑子里有一个巨大的“图片词汇表”。
  - 当你跟它聊天时，它不是在搜索，而是在“造句”。只不过它造的“句子”里，有些词是文字，有些词直接就是图片。
  - 当它觉得“哦，用户想要这张图”时，它就直接把这张图“写”进对话里给你看。
它的超能力：
1. 懂潜台词：如果你说“我要找那种感觉像梵高画风的猫”，它能理解“梵高风格”是什么意思，并找到对应的图，而不需要你描述具体的笔触。
2. 记性好：它能记住你们之前的对话。如果你第一轮说“找只猫”，第二轮说“把猫换成狗”，它能立刻反应过来，是基于第一轮的猫来换，而不是重新找一只狗。
3. 举一反三：虽然它是专门练“聊天找图”的，但作者发现，把它放到普通的“看图说话”或者“文字找图”任务里，它依然表现得很强，像个全能选手。

总结：这就像什么？

如果把以前的图片搜索比作去图书馆查字典（你必须知道确切的词才能查到），那么 ChatSearch 和 ChatSearcher 就像是请了一位博学的私人向导。

你可以跟这位向导说：“我想找一张照片，要像昨天我们聊过的那张夕阳，但是要把太阳换成月亮，而且海面上要有帆船。”
向导会：

回想昨天的对话（理解上下文）。
理解“夕阳变月亮”、“加帆船”的复杂指令（多模态推理）。
直接把你想要的照片拿给你看（生成式检索）。

这篇论文的核心贡献就是：

造了一套高难度的“聊天找图”教材（ChatSearch 数据集）。
训练了一个能像人一样聊天、推理并直接给出图片的 AI 助手（ChatSearcher）。

这标志着人机交互从“人适应机器（输入关键词）”向“机器适应人（自然对话）”迈出了一大步。

这是一份关于论文《ChatSearch: a Dataset and a Generative Retrieval Model for General Conversational Image Retrieval》（ChatSearch：面向通用对话式图像检索的数据集与生成式检索模型）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心任务：通用对话式图像检索（General Conversational Image Retrieval）。
定义：在开放域图像库中，基于人机之间的多轮、多模态（文本 + 图像）对话来检索目标图像。
挑战：

意图隐含性：检索所需的图像信息通常不是显式陈述的，而是隐含在多轮对话的上下文中，需要模型具备复杂的推理能力和世界知识。
多模态交互：用户可能通过文本描述、参考图片或两者的组合来逐步修正检索需求。
现有局限：传统的图像检索（如基于单图或纯文本）无法处理复杂的对话上下文；现有的交互式检索多局限于单轮交互或特定领域（如时尚），缺乏通用的多轮多模态对话能力。

2. 方法论 (Methodology)

论文提出了两个核心部分：ChatSearch 数据集和ChatSearcher 模型。

2.1 ChatSearch 数据集构建

为了填补该领域数据集的空白，作者构建了一个包含多轮多模态对话上下文的数据集。

构建流程：
1. 基础数据：基于 MSCOCO 图像 - 文本对。
2. 自动化生成：利用大模型（GPT-4 作为文本生成器，CLIP-H 作为检索器，BLIP-2 作为图像描述器）构建对话。
3. 两种构建策略：
  - MDC-I (参考图像)：以源图像为参考，生成包含视觉和文本的用户查询，目标图像通过 CLIP 在 LAION-5B 库中检索相似图并修改描述生成。
  - MDC-T (参考文本)：以源文本为参考，生成多轮对话，先由 GPT-4 生成中间描述，再检索对应图像，最后形成图文对话。
4. 上下文合并：将纯文本对话与单轮图文对话合并，构建复杂的多轮交互场景。
5. 人工审核：专家对图像质量和上下文相关性进行筛选。
数据划分：
- tChatSearch：多轮纯文本对话检索。
- iChatSearch：单轮图文指令检索（参考图 + 文本）。
- mChatSearch：多轮多模态对话检索（最复杂，包含合并的上下文）。

2.2 ChatSearcher 模型架构

ChatSearcher 是一个端到端训练的生成式检索模型，能够接受交错的图像 - 文本输入，并生成文本或检索图像。

架构基础：
- LLM 骨干：基于 Vicuna-7B v1.5（Causal Decoder-only）。
- 视觉编码器：使用 CLIP ViT-L 提取图像特征，并通过 Q-former (Perceiver) 压缩为固定数量的密集嵌入（dense embeddings）。
- 输入格式：将图像特征与特殊 token [IMG] 和 [/IMG] 拼接，与文本 Token 交错输入 LLM。
- 输出头：
  - 文本输出：独立的线性头 $M_t$ 用于生成文本。
  - 图像检索：独立的线性头 $M_v$ 用于生成图像检索嵌入。
训练目标 (Generative Training Objective)：
- 将“单词预测”和“图像检索”统一视为生成过程。
- 文本损失：标准的语言建模损失。
- 图像损失：当模型生成特殊 token [IMG] 时，模型需预测目标图像。利用动态更新的特征队列 (Feature Queue) 作为视觉词汇表，通过对比学习最大化目标图像特征匹配的概率。
两阶段训练策略：
1. 双向图文对齐 (Bidirectional Image-Text Alignment)：使用 CC3M 和 mmc4-core 数据进行预训练，建立图像生成文本和文本检索图像的能力。
2. 对话指令微调 (Conversational Instruction Tuning)：混合 LLaVA-150k（视觉对话）、InstructPix2Pix（图像编辑指令）和 ChatSearch 训练集数据，使模型学会遵循多模态指令并进行推理。

3. 主要贡献 (Key Contributions)

ChatSearch 数据集：首个专注于开放域通用对话式图像检索的数据集，强调基于多轮多模态对话的推理能力，包含三种不同难度的子任务（纯文本、单轮图文、多轮多模态）。
ChatSearcher 模型：提出了一种端到端的生成式检索模型。它不仅能理解复杂的对话上下文和世界知识，还能直接生成检索结果（图像）或文本回复，实现了真正的多模态交互。
统一训练范式：创新性地提出将图像检索视为生成任务，利用动态特征队列（Feature Queue）在生成框架下解决检索问题，无需传统的两阶段（编码 - 检索）流程。

4. 实验结果 (Results)

ChatSearch 基准测试：
- ChatSearcher 在 tChatSearch, iChatSearch, mChatSearch 三个子任务上均显著优于基线模型（CLIP-t, CLIP-i, CLIP-ti）和现有多模态大模型（FROMAGe）。
- 特别是在 mChatSearch（多轮多模态）任务上表现最佳，证明了模型在利用历史上下文进行推理方面的优势。
零样本迁移能力 (Zero-shot Transfer)：
- 组合图像检索 (CIR)：在 CIRR 数据集上取得了 SOTA 的零样本性能，甚至优于部分微调模型。
- 文本到图像检索：在 MSCOCO 和 Flickr30K 上，性能与 CLIP 相当，证明了双向对齐的有效性。
- 视觉对话：在 VQAv2, GQA, MMBench 等视觉问答基准上，表现与 Qwen-VL、LLaVA-1.5 等 SOTA 模型相当，证明其具备强大的视觉对话能力。
消融实验：
- 特征队列 (Feature Queue)：队列大小增加能提升检索性能，1000 个样本时达到平衡点。
- 指令数据：引入 LLaVA（视觉对话）和 InstructPix2Pix（AIGC 编辑）数据显著提升了模型在复杂推理和指令遵循上的表现。
- 可训练 LLM：端到端训练 LLM 比冻结 LLM 能更好地捕捉多模态上下文信息。

5. 意义与展望 (Significance)

交互范式的革新：将图像检索从“关键词/单图搜索”推进到“自然对话搜索”，使检索过程更符合人类直觉，支持通过多轮对话逐步澄清模糊意图。
可信生成：通过检索真实图像作为对话的补充，增强了大模型生成内容的可信度和清晰度（Fact-based credible output）。
通用性：ChatSearcher 展示了强大的泛化能力，不仅限于检索，还能处理视觉对话和图像编辑指令，为构建通用的多模态智能体提供了新思路。
未来方向：作者计划将这种基于事实检索的生成范式扩展到视频、音频等其他模态。

总结：该论文通过构建高质量数据集 ChatSearch 和提出生成式检索模型 ChatSearcher，成功解决了开放域下基于复杂多轮对话的图像检索难题，为多模态人机交互系统的发展奠定了重要基础。