🤖 AI

Decoupling Endpoint and Semantic Transition Learning for Zero-Shot Composed Image Retrieval

本文提出了 DeCIR，一种新颖的基于投影的零样本组合图像检索框架，它通过将端点学习与过渡学习解耦为独立的低秩适配器分支，并通过低秩方向合并进行融合，从而解决了语义过渡瓶颈，在不增加推理复杂度的情况下提升了处理复杂语义修改的性能。

原作者： Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在玩一个“寻找新图片”的游戏。

你向计算机展示一张参考照片（比如，一只绿鸟停在树枝上的照片）。然后，你给它一条文本指令（例如：“让它变成两只鸟”）。计算机的任务是从一个庞大的图库中找到一张符合你描述的目标照片：它必须展示两只鸟，但它们必须仍然是绿色的，并且停在树枝上，就像原图一样。

这被称为组合图像检索。棘手之处在于，要在没有老师向计算机展示成千上万张“之前”、“指令”和“之后”图片示例的情况下完成这一任务。这被称为零样本学习。

问题：“捷径”陷阱

该论文指出，当前的轻量级计算机模型采取了一种懒惰的捷径。

当你说“让它变成两只鸟”时，标准模型往往会忽略原图中“绿鸟”的部分。它只听到“两只鸟”，然后抓取任何有两只鸟的图片，即使它们是红色的、蓝色的，或者正在天空中飞翔。它将你的指令视为最终结果的简单标签，而不是一组改变原始图像的规则。

作者将这种现象称为**“终点捷径”**。模型看到了目的地（两只鸟），却忘记了旅程（从一只绿鸟开始）。

冲突：试图同时学习两件事

为了解决这个问题，研究人员尝试同时教模型两件事：

目的地：“找到有两只鸟的图片。”
旅程：“理解如何将一只绿鸟变成两只绿鸟。”

他们试图将这两堂课塞进计算机大脑的同一个狭小部分（称为“文本适配器”）。但这导致了交通堵塞。“寻找目的地”和“学习旅程”的指令将大脑推向相反的方向，使模型感到困惑，并使其在这两项任务上的表现都变得更差。

解决方案：DeCIR（解耦组合图像检索）

作者提出了一种名为DeCIR的新方法。这就像为同一个学生聘请两位专业导师，但让他们分别教授不同的科目，然后再合并他们的笔记。

“目的地”导师：这位导师专注于完全匹配最终描述（例如，“两只鸟”）。
“旅程”导师：这位导师专注于变化本身。为了教授这一点，计算机使用一个智能人工智能（大语言模型）来发明自己的练习题。它取一张普通图片和其说明，然后编造一个“正向”指令（如何改变它）和一个“反向”指令（如何撤销该改变）。这教会了模型变化的方向，而不仅仅是结果。

神奇合并（LRDM）：
一旦两位导师完成了各自的训练，研究人员就会使用一种称为**低秩方向合并（LRDM）**的特殊技术。

想象“目的地”导师有一个结实的背包（主要结构）。
“旅程”导师有一组带有具体方向说明的便利贴。
与其让学生背负两个沉重的背包，不如将“旅程”的笔记贴进“目的地”的背包里。

现在，学生只有一个轻便的背包，既知道要去哪里，也知道如何到达那里，而在实际游戏中不需要两位沉重的导师。

为什么这很重要

最终无需重型大语言模型：与其他需要巨型、缓慢的人工智能来思考每个请求的方法不同，DeCIR 将所有繁重的思考工作都在训练阶段完成。当你实际使用时，它既快速又轻量。
更好的结果：在时尚、自然和基因图像的测试中，DeCIR 找到正确“已更改”图片的频率远高于以往的方法。它在添加第二只鸟的同时，成功保留了“绿鸟”中的“绿色”。

简而言之：DeCIR 阻止计算机走懒惰的捷径。它通过训练两项独立的技能，然后将它们巧妙地合并为一个高效的工具，教会模型理解改变图像的过程，而不仅仅是结果。

技术摘要：解耦端点与语义过渡学习以实现零样本组合图像检索（DeCIR）

1. 问题定义

零样本组合图像检索（ZS-CIR）旨在给定参考图像和文本修改指令的情况下检索目标图像，而无需依赖人工标注的“参考–指令–目标”三元组。尽管基于投影的方法（使用 CLIP 等模型将图像映射到文本嵌入）无需大型语言模型（LLM）即可实现轻量级推理，但它们存在语义过渡瓶颈。

在这些方法中，文本编码器隐式地推断从源（参考）到目标的过渡。然而，由于缺乏对该过渡的显式监督，模型往往陷入"端点捷径"。模型并未学习以源为条件的语义过渡（例如，“将一只绿色鸟变为两只绿色鸟”），而是将修改文本仅仅视为目标侧的属性提示（例如，“两只鸟”），从而检索任何匹配目标属性的图像，而忽略了参考图像的具体约束。

此外，作者指出，若将语义过渡监督直接添加到用于端点对齐的同一低秩文本适配器中，会产生优化冲突。将查询对齐到目标端点与将指令对齐到语义位移（过渡）这两个目标在同一参数空间中竞争，导致梯度干扰，从而降低性能。

2. 方法论：DeCIR

提出的框架DeCIR通过冲突感知的端点–过渡解耦和一种新颖的合并策略来解决这些问题。

2.1 基于 LLM 的监督构建（仅离线）

为了克服缺乏标注三元组的问题，DeCIR 在离线阶段使用 LLM（具体为 glm-4-flash）将标准的图像 - 描述对（来自 CC3M）转换为结构化的前向/反向编辑元组。

前向编辑：生成目标描述和一条指令，描述从源图像出发的特定视觉变化。
反向编辑：生成一条指令以撤销前向编辑的变化。
该过程构建了双向监督信号 $(I_{ref}, c_{src}, t_{fwd}, c_{tgt}, t_{rev})$ ，无需人工标注，且在推理阶段无需使用 LLM。

2.2 解耦训练架构

DeCIR 在 CLIP 文本编码器之上采用两个专用的低秩文本适配器分支，它们从相同的权重初始化但分别进行优化：

端点对齐分支（ $E^{end}_T$ ）：通过对比损失（ $L_{end}$ ）进行优化，使组合查询嵌入与生成的目标描述嵌入对齐。该分支定义了可部署的检索路径。
语义过渡分支（ $E^{trans}_T$ ）：通过过渡损失（ $L_{trans}$ ）进行优化，使前向指令与语义位移向量（ $\delta = f^{trans}_{tgt} - f_{src}$ ）对齐，并使反向指令与 $-\delta$ 对齐。该分支学习编码变化的方向，而非最终端点。

视觉编码器的 LoRA 参数和逆变网络（ $f_\phi$ ）仅由端点分支更新，确保检索路径保持稳定，而过渡分支则专注于指令语义。

2.3 低秩方向合并（LRDM）

为了保持轻量级的推理流程，两个分支在训练后合并为单个可部署的适配器。

共享基：两个分支共享低秩输出基矩阵 $B_\ell$ 。
系数合并：分支特定的系数矩阵（ $A^{end}_\ell$ 和 $A^{trans}_\ell$ ）被线性合并： $A^{merge}_\ell = (1-\alpha)A^{end}_\ell + \alpha A^{trans}_\ell$ 。
非对称性：端点分支保留骨干结构，而过渡分支在该共享基内贡献语义过渡系数。合并后过渡分支被丢弃，最终得到一个用于推理的单一文本适配器。

3. 主要贡献

语义过渡瓶颈的识别：论文证明，基于投影的 ZS-CIR 在复杂编辑任务中失效，是因为文本编码器将修改坍缩为目标侧提示，丢弃了以源为条件的证据。
优化冲突的诊断：通过逐层梯度探测，作者表明在共享适配器中联合优化端点对齐和语义过渡对齐会导致显著的梯度干扰，特别是在较深的 Transformer 层中。
解耦学习框架：DeCIR 引入了一种训练策略，将端点学习和过渡学习分离到专用分支中，以避免干扰。
低秩方向合并（LRDM）：一种合并技术，将语义过渡敏感性折叠到基于投影的流程中，既不增加推理复杂度，也不需要在运行时使用 LLM。

4. 实验结果

DeCIR 在四个基准测试上进行了评估：CIRR（自然图像消歧）、CIRCO（多目标排序）、FashionIQ（时尚编辑）和 GeneCIS（条件检索）。

性能：DeCIR 始终优于最先进的基于投影的方法（如 Pic2Word、DistillCIR、Slerp），并在检索准确率上接近或超过基于 LLM 的方法（如 CIReVL）。
- 在 CIRCO（ViT-L/14）上，DeCIR 实现了 21.3% mAP@5，比之前的最佳结果（DistillCIR）提高了 2.6%。
- 在 CIRR 上，DeCIR 达到了 33.4% R@1（ViT-L/14），超过了 DistillCIR（32.3%）。
- 在 FashionIQ 上，它在连衣裙、衬衫和上衣类别中取得了最佳平均性能。
消融研究：
- 解耦：在共享适配器中联合训练两个目标的表现不如仅进行检索训练，证实了梯度冲突的存在。解耦训练后接 LRDM 产生了最佳结果。
- 合并：LRDM 优于通用的模型合并策略（Task Arithmetic、TIES、DARE），验证了非对称系数合并设计的有效性。
- 推理效率：DeCIR 保持了与其他基于投影的方法相似的轻量级推理概况（约 4.67 亿参数），且不像重型基于 LLM 的方法那样在推理阶段需要 LLM 或推理循环。

5. 意义与主张

论文声称，DeCIR 成功解决了基于投影方法的效率与基于 LLM 方法的推理能力之间的权衡。通过解耦学习和合并来显式建模从源到目标的语义过渡，DeCIR 使轻量级模型能够执行复杂、细粒度的编辑，而不会坍缩为端点捷径。

作者强调，他们的方法改善了 ZS-CIR 中的准确率–效率权衡。他们并未声称完全取代基于 LLM 的推理，但证明了通过适当的监督构建和架构解耦，基于投影的模型可以在保持轻量级和推理时无 LLM 的部署优势的同时，实现具有竞争力的性能。该工作局限于基于投影的设置，并依赖离线 LLM 监督来生成训练数据。