FlowComposer: Composable Flows for Compositional Zero-Shot Learning

1. 研究背景与问题定义 (Problem)

组合零样本学习 (Compositional Zero-Shot Learning, CZSL) 旨在通过重新组合从“已见”（Seen）属性 - 对象对中学到的原始概念（Primitive），来识别“未见”（Unseen）的属性 - 对象组合。例如，模型学习了“红苹果”和“绿香蕉”，需要能够识别从未见过的“绿苹果”。

尽管基于视觉 - 语言模型（VLMs，如 CLIP）和参数高效微调（PEFT）的近期方法取得了一定进展，但作者指出了现有方法存在的两个根本性缺陷：

1. 隐式组合构建 (Implicit Composition Construction)：
   • 现有方法通常通过在 Token 级别进行拼接（Token Concatenation）或分支特定的提示微调（Prompt Tuning）来隐式地构建组合。
   • 问题：这种组合仅在 Token 层面发生，而非在嵌入空间（Embedding Space）中进行显式的数学运算。这导致生成的未见组合的嵌入向量可能并不靠近其对应的图像嵌入，从而限制了泛化能力。
2. 残留的特征纠缠 (Remained Feature Entanglement)：
   • 现有的视觉解缠器（Visual Disentanglers）无法完美地将属性（Attribute）和对象（Object）的特征完全分离。
   • 问题：特征流之间存在信息泄露（Leakage），导致属性、对象和组合特征相互污染。这种残留的纠缠削弱了特定分支的对齐能力，使得未见组合的预测不可靠。

2. 方法论 (Methodology)

作者提出了 FlowComposer，这是一个模型无关的框架，首次将流匹配 (Flow Matching, FM) 引入 CZSL 任务。其核心思想是利用流匹配中速度场（Velocity Fields）天然具备的组合与分解特性，在嵌入空间中显式地执行组合操作。

核心组件：

1. 原始流模型 (Primitive Flows)：

   • 学习两个独立的整流流（Rectified Flows）：属性流 $v_{\theta}^a$ 和对象流 $v_{\theta}^o$。
   • 功能：它们学习如何将视觉特征（Visual Features）传输（Transport）到对应的属性文本嵌入和对象文本嵌入。
   • 机制：通过回归时间依赖的速度场，将插值特征 $x_t = (1-t)x_0 + tx_1$ 映射到目标方向。

2. 可学习的组合器 (Learnable Composer)：

   • 创新点：为了解决隐式组合问题，FlowComposer 在嵌入空间中引入了一个显式的组合操作。
   • 原理：组合速度 $v_c$ 被建模为原始速度 $v_a$ 和 $v_o$ 的线性组合：$v_c = \alpha v_a + \beta v_o$。
   • 实现：Composer 网络根据输入样本，预测组合系数 $(\hat{\alpha}, \hat{\beta})$。这使得模型能够根据图像中属性和对象的视觉显著性，动态调整两者的贡献权重，而不是使用固定的拼接规则。

3. 泄漏引导增强 (Leakage-Guided Augmentation)：

   • 创新点：针对“残留特征纠缠”问题，作者没有试图强行消除它，而是将其转化为优势。
   • 原理：利用解缠不完美导致的跨分支信息泄露（例如，属性分支中残留的对象信息），将其作为辅助监督信号。
   • 机制：训练流模型时，不仅使用标准的同分支监督（属性图->属性文），还利用“泄漏”特征进行跨分支监督（例如，用属性分支的视觉特征去预测对象文本目标）。这丰富了速度场的监督信号，将不完美的解缠转化为指导信号。

4. 推理过程：

   • 采用一步传输方案（One-step Transport）：$x_1 \approx x_0 + v_{\theta}(x_0, 0)$。
   • 先预测原始速度，再通过 Composer 计算组合速度，最后一步更新得到组合嵌入。

3. 主要贡献 (Key Contributions)

1. 首次系统研究流匹配在 CZSL 中的应用：提出了 FlowComposer 框架，利用可组合的流（Composable Flows）在嵌入空间中显式编码组合操作，替代了传统的 Token 级隐式拼接。
2. 提出泄漏引导增强策略：创造性地将特征解缠中的“泄漏”视为一种特权信号（Privileged Signal），通过跨分支监督利用这些残留信息，增强了组合识别的鲁棒性。
3. 模型无关且即插即用：该框架独立于具体的骨干网络，可以无缝集成到现有的 CZSL 基线（如 CSP, Troika）中，仅需微调少量参数。
4. 全面的实验验证：在三个主流基准数据集（MIT-States, UT-Zappos, C-GQA）上进行了广泛评估，证明了其在封闭世界和开放世界设置下的优越性。

4. 实验结果 (Results)

作者在三个基准数据集上，将 FlowComposer 集成到两个强基线（CSP 和 Troika）中进行了测试：

• 性能提升：
  • 在封闭世界 (Closed-world) 设置下，FlowComposer + Troika 在所有三个数据集上均取得了最先进的 AUC（曲线下面积）成绩，甚至超越了利用大语言模型（LLM）生成额外知识的方法（如 PLID, LOGICZSL）。
  • 在开放世界 (Open-world) 设置下，相比基线方法，HM（调和平均数）和 AUC 均有显著提升。例如，在 UT-Zappos 上，HM 提升了 4.4%。
• 平衡性：
  • 训练动态显示，FlowComposer 有效缓解了基线模型中“已见”准确率上升但“未见”准确率下降的偏差问题，实现了更平衡的泛化性能。
• 消融实验：
  • 证明了原始流、Composer 和泄漏引导增强三个组件缺一不可，且它们之间具有互补性。
  • 对比实验表明，基于流匹配的方法优于同等参数量的直接回归器（Regressor），证明了时间条件速度监督的有效性。
• 效率：
  • 由于采用一步传输和轻量级网络，推理延迟增加极小（例如在 MIT-States 上仅增加约 1.6ms/图）。

5. 意义与影响 (Significance)

• 理论突破：该工作揭示了流匹配的速度场天然契合 CZSL 的“组合性”与“分解性”本质，为组合零样本学习提供了一种新的数学视角（从嵌入空间的几何传输角度）。
• 方法论创新：通过“化弊为利”的策略（利用特征泄漏），解决了视觉解缠不完美这一长期存在的难题，为处理不完美的特征表示提供了新思路。
• 实际应用：FlowComposer 作为一个即插即用的模块，能够显著提升现有 VLM 在开放世界场景下的泛化能力，对于需要理解复杂属性 - 对象关系的实际应用（如细粒度检索、辅助感知）具有重要价值。

总结：FlowComposer 通过引入流匹配机制，将 CZSL 从隐式的 Token 拼接转变为嵌入空间的显式速度场组合，并利用泄漏特征增强监督，显著提升了模型在未见组合上的识别能力和泛化稳定性。