技术摘要：面向少样本 CLIP 自适应的概念约束提示学习

1. 问题陈述

少样本提示学习已成为一种高效的策略，用于将 CLIP（对比语言-图像预训练）适配到下游任务，而无需微调庞大的图像和文本编码器。CoOp 等方法通过优化添加在类名之前的少量可学习上下文标记（context tokens）来实现这一目标。然而，存在一个关键的局限性：仅基于基类（base-class）监督进行优化会导致过拟合。虽然模型在已见（基类）类别上的性能有所提升，但其向未见（新类）类别泛化的能力往往会下降。

这种权衡源于：仅基于类名的提示更新可能会使文本嵌入偏离 CLIP 文本编码器最初编码的语义丰富的方向。类名（例如“森林”或“编织”）在语义上是稀疏的，缺乏关于材质、图案或布局的显式视觉线索。因此，学习到的提示可能会向数据集特定的偏差偏移，而不是保留对于迁移到新类至关重要的开放词汇语义结构。

2. 方法论：概念约束提示学习 (CCPL)

作者提出了概念约束提示学习 (CCPL)，这是一个轻量级的正则化框架，旨在将可学习的类别提示锚定在冻结的概念级文本原型上。该方法在以下约束和机制下运行：

2.1 核心架构

• 冻结编码器： 与 CoOp 一样，CCPL 使 CLIP 的图像和文本编码器保持完全冻结。
• 共享上下文标记： 唯一的训练参数是一组 $M$ 个共享上下文标记 ($\theta$)，这与 CoOp 的设置一致。
• 无新增可学习组件： 除了上下文标记之外，CCPL 没有引入任何额外的可学习参数。

2.2 概念库与原型构建

• 概念库 (Concept Bank)： 一个手工构建的 JSON 文件，将数据集类别映射到描述性概念短语列表（例如，对于“森林”：“茂密的树冠”、“林区”）。
• 冻结原型： 对于每个类别 $c$，通过使用冻结的 CLIP 文本编码器对与其相关的概念短语的归一化文本嵌入取平均值，预先计算得到一个概念原型 $\tilde{t}^{con}_c$。这些原型是冻结的，在训练期间永不更新。
• 范围： 原型仅使用类名和概念短语为所有类别（基类和新类）构建，无需访问新类图像或标签。

2.3 训练目标

训练过程在基类上最小化一个复合损失函数：
$$\mathcal{L}_{CCPL} = \mathcal{L}_{ce} + \lambda_{text}\mathcal{L}_{text}$$

• $\mathcal{L}_{ce}$： 基类预测的标准交叉熵损失。
• $\mathcal{L}_{text}$： 文本空间余弦一致性损失，旨在将可学习的类别提示嵌入 ($t^{cls}_c$) 与冻结的概念原型 ($t^{con}_c$) 对齐。
  $$\mathcal{L}_{text} = \frac{1}{|C_{base}|} \sum_{c \in C_{base}} (1 - \cos(t^{cls}_c, t^{con}_c))$$
• 概念 Dropout (Concept Dropout)： 为了防止对特定短语的过度依赖，在计算用于一致性损失的原型时，会随机掩码掉一部分概念短语（概率为 $p_{drop}$）。

2.4 推理策略

在推理阶段，CCPL 支持概念引导的 Logit 融合。最终的 Logit 是类别提示 Logit ($z^{cls}$) 和概念原型 Logit ($z^{con}$) 的凸组合：
$$z_i = (1 - \alpha) z^{cls}_i + \alpha z^{con}_i$$
其中 $\alpha \in [0, 1]$ 是一个可调超参数，用于控制概念引导的强度。默认配置使用弱融合 ($\alpha = 0.1$)。

3. 主要贡献

1. 形式化定义： 本文将少样本 CLIP 适配形式化为一个文本空间语义正则化问题，通过引入作为冻结锚点的类别级概念短语，且不增加可训练参数。
2. 机制设计： 从类别级概念库构建冻结的概念原型，并通过余弦一致性目标来对齐可学习的提示。
3. 鲁棒性与控制： 引入了用于提高训练鲁棒性的概念 Dropout，以及用于管理基类-新类权衡的可控推理时间融合权重 ($\alpha$)。
4. 实证分析： 通过受控实验识别了概念约束有效的边界条件（场景/纹理数据集）以及何时表现中性或帮助较小（细粒度类别）。

4. 实验结果

实验在三个数据集（DTD、EuroSAT、OxfordPets）上进行，使用完全相同的自动生成回退拆分（fallback splits）以及 4-shot 基类到新类的协议，并使用 CLIP ViT-B/16。

• EuroSAT (场景分类)： CCPL 取得了最显著的改进，将基类到新类的调和平均值 ($H$) 从 66.0% (CoOp) 提升至 68.9%。这一增益主要由新类准确率的跃升驱动（56.3% $\to$ 60.6%），而基类准确率保持稳定。
• DTD (纹理分类)： CCPL 表现出适度的改进，将 $H$ 从 62.6% 提升至 63.2% (+0.6)。增益较小，归因于使用了较简单的基于模板的概念（"{class} texture"）。
• OxfordPets (细粒度品种)： 性能接近中性，调和平均值略有下降（96.3% $\to$ 96.2%）。作者指出，通用的模板未能捕捉到细粒度判别所需的微妙品种特征。
• 消融实验：
  • 去除文本空间正则化 ($\lambda_{text}=0$) 会降低性能，证实了对齐目标的价值。
  • 去除推理融合 ($\alpha=0$) 也会降低性能，表明冻结的原型即使在不是训练目标的情况下也携带了有用的分类信号。
  • 权衡： 增加 $\alpha$（例如 $\alpha=0.4$）会进一步提高新类准确率，但会显著降低基类准确率，凸显了这种可控的权衡关系。

5. 重要性与主张

本文谦虚地主张，CCPL 为提示学习提供了一个实用且具有可解释性的正则化方向，特别是对于涉及场景级或材质级语义的任务（如纹理和卫星场景）。

• 边界条件： 作者明确指出，当概念短语自然地与数据集的视觉语义对齐时，概念约束最为有效。对于细粒度类别（如宠物品种），由于通用模板无法编码必要的判别性特征，其效果较差。
• 并非针对基准模型的过拟合： 作者强调，其结果是基于“自动生成的回退拆分”进行的，旨在进行协议内的对比（针对 CoOp），而非直接声称优于所有官方拆分下的最先进方法。
• 轻量化特性： 该方法的特点是其高效性，几乎不增加计算开销，且没有引入新的可学习参数，使其成为现有提示学习流水线中低成本的补充。

总之，CCPL 表明，通过将可学习的提示锚定在人类可解释的概念描述上，可以保留 CLIP 的开放词汇泛化能力，前提是这些概念与目标领域具有语义相关性。