Active Prompt Learning with Vision-Language Model Priors

该论文提出了一种基于视觉语言模型先验的预算高效主动提示学习框架，通过类引导聚类和自适应类阈值选择策略，在主动学习场景下实现了比现有基线更优的少样本分类性能。

要点

这篇论文介绍了一种让人工智能（AI）变得更聪明、更省钱的“新招数”。我们可以把它想象成教一个博学但有点“书呆子气”的超级学生（AI）如何快速学会新技能，而且只需要很少的“学费”（人工标注数据）。

以下是用通俗语言和比喻对这篇论文的解读：

1. 背景：超级学生遇到了“语言障碍”

想象一下，你有一个叫 CLIP 的超级学生。他看过互联网上几乎所有的图片和文字，所以让他认出一只猫或一辆车（零样本能力），他几乎不用学习就能做到。

但是，这个学生有个毛病：他非常依赖你给他的**“提示语”**（Prompt）。

• 如果你让他认“猫”，你告诉他“这是一张猫的照片”，他就能认出。
• 如果你让他认“狗”，你得把提示语改成“这是一张狗的照片”。

以前的做法是：每遇到一个新任务（比如认飞机），人类就要像写教案一样，手动设计完美的提示语，或者给 AI 看很多很多张标好记号的图片（数据），让他慢慢学。这既费钱（人工标注很贵）又费时。

2. 核心问题：如何用最少的钱，教好这个学生？

这就引出了**“主动学习”（Active Learning）的概念：与其把 1000 张图片都标好给 AI 看，不如只挑出最有价值**的那几张（比如 10 张），让 AI 看了这 10 张就能学会。

以前的痛点：

• 冷启动问题：刚开始一张图都没标的时候，AI 很迷茫，不知道挑哪张图最有价值。
• 盲目标注：有时候 AI 其实已经很有把握了（比如它一眼就能认出那是只猫），但人类还是傻乎乎地花时间去标，浪费钱。
• 偏科：AI 对某些类别（比如“猫”）很熟，对另一些（比如“某种稀有鸟”）很生疏，以前的方法往往顾此失彼。

3. 论文提出的解决方案：两个“独门秘籍”

作者提出了一个名为**“主动提示学习”**（Active Prompt Learning）的框架，包含两个核心策略：

秘籍一：带着“指南针”找重点（类引导聚类）

• 比喻：想象你要在一座巨大的图书馆（未标注的图片库）里找书。以前的方法是随机抓几本，或者按书架顺序抓。
• 新方法：作者给 AI 装了一个**“指南针”**。这个指南针利用了 AI 原本就懂的知识（预训练模型）。
  • 它不只是看图片长什么样（图像特征），还会结合文字描述（文本特征）。
  • 比如，如果你想找“猫”和“狗”的图片，这个指南针会告诉 AI：“嘿，别管那些长得像猫但不是猫的图，去把那些既像猫又像狗（在特征空间里）的图找出来，并且保证猫和狗的数量要平衡。”
• 效果：这样从一开始（冷启动阶段），AI 就能挑出最具有代表性、最多样化的图片，避免了“冷启动”时的盲目乱撞。

秘籍二：聪明的“省钱策略”（选择性查询）

• 比喻：你雇佣了一位昂贵的专家（人类标注员）来给图片贴标签。
• 新方法：作者给 AI 定了一条规矩：“如果你自己很有把握，就别麻烦专家了，你自己标个假标签（伪标签）就行；只有当你拿不准的时候，才去问专家。”
  • 但是，AI 有时候会“盲目自信”（比如它觉得所有红色的东西都是苹果，其实它错了）。
  • 所以，作者给每个类别（比如苹果、香蕉、橘子）都设定了一个**“自信度门槛”**。
  • 如果 AI 对“苹果”的自信度超过了门槛，就自己标；如果没超过，或者它平时对“苹果”就很迷糊，那就必须请专家来标。
• 效果：这就像是一个精明的管家，把昂贵的专家时间只花在刀刃上，大大节省了预算。

4. 实验结果：既快又好

作者在 7 个不同的数据集（从宠物、飞机到卫星地图）上进行了测试。

• 结果：他们的方法（CB+SQ）比现有的所有方法都强。
• 亮点：
  • 省钱：在达到同样准确率的情况下，他们需要的标注数据量更少（省了约 17.6% 的钱）。
  • 起步快：从一开始就表现很好，没有“冷启动”的尴尬期。
  • 通用：这个方法不仅能自己用，还能给其他现有的 AI 训练方法“锦上添花”，让它们变得更强。

总结

这篇论文就像是在教我们如何**“四两拨千斤”**地训练 AI。

它不再盲目地堆砌数据，而是利用 AI 原本就有的智慧（预训练知识），像带指南针的寻宝一样精准挑选数据，又像精明的管家一样只在必要时花钱。这让 AI 适应新任务变得更快、更便宜、更高效。

一句话概括： 给 AI 装上“指南针”和“省钱计算器”，让它用最少的人工标注，学会最多的新技能。

技术摘要

这是一篇关于**基于视觉 - 语言模型（VLM）先验知识的主动提示学习（Active Prompt Learning）**的论文总结。该论文发表于 Transactions on Machine Learning Research (10/2025)。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• VLM 的零样本能力与局限性：像 CLIP 和 ALIGN 这样的视觉 - 语言模型（VLMs）在零样本任务中表现出色，但它们严重依赖人工设计的文本提示（Text Prompts）。为每个新任务手动设计提示既耗时又费力。
• 提示学习（Prompt Learning）的挑战：现有的提示学习方法（如 CoOp）主要通过微调可学习的向量来适应新任务，通常侧重于**模型中心（Model-centric）**的优化，即最大化给定少量标注数据集上的性能。
• 数据选择的忽视：大多数研究忽略了数据选择策略的潜力。在主动学习（Active Learning）场景下，如何以最小的标注预算（Budget）选择最具信息量的样本，从而在更少的标注数据下获得更高的准确率，是一个未被充分探索的问题。
• 核心痛点：如何在有限的标注预算下，利用 VLM 的先验知识（Priors）高效地选择数据并训练提示，同时解决主动学习初期的“冷启动”问题和 VLM 在不同类别间置信度方差大的问题。

2. 核心方法论 (Methodology)

作者提出了一种预算高效的主动提示学习框架，主要包含三个核心组件：

A. 类引导聚类 (Class-Guided Clustering)

• 目的：解决主动学习第一轮的“冷启动”问题，并实现聚类平衡的采样。
• 机制：
  1. 特征构建：利用 VLM 预训练好的图像编码器（Image Encoder）和文本编码器（Text Encoder）。
     • 图像特征 $I(x)$：直接来自图像编码器。
     • 文本特征 $\tilde{T}_C(x)$：计算图像与各类别文本提示的相似度，作为权重，对各类别的文本特征进行加权求和。
     • 类引导特征 $F_C(x)$：将图像特征与加权后的文本特征拼接。
  2. 聚类：在类引导特征上执行 K-means 聚类。
  3. 优势：通过 GradFAM（基于 GradCAM 的改进版）可视化证明，类引导特征能更准确地聚焦于图像中与目标类别相关的区域，而不仅仅是整体物体。这使得聚类结果更符合分类任务的需求。
  4. 采样：从每个聚类中选择最接近质心的样本作为候选者，确保每一轮采样的多样性（Cluster-balanced）。

B. 自适应类阈值的选择性查询 (Selective Querying with Adaptive Class-wise Thresholds)

• 目的：进一步节省标注预算，避免对 VLM 已经非常有把握的样本进行人工标注。
• 机制：
  1. 置信度差异：VLM 在不同类别上的置信度存在显著差异。
  2. 自适应阈值：利用上一轮已标注数据的置信度分数，计算每个类别的自适应阈值 $\epsilon_{r,c}$。
  3. 伪标签分配：对于候选样本，如果其预测置信度超过对应类别的阈值，则直接分配伪标签（Pseudo-label），无需人工标注；否则，才请求人工标注（Ground-truth）。
  4. 效果：在每一轮中，只有不确定的样本被标注，从而显著降低了实际消耗的标注预算。

C. 统一提示与类提示的结合 (Unified and Class-wise Prompts)

• 为了防止过拟合（特别是在数据量极少时），作者引入了一种新的相似度度量，结合了统一提示（Unified Prompt）和类提示（Class-wise Prompts）。实验表明，统一提示能产生更平衡的置信度分布，减少过拟合，从而提高选择性查询的可靠性。

3. 主要贡献 (Key Contributions)

1. 提出预算高效的主动提示学习框架：特别是针对 CLIP 模型，通过类引导聚类和选择性查询，充分利用了 VLM 的先验知识。
2. 深入的特征分析：利用 GradFAM（梯度加权特征激活映射）和 T-SNE 可视化，证明了类引导特征在捕捉语义信息和改善聚类质量方面的优势。
3. 卓越的性能表现：在 7 个数据集上的主动学习实验中，该方法在相同预算下显著优于现有基线（如 PCB, BADGE, CoreSet 等），且在预算节省方面表现突出。
4. 数据中心视角的扩展：证明了该方法生成的精选数据集可以增强现有的模型中心提示学习方法（如 MaPle, PromptSRC），实现了数据与模型优化的协同。

4. 实验结果 (Results)

• 数据集：在 OxfordPets, FGVCAircraft, Caltech101, Flowers102, DTD, StanfordCars, EuroSAT 等 7 个数据集上进行了测试。
• 性能提升：
  • 在首轮主动学习（冷启动）中，相比基线方法（通常依赖随机采样），该方法利用预训练先验实现了**19.5%**的性能提升。
  • 仅使用 $|C|$（类别数）个查询样本，其性能就超过了其他基线使用 $3|C|$ 个样本的效果。
  • 通过选择性查询，在保持高性能的同时，减少了 17.6% 的标注预算。
• 大规模扩展性：在 ImageNet（128 万张图像）上的实验表明，该方法通过轻量级的 K-means 聚类克服了计算瓶颈，优于无法在大规模数据上运行的 BADGE 和 PCB 等方法。
• 泛化能力：在未见过的类别（Base-to-Novel）任务中，该方法也表现出更强的鲁棒性。

5. 意义与影响 (Significance)

• 范式转变：从单纯的“模型中心”提示优化转向“数据中心”的数据选择优化，强调了在 VLM 时代，利用先验知识进行智能数据选择的重要性。
• 解决冷启动：通过类引导特征，有效解决了主动学习初期缺乏可靠评估指标的问题，实现了“热启动”。
• 实际落地价值：显著降低了人工标注成本，使得在资源受限场景下（如医疗、遥感等标注昂贵的领域）快速适配 VLM 成为可能。
• 通用性：该方法不仅适用于 CLIP，其核心思想（利用先验进行特征引导和选择性查询）具有推广到其他 VLM 和视觉任务的潜力。

总结：这篇论文通过巧妙结合 VLM 的预训练先验（图像与文本编码器的协同）与主动学习策略（聚类平衡采样 + 置信度阈值过滤），提出了一种高效、低成本且高精度的提示学习框架，为大规模视觉 - 语言模型的快速适配提供了新的解决方案。