🤖 AI

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

本文介绍了 SCAN，这是一个无参数的视觉 - 语言少样本适应框架，它通过采用查询特定的负向路由、大语言模型生成的对比提示以及自适应融合权重，有效应对查询特定的类别混淆和分布偏移，从而提升性能。

原作者： Sriram Mandalika

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Sriram Mandalika

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个非常聪明但略显僵硬的机器人识别不同种类的鸟类。你只有每种鸟的少量照片可供展示（这被称为“少样本学习”）。该机器人已经通过阅读整个互联网掌握了大量世界知识，但当两只鸟看起来非常相似时（例如红尾鵟和红肩鵟），它仍然会感到困惑。

这篇论文介绍了一种名为SCAN（选择性混淆感知负样本）的新方法，旨在解决这种混淆。其工作原理可分解为三个简单的理念：

1. “智能保安”（查询自适应路由）

旧方法： 想象博物馆里的一名保安，每当有访客进入，他都会对着博物馆里的每一个物体大喊：“你不是画，你不是雕像，你不是花瓶……"这种嘈杂混乱的声音无助于访客弄清楚他们实际在看什么。机器人也是如此：它试图告诉每张图像它不是什么，即使该图像根本不可能与那些事物混淆。

SCAN 方法： SCAN 扮演一名智能保安，他会先观察访客。如果访客看起来像鵟，保安只会低声说：“你肯定不是红肩鵟”，因为那是唯一可能让你混淆的对象。保安会忽略所有其他鸟类（如企鹅或火烈鸟），因为你显然不是它们。

为何有效： 通过仅聚焦于图像最可能混淆的特定对象，机器人能做出更清晰的判断，而不会被无关的噪音分散注意力。这一过程无需额外的内存或训练。

2. “专家艺术评论家”（大语言模型引导的提示）

旧方法： 当向机器人描述鸟类时，旧方法可能只会说：“这是一张红尾鵟的照片。”如果机器人看到一只相似的鸟，它可能会想：“嗯，那也是一张鸟的照片，所以也许就是同一只。”这种描述过于模糊。

SCAN 方法： SCAN 聘请了一位AI 艺术评论家（大语言模型）来撰写更佳的描述。评论家不只是命名鸟类，而是会说：“这是一只红尾鵟，你可以将其与红肩鵟区分开来，因为红尾鵟拥有锈色的尾巴和白色的腹部，而另一只则有条纹状的尾巴。”

为何有效： 它为机器人提供了区分相似物品的具体“线索”。这就像是在说“别吃那个”与“别吃那个蘑菇；它看起来像可食用的那个，但它有红色斑点”之间的区别。

3. “直觉平衡秤”（自适应融合）

旧方法： 机器人有两种思考方式：观察图片（视觉）和阅读描述（文本）。通常，人类必须手动决定在多大程度上信任图片而非文本。这就像试图通过猜测每一侧有多重来平衡天平。如果猜错了，机器人就会感到困惑。

SCAN 方法： SCAN 拥有一架魔法天平，能自动确定平衡点。如果图片非常清晰且独特，天平会倾向于更信任图片；如果图片模糊但名称差异很大，天平则会倾向于更信任文本。它通过查看你提供的少量示例，即时决定最佳混合比例，无需人类猜测。

结果：效果如何？

作者在 11 项不同的挑战中测试了这套“智能保安”系统，涵盖从识别花卉到发现汽车和纹理等任务。

得分： 平均而言，在给定 16 个示例的情况下，SCAN 的准确率比之前的最佳方法高出4.6%。
重大突破： 它在最困难的任务中表现最为出色（例如区分非常相似的鸟类或汽车），准确率提升了高达7.7%。
棘手情况： 即使数据混乱（例如 50% 的标签错误，就像老师在试卷上标错了答案），SCAN 的表现仍优于竞争对手。它也非常擅长识别那些从未见过的、但在不同光照或风格下（例如猫的素描而非照片）略有变化的事物。

总结

简而言之，SCAN 教导机器人停止对一切事物大喊“不！”，转而只对那些重要的事物低声说“不！”。它利用一位聪明的评论家来解释事物为何不同，并自动知道是应该信任眼睛还是大脑。这使得它仅凭少量示例就能更好地学习新事物。

技术摘要：SCAN——面向少样本视觉语言模型的混淆感知选择性负样本

问题陈述

视觉语言模型（VLMs，如 CLIP）的少样本适配从根本上受到推理过程中负类信号处理方式的制约。现有方法通常对所有类别的每个查询应用统一的负样本抑制，而忽略了特定查询的混淆模式。这种方法忽视了这样一个事实：最具破坏性的混淆是特定于查询的，并且会随着支持集几何结构的变化而转移。因此，负信号往往被稀释到无关类别上，而不是集中在特定图像最有可能混淆的类别上。此外，当前方法依赖通用的负文本模板，并需要手动调整视觉与文本模态之间的权衡，限制了其对细粒度任务和分布偏移的适应能力。

方法论：SCAN 框架

作者提出了SCAN（混淆感知选择性负样本），这是一个无参数框架，旨在通过三种针对性机制优化少样本 VLM 的适配：

1. 查询自适应负样本路由

SCAN 不再对所有类别应用固定的负惩罚，而是在推理时动态路由负样本抑制。

机制：对于每个查询图像，系统基于正样本得分识别出前 $K$ 个最易混淆的类别。
路由：负样本抑制被严格限制在该混淆集 $N(q)$ 内。使用可混淆类别正样本得分的 Softmax 计算每个查询的混淆权重 $\beta_c(q)$ 。
优势：这将惩罚集中在最关键的区域，在不引入额外参数或训练开销的情况下，锐化了每个查询的决策边界。

2. 大语言模型引导的成对对比提示

SCAN 用判别性文本监督取代了通用的负样本模板（例如“不是{类别}"）。

生成：对于每个类别，系统在 CLIP 嵌入空间中识别其前 $k$ 个视觉上最易混淆的邻居。离线提示大语言模型（LLM）生成描述，刻画目标类别与这些特定邻居之间的区别（例如，“一张 $c$ 的照片，通过 [视觉属性] 可与 $c'$ 区分”）。
集成：这些成对对比描述作为负文本权重（ $w^-_c$ ），提供了超越简单否定类别名称的、基于事实的判别性语言。

3. 无参数自适应模态融合

该框架消除了手动调整视觉分支与文本分支之间平衡的超参数需求。

估计：融合权重 $\lambda$ 直接根据支持集几何结构进行估计。
逻辑：它计算视觉 Fisher 判别力（ $\sigma_v$ ，类间方差与类内方差之比）和文本判别力（ $\sigma_t$ ，源自文本权重的成对余弦相似度）。
适配：权重计算为 $\lambda = \text{clip}(\frac{\sigma_v}{\sigma_v + \sigma_t})$ 。当特征具有判别性时，这自然倾向于视觉分支；当类别名称在语义上非常接近时，则倾向于文本分支。

主要贡献

本文概述了三项主要贡献：

查询条件化负样本路由：一种将负样本抑制集中在每个测试图像最可能混淆的类别上的机制，而非应用统一惩罚。
大语言模型引导的对比提示：引入离线生成的、成对的对比描述，刻画类别与其最近语义邻居之间的区别，取代通用的负样本模板。
自适应模态融合：一种仅从支持集几何结构推断最佳视觉 - 文本权重的无参数方法，消除了手动调整的需求。

实验结果

SCAN 在11 个标准基准（包括 ImageNet、Caltech101、Flowers102 以及 Stanford Cars 和 FGVC Aircraft 等细粒度数据集）和四个 ImageNet 分布外（OOD）变体上进行了评估。

少样本性能：SCAN consistently 优于之前的基于提示的方法（CoOp, CoCoOp）和基于适配器的方法（CLIP-Adapter, Tip-Adapter-F, TaskRes）。
- 在16 样本设置下，SCAN 相比最强基线（SimNL）实现了**4.61%**的平均提升。
- 在类间混淆严重的细粒度数据集上，提升最为显著：DTD 和 FGVC Aircraft 提升了7.70%，Stanford Cars 提升了5.90%。
分布偏移鲁棒性：SCAN 在 ImageNet-V2、ImageNet-Sketch、ImageNet-A 和 ImageNet-R 上表现出强大的泛化能力，相比 SimNL 平均提升了2.95%。在 ImageNet-Sketch 上观察到了最大的增益（+3.20%）。
标签噪声鲁棒性：在显著的标签污染下（16 样本 ImageNet 上高达 50% 的噪声），SCAN 保持了稳健的性能。值得注意的是，其在 50% 噪声下的准确率（67.68%）超过了最强竞争方法（SimNL）在干净数据上的基线性能（66.52%）。

意义与主张

本文主张，SCAN 解决了将所有负信号视为同等重要的根本局限性。通过将范式转变为特定于查询的负样本路由，该方法有效地在高度混淆的场景中锐化了决策边界，同时不增加推理时的参数。

作者断言，针对负分支和文本监督的定向改进可以在不同领域产生显著且一致的增益。该框架在分布偏移下泛化的能力以及在严重标签噪声下保持鲁棒性的表现，表明查询自适应路由本质上具有抗噪性。这项工作将 SCAN 定位为一种即插即用的增强方案，兼容现有的基于适配器的少样本流程，为在数据稀缺且嘈杂的现实世界场景中构建更可靠的少样本视觉语言模型提供了一条路径。