💻 computer science

PRiSM: Prototype Regularization for Few-Shot VLMs

本文介绍了 PRiSM，这是一种无需训练的原型正则化方法，它具有一种新颖的多项损失函数和高效的极大化-极小化（Majorize-Minimize）优化器，显著提高了少样本视觉-语言模型在面对类别不平衡和类别数量变化等当前最先进方法无法应对的现实挑战时的鲁棒性。

原作者： Ghassen Baklouti, Omprakash Chakraborty, Jose Dolz, Ismail Ben Ayed

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ghassen Baklouti, Omprakash Chakraborty, Jose Dolz, Ismail Ben Ayed

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人识别动物。你不想花上数年时间喂给它数百万张图片；相反，你希望在只展示几个关于新生物（比如“毛绒球”）的例子后，它就能理解并识别出剩下的部分。这就是**视觉-语言模型（Vision-Language Models, VLMs）**的世界。把这些模型想象成一个巨大的图书馆，其中的图片和文字已经分类存储在一个共享的文件系统中。机器人知道“狗”这个词和一张狗的照片都住在同一个图书馆社区里。

通常，为了教机器人学一个新技巧，科学家们会使用一种叫做**少样本学习（few-shot learning）**的方法。他们给机器人一个微小的“支持集”——仅仅几张特定动物的有标签示例（例如 4 张或 16 张特定动物的照片）——并要求它调整其内部地图，以便在新的、未见过的照片中识别出该动物。长期以来，科学家们使用一种非常整洁、有序的设置来测试这些方法：他们确保测试中的每种动物都有完全相同数量的示例。这就像一个教室，每个学生都恰好举手了一次。但在现实世界中，生活是混乱的。有些动物随处可见（如鸽子），而有些则很罕见（如雪豹）。这篇论文提出了一个简单但至关重要的问题：当我们不再假装世界是完美平衡的，而是开始向机器人喂食现实世界中那种混乱、不均匀的数据时，机器人的大脑会发生什么变化？

问题所在：“多数派投票”陷阱

来自蒙特利尔 ÉTS 的研究团队发现，我们目前的机器人老师其实出人意料地脆弱。他们发现，当你把这些模型应用于现实数据（即某些类别很常见，而另一些类别很罕见）时，模型会开始表现得极其糟糕。事实上，他们发现了一个奇怪的悖论：给机器人更多的例子反而会让它变得更糟。

想象一下，你正在尝试学习一所学校所有学生的姓名。如果你只能见到 4 个学生，而其中 3 个属于同一个受欢迎的小圈子，你可能会开始认为学校里的每个人看起来都像那个小圈子的人。如果你随后遇到了 16 个学生，而其中 15 个仍然属于那个相同的小圈子，你的困惑会变得更加严重。你太过于熟练地掌握了“多数派”，以至于你完全忘记了如何识别“少数派”。

论文显示，目前的“无需训练”（training-free）方法（本应是聪明且高效的）都掉进了这个陷阱。它们依赖于一个“原型”（prototype）——即一个类别的心理平均值。当数据不平衡时，这个心理平均值会被拉向多数派类别，从而模糊了不同动物之间的界限。你添加的数据越多，这种“拉力”就越强，导致机器人将罕见动物误认为是常见动物。

解决方案：PRiSM（“公平教练”）

为了解决这个问题，作者引入了一个名为 PRiSM（用于少样本视觉-语言模型的原型正则化）的新工具。你可以把 PRiSM 想象成一位严格但公正的教练，在机器人完成第一次尝试后介入。

以下是 PRiSM 如何工作的，我们用操场类比：

初始的混乱： 机器人观察它拥有的几张图片，并在每个动物所属的位置画出一张“心理地图”。因为常见动物的图片太多，地图变得扭曲且混乱；罕见动物被挤到了边缘。
教练的干预： PRiSM 并不会丢弃机器人的工作。相反，它应用一套规则（一个“正则化器”）来整理这张地图。
- 规则 1（保持真实）： “不要离你所看到的太远。” 它让机器人新的猜测保持在它所看到的实际图片附近。
- 规则 2（尊重原始知识）： “不要忘记你已经知道的东西。” 它确保机器人不会完全忘记其原始的、预训练的知识。
- 规则 3 (保持距离)： “确保各组之间不要重叠。” 这是最重要的一部分。PRiSM 会主动将不同动物的“心理簇”推开。如果机器人因为训练集中有太多的“狗”而把“猫”和“狗”搞混了，PRiSM 会在物理层面上将“猫”的簇从“狗”的簇中推开，从而在它们之间创造出清晰的空间。

团队还发明了一种特殊的、超快速的数学技巧（称为块主极大化极小优化器/block Majorize-Minimize optimizer）来进行这项清理工作。这就像拥有一个 GPS，能够瞬间计算出完美的行驶速度，而不需要先通过测试不同的速度。这使得整个过程极其快速且高效，不需要额外的“测试”数据来调整设置。

他们的发现

结果令人惊讶且充满力量。作者在 10 个不同的数据集上测试了 PRiSM，涵盖了从识别花卉、汽车到识别纹理和场景的范围。

“更多数据”悖论得到证实： 在他们现实且不平衡的测试中，他们观察到标准方法（如 Tip-Adapter 和 APE）在将训练样本数从 2 个增加到 16 个时，表现实际上变得更差了。例如，在某些数据集上，增加图片数量导致准确率下降了超过 30%。
神奇的修复： 当他们在这些失败的方法之上添加 PRiSM 时，准确率飙升。在最极端的失衡情况下，PRiSM 将一个失败的系统变成了顶尖的表现者。例如，在某个存在严重失衡的数据集上，PRiSM 将某种方法的准确率提升了超过 40 个百分点（从大约 21% 跳升至 60% 以上）。
它无处不在： PRiSM 不仅仅是针对弱模型的补丁。它甚至帮助现有的最强方法（如 ProKeR）实现了性能的进一步提升，这证明了问题不在于机器人的大脑，而在于类别排列的方式。

作者指出，这些模型在现实世界中失败的主要原因并不是它们不够聪明，而是我们测试它们的方式（假设完美平衡）掩盖了一个关键缺陷：原型偏差（prototype bias）。当数据不均匀时，机器人的“心理平均值”会发生偏移，而 PRiSM 正是将其纠正的工具。

为什么这很重要

这篇论文表明，为了让 AI 在现实世界中真正发挥作用，我们需要停止在“完美的教室”里测试它，而应该开始在“混乱的操场”里测试它。通过引入一个模拟现实世界不平衡情况的基准测试，以及一个能够修复由此产生的混乱的工具（PRiSM），作者展示了我们可以构建出足够鲁棒的 AI，使其能够处理我们每天都会遇到的不均匀的数据分布。他们不仅找到了一种改进机器人调优的方法，还找到了一种让机器人变得更公平的方法，确保它能同时关注到稀有和常见的物种。

技术摘要：PRiSM - 用于少样本视觉语言模型的原型正则化

问题陈述

本文指出了当前无需训练的视觉语言模型（VLM）少样本适配方法存在的两个关键局限性：

不切实际的评估协议： 标准基准测试依赖于类别平衡的支持集和查询集。这种假设掩盖了在现实世界场景中发生的严重原型偏差，因为在这些场景中，数据分布自然是倾斜的（类别不平衡），且观察到的类别集合可能是不完整的。
性能随数据量增加而退化： 与标准的少样本假设相反，作者观察到在现实的类别不平衡情况下，增加 shot 数（标记样本数）往往会降低现有最先进的无需训练方法的性能。这些方法不仅没有细化决策边界，反而由于来自不平衡分布的额外样本放大了对多数类的偏向，导致原型扭曲并增加了类间混淆。

现有方法（如 Tip-Adapter、APE、GDA、ProKeR）通常需要通过验证集进行特定任务的超参数调优——而在无法获得或难以标注此类验证集的场景下，这种做法违反了少样本假设。此外，这些方法缺乏纠正由倾斜支持分布引起的固有原型估计偏差的机制。

方法论：PRiSM

作者提出了 PRiSM（用于少样本 VLM 的原型正则化），这是一个即插即用的框架，旨在无需验证集即可纠正有偏差的类别原型。

1. 目标函数

PRiSM 通过优化一个新颖的多项损失函数，从基准分类器的原型 $a$ 中学习正则化的原型 $w$ 。该目标函数结合了三项：
$L(w, \phi) = \beta \sum_{c} \|w_c - \mu_c(\phi)\|_2^2 + \gamma \sum_{c} \|w_c - a_c\|_2^2 - \frac{\lambda}{2(C-1)} \sum_{c \neq c'} \|w_c - w_{c'}\|_2^2$
其中：

支持特征对齐 ( $\beta$ )： 鼓励修正后的原型 $w_c$ 与支持集的平均视觉特征 $\mu_c(\phi)$ 对齐，确保与观察到的数据分布保持一致。
基准保真度 ( $\gamma$ )： 将修正后的原型锚定在原始基准原型 $a_c$ 上，防止与预训练的零样本知识发生实质性偏离。
类间分离 ( $\lambda$ )： 一个成对正则项，旨在最大化不同类别原型之间的距离，从而减少干扰并提高在不平衡条件下的可分性。

优化过程涉及两个变量块：修正后的原型 $w$ 和视觉编码器参数 $\phi$ 。

2. 优化策略：块最大化-最小化 (MM) 算法

为了高效解决非凸目标函数，作者引入了一个块最大化-最小化 (MM) 优化器，它在以下两者之间交替进行：

原型纠正： 在保持 $\phi$ 固定时更新 $w$ 。由于该目标函数对于 $w$ 是二次的，作者推导出了一个有效的块级 Lipschitz 常数 $\rho$ （Hessian 矩阵谱范数的上界）。这允许使用隐式步长 $1/\rho$ ，从而消除了对计算昂贵的网格搜索寻找学习率的需求。该界限通过 Gershgorin 圆定理 高效计算得出。
特征适配： 在保持 $w$ 固定时更新 $\phi$ 。这是通过使用 LoRA（低秩适配）进行标准反向传播完成的，以确保参数效率，仅更新视觉编码器的一小部分层。

核心贡献

现实的基准测试： 作者通过引入一个利用 Dirichlet 采样来改变类别不平衡度和有效类别数的基准测试，揭示了标准少样本协议的局限性。他们证明了在严重的类别不平衡下，随着 shot 数的增加，标准方法的性能会下降。
PRiSM 框架： 一个无需验证、即插即用的原型正则化模块，可以部署在任何现有的无需训练的基准方法之上。它有效地缓解了多数类主导问题，同时保留了 VLM 嵌入空间的判别结构。
高效优化： 推导出了用于原型更新的块级 Lipschitz 常数，从而实现了一种有原则的、无需验证的步长选择，该方法在计算上是高效且具有理论依据的。
实证验证： 大量实验表明，PRiSM 显著提升了多种基准方法（Tip-Adapter、APE、GDA、ProKeR）的性能，特别是在存在严重类别不平衡和高类别数量的场景下。

实验结果

实验在 10 个不同的图像分类数据集（如 Oxford-Pets、EuroSAT、Food-101）上使用带有 ViT-B/16 主干网络的 CLIP 进行。

严重不平衡（高有效类别）： 在严重不平衡的情况下，基准方法往往随着 shot 数的增加而性能退化（例如，当从 2-shot 变为 16-shot 时，Tip-Adapter 的准确率从约 63% 下降到约 33%）。PRiSM 反转了这一趋势，在 16-shot 设置下将 Tip-Adapter 的平均准确率提升了 +35.05%，在 4-shot 设置下提升了 +23.22%。
近平衡设置： 即使在近平衡条件下，PRiSM 也能提供持续的增益，在 16-shot 设置下 Tip-Adapter 提升了 +29.79%。
低有效类别： 在有效类别较少的机制下，PRiSM 仍然带来了显著改进，特别是对于较弱的基准方法，这证实了即使在减少标签空间的情况下，原型偏差依然存在。
对比： 一旦原型得到正则化，PRiSM 使简单的模型（如 Tip-Adapter）能够达到与更复杂的先进方法（如 ProKeR）相当甚至更高的性能水平。
学习率分析： 提出的基于 Lipschitz 的步长被证明可以在无需进行详尽超参数调优的情况下，匹配各数据集的最佳性能区间，验证了其理论推导的有效性。

重要性与主张

本文声称，少样本 VLM 适配的主要瓶颈不在于适配机制本身，而在于用于预测的类别原型质量，这些原型往往受到不平衡数据的偏差影响。

作者认为：

原型偏差是一种常见的失效模式： 不平衡导致的偏差是多种适配方法中一种系统性的失效模式。纠正这种偏差可以系统性地提升各种方法的性能。
无需验证的适配是可行的： 通过推导具有理论依据的步长并使用平衡了对齐、保真度和分离度的多项损失，PRiSM 在无需访问不切实际的有标签验证集的假设下，实现了具有竞争力的性能。
评估的现实性： 所提出的基准测试强调，当前的先进技术声明可能由于不切实际的类别平衡假设而被夸大。作者倡导使用反映现实世界倾斜分布的评估协议，以促进开发更鲁棒的适配技术。

论文总结道，PRiSM 提供了一种简单而有效的修正方法，它通过正则化原型几何结构，在保持语义保真度的同时防止向主导类坍缩，从而增强了在挑战性少样本机制下的鲁棒性。