🤖 machine learning

Visual Distribution Anchoring for Efficient Prompt Tuning

本文提出了视觉分布锚定（Visual Distribution Anchoring, VDA），这是一个无需训练的适配框架，通过从无标签目标数据中合成类级视觉原型来增强冻结的视觉-语言模型，从而在不需要目标标签、优化或测试查询访问的情况下，显著提升了跨多样化领域的零样本性能。

原作者： Pouya Parsa, Raoof Zare Moayedi, Seongjin Choi

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pouya Parsa, Raoof Zare Moayedi, Seongjin Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机可以同时“看”和“读”的世界，就像一个超级聪明的助手，看到一张狗的照片就能立刻知道“狗”这个词。这就是**视觉-语言模型（Vision-Language Models）**的魔力。这些模型是背后支撑着让你用手机拍张照就能让手机描述照片，或者用一句话搜索图像的技术大脑。它们通过学习海量的图片和文字来工作，但有一个难点：它们通常是在一组特定的规则（比如 2020 年的一本教科书）上进行训练，然后却被要求去参加一个完全不同世界的测试（比如 2026 年的一张森林卫星图）。

当这些模型试图适应新环境时，它们通常面临一个棘手的选择：要么坚持旧的、安全的规则（这可能会导致它们遗忘新的细节），要么尝试为每一张图片进行即时学习（这既慢又昂贵）。科学家们一直在寻找一种“金发姑娘”式的解决方案（意指恰到好处的方案）：一种能够微调模型，使其既能清晰地看到新世界，又不会搞坏它的“大脑”或降低其速度的方法。一个大问题是：我们如何教计算机识别一张“森林”的照片，而这张照片是从卫星视角而非地面视角拍摄的，且不需要人类去标注每一棵树？

于是有了 VDA（视觉分布锚定，Visual Distribution Anchoring），这是由研究人员 Pouya Parsa、Raoof Zare Moayedi 和 Seongjin Choi 提出的一种巧妙的新方法。你可以把 VDA 想象成一个“视觉翻译官”，它能帮助计算机在不需要老师手把手教导的情况下，调整自己的眼睛去适应一个新的社区。

故事是这样展开的。研究人员首先尝试了一个简单的想法：计算机能否仅仅通过阅读“森林”这个词，就猜出从太空看“森林”是什么样的？他们试图建立一座从“事物的名称”到“它的图片”之间的桥梁。结果证明这行不通。知道“森林”这个名字只能告诉你这个概念是什么，但它并不能告诉你从卫星视角看森林是什么样子的。计算机的猜测过于泛泛，无法匹配新领域的现实情况。

然而，研究人员发现了一些令人兴奋的事情：如果他们能仅仅通过“看”一些新世界的无标签图片（没有标签、只有原始图像的图片），他们就能建立一个更好的地图。他们不需要知道这些图片里树木或汽车的名字；他们只需要将它们进行分组。

VDA 策略：“抱团取暖”法

想象你走进一个巨大且混乱的派对，你不认识任何人，但你有一份名单（比如“狗”、“汽车”、“花”）。你不能询问人们的名字，但你可以观察他们。VDA 就像一个聪明的保安，利用两个线索来猜测他们是谁：

语义线索：“根据我对‘狗’的了解，这个人看起来像一只‘狗’吗？”
**领域线索：“在这个特定的房间里（新领域），这个人看起来像一只‘狗’吗？”

保安结合这两个线索做出快速判断。如果一张图片在这个新语境下看起来最像“汽车”，它就会被归入“汽车”堆中。至关重要的一点是，保安不会强迫每个堆的大小都一样。如果现场有 100 辆车而只有 2 朵花，那么汽车堆就有 100 个人，而花朵堆只有 2 个人。这被称为硬划分（hard partitioning）。

一旦完成了分组，VDA 会从每个堆中取出置信度最高的 32 个样本（即“看起来最像”的例子），并将它们平均化，从而创建一个视觉原型（Visual Prototype）。你可以把它想象成为“汽车”组创造一个“超级平均脸”，这个脸能完美捕捉到在这次特定派对中，汽车究竟长什么样。

神奇的融合

这里的秘诀在于：VDA 不会丢弃旧知识。相反，它提取出新的“超级平均”视觉脸孔，并将其与计算机原始的、冻结的知识进行温和的融合。这就像是将一张来自新派对的高清汽车照片，轻微地叠加在旧的、模糊的汽车素描图之上。结果是一个分类器，它既知道什么是“汽车”（基于旧知识），现在也确切知道在当前这个新环境下，“汽车”长什么样（基于视觉原型）。

他们的发现

研究人员在十个不同的“世界”（数据集）上测试了该方法，从标准训练集（ImageNet）到卫星图像、飞机图像和花卉图像。结果令人印象深刻：

他们将一个标准的“零样本（zero-shot）”模型（即从未针对新数据进行过训练的模型）的性能提升了 3.22 个百分点。
他们将一个基于源数据进行过训练的模型性能提升了 3.39 个百分点。
他们甚至帮助复杂的、多部分的模型提升了 3.35 个百分点。

在几乎所有情况下（10 个数据集中的 9 个），这种新方法都让计算机变得更聪明了。

他们排除了什么

论文非常明确地指出了哪些方法是行不通的。他们证明了你不能仅仅通过物体的名字来猜测其新的外观；计算机需要看到实际的图像。他们还表明，试图强迫每个类别拥有相同数量的样本（即“平衡”方法）实际上会让情况变得更糟。这种某些组很大而另一些组很小的“混乱”现实，实际上才是成功的关键。

“足够好”的误差

其中一个有趣的发现是，计算机并不需要达到完美才能发挥作用。有时，保安可能会把一辆“福特野马”归入通用的“汽车”堆，而不是特定的“野马”堆。尽管标签略有偏差，但这张图片看起来仍然是一辆车！研究人员发现，即使这些预测是不完美的，它们仍然包含了有用的视觉信息。只要视觉外观接近真相，计算机就可以利用它来改进自己的视觉能力，即使名称不是 100% 准确。

为什么这很重要

最棒的部分在于，VDA 是**无需训练（training-free）**的。它不需要计算机从头开始重新学习，也不需要人类去标注成千上万的新图像。它只需捕捉新世界的一个快照，对图像进行分组，并创建一个固定的、可缓存的“参考指南”，从而瞬间让模型变得更聪明。这是一种简单、高效的方法，帮助我们的数字眼睛去适应新世界，证明了有时，一点点视觉语境就能产生巨大的作用。

技术摘要：用于高效提示微调的视觉分布锚定 (Visual Distribution Anchoring)

1. 问题陈述

像 CLIP 这样的视觉语言模型 (VLMs) 通过将图像表示与源自类名的文本分类器进行比较来进行零样本识别。虽然提示微调（Prompt Tuning）利用有限的有标签源数据来适配这些模型，但现有方法面临着效率与适配能力之间的根本权衡：

静态文本提示（Static textual prompts）计算开销极低，但往往会过拟合于源分布，无法捕捉类别在新的目标域中是如何视觉化呈现的。
图像条件提示（Image-conditioned prompts）能适配单个查询，但会产生单实例的计算成本。
多模态微调（Multimodal tuning）修改视觉分支，增加了复杂度。

存在一个关键的差距：类名定义了语义身份（例如“森林”），但并未指定该类别在特定目标域中的视觉实例化形式（例如，一张俯瞰卫星视角的森林图像）。现有的尝试直接从类名合成视觉原型的研究，往往无法跨数据集迁移，因为它们恢复的是源域几何结构而非目标域外观。此外，间接的提示调节可能无法有效地利用即使在存在视觉原型时的可用信息。

2. 方法论：视觉分布锚定 (VDA)

作者提出了 VDA，这是一个无需训练的目标域适配框架，它通过从无标签的目标池中离线估计的类级视觉原型来增强冻结的语义分类器。该方法无需目标标签、目标侧优化、均匀类先验假设或迭代细化。

核心组件

冻结的语义与领域分类器：
- 一个冻结的语义分类器（例如 TCP 或零样本 CLIP）根据类名对图像进行评分。
- 一个固定的领域模板分类器根据类名与手动指定的领域描述（例如“一张 [class] 纹理的特写照片”）的组合对图像进行评分。
- 这两个分类器的 Logits 被取平均值，以此为每张无标签图像评分。
硬划分 (Hard Partitioning)：
- 不同于强制图像进入平衡分布的软分配方法（如 Sinkhorn），VDA 执行硬 argmax 分配，将每张图像精确分配给一个预测类别。
- 这允许不等的类别质量（Class Masses），从而反映无标签池的自然分布。
受限伪支持选择 (Capped Pseudo-Support Selection)：
- 在每个预测的类别组内，图像按分配置信度（Softmax 概率）进行排序。
- VDA 每个类别最多保留 $K$ 个（例如 $K=32$ ）排名靠前的图像作为“伪支持”（Pseudo-supports）。如果一个类别拥有的分配少于 $K$ 个，则全部保留；如果一个类别没有分配，则该类别仅依赖语义分类器。
- 至关重要的是，该方法并不要求完美的伪标签；即使是视觉局部错误（例如，误分类了特定的飞机型号，但正确识别了制造商）仍能提供有用的目标域外观信息。
原型估计与融合：
- 归一化的视觉原型被计算为每个类别所选伪支持特征的均值。
- 这些原型通过单个全局权重 ( $\lambda$ ) 与原始语义分类器进行融合。
- 这种融合是保守的：语义分类器保留类别身份，而视觉原型纠正目标域的外观。
- 在共享特征空间中（例如标准 CLIP），这种融合简化为一个固定的、可缓存的类向量，在推理期间不需要额外的计算。

3. 主要贡献

本文做出了三个主要贡献：

区分源重构与目标迁移： 作者证明了虽然“文本-质心”映射可以准确重构留出的源原型，但无法预测领域特定的目标原型。奥拉克尔分析（Oracle analyses）确认，真实的目标原型具有高度判别性，这说明了从文本本身而非从目标图像估计目标的必要性。
引入 VDA： 一个无需训练的框架，通过从不相交的无标签目标池中估计类相关视觉原型，并将其与冻结的语义分类器融合。它不需要目标标签、梯度更新或迭代细化。
机制分析： 受控实验表明，类特定硬划分是性能提升的主要驱动力，而非通用的目标域统计数据。此外，研究表明，当与语义稳定的分类器结合时，视觉局部的伪标签错误仍然是有用的。

4. 实验结果

作者在十个 ImageNet 到目标域的迁移任务中评估了 VDA（包括 Caltech101, Oxford Pets, Stanford Cars, Flowers102, Food101, FGVC-Aircraft, SUN397, DTD, EuroSAT, 和 UCF101）。

主要性能： 使用 TCP 作为基础语义分类器，VDA 将平均 Top-1 准确率从 65.82% 提高到 69.21%（+3.39 个百分点），在十个目标数据集中提升了九个。
基准对比：
- VDA 平均比 ZLaP 高出 1.53 个百分点。
- VDA 比匹配的、无先验的 InMaP 复现版本高出 2.98 个百分点。
- 该方法在不假设均匀类先验且不使用目标测试图像进行适配的情况下实现了这些增益。
泛化性： 视觉修正机制被应用于各种语义分类器，展示了持续的改进：
- Zero-shot CLIP： +3.22 点 (65.34% $\to$ 68.56%)。
- MaPLe (Multimodal Prompt)： +3.35 点 (66.25% $\to$ 69.60%)。
- PromptKD (Target-Distilled)： +2.79 点 (70.80% $\to$ 73.59%)。
消融实验洞察：
- 直接使用视觉原型而不进行语义融合带来的收益极小，证实了将外观修正与语义身份融合的必要性。
- 软分配方法（Sinkhorn）导致了高熵分配并降低了性能，验证了选择硬划分的正确性。
- 置信度排序提供的收益较小，且具有领域依赖性，相比于硬类对应关系而言。

5. 意义与主张

论文声称 VDA 提供了一种简单、高效且互补的机制，用于将基于提示的视觉语言模型适配到新领域。其意义在于：

无需训练的适配： 它消除了对目标侧优化、迭代细化或在适配阶段访问测试查询的需求。
解耦身份与外观： 通过将视觉原型视为“修正”而非“替代”，VDA 利用了语义分类器的鲁棒性，同时适配目标域的视觉偏移。
对不完美标签的鲁棒性： 该方法能有效利用不完美的伪标签，只要这些标签在视觉上属于真实的类别，这使得它在无法获得精确标签的场景中具有实用性。
部署效率： 生成的分类器是固定的且可缓存的，在共享特征空间运行时，与标准的冻结分类器相比，不会产生额外的推理成本。

作者得出结论，通过硬划分锚定的、源自无标签池的类级视觉证据，是高效提示微调中一种强大且尚未被充分利用的资源。