💻 computer science

Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models

本文提出了一种可微架构搜索方法，用于为视觉 Transformer 发现最优的特定层提示融合方案，证明了结合拼接、相加、仿射变换和交叉注意力的混合融合方法在多种数据集上较现有的提示微调基准显著提升了性能与效率。

原作者： Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人，它已经学会了识别成千上万种事物（一个“视觉 Transformer”或 ViT）。现在你想教它一项新的、特定的工作，比如识别稀有鸟类或发现特定类型的云朵。

通常，要教这个机器人一项新工作，你有两个糟糕的选择：

全量重训（Full Retraining）： 你从头开始重新教机器人所有知识。这就像是为每一门学科都专门聘请一位新老师；既昂贵又缓慢，而且你可能会忘掉旧的知识。
标准“提示词微调”（Standard "Prompt Tuning"）： 你给机器人几张便利贴（称为“提示词”），上面写着关于如何观察新图像的指令。机器人阅读这些笔记，并尝试进行适应。然而，在目前的方法中，只有一种将这些笔记贴到机器人大脑上的方式：要么你把它们直接贴在图像旁边（拼接/concatenation），要么你直接把指令写在图像上面（相加/addition）。

这篇论文的作者提出了一个简单的问题：“是否只有一种正确的方式来把这些笔记贴在上面，还是说机器人的不同思考层级会更偏好不同的阅读方式？”

核心理念：“自动提示”（Auto-Prompting）

研究人员构建了一个名为 Auto-Prompting 的系统。他们没有强迫机器人只能用一种方式来阅读指令，而是让机器人为每一个思考步骤选择最合适的阅读方式。

把机器人的大脑想象成一座 12 层高的建筑，信息从底层（看到简单的形状）向顶层（理解复杂的概念）流动。

在底层（早期层级）： 机器人可能更喜欢一种简单的“相加（Add）”笔记，即仅仅添加一个微小的提示而不改变视图。
在顶层（深层层级）： 机器人可能更喜欢一种“交叉注意力（Cross-Attention）”笔记，这就像一个聪明的图书管理员，能够主动在指令中搜索，以找到完成最终答案所需的特定线索。

他们是如何做到的：“可微搜索”（Differentiable Search）

你如何教机器人选择自己的阅读风格？你不能只是问它，你必须让它尝试一切并从中学习。

作者使用了一种名为**可微架构搜索（Differentiable Architecture Search）**的技术。想象一位厨师试图寻找完美的食谱。他不是做一道菜、尝一下、然后再做另一道，而是创造一种“超级汤”，其中每种成分（每种融合方法）都稍微混合在一起。随着厨师品尝这道汤，他们会慢慢增加美味成分的热度，并降低不好吃成分的热度。最终，这道汤变成了一道完美的、仅由最优质成分组成的单一佳肴。

在他们的案例中：

他们创建了一锅包含四种混合指令方式的“汤”：拼接（Concatenation）（贴便签）、相加（Addition）（写在上面）、仿射变换（Affine Transformation）（调整笔记的音量/亮度）以及交叉注意力（Cross-Attention）（智能搜索笔记）。
他们让机器人在训练过程中运行这个“汤”的过程。
机器人学会了对于哪一层楼使用哪种方法效果最好。
最后，他们“冻结”了这个选择。现在，机器人使用这种方法的完美组合，而无需承担额外的“汤”带来的成本。

结果：为什么这很重要

论文在 34 个不同的数据集（从识别花朵到发现汽车和医学图像）上测试了该方法。

更高的准确率： 与使用旧有的“一刀切”方法的机器人相比，机器人能更好地学习新工作。它在处理计数物体或理解 3D 形状等棘手任务时表现得显著更好。
高效性： 尽管机器人在训练期间需要“尝试”不同的方法，但最终的机器人与旧的机器人一样快。这就像一个学生通过尝试不同的学习技巧来找到最适合自己的方法，但一旦毕业，他只需使用那一个最好的技巧即可。
“混合型”发现： 最重要的发现是，没有任何单一的方法是最好的。 最好的解决方案是一个混合体：在早期思考阶段使用简单的方法，在深度思考阶段使用复杂的方法。

总结

这篇论文证明了，当我们教 AI 执行新的视觉任务时，我们不应该强迫它使用单一、僵化的方式来阅读我们的指令。相反，我们应该让它去发现，大脑的不同部分需要不同种类的帮助。 通过让 AI “搜索”将指令与所见事物结合的最佳方式，我们得到了一个更聪明、更具适应性且依然非常高效的机器人。

技术摘要：通过视觉基础模型中的可微搜索实现层特定提示融合发现

1. 问题陈述

视觉提示微调（Visual Prompt Tuning, VPT）已成为一种参数高效的微调（PEFT）策略，用于将大规模视觉 Transformer（ViT）适配到下游任务。在标准的 VPT 中，可学习的提示标记（prompt tokens）被注入到冻结的 ViT 主干网络的输入空间和特征空间中。其核心操作涉及在提示标记进入 Transformer 层之前将其与图像标记（image tokens）进行融合。

目前，社区主要依赖于一种单一且固定的融合方案——即拼接（concatenation）或相加（addition）——并将其统一应用于所有 Transformer 层。本文指出该方法存在一个根本性的缺陷：目前尚不清楚单一融合方案是否对所有层和任务都是最优的，以及混合融合方式（在不同层结合不同的方案）是否能更好地利用 ViT 的层级语义。现有文献很少将融合规则本身设计为可学习的组件，通常将其视为静态超参数。

2. 方法论：自动提示（Auto-Prompting）

作者提出了一个统一的框架，称为 Auto-Prompting，该框架将提示与图像标记之间的融合视为一个可搜索的、可微的组件。该方法被公式化为一个通过可微神经架构搜索（DARTS）求解的双层优化问题。

2.1 搜索空间设计

为了在标准拼接和相加之外丰富搜索空间，作者引入了两种额外的轻量级融合算子：

拼接 ( $\Delta_{concat}$ )：将提示标记前置于图像标记，并应用一个保持标记数量不变的归约矩阵，以维持固定的主干网络接口（ $k \times d$ ）。
相加 ( $\Delta_{add}$ )：通过对提示进行层归一化均值（LayerNorm-mean）汇总并进行广播，注入一个依赖于提示的残差偏差。
仿射变换 ( $\Delta_{affine}$ )：应用特征线性调制（FiLM），利用提示汇总生成通道级的缩放（scale）和偏移（shift）参数。
交叉注意力 ( $\Delta_{cross}$ )：实现内容自适应路由，使图像标记能够关注（attend to）提示记忆（将其视为键/值来源）。

2.2 双层优化

该框架分为两个阶段运行：

内层循环（训练）：在训练集上优化可学习的提示参数 ( $\phi$ ) 以及融合算子的内部权重。
外层循环（验证）：优化架构逻辑值 ( $\alpha$ )，该值决定了每一层融合算子的混合权重 ( $\pi$ )。这是通过使用带有 Hessian 向量积的一步展开近似法来实现的，用以近似验证损失相对于架构参数的梯度。

外层目标函数包含正则化项：

熵正则化（Entropy Regularization）：鼓励对搜索空间进行探索，以防止过早收敛到单一算子。
成本正则化（Cost Regularization）：除非较重的算子（仿射/交叉注意力）能带来显著的精度增益，否则会偏向于选择较轻的算子（相加/拼接），从而确保精度与延迟之间的权衡。

2.3 离散化

在搜索阶段之后，通过选择每个层中概率最高的算子来将连续的混合权重离散化。随后进行一段短时间的微调阶段，以恢复剪枝后的离散架构的性能。

2.4 理论视角：信息瓶颈（Information Bottleneck, IB）

作者通过信息瓶颈原理来解释该方法。他们观察到，联合优化提示和融合方案比仅优化提示具有更低的经验 IB 代理值。具体而言，学习到的混合融合允许深层压缩输入相关的变化（减少 $I(T; X)$ ），同时更好地对齐标签信息（增加 $I(T; Y)$ ），这表明实现了更优的压缩-相关性权衡。

3. 核心贡献

根本性探究：本文挑战了“单一融合方案已足够”的假设，揭示了固定融合（拼接或相加）无法在多样化任务和层级上达到最优性能。
新型优化框架：提出了一种混合融合方法，将其公式化为双层优化问题，通过可微架构搜索共同学习提示和层特定的融合规则。
搜索空间扩展：将仿射变换和交叉注意力作为新的轻量级原语引入 VPT 搜索空间，实现了更具表达力且高效的融合基底。
全面验证：该工作提供了理论解释（通过 IB）和广泛的实证评估，回答了关于混合融合在视觉提示微调中的必要性和可扩展性的关键问题。

4. 实验结果

该方法在三个主要基准测试的 34 个数据集上进行了评估：VTAB-1k（19 个数据集）、FGVC（5 个细粒度数据集）和 HTA（10 个多样化数据集）。主干网络为冻结的 ViT-Base/16。

性能提升：
- VTAB-1k：实现了 77.01% 的平均准确率，超过强基线 VPT-Deep (69.43%) 7.58%，并超过近期变体如 VFPT (75.49%) 1.52%。
- FGVC：实现了 92.5% 的平均准确率，超过 VPT-Deep (85.5%) 7.0%。
- HTA：实现了 91.6% 的平均准确率，比 VPT-Deep (85.5%) 提高了 6.1%。
- 参数效率：该方法仅微调了 ViT 0.75% 的参数（包括任务特定头），与其他 SOTA PEFT 方法相当或更低。
泛化能力：
- 该方法在不同的预训练范式（MAE 和 MoCo v3）下均表现出鲁棒性，在基于重建和基于对比的目标下均一致优于基线。
- 该方法也在 Swin-Base 上得到了验证，展示了类似的增益和对层次化主干网络的适应性。
消融研究：
- 单一 vs. 混合：没有任何单一算子（拼接、相加、仿射或交叉注意力）是统一最优的。可搜索的混合方法始终优于任何固定的单一算子基线。
- 层级模式：分析显示，浅层更倾向于轻量级算子（拼接/相加）以保留结构化线索，而深层则转向语义算子（仿射/交叉注意力）进行特征校准和内容自适应路由。
- 效率：虽然搜索阶段会产生训练开销（约为 VPT-Deep 的 1.38 倍），但最终的离散化模型仅增加了 7.4% 的推理延迟（15.9ms vs. 14.8ms），同时带来了显著的精度提升。

5. 重要性与主张

本文声称，提示如何与图像标记融合是视觉提示微调中影响泛化能力的初级因素。通过从固定的融合方案转向层特定的、学习到的混合融合，该方法有效地利用了不同 ViT 层对表示的不同需求。

作者断言，他们的研究结果为视觉提示微调研究提供了一个全新的视角，弥合了神经架构搜索（NAS）与轻量级微调之间的鸿沟。他们得出结论，混合融合方式不仅是最优的，而且具有高度的可扩展性，能够无缝地将新的单融合方案纳入搜索空间。这种方法允许冻结的主干网络在不借助更重的头部或手工设计的归纳偏置的情况下，更有效地适应领域偏移和复杂任务（特别是结构化推理）。