💻 computer science

Prompt-based Adaptation in Large-scale Vision Models: A Survey

本文首次系统性地提出了“基于提示的适应”（PA）统一框架，从注入粒度和生成机制两个维度厘清了视觉提示（VP）与视觉提示微调（VPT）的概念边界，并全面综述了其在多领域应用、基准测试及未来挑战等方面的研究现状。

原作者： Xi Xiao, Yunbei Zhang, Lin Zhao, Yiyang Liu, Xiaoying Liao, Zheda Mai, Xingjian Li, Xiao Wang, Hao Xu, Jihun Hamm, Xue Lin, Min Xu, Qifan Wang, Tianyang Wang, Cheng Han

发布于 2026-03-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xi Xiao, Yunbei Zhang, Lin Zhao, Yiyang Liu, Xiaoying Liao, Zheda Mai, Xingjian Li, Xiao Wang, Hao Xu, Jihun Hamm, Xue Lin, Min Xu, Qifan Wang, Tianyang Wang, Cheng Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一份**“给巨型 AI 大脑的‘微调指南’"**。

想象一下，现在的计算机视觉模型（比如能识别猫狗、分析医疗片子的 AI）就像是一个已经读完了万卷书、见过无数世界的“超级学霸”。这个学霸是在海量数据（比如 ImageNet）上训练出来的，知识渊博，但如果你直接让他去干一件他没见过的新工作（比如识别某种特定的罕见病，或者在浓雾中开车），让他从头重新学习（全量微调）既费钱又费时，还容易让他把以前学好的东西给忘了。

这篇论文就是为了解决这个问题，它介绍了一种叫**“基于提示的适应”（Prompt-based Adaptation, PA）**的聪明办法。

核心概念：两个“外挂”策略

论文把现有的方法分成了两大类，我们可以用两个生动的比喻来理解：

1. 视觉提示 (Visual Prompting, VP) —— “给题目加个便签”

比喻：想象这个“超级学霸”正在做题，但他对某些新题目有点懵。你不需要教他新知识，你只需要在题目旁边贴一张便签，或者在图片上画个圈、打个点，告诉他：“嘿，看这里！重点是这个！”
怎么做：这种方法是在输入端（也就是图片本身）做手脚。
- 固定便签：比如医生在 X 光片上画个圈，告诉 AI“看这里有个肿瘤”。
- 智能便签：用一个小程序自动在图片上加一些人类看不见的“隐形标记”或颜色滤镜，让 AI 更容易看懂。
优点：不需要改动学霸的大脑（模型参数），只要改改题目（输入图片）就行。特别适合那些不能直接修改模型内部的情况（比如你只能调用别人的 API）。

2. 视觉提示微调 (Visual Prompt Tuning, VPT) —— “给大脑装个‘思维插件’"

比喻：这次你没法改题目了，但你可以在学霸的大脑里塞进几个**“思维插件”（或者叫“提示词”）。这些插件就像是大脑里的几个“小助手”**，它们专门负责把新任务的信息传递给学霸。
怎么做：这种方法是在模型内部（也就是 AI 处理数据的中间层）插入一些可学习的“提示向量”。
- 浅层插件：只在第一层加几个小助手。
- 深层插件：在每一层都加小助手，层层递进地引导。
优点：这些“小助手”非常轻量，只占极少的内存，但能极大地改变学霸的思考方式，让他迅速适应新任务，同时保留他原本的知识。

论文主要讲了什么？

这篇论文就像是一个**“导航地图”**，把目前所有乱七八糟的“提示”方法整理得井井有条：

分类清晰：它把方法分成了“贴便签的（VP）”和“装插件的（VPT）”，并进一步细分为是“固定的”、“可学习的”还是“自动生成的”。
应用场景广：
- 医疗：帮医生在 CT 片上快速定位病灶。
- 遥感：从卫星图里数清楚有多少辆车或树木。
- 工业：在流水线上自动发现产品上的微小瑕疵。
- 自动驾驶：让车在暴雨或大雾天也能看清路。
- 3D 世界：让 AI 理解点云数据（比如激光雷达扫描的 3D 模型）。
解决难题：
- 数据少：只有几张图也能学会新任务（少样本学习）。
- 环境变：今天晴天，明天雨天，模型能自动适应（测试时适应）。
- 隐私保护：数据不能离开本地，模型也能通过“提示”来学习（联邦学习）。
信任与安全：讨论了怎么防止这些“提示”被坏人利用（比如注入恶意提示让 AI 犯错），以及如何保证 AI 的公平性。

为什么这篇论文很重要？

以前大家觉得，要适应新任务就得“大动干戈”地重新训练整个模型，既烧钱又烧显卡。这篇论文告诉我们：其实不需要！

就像给一个经验丰富的老员工发一本**“新业务操作手册”**（提示），他就能立刻上手新工作，而不需要把他送回学校重新读四年书（全量微调）。

对于开发者：这是一本“避坑指南”，告诉你什么时候该用“贴便签”（VP），什么时候该用“装插件”（VPT）。
对于普通人：这意味着未来的 AI 应用会更便宜、更灵活、更智能。你的手机、汽车、医疗设备里的 AI，都能用很少的资源就学会处理各种新情况。

一句话总结：
这篇论文告诉我们，与其费力地重新训练一个巨大的 AI 大脑，不如给它一些聪明的“提示”和“小工具”，让它用最小的代价，瞬间变身成解决各种新问题的专家。

这是一篇发表于《机器学习研究学报》（Transactions on Machine Learning Research, TMLR）2026 年 2 月刊的综述论文，题为《大规模视觉模型中的基于提示的适应：综述》（Prompt-based Adaptation in Large-scale Vision Models: A Survey）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

随着 Vision Transformer (ViT) 和 Swin Transformer 等大规模视觉模型的兴起，计算机视觉领域普遍采用“预训练 - 微调”（Pretrain-then-Finetune）范式。然而，随着模型规模不断扩大，传统的全量微调（Full Fine-tuning, FT）面临计算成本高、存储需求大以及可能破坏预训练知识（Catastrophic Forgetting）的挑战。

虽然参数高效微调（PEFT）方法应运而生，但在当前研究中，视觉提示（Visual Prompting, VP）和视觉提示微调（Visual Prompt Tuning, VPT）这两个概念经常被混用，缺乏清晰的界限和系统的区分。现有的综述多集中在多模态或视觉 - 语言领域，缺乏专门针对大规模纯视觉模型内部机制的系统性梳理。

核心问题：如何统一界定 VP 和 VPT，建立清晰的分类体系，并系统分析其在不同场景下的应用、效率权衡及理论基础。

2. 方法论与统一框架 (Methodology & Framework)

论文提出了一个统一的框架，称为基于提示的适应（Prompt-based Adaptation, PA），并从第一性原理出发，根据提示注入的粒度（Injection Granularity）将 PA 分为两大类：

A. 视觉提示 (Visual Prompting, VP) - 像素级

定义：在模型输入空间（像素级）修改输入图像，通过提示函数 $u(x; \theta)$ 生成 $\tilde{x}$ ，然后输入冻结的编码器。
分类：
1. VP-Fixed：不可学习的提示（如 SAM 中的点、框、掩码），无需训练，零样本友好。
2. VP-Learnable：在像素空间优化可学习的提示（如覆盖层、残差、频域线索），通常使用梯度或零阶优化。
3. VP-Generated：利用小型生成器 $g_\psi$ 为每个实例生成自适应的像素级提示（如 BlackVIP）。
特点：操作在输入空间，不修改模型内部结构，适合黑盒模型或 API 访问场景。

B. 视觉提示微调 (Visual Prompt Tuning, VPT) - Token 级

定义：在冻结的骨干网络内部，将可学习的提示 Token 注入到特征序列（Token Sequence）中。
分类：
1. VPT-Learnable：直接优化可学习的 Token 向量。分为浅层（仅第一层）和深层（每层注入）。
2. VPT-Generated：利用生成器根据输入动态生成 Token。
特点：操作在特征空间，能更深层地调整模型语义表示，适合白盒模型和复杂域适应任务。

C. 效率分析

VPT：显著减少了参数量和优化器状态（仅训练提示和头），但反向传播仍需经过整个骨干网络，因此激活显存（Activation Memory）占用与全量微调相近。
VP：同样冻结骨干，参数开销极小（甚至为零）。VP-Fixed 甚至无需训练提示参数。但在训练时，若需计算提示的梯度，仍需经过骨干网络。VP 在推理时的计算开销极低。

3. 主要贡献 (Key Contributions)

首个统一分类体系：首次明确区分了 VP（像素级）和 VPT（Token 级），并进一步根据生成机制（固定、可学习、生成式）建立了细粒度的分类法（Taxonomy）。
跨领域应用综述：系统梳理了 PA 在基础视觉任务（分割、恢复、压缩）、多模态任务以及特定领域（医疗、遥感、机器人、工业检测、自动驾驶、3D 点云、水下环境等）的应用。
约束场景下的适应：总结了 PA 在数据受限（少样本、无监督域适应）、动态环境（测试时适应 TTA、持续学习）以及资源受限（黑盒、联邦学习）场景下的表现。
可信 AI 与理论基础：探讨了 PA 在鲁棒性、公平性、隐私安全方面的作用，并从理论角度分析了 PA 如何改变模型行为（如注意力机制）以及提示的学习动态。
挑战与未来方向：指出了当前面临的安全对齐、训练稳定性、推理延迟以及真实世界评估不足等挑战。

4. 关键结果与发现 (Results & Findings)

性能权衡：
- VP 在交互式任务（如 SAM 分割）、黑盒部署及输入空间校正（如去雾、水下增强）中表现优异，具有极高的部署灵活性。
- VPT 在处理严重的域偏移（如从自然图像到遥感/医疗）、需要深层语义重对齐（如 3D 点云、视频理解）的任务中，通常比 VP 和全量微调在参数效率上提供更好的性能平衡。
生成机制选择：
- 固定提示：适合交互性强、可解释性要求高的场景。
- 可学习提示：适合稳定的域适应，但缺乏实例级动态性。
- 生成式提示：在复杂、实例变化大的场景中泛化性最强，但增加了推理延迟和训练复杂度。
理论洞察：
- VP 通过重新分配注意力（Attention Reallocation）来改变模型行为。
- VPT 的提示 Token 在训练过程中会逐渐与图像 Patch Token 的分布对齐，建立更强的相关性。
- 提示长度与性能呈非线性关系，过多的提示带来的收益递减（对数趋势），少量高质量提示往往足够。

5. 意义与影响 (Significance)

填补空白：这是第一篇专门针对大规模视觉模型中基于提示适应方法的全面综述，澄清了长期存在的概念混淆。
指导实践：为研究者和从业者提供了清晰的选型指南（Guideline for Selection），帮助根据访问权限（黑盒/白盒）、任务类型（空间校正/语义重对齐）和资源限制选择 VP 或 VPT。
推动落地：通过强调 PA 在医疗、工业、自动驾驶等实际场景中的参数高效性和适应性，加速了大模型在资源受限和隐私敏感环境中的落地应用。
未来方向：指出了从学术基准向真实世界复杂场景（Real-world Environments）评估转变的必要性，并强调了安全性、稳定性和低延迟推理的重要性。

总结：该论文不仅系统化了 Prompt-based Adaptation 的理论框架，还深入剖析了其在不同维度的应用潜力，为未来构建更高效、更鲁棒、更可信的大规模视觉模型提供了重要的路线图。