💻 computer science

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP 是一种查询高效、全前向的方法，它通过同时扰动随机逼近，利用跨模态低秩重参数化、梯度修正动量和动态秩调度，优化冻结 CLIP 模型中视觉和文本分支的深度提示，在多个基准测试中超越了现有的零阶方法。

原作者： Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人，它读遍了整个互联网，并学会了理解图片和文字。它就像一位天才图书管理员，仅凭观察就能立刻告诉你一张照片的主题，或者用完美的句子来描述一个场景。这个机器人被称为“视觉-语言模型”（Vision-Language Model），它功能极其强大。但问题在于：通常情况下，为了教这个机器人一项新技能——比如识别某种稀有的特定花卉或奇怪的医学扫描图——你必须让它“重构”自己的大脑。这个过程非常繁重，就像是在图书馆还对公众开放时，试图重新组织整个庞大的藏书一样，需要消耗大量的计算能力和内存。

有时，你无法做到这一点。也许这个机器人生活在你口袋里一个微小的、由电池供电的设备中；或者它是一个你只能通过聊天窗口与之交流的秘密服务机构，而那个窗口并不允许你查看它的思考过程。在这种情况下，你不能重构机器人的大脑，你只能向它传递新的指令。这被称为“提示词微调”（Prompt Tuning）。与其改变机器人的大脑，不如给它一组特殊的提示或“提示词”来帮助它解决新的谜题。问题在于，寻找完美的提示通常需要大量的尝试与错误，如果你看不见机器人的内部想法（梯度），那就如同在蒙着眼睛于草堆中寻针，效率极低。你可能需要成千上万次的尝试才能找对方向，这对于现实生活来说太慢也太昂贵了。

这就是名为 ZOMP 的新方法大显身手的地方。把 ZOMP 想象成一位聪明的侦探，它通过改变“搜索方式”来解决这个“盲目寻针”的问题。它不是试图一次性猜出所有细节，而是采用一种聪明的策略：先猜出最重要的部分，然后再慢慢填补剩余的部分。

以下是它的工作原理，我们使用一些有趣的隐喻：

“共享蓝图”技巧 (The "Shared Blueprint" Trick)
通常，当你试图教机器人新事物时，你必须分别为它的“眼睛”（视觉）和“声音”（文本）编写单独的提示。如果你试图同时为两者编写深奥复杂的提示，可能性就会变得极其巨大，导致盲目的搜索迷失方向。ZOMM 改变了游戏规则，它提出：“让我们使用一个共享蓝图。”想象一下，眼睛和声音的提示都是由同一套小型的乐高积木搭建而成的。你只需要搞清楚如何排列这几块积木，它们就会自动构建出适用于眼睛和声音的正确提示。这让搜索空间保持在小巧且可控的范围内，尽管这些提示本身既深奥又复杂。

“预算索引式”扩张 (The "Budget-Indexed" Expansion)
即使有了共享蓝图，在蒙着眼睛的情况下尝试排列所有的积木仍然非常困难。ZOMP 使用了一个“预算”系统。想象你有一个有限的猜测次数（查询）来找到最佳提示。ZOMP 开始时只允许自己摆弄第一块最重要的积木。它找到那块积木正确的方向后，一旦确定自己走在了正确的轨道上，它就会“解锁”下一块积木，接着是下一块，只有在拥有可靠方向时才缓慢地扩展搜索。这就像学习开车：你从一个空旷的停车场开始（微小的搜索空间），熟悉之后，再慢慢进入社区街道，最后驶向高速公路。你不会在第一天就尝试在高速公路上开车。

“动量”记忆 (The "Momentum" Memory)
因为搜索过程是“盲目”的，它获得的线索往往带有噪声且不稳定，就像在波涛汹涌的船上行走。ZOMP 添加了一个“动量”记忆。把这想象成一名冲浪者，他不仅仅是对每一波浪潮做出反应，而是能记住海洋推挤的总体方向。即使一波浪把他撞向侧面，他仍能继续朝着正确的方向前进，因为他记得自己原本要去哪里。这有助于机器人忽略噪声，并坚持在正确的路径上行驶。

结果
研究人员在 13 个不同的挑战任务中测试了这种方法，从识别花卉到识别卫星图像中的车辆。他们给了 ZOMP 和其他方法完全相同的猜测次数（5,000 次查询）。结果显示，ZOMP 始终能比其他方法找到更好的提示。它不仅仅是做得稍好一点，在机器人通常难以应对的棘手任务上，它的准确率往往显著更高。

真正酷的一点是，ZOMP 不仅仅在它训练的特定任务上表现出色。它在处理从未见过的奇怪情况（比如识别物体的素描稿而非照片）时也变得更强了。这表明，通过仔细且高效地搜索，ZOMP 学会了如何更聪明地利用现有的知识，而不是仅仅死记硬背训练样本。

简而言之，ZOMP 证明了你不需要重构机器人的大脑也能让它变得更聪明。通过使用共享蓝图、缓慢扩张搜索以及保持稳定的方向记忆，即使你只能通过“耳语”进行交流且尝试次数有限，你也能教会强大的 AI 新的技能。这是一种实用且高效的方法，能让你在不依赖超级计算机的情况下，充分发挥这些庞大模型的潜力。

技术摘要：ZOMP（零阶多模态提示微调）

问题陈述

对 CLIP 等大型视觉-语言模型（VLMs）进行微调通常依赖于整个模型的反向传播（BP）。然而，在两种日益普遍的场景中，这在实践中是不可行的：一是内存受限的边缘设备，其无法容纳反向计算图；二是专有模型部署，其权重无法通过推理 API 获取。在这些设置下，微调必须仅依赖前向传播（零阶优化）。

现有的无反向传播（BP-free）提示微调方法试图解决这一问题，通过随机扰动（例如进化策略或零阶随机梯度下降）来估计梯度。然而，这些方法面临一个关键的权衡：

浅层或单模态： 为了保持查询效率，先前的研究（如 BAR、BlackVIP 和 ZIP）将微调限制在浅层提示或单模态（例如仅文本）。它们避免了深层多模态提示，因为零阶梯度估计的方差会随着搜索空间的维度增加而增长。
收敛极限： 已知深层多模态提示（在视觉和文本编码器的多个层中注入可学习向量）在 BP 模式下能产生更优的准确率，但在使用零阶方法时，高维度使得在现实的查询预算下变得难以实现。

核心问题在于如何协调深层多模态提示的表达能力与零阶优化的查询效率约束。

方法论：ZOMP

ZOMP（零阶多模态提示微调）提出了一种完全仅基于前向传播的方法，通过重构参数空间和优化轨迹，实现了深层多模态提示微调。该方法依赖于三个关键组件：

1. 跨模态低秩重参数化
ZOMP 并非直接优化提示矩阵，而是采用了受 LoRA 和 MMLoP 启发的分解形式。对于每一层 $l$ ，视觉提示 $P_v^{(l)}$ 和文本提示 $P_t^{(l)}$ 生成如下：
$P_v^{(l)} = U^{(l)} V_v^{(l)}, \quad P_t^{(l)} = U^{(l)} V_t^{(l)}$
此处， $U^{(l)}$ 是两个模态共有的一个小型共享因子，而 $V_v^{(l)}$ 和 $V_t^{(l)}$ 是模态特定的因子。

优势： 这将两个编码器联系在一起，确保对共享因子 $U^{(l)}$ 的单次扰动能使两个提示协同移动。它降低了有效搜索维度，并允许将秩 $r$ 视为一个可调的“旋钮”。

2. 基于预算索引的渐进式秩调度
为了管理零阶估计的方差，ZOMP 并不从一开始就优化所有的秩分量。相反，它采用了一种由查询预算比例索引的调度机制。

机制： 优化器首先仅在极小的低秩子空间（例如秩为 1）中进行搜索。随着查询预算的消耗，秩会逐步解锁（例如从秩 1 到全秩 $r$ ）。
初始化： 所有模态特定因子 $V$ 均初始化为零。这确保了新解锁的组件在初始阶段不产生贡献，使得秩之间的转换是保函数（function-preserving）的，并防止了会浪费查询次数的“初始化冲击”。

3. 梯度校正动量
零阶估计本质上是带有噪声的。ZOMP 结合了基于 SPSA-GC（带梯度校正的同步摄动随机逼近）的动量项。

机制： 动量缓冲区累积过去的梯度估计，从而平滑优化轨迹。
协同作用： 低秩阶段为动量提供了能够锁定的低噪声方向。随着秩的扩展和方差的增加，动量缓冲区保留了在低方差阶段找到的下降方向，防止优化器被噪声干扰。

算法流程：
算法（算法 1）遍历查询预算。在每一步中，它采样被掩码至当前激活秩分量的扰动方向，计算 SPSA 梯度估计，应用动量校正，并更新参数。秩掩码根据累计查询计数进行更新。

核心贡献

零阶下的深层多模态提示： ZOMP 是第一个成功实现跨视觉和文本编码器的深层提示的 BP-free 方法。它通过使用跨模态低秩分解，使高维搜索空间变得可处理。
协同训练机制： 本文引入并验证了与梯度校正动量配对的预算索引秩调度。消融实验表明，两者单独使用都不够充分；调度提供了一个低噪声的起点供动量锁定，而动量则允许优化器在搜索空间扩大导致方差激增时生存下来。
最先进的性能： ZOMP 在 13 个视觉-语言基准测试中展示了优于现有 BP-free 基准方法（BAR、BlackVIP、BPT-VLM 和 ZIP）的少样本准确率、查询效率和泛化能力。

实验结果

作者在 13 个视觉-语言基准测试上评估了 ZOMP，使用匹配的 5,000 次查询预算，并采用冻结的 CLIP ViT-B/16 骨干网络。

少样本分类： ZOMP 在 13 个数据集上的平均准确率达到 68.2%，超过了最强的先前方法（ZIP，62.2%）6.0 个百分点。它在每个单独的数据集上都超越了所有基准方法，特别是在专业领域增益显著（例如 EuroSAT 提升 15.9，CLEVR 提升 10.3）。
基类到新类的泛化： 在提示在基类上训练并在新类上测试的设置下，ZOMP 实现了 71.2% 的调和平均值（HM），超过 ZIP（67.5%）3.7 个百分点。这表明该方法不会以牺牲新类为代价来过度拟合基类。
跨数据集与分布外（OOD）泛化： 在 ImageNet 上训练的提示无需进一步微调即可迁移到其他 12 个数据集和 4 个 ImageNet 变体。ZOMP 在 CDT（56.9%）和 OOD（59.1%）设置下均取得了最佳平均性能，展示了强大的泛化能力。
查询效率： 尽管 ZOMP 拥有测试方法中最高的训练参数量（46.2k），但它以最少的查询次数达到了目标准确率。这反驳了“零阶优化性能随参数量增加而下降”的预期，证明了低秩调度有效地缓解了这一问题。
组件消融： 移除秩调度或动量中的任何一个都会导致性能显著下降，证实了它们的互补性。移除跨模态共享（使用独立的 $U$ 因子）也会降低性能，验证了共享因子的益处。

意义与主张

本文声称 ZOMP 缩小了深层多模态提示的理论表达能力与无反向传播微调的实际约束之间的差距。通过共同利用多模态特性和低秩结构，ZOMP 为边缘设备和专有 API 提供了高效的提示微调途径。

作者断言，其结果证明了深层多模态提示本质上并不与零阶优化不兼容；相反，它需要特定的重参数化和优化调度来管理方差。这项工作表明，先前在 BP-free 方法中观察到的“天花板”是由于搜索空间设计造成的，而非零阶方法本身的基本局限性。