💻 computer science

Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

本研究表明，将参数高效微调方法（特别是针对可变形注意力机制的适配器和低秩自适应 LoRA）应用于 Transformer 模型，能够使模型在仅微调 1-6% 参数的情况下实现具有竞争力的实例分割性能，从而显著降低了与传统微调相比的计算成本。

原作者： Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和日常类比对论文进行的解释。

大局观：一位“过度设计”的厨师

想象一下，你有一位世界闻名的厨师（大型预训练模型），他花费多年时间学习了能想象到的每一道菜肴。这位厨师精通食物的一切知识，从法式甜点到日本寿司。

现在，你想让这位厨师做一道非常特定的、地方特色的菜：实例分割（Instance Segmentation）。在计算机视觉术语中，这意味着不仅要说“那是一只狗”，还要在照片中的每一只狗周围画出完美的轮廓，并将它们彼此区分开来。

问题所在：
要教这位厨师做你的特定地方菜，传统的方法是让他们从头开始重新学习所有内容，或者至少重新学习其整个知识库中 40%–55% 的内容。这就像是强迫这位厨师忘记他过去 10 年的训练，并从零开始。这需要耗费大量的时间、能量和金钱（计算能力）。此外，在这个过程中，他们可能会忘记曾经成名的其他菜肴。

解决方案 (PEFT)：
这篇论文探索了一种更聪明的方法，称为参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）。我们不需要重新训练整个厨师，而是给他们一张小巧、专门的“食谱卡”或一件“专业围裙”，帮助他们在不改变核心知识的情况下适应你的特定菜肴。

研究人员测试了两种类型的这些“食谱卡”：

适配器（Adapters）： 添加到厨师工作流中的小型额外模块。
LoRA（低秩自适应）： 一种通过极小的、高效的更新来微调厨师现有笔记的方法。

两种“食谱卡”详解

1. 适配器： “支线任务”模块

可以将适配器想象成在厨师的主厨房旁边增加一个小型、专门的侧边厨房。

运作方式： 每当厨师进行一个主要步骤（如切菜或煸炒）时，他们会暂停一下，并将食材送入这个微小的侧边厨房。侧边厨房会在菜品回到主流程之前，为其添加一点“地方风味”。
实验： 研究人员尝试连续添加 1、2、3 或 4 个这样的侧边厨房。
发现： 他们发现拥有 2 或 3 个侧边厨房是“黄金平衡点”。它能提供最好的结果，又不会让厨房显得过于拥挤。添加第四个并没有带来更多帮助，反而让过程变慢了。
成本： 这种方法仅需要训练总参数量的 1% 到 6%（即厨师需要学习的“食材”），而传统方法则需要 40%–55%。

2. LoRA： “荧光笔”

可以将 LoRA 想象成一支特殊的荧光笔。你不需要重写厨师的整本食谱，只需在现有的文本中高亮显示特定的句子，从而稍微改变其含义。

运作方式： 研究人员将这种荧光笔专门应用于模型的“注意力（attention）”部分（即厨师决定观察图像哪里之处）。他们甚至首次在此背景下尝试了这种被称为“可变形注意力（deformable attention）”的复杂注意力机制。
发现： LoRA 非常高效。它只需要学习大约 0.3% 到 1% 的参数。
不足之处： 虽然 Lo LoRA 非常快速且轻量，但它并不总是胜出。在处理一些非常杂乱或困难的任务（如垃圾的 X 光图像）时，“侧边厨房”（适配器）的表现更好，因为它有更多的容量来处理复杂性。而在处理简单的日常任务（如城市街道场景）时，LoRA 则表现出色。

测试驾驶：四种不同的“厨房”

研究人员在四个非常不同的数据集（图像类型）上测试了这些方法，以观察其效果如何：

海豚 (NDD20)： 水面上和水面下的清晰海豚图像。
- 结果： 两种方法都表现良好，但适配器（带有更多“侧边厨房”）在捕捉海豚的具体细节方面略胜一筹。
传送带上的垃圾 (ZeroWaste)： 一堆混乱的塑料、金属和纸板。
- 结果： 这是一个艰巨且杂乱的工作。适配器在此获胜。它们在分辨皱巴巴的塑料袋和金属片方面做得更好。
X 射线废弃物 (WIXray)： 透过垃圾寻找电池或玻璃的 X 射线图像。
- 结果： 这是最难的任务。适配器再次超越了 LoRA。“侧边厨房”更擅长学习厨师以前从未见过的 X 射线图像中的奇特新模式。
城市街道 (Cityscapes)： 城市中的汽车、行人和建筑。
- 结果： 这是一种非常常见的图像类型，与厨师最初学习的内容相似。在这里，LoRA 是超级明星。它非常高效，实际上击败了传统方法和适配器，且几乎不占用额外内存。

结论：他们学到了什么？

效率至上： 你不需要重新训练整个模型。通过只训练 1%–6% 的模型，你就能获得 90%–95% 的性能。
并非一成不变：
- 如果任务是复杂、杂乱或与模型最初学习的内容差异很大（如 X 射线），请使用适配器（特别是使用 2 或 3 个）。它们更灵活。
- 如果任务类似于日常生活（如城市街道），请使用 LoRA。它是最有效率且最快速的选择。
速度 vs. 能力： 适配器会给过程增加一点点时间（就像增加侧边厨房需要多花几秒钟），但 LoRA 是即时的，因为它只是微调了现有的笔记。

总结

这篇论文证明了，你不需要一台巨大的、昂贵的计算机来教一个庞大的 AI 模型完成一项新的特定工作。通过使用小型、智能的插件（适配器）或高效的微调（LoRA），我们可以定制这些庞大的模型以执行特定任务（如在照片中寻找物体），在节省大量时间和金钱的同时，依然能获得出色的结果。关键在于为特定的工作选择合适的工具。

技术摘要：针对实例分割任务的大型预训练模型的高效参数微调

问题陈述
计算机视觉领域大型预训练模型（LPMs）的快速发展在各种任务中都取得了最先进的结果。然而，模型参数的大幅增加为下游任务的适配带来了显著障碍。传统的全量微调需要为每个新任务更新所有或大部分权重，这导致了高昂的计算和内存成本、灾错性遗忘风险以及在较小目标数据集上的过拟合问题。虽然诸如适配器（Adapters）和低秩自适应（LoRA）等参数高效微调（PEFT）方法在自然语言处理（NLP）领域已获得关注，但其在复杂计算机视觉（CV）任务（特别是基于 Transformer 架构的实例分割）中的应用仍有待深入探索。此外，现有的 PEFT 方法往往面临可扩展性限制，且未针对实例分割的独特需求（如精确的像素级预测和物体实例的区分）进行优化。在将这些技术集成到变形注意力模块（deformable attention modules）中方面，文献中存在明显的空白，而这类模块是现代检测 Transformer（DETR）的核心。

方法论
本研究调查了两种 PEFT 策略——顺序排列的适配器（Adapters）和 LoRA——应用于两种大型预训练实例分割模型的有效性：Segment Everything Everywhere Model (SEEM) 和 Mask DINO。研究重点是在四个不同复杂度的基准数据集上适配这些模型：NDD20（海豚分割）、ZeroWaste（传送带垃圾）、WIXray（X射线垃圾检测）和 Cityscapes（城市街道场景）。

适配器（Adapters）： 作者提出了一种新型的顺序集成适配器模块的方法。与每个层仅放置单个适配器的标准实现不同，本研究引入了在每个 Transformer 块内顺序排列的多个适配器块（ $I$ ）。这些适配器被插入到交叉注意力层和自注意力层之后。该架构包括一个线性下投影、一个 ReLU 激活函数、一个线性上投影和一个残差连接。研究探讨了不同的残差连接配置（ $\kappa$ 、 $\lambda$ 和 $\kappa + \lambda$ ），以确定最优的信号流。
变形注意力中的 LoRA： 本研究的一个主要方法论贡献是将 LoRA 应用于多尺度变形注意力机制。虽然 LoRA 通常应用于标准注意力层（修改查询和值投影），但本工作将其扩展到了变形注意力。在这里，LoRA 矩阵被应用于负责预测偏移量（ $W_{offset}$ ）和值投影（ $W_V$ ）的权重矩阵，使得模型能够在不改变核心预训练权重的情况下，学习特定任务的采样位置和值解释。
实验设置： 实验使用 NVIDIA Quadro RTX 8000 GPU 进行。研究将 PEFT 配置与传统的微调设置（全分割头、仅解码器和仅嵌入层）进行了对比。针对 LoRA 秩（ $r = \{2, 4, 8, 16\}$ ）和适配器数量（ $I = \{1, 2, 3, 4\}$ ）进行了参数扫描。

核心贡献

首次将 LoRA 应用于变形注意力： 本文引入了一种专门针对多尺度变形注意力层的 LoRA 方法，通过仅更新这些专门注意力机制中的低秩矩阵来实现参数高效性。
顺序适配器集成： 研究展示了在大型预训练实例分割模型中实现顺序排列适配器模块的首个实现，并探索了在每个 Transformer 层中增加多个适配器块的可扩展性。
全面的基准测试： 研究对四种不同数据集进行了 PEFT 方法的对比分析，评估了 SEEM 和 Mask DINO 架构的性能、参数效率和推理速度。

结果
研究表明，PEFT 方法可以在仅微调极小比例模型参数的情况下，达到具有竞争力的性能：

参数效率： 适配器配置在 SEEM 中需要 1.23% 至 3.88% 的参数，在 Mask DINO 中需要 0.5% 至 6.35% 的参数。LoRA 的效率更高，在 SEEM 中仅利用了约 0.34% 至 0.54%，在 Mask DINO（ResNet-50 主干网络）中为 0.73% 至 1.39%。相比之下，全分割头微调分别需要 39.55% (SEEM) 和 54.91% (Mask DINO) 的参数。
性能权衡：
- 适配器： 增加适配器数量通常会提高性能，其中每个块配备 2 到 3 个适配器 在准确性和参数量之间达到了最佳平衡。在 ZeroWaste 数据集中，Mask DINO 的 4 适配器配置甚至超越了最先进的（SOTA）全分割头微调。
- LoRA： LoRA 展示了强大的效率，但其表现因数据集和架构的不同而呈现差异。它在 Cityscapes 数据集中表现出色（对于 Mask DINO，仅用 0.24% 的参数就超越了全分割头微调），但在 WIXray（X 射线图像）和 ZeroWaste 等复杂的领域偏移任务中，表现不如适配器。
- 架构依赖性： Mask DINO（基于变形注意力）通常能达到与较大的 SEEM 模型相当或更优的结果，这表明变形注意力机制结合对比去噪（contrastive denoising）对于实例定位非常有效。
推理速度： 由于增加了额外的层，适配器引入了轻微的计算开销（每个添加的适配器块每轮迭代增加 1–2 毫秒）。然而，LoRA 的推理开销可以忽略不计，因为其权重在推理前会与基础模型重新组合并合并。

意义与主张
本文声称证明了 PEFT 的潜力，使其能够实现可扩展、可定制且计算高效的实例分割迁移学习。作者强调，虽然 PEFT 方法并不总是能达到全量微调的绝对峰值性能，但它们为资源受限的环境提供了一个可行的替代方案。研究指出，选择适配器还是 LoRA 取决于具体语境：对于需要显著领域适配或处理复杂变形物体的任务，适配器可能更为理想；而对于接近预训练分布的任务，LoRA 则非常高效。

作者谦虚地指出，尽管其结果令人鼓舞，但仍有进一步优化的空间。他们承认在某些复杂场景（如 WIXray）中仍存在性能差距，并且适配器增加的推理时间可能会限制其在实时应用中的使用。该工作最后呼吁开展更多关于混合策略的研究、更广泛的跨多样化视觉任务基准测试，以及开发新的适配器变体，以充分实现大型预训练模型适配专业化计算机视觉应用的潜力。