🤖 machine learning

GD-FPS: Growth-Driven Feedforward Parameter Selection for Efficient Fine-Tuning

本文提出了 GD-FPS，这是一种严格无需梯度、仅需前向传播的参数选择方法，它通过结合内在权重幅值与相对激活增长来高效识别最优微调子集，在显著降低内存占用和延迟的同时，实现了与现有基于梯度的方法相媲美的性能。

原作者： Kenneth Yang, Wen-Li Wei, Jen-Chun Lin

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Kenneth Yang, Wen-Li Wei, Jen-Chun Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座庞大且极其聪明的图书馆（一个预训练的人工智能模型），它几乎读遍了世界上所有的书籍。现在，你想教这座图书馆一项非常具体的新技能，比如识别稀有鸟类或诊断某种特定类型的肿瘤。

过去的方法是全量微调：你强迫整座图书馆重读每一本书，并重写每一页以契合新主题。这就像在摩天大楼仍有人居住时试图对其进行翻新。这不仅耗时极长，耗费巨大的能量（计算能力），而且需要海量的空间（内存）来容纳所有的蓝图和笔记。

随后，人们尝试了基于添加的方法（如适配器或 LoRA）。与其重写整座图书馆，他们建造了小型的、新的“附加”房间或书架。虽然这节省了一些空间，但也让建筑更难以导航（工程复杂性增加），并降低了找书的速度（推理延迟）。

接着出现了基于选择的方法（如 GPS）。其想法很聪明：“让我们只挑选现有图书馆中最重要的页面进行重写，其余部分保持冻结。”然而，为了确定哪些页面最重要，旧方法需要进行一次巨大且耗竭的“反向传播”。这就像要求图书管理员读遍每一本书，为每一句话撰写详细的评论，然后查阅笔记以确定哪些句子最为重要。这种方法仍然极其缓慢，占用了所有内存，而且结果有些不稳定，因为它们取决于图书管理员碰巧先挑选了哪些随机书籍（随机噪声）。

新解决方案：GD-FPS（增长驱动的馈前参数选择）

本文的作者提出了一种更聪明的方法来挑选需要重写的页面。他们称之为GD-FPS。

以下是其工作原理，使用一个简单的类比：

1. “之前”快照（锚点）
想象你用一套标准书籍（预训练数据）对图书馆的当前状态拍一张快照。你记录下当人们浏览这些标准书籍时，每个书架的“响度”或活跃程度。这就是你的锚点。它代表了图书馆的正常行为模式。

2. “之后”快照（增长）
现在，你引入新的、特定的书籍（下游任务，如鸟类识别）。你再次观察图书馆，看看这些书架对这些新书籍有何反应。

3. “增长”计算
GD-FPS 不进行大规模的、向后看的评论，而是简单地问道：“当我们从旧书籍切换到新书籍时，哪些书架变得显著更‘响’或更活跃？”

神奇公式：它关注两点：
- 内在强度：这个书架通常有多重要？（权重幅度）。
- 相对增长：与新书籍相比，它在旧书籍基础上活跃程度增加了多少？（激活增长）。

如果一个书架在旧书籍中已经很“响”，并且在新书籍中依然保持“响”，那它只是在履行正常职责。但如果一个书架之前很安静，而在新书籍面前突然变得非常“响”，这就是增长的迹象。那个书架对新任务至关重要。

为什么这很重要？

该论文声称，与之前的“选择”方法相比，GD-FPS 具有三大优势：

它是短跑，而非马拉松（速度）：旧方法必须运行复杂的反向计算（如全面审计）来找出重要页面。GD-FPS 只需运行一次快速的前向传播（如快速一瞥）。论文指出，这使得选择过程快了 2.7 倍。
它能装进背包（内存）：因为它不需要为整座图书馆存储海量的“审计笔记”（梯度），所以它使用的内存减少了 18 倍。这意味着你可以在更便宜、更小的计算机上运行它。
它是可靠的（确定性）：旧方法就像掷硬币；如果你选择了不同的随机书籍批次作为起点，最终可能会重写不同的页面。GD-FPS 是确定性的。无论谁运行它，或者如何打乱书籍，它总是会选择完全相同的页面，因为它观察的是整个数据集的平均行为，而非随机样本。

结果

作者在26 种不同的视觉任务上测试了该方法，范围从识别特定种类的鲜花和狗，到在医学扫描中检测肿瘤（语义分割）。

性能：GD-FPS 的表现与现有最佳方法（包括复杂的“附加”方法和之前的“选择”方法）一样好，甚至更好。
效率：它在设置阶段实现了这些结果，同时速度极快且内存占用极低。

简而言之，GD-FPS 就像一位聪明的图书管理员，能够瞬间识别出庞大百科全书中究竟哪几页需要针对新主题进行更新，而无需重读整本书或建造新房间，从而节省了时间、金钱和空间。

技术摘要：GD-FPS

问题陈述

参数高效微调（PEFT）对于将大规模预训练模型适配到下游任务至关重要，因为它避免了全量微调所带来的高昂内存和计算成本。然而，现有的 PEFT 方法面临显著局限：

基于添加的方法（例如 Adapters、LoRA）引入了新的可训练参数，增加了模型存储、推理延迟，并带来了关于最优模块放置的工程复杂性。
基于选择的方法（例如基于梯度的参数选择，GPS）避免了添加参数，但在选择阶段依赖计算全模型梯度。这种方法导致巨大的内存占用（与全量微调相同），由于反向传播而产生显著的计算延迟，并且受批次采样引起的随机噪声影响，使得选择过程具有非确定性且对环境配置敏感。

核心挑战在于识别一个用于微调的稀疏参数子集，该子集需具备内存高效、快速、确定性和鲁棒性，且不依赖计算昂贵的梯度计算。

方法论：增长驱动的前馈参数选择（GD-FPS）

作者提出了GD-FPS，这是一种严格的无梯度方法，完全通过前向传播识别最优参数。该方法基于以下前提：对领域适配至关重要的参数是那些相对于模型预训练行为表现出显著激活增长的参数，并按其内在权重幅度进行缩放。

该框架包含两个 distinct 阶段：

1. 先验锚定阶段

目标：建立一个行为基线（锚点），代表模型的预训练状态。
过程：在原始预训练数据（ $D_{pre}$ ）的随机采样子集上执行一次前向传播。
输出：计算每个权重输入激活的期望范数： $\mathbb{E}_{x \sim D_{pre}}[|a_k^{(i-1)}(x)|]$ 。
效率：这是一个一次性过程，在所有下游任务中共享，所需的摊销开销可忽略不计（例如，在单个 GPU 上处理 12,800 张图像仅需 27.38 秒）。

2. 增长量化阶段

目标：通过将下游激活与预训练锚点进行比较，衡量特定任务的适配程度。
过程：在下游数据集（ $D_{down}$ ）上执行一次前向传播，以计算特定任务的激活期望： $\mathbb{E}_{x \sim D_{down}}[|a_k^{(i-1)}(x)|]$ 。
评分：权重 $w_{k,j}^{(i)}$ 的最终重要性得分（ $I_{GD-FPS}$ ）通过将其内在幅度与其激活的相对增长进行缩放来计算：
$I_{GD-FPS}(w_{k,j}^{(i)}) = |w_{k,j}^{(i)}| \cdot \left( \frac{\mathbb{E}_{x \sim D_{down}}[|a_k^{(i-1)}(x)|]}{\mathbb{E}_{x \sim D_{pre}}[|a_k^{(i-1)}(x)|]} - 1 \right)$
选择：选择每个神经元中得分最高的前 $k$ 个参数进行微调。

该公式确保具有高静态激活（任务无关）但相对增长低的参数被降级，而那些显示出针对新领域的显著激活“激增”的参数则被选中。

主要贡献

无梯度选择：GD-FPS 消除了参数选择阶段对反向传播的需求，直接解决了基于梯度的选择方法（如 GPS）的内存和延迟瓶颈。
确定性鲁棒性：通过依赖全局统计属性（期望激活幅度）而非随机批次梯度，GD-FPS 保证了确定性的选择过程，该过程对随机种子、批次大小和数据采样变化具有不变性。
增长驱动机制：引入相对于预训练锚点的相对增长指标，使该方法能够区分本质上活跃的参数与真正适应新任务的参数。
全面评估：该方法在 26 个视觉任务上进行了验证，包括图像分类（FGVC 和 VTAB-1k）和语义分割，证明了其在不同架构（ViT、Swin）和任务中的泛化能力。

实验结果

该论文将 GD-FPS 与最先进的基线进行了评估，包括全量微调、基于添加的方法（Adapter、LoRA、VPT）以及主要的基于选择的竞争对手 GPS。

图像分类（FGVC 和 VTAB-1k）：
- 在 FGVC 基准测试中，GD-FPS 实现了 92.07% 的平均准确率，优于 GPS（91.78%）和 SSF（90.72%）。
- 在多样化的 VTAB-1k 基准测试中，GD-FPS 实现了 75.04% 的平均准确率，与 GPS（75.18%）表现相当，并显著优于其他通用 PEFT 方法。
语义分割（VOC2012 和 Cityscapes）：
- 使用 Swin-L 骨干网络，GD-FPS 实现了 83.62% 的平均 mIoU 和 89.78% 的 mAcc。
- 它在两项指标上均成功超越了全量微调基线，并优于其他通用 PEFT 方法，仅落后于专门的、经过高度工程化的 ProPETL 方法。
效率提升（对比 GPS）：
- 内存：在选择阶段将峰值 GPU 内存使用量降低了近 18 倍。
- 延迟：参数选择执行速度提高了 2.7 倍 以上。
- 计算：每张图像的计算成本从 100.9 GFLOPs 降低至 16.8 GFLOPs。
鲁棒性：
- GD-FPS 在变化的随机种子、批次大小和数据比例下，保持了 >97% 的交集比率（IR）。
- 相比之下，GPS 在类似变化下 IR 下降了 20–30%，突显了其对随机因素的敏感性。

意义与主张

该论文声称，GD-FPS 为微调大规模模型提供了一种内存高效、快速且鲁棒的解决方案。通过严格利用前向传播，它解决了基于选择的效率与梯度计算成本之间的根本权衡。

作者断言，GD-FPS 证明了高性能、效率和结构鲁棒性可以在基于选择的 PEFT 中共存。它为资源受限的环境提供了一种可扩展的替代方案，消除了基于添加方法的工程复杂性以及基于梯度选择的内存/延迟成本，同时保证了确定性的结果。