💬 NLP

PEFT-Bench: A Parameter-Efficient Fine-Tuning Methods Benchmark

本文介绍了 PEFT-Bench，这是一个统一的端到端基准，旨在评估 27 个 NLP 数据集上多样化的参数高效微调方法，同时提出 PEFT 软成本惩罚（PSCP）指标，以综合评估性能与可训练参数、推理速度和内存占用等计算成本之间的关系。

原作者： Robert Belanec, Branislav Pecher, Ivan Srba, Maria Bielikova

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Robert Belanec, Branislav Pecher, Ivan Srba, Maria Bielikova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大且极其聪明的图书馆（大型语言模型），它几乎无所不知。然而，它如此巨大，以至于仅仅移动一本书，就需要一整支配送车队（巨大的计算能力）和一个巨大的仓库（大量内存）。这使得大多数人在使用或根据自身特定需求对其进行定制时，既昂贵又缓慢。

问题：“全面翻新”的困境
通常，如果你想教这座巨型图书馆一项新技能（比如解决数学问题或编写代码），你就必须进行“全面翻新”。你必须重写整个图书馆的目录，这既极其昂贵又极其缓慢。

解决方案：“便利贴”方法（PEFT）
参数高效微调（PEFT） 应运而生。PEFT 不是重写整个图书馆，而是像在现有书籍上贴几张聪明的“便利贴”，或者添加一张小型的定制索引卡。你只需训练这些微小的笔记，而让庞大的图书馆保持原样。这种方法更便宜、更快捷，但问题依然存在：哪种“便利贴”方法实际上效果最好？

该论文的贡献：PEFT-Bench
这篇论文的作者建立了一个名为 PEFT-Bench 的巨大测试场。你可以把它想象成针对这些不同“便利贴”方法的大规模“口味测试”或“汽车碰撞测试”。

测试赛道：他们不仅仅测试单一项目。他们创建了一条包含 27 种不同挑战 的赛道，范围从理解句子和解决逻辑谜题，到进行数学运算和编写计算机代码。
竞争者：他们挑选了 7 种不同的“便利贴”策略（如 LoRA、BitFit 和 Prompt Tuning），并使用同一座巨型图书馆（LLaMA-3）让它们接受同样严格的测试。
新的记分卡（PSCP）：过去，人们只看谁答对的题目最多。但作者意识到，这就像仅凭最高时速来评判一辆汽车，而忽略了它的油耗。他们发明了一个名为 PSCP（PEFT 软成本惩罚） 的新分数。
- 类比：想象你在买车。你希望它速度快（性能好），但也希望它省油（可训练参数少），且不需要巨大的车库（内存占用少）。PSCP 是一个将速度、油耗和车库大小综合为一个数值的分数。如果一辆车很快，但一分钟内就耗尽了油箱，它的 PSCP 分数就会下降。

他们的发现

重量级冠军（LoRA）：名为 LoRA 的方法是其中的“法拉利”。它在几乎每一项测试中都答对了最多的题目。然而，就资源而言，它也是“最重”的。
高效选手（BitFit & LNTuning）：像 BitFit 和 LNTuning 这样的方法就像“混合动力汽车”。它们并不总是获得绝对最高的分数，但它们极其高效。当你考虑到它们所需的“燃油”和“车库空间”极少时，它们在 PSCP 分数上实际上与重量级选手持平，甚至超越了它们。
表现挣扎的方法：某些方法，特别是基于“软提示”的方法（如 P-Tuning），就像轮胎瘪了的汽车。它们非常不稳定，有时会完全“撞毁”（得分为零），或者需要大量额外的调整才能“启动引擎”。
数学与代码的意外：有趣的是，虽然这些方法在理解语言方面表现出色，但当被要求进行复杂的数学推理或编写代码时，它们有时反而会让情况变得更糟。这就好比便利贴帮助它们更好地阅读，但当它们试图做微积分时却把它们搞糊涂了。

工具包：PEFT-Factory
为了确保其他人日后也能运行此测试，作者还构建了 PEFT-Factory。你可以将其视为一个预先构建好的、开源的“赛道”，任何人都可以使用。如果研究人员发明了一种新的“便利贴”方法，他们只需将其插入该工厂，它便会自动运行测试并给出分数，确保所有人都在相同的规则下竞争。

一句话总结
这篇论文指出：“别再猜测哪种高效训练方法最好。我们建立了一个公平、开放的测试赛道，以及一个既重视性能又重视效率的新评分系统。我们发现，虽然某些方法速度最快，但考虑到成本，最高效的方法往往同样出色。”

PEFT-Bench 技术摘要：参数高效微调方法基准

问题陈述

尽管大语言模型（LLM）在众多自然语言理解（NLU）和自然语言生成（NLG）任务中取得了最先进的性能，但其庞大的规模带来了难以承受的计算和环境成本。标准的微调需要大量的资源和存储空间来保存特定任务的权重，限制了众多研究人员和从业者的可及性。参数高效微调（PEFT）方法应运而生，旨在通过减少可训练参数的同时保持下游性能来解决这一问题。

然而，当前 PEFT 方法的评估现状存在三个关键局限性：

可复现性问题：许多现有研究缺乏完全功能开源的实现或关键实验细节，阻碍了独立验证。
范围有限：评估通常集中于非自回归模型（如 T5、RoBERTa），或将分析限制在 NLU 任务（GLUE/SuperGLUE），未能反映当前自回归 LLM 的时代以及代码生成或数学推理等多样化任务。
指标不完整：比较往往仅依赖准确率或参数量，忽视了推理速度和训练内存占用等对实际部署至关重要的效率因素。

方法论

为了弥合这些差距，作者引入了PEFT-Bench，这是一个统一的、端到端的基准，旨在评估自回归 LLM 上多样化的 PEFT 方法。该方法论由PEFT-Factory支持，这是一个基于 LLaMA-Factory 核心构建的框架，以确保模块化和可复现性。

1. 数据集与任务

PEFT-Bench 评估了代表12 个独特任务的27 个数据集的性能，分为三组以确保领域多样性：

NLU 与推理：包括来自 GLUE 的 8 个数据集和来自 SuperGLUE 的 7 个数据集，以及 6 个额外数据集（如 MMLU、HellaSwag、WinoGrande）。
数学：包括 MathQA、GSM8K 和 SVAMP。
代码生成：包括 Conala、CodeAlpacaPy 和 APPS。
注：对于分类任务，数值标签被转换为文本标签以适应自回归生成。

2. 模型与 PEFT 方法

该基准使用LLaMa-3-8B-Instruct作为基础模型。它评估了涵盖三大主要类别的7 种代表性 PEFT 方法：

加法类：IA3、Prompt Tuning、P-Tuning、Prefix Tuning。
重参数化类：LoRA。
选择类：LNTuning、BitFit。

3. 评估指标

除了标准的特定任务指标（F1、Accuracy、CodeBLEU）外，作者提出了**PEFT 软成本惩罚（PSCP）**指标。该指标使用受柯布 - 道格拉斯生产函数启发的公式，将性能与效率成本聚合：
$PSCP = P_t \times \left(1 + \frac{M_p}{C_p}\right)^{-\beta_p} \times \left(1 + \frac{M_f}{C_f}\right)^{-\beta_f} \times \left(1 + \frac{M_m}{C_m}\right)^{-\beta_m}$
其中：

$P_t$ 是平均任务性能。
$M_p, M_f, M_m$ 分别代表可训练参数数量、推理 FLOPs 和训练内存占用。
$C$ 值为参考常数（例如：全模型训练参数、两倍基础模型 FLOPs、94GB 内存）。
$\beta$ 值允许用户加权特定成本的重要性。

4. 实验设置

实验使用 10% 的训练数据进行验证，训练运行 10 个 epoch，采用 AdamW 优化。稳定性通过 5 个随机种子进行评估，效率则在每个方法的 27 个数据集上进行测量。

关键结果

性能与效率

LoRA 在许多任务中通常取得了最高的原始性能分数。
BitFit 和 LNTuning 尽管训练的参数显著更少且消耗的 GPU 内存更少，但在特定数据集（如 MNLI、SST-2、RTE、MMLU）上取得了与 LoRA 相当甚至更好的性能。
PSCP 指标 揭示，当纳入效率成本时，BitFit 和 LNTuning 往往优于 LoRA，这表明较低的资源消耗可以弥补微小的性能差异。

特定任务观察

NLU 与推理：PEFT 方法总体上比基础模型提高了性能。
数学与代码生成：出现了一个显著的模式，即 PEFT 方法提高了数学应用题（GSM8K、SVAMP）的性能，但降低了复杂代码生成和重推理任务（Conala、CodeAlpacaPy、APPS）的性能。作者指出，与指令微调或强化学习相比，使用有限参数的监督微调可能不足以增强这些领域的推理能力。

稳定性与训练动态

软提示类方法（Prompt Tuning、Prefix Tuning、P-Tuning）表现出普遍较低的性能和较高的不稳定性。特别是 P-Tuning，显示出高方差，且经常崩溃为预测单一类别。
IA3 在低资源数据集上表现出最低的标准差（最高稳定性）。
内存峰值：Prompt Tuning 在前 1,000 个训练步骤中表现出显著的内存峰值，这可能是由于直接将软提示添加到输入中导致的。

意义与主张

该论文将 PEFT-Bench 定位为首个统一且全面的基准，专门用于评估自回归 LLM 上 NLU 和 NLG 任务的 PEFT 方法。其意义在于：

标准化：提供了一个完全开源、可复现的框架（PEFT-Factory），消除了以往 PEFT 评估的“黑盒”性质。
整体评估：引入 PSCP 指标，超越仅基于准确率的比较，承认在现实场景中，效率（参数、内存、速度）与任务性能同样关键。
实证洞察：提供了具体证据，表明虽然 LoRA 是表现强劲的方法，但像 BitFit 和 LNTuning 这样更高效的方法在资源受限的环境中是可行的替代方案，且软提示方法需要大量的超参数调整才能生效。

作者总结道，PEFT-Bench 旨在作为一个长期、不断发展的倡议，以指导 PEFT 方法的开发和选择，当前的结果和代码可通过其 GitHub 仓库获取。