💬 NLP

ShapLoRA: Allocation of Low-rank Adaption on Large Language Models via Shapley Value Inspired Importance Estimation

该论文提出了 ShapLoRA，这是一个参数高效的微调框架，通过引入一种被称为 Shapley 敏感度（Shapley sensitivity）的更具可解释性且更可靠的重要性度量指标（该指标结合了敏感性分析与 Shapley 值概念），改进了现有的秩分配方法，从而在各种任务中实现了卓越的性能。

原作者： Yi Zhao, Qinghua Yao, Xinyuan song, Wei Zhu

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yi Zhao, Qinghua Yao, Xinyuan song, Wei Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对论文 "ShapLoRA" 进行的解释。

大局观：无需倾家荡产即可调优巨型大脑

想象你拥有一个巨大的、超级智能的机器人大脑（即大语言模型，或 LLM），它几乎无所不知。你想教它一项特定的新技能，比如解决数学问题或回答百科知识。

过去实现这一目标的方法是“全量微调”（Full Fine-Tuning）。这就像雇佣一支由 10 万名工程师组成的团队，为了适应新工作而彻底重建机器人的大脑。这极其昂贵，需要一个巨大的计算机仓库（GPU），而且耗时极长。

LoRA（低秩自适应） 是一个聪明且省钱的替代方案。与其重建整个大脑，LoRA 是在机器人上添加一个小的、可拆卸的“训练模块”。这就像是给机器人一套辅助轮或一张小抄。它既便宜又快速。

问题在于： 标准版本的 LoRA（被称为“Vanilla LoRA”）对机器人大脑的每个部分都一视同仁。无论某个部分是否真的需要，它都会给每个模块分配完全相同大小的训练模块。这就像是给一个只需要便利贴的部分一份 10 页的操作手册，而负责重活的部分得到的也仅仅是同样的一张便利贴。这是低效的。

解决方案：ShapLoRA（“公平份额”系统）

该论文的作者创造了一种名为 ShapLoRA 的新方法。其目标是弄清楚机器人大脑的每个部分究竟需要多少训练能力，这样我们就可以去肥增瘦，保留肌肉。

为此，他们使用了博弈论中的一个概念——夏普里值（Shapley Value）。

类比：晚宴与夏普里值

想象一群朋友（机器人大脑的不同部分）正试图做出一顿完美的晚餐（完成一项任务）。

问题： 谁应该获得这顿美味佳肴最多的功劳？是切洋葱的人贡献最大，还是给牛排调味的人贡献最大？
旧方法： 你只是根据谁看起来更忙来猜测。
夏普里值方法： 你测试每一种朋友共同烹饪的所有可能组合。
- 你观察只有主厨在场时，晚餐的效果如何。
- 你观察有主厨和副厨在一起时，效果如何。
- 你观察有主厨、副厨和洗碗工在一起时，效果如何。
- 通过对比这些不同的“团队”（联盟），你可以通过数学计算出每个人的精确贡献。

ShapLoRA 将这种逻辑应用于机器人的大脑。它将训练模块中的每一个微小部分视为游戏中的一名“玩家”。它会随机关闭一些玩家（将其遮蔽/masking），并观察机器人的性能如何变化。通过这样进行成千上万次不同随机组合的测试，它可以计算出一个**“夏普里敏感度”（Shapley Sensitivity）**得分。

高分： 这个部分的大脑至关重要。如果你把它关掉，机器人就会失败。请给它一个大的训练模块。
低分： 这个部分的大脑没什么作用。如果把它关掉，机器人依然能正常工作。缩小它的训练模块或将其移除。

它是如何工作的（工作流程）

从大开始： 他们首先给机器人的每个部分都分配一个较大的、等尺寸的训练模块。
“试吃测试”（验证）： 他们让机器人针对一组特定的问题进行练习（验证集）。在练习过程中，他们使用“夏普里值”游戏来测试开启和关闭各个部分的各种可能组合。
修剪： 根据得分，他们识别出大脑中“偷懒”的部分。他们修剪（削减）这些部分的训练模块，同时保持“勤奋”部分的模块较大。
最终训练： 他们使用这个全新的、定制化且高效的设置重新训练机器人。

为什么这种方法更好？

论文声称 ShapLoRA 比之前的方法（如 AdaLoRA 或 AutoLoRA）更好，主要有两个原因：

更公平、更聪明： 之前的方法使用的是仅观察单一变量的“敏感度”得分（例如：“如果我改变这一个数字，分数会上升吗？”）。而 ShapLoRA 观察的是团队协作。它理解一个部分本身可能没用，但与其他部分协作时却至关重要。
更可靠： 他们在许多不同的任务（如回答问题、解数学题和编写代码）上测试了该方法。在几乎所有情况下，即使它们使用的计算资源大致相同，ShapLoRA 的表现都优于其他顶尖方法。

实验结果

作者在流行的机器人大脑（LLaMA-3 8B）上进行了测试。

性能： ShapLoRA 始终击败竞争对手。例如，在数学和百科任务中，它获得了更高的准确率得分。
效率： 它的训练时间并不比其他方法长。虽然测试组合的“游戏”过程计算量很大，但他们找到了一种聪明的方法来进行近似计算，因此不会导致速度过慢。
稳定性： 他们使用不同的随机种子多次运行了测试，结果非常一致。该方法并非仅仅靠运气，而是具有鲁棒性。

总结

ShapLoRA 是一种不再平等对待 AI 大脑每个部分的方法。相反，它使用一种受博弈论启发的“团队协作测试”，来弄清楚大脑的哪些部分正在承担重任。然后，它会缩小那些“偷懒”部分的训练模块，并为“勤奋”的部分保留较大的模块。其结果是，AI 变得同样聪明，但训练起来更加高效且成本更低。

技术摘要：ShapLoRA

1. 问题陈述

低秩自适应（LoRA）是大型语言模型（LLMs）中一种主流的参数高效微调（PEFT）方法。虽然标准的“原生”LoRA 在所有线性模块和 Transformer 层中应用统一的秩分配，但近期的文献表明，根据重要性进行自适应秩分配可以提高性能。

然而，现有的秩分配方法（如 AdaLoRA、AutoLoRA、SoRA）存在关键局限性：

不可靠的重要性度量： 依赖于基于梯度的敏感性（例如 $ipt(w) = \|w \nabla_w L\|$ ）的方法假设单个参数的变化是在孤立状态下发生的，忽略了参数在不同模型状态下的相互作用。
不可解释的指标： 依赖于学习到的架构参数（如 AutoLoRA）或基于量级得分的方法往往无法可靠地反映特定 LoRA 秩的真实贡献。
工作流问题： 一些方法在训练集上计算重要性，存在过拟合风险，或者缺乏用于比较的公平重训练协议。

本文认为，需要一种既可靠又可解释的重要性度量，能够评估各种协作场景下而非孤立状态下的 LoRA 秩。

2. 方法论：ShapLoRA

作者提出了 ShapLoRA，这是一个受合作博弈论中 Shapley Value 启发，用于调整 LoRA 秩分配的框架。

核心概念：Shapley 敏感性

该方法将每个 LoRA 秩视为协作博弈中的一个“玩家”。ShapLoRA 不是在静态模型中评估一个秩的重要性，而是在不同的“联盟”（活跃秩的子集）中评估其贡献。

联盟形成： 为了模拟不同的联盟，该方法通过随机掩码（将其他 LoRA 秩的奇异值设为零）来处理。
敏感性计算： 对于联盟 $S$ 中的特定秩 $k$ ，其重要性得分使用基于梯度的敏感性度量（$ipt$）结合该秩的参数（奇异值和向量）进行计算。
聚合： 一个秩的最终 Shapley 敏感性 得分是其在所有可能联盟的随机子集中的敏感性得分的平均值。这近似了 Shapley Value，捕捉了该秩在多样化模型配置下的边际贡献。

工作流

ShapLoRA 的过程分为两个截然不同的阶段，以确保公平比较和鲁棒性：

秩分配阶段：
- 使用统一的高秩（ $r_{init}$ ）初始化所有 LoRA 模块。
- 在训练集（ $D_{train}$ ）上微调模型直至收敛。
- 在单独的验证集（ $D_v$ ）上计算 Shapley 敏感性得分，以避免来自过拟合数据的偏差。
- 剪枝得分最低的秩，以达到目标参数预算（ $R_{target}$ ）。
- 近似： 由于精确计算 Shapley Value 的计算成本极高，该方法通过采样一个联盟子集（ $S_{sub}$ ）来近似得分。
最终微调阶段：
- 根据剪枝后的配置重新初始化 LoRA 参数。
- 在训练集上微调模型直至收敛。

3. 主要贡献

论文概述了三个主要贡献：

ShapLoRA 框架： 一个用于在 LLM 主干网络上自适应调整 LoRA 秩分配的新颖框架，从而提高了微调质量。
Shapley 敏感性： 一种结合了基于梯度的敏感性与博弈论联盟分析的新型重要性度量。通过在变化的模型状态下评估秩，解决了以往敏感性度量不可靠的问题。
实证验证： 全面的实验证明，在同等可调参数预算下，ShapLoRA 一致地优于强大的 PEFT 基准方法（包括最先进的 LoRA 变体，如 AdaLoRA、AutoLoRA 和 DoRA）。

4. 实验结果

作者在包括常识推理（ARC-e/c, BoolQ 等）、数学推理（GSM8k, AQuA）、通用指令微调（MT-Bench, MMLU, BBH）以及 GLUE/NLG 任务在内的多种任务上对 LLaMA-3 8B 进行了评估。

性能： 在具有相当参数量的 PEFT 方法中，ShapLoRA 取得了最先进的结果。例如，在七个 QA/数学任务的平均值上，ShapLoRA (72.1% avg) 优于之前的最佳 LoRA 变体 DoRA (70.6%) 和 AutoLoRA (70.0%)。
效率： 虽然 Shapley 敏感性计算增加了一个计算步骤，但总训练时间（在 BoolQ 上约为 4.8 小时）与 AutoLoRA（5.3 小时）相当，且明显高于单阶段方法 MOELoRA（2.1 小时），但性能提升证明了其成本是值得的。显存占用在各方法间保持相当（约 18 GiB）。
消融研究：
- 用标准敏感性（AdaLoRA 风格）或基于量级的得分替换 Shapley 敏感性会导致性能下降，这验证了博弈论方法的有效性。
- 在训练集上计算重要性（ShapLoRA-4）的表现略逊于使用验证集，证实了来自过拟合数据的偏差估计风险。
- 该方法在不同随机种子下表现出高度稳定性（Spearman 相关系数 > 0.96）。
泛化能力： 该方法也在蒸馏后的 Qwen 3B 和 LLaMA 8B 模型上进行了测试，显示出一致的改进。

5. 重要性与主张

论文声称 ShapLoRA 解决了当前 LoRA 秩分配方法中不可靠且不可解释的重要性估计这一根本问题。通过利用 Shapley Value 的概念，作者提供了一种更稳健的机制，用以识别哪些 LoRA 秩对于特定任务真正至关重要。

其重要性在于：

改进的适配： 在不增加可调参数数量的情况下，实现更高的下游任务性能。
方法论的严谨性： 建立了公平的比较协议（用于剪枝的独立验证、用于评估的重训练），这是以往工作通常缺乏的。
可解释性： 为为何剪枝某些秩提供了理论基础（博弈论），超越了启发式或纯粹基于量级的决策。

作者总结道，ShapLoRA 为参数高效的适配提供了一个实用且有效的替代方案，特别是对于那些均匀秩分配并非最优的高精度任务。