💻 computer science

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

SHIFT-LLM 是一个无需训练的剪枝后框架，它通过插入通过闭式回归校准的轻量级线性残差适配器，来恢复深度剪枝大语言模型的准确度，从而纠正因移除 Transformer 块而导致的分布偏移。

原作者： Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是当今许多最先进人工智能工具背后的引擎，它们能够创作故事、解决问题并回答复杂的问题。这些系统由一层层堆叠在一起的数字处理单元构建而成，非常像一座多层建筑，每一层都在对从下一层传递上来的信息进行精炼。建筑的楼层越多，其最终输出就越详细、越复杂，但这也使得结构变得异常沉重且运行成本高昂。对于许多实际应用场景，尤其是对于电力或内存有限的设备而言，这些庞大的模型实在过于庞大而无法使用。为了使它们变得更小，研究人员开发了移除整个“楼层”的方法，这一过程被称为深度剪枝（depth pruning）。虽然这成功减轻了负载并提高了模型的运行速度，但往往会导致剩余的楼层出现踉跄。因为被移除的楼层原本是设计用来向其上方传递特定类型信息的，拿走它们会导致上层变得困惑，接收到的信号不再符合它们训练时所预期的模式。这种不匹配被称为分布偏移（distribution shift），它会导致模型失去准确性并产生错误，迫使开发者投入大量的时间和计算资源来重新训练模型以修复这些错误。

华为诺亚方舟实验室的一个研究团队推出了一种名为 SHIFT-LLM 的新方法，旨在无需重新训练的情况下解决这一问题。该方法并非试图重建缺失的楼层或重新教导剩余的楼层，而是在每一个移除层的部位插入一个微小的、轻量级的修正模块。想象一下，如果你从一栋建筑中移除了一个楼层，你会安装一个简单的、定制的坡道来完美地填补这个缺口，确保上层的人们仍能接收到与缺失楼层存在时完全相同的指令。在数字世界中，这个“坡道”是一个线性适配器（linear adapter），它在保持信息直接路径的同时，增加了一个微小的、经过计算的调整。这种调整旨在模拟被移除层本应做出的特定贡献，有效地“欺骗”模型的其余部分，使其认为缺失的楼层仍然存在。

这种方法的精妙之处在于它如何计算这种调整。研究人员并没有通过数千小时的训练来弄清楚缺失层应该做什么，而是使用一小组样本数据来精确测量丢失了哪些信息。然后，他们使用一种直观的数学计算来确定恢复该丢失信息所需的精确修正量。这个过程是完全自动化的，不需要基于梯度的优化（即通常修复损坏模型时所需的复杂、迭代的学习过程）。通过使用这种闭式解（closed-form）计算，团队可以在短短几分钟内，仅利用几百个样本，便完成对模型内部状态的修正，而无需耗费数天的计算时间。其结果是，剪枝后的模型既保留了层数减少带来的速度和效率，又能保持与原始庞大模型几乎一致的准确性。

在实验中，研究人员在五个不同家族的大语言模型上测试了这一技术，规模从 15 亿参数的小型模型到 140 亿参数的版本不等。他们采用了六种不同的方法来决定移除哪些层，并在七个旨在测试通用知识和推理能力的基准测试上进行了评估。研究结果是一致的：修正模块在几乎所有配置下都成功恢复了剪枝过程中损失的准确性。在一个涉及 80 亿参数模型的显著案例中，该方法在一个标准基准测试上恢复了惊人的 15.7 个百分点的准确度，而这种增益通常需要进行大规模且昂贵的重新训练。即使在模型剪枝后已经进行了微调的情况下，添加这个修正模块依然提供了额外的提升，这表明这两种方法可以很好地结合使用，以进一步推高性能。

研究人员还展示了这些修正模块可以进一步压缩以节省空间，并且可以在连续移除多个层时进行合并，从而确保剪枝带来的效率收益不会被修复过程本身的开销所抵消。这项工作表明，使大语言模型变小的主要障碍不仅在于移除部件，更在于破坏了它们之间的信息流。通过专注于使用简单、有针对性的调整来修复这种信息流，SHIFT-LLM 提供了一种通用且高效的方法，使强大的 AI 模型能够应用于日常使用。这项研究证实，只要有正确的修正，我们就可以剥离掉这些数字大脑中沉重且冗余的部分，而不损失其清晰思考的能力，从而为更快、更便宜、更易于获取的人工智能打开了大门。

技术摘要：SHIFT-LLM

问题陈述

大语言模型（LLM）中的深度剪枝旨在通过移除整个 Transformer 块来提高推理效率。然而，这一过程引入了一个关键问题：分布偏移（distribution shift）。当中间层被移除时，该层原本会产生的残差更新（residual update）便会丢失。因此，下游层接收到的隐藏状态与预训练期间遇到的状态存在系统性差异。这种偏移会在网络中传播，导致显著的准确率下降。虽然剪枝后的微调可以恢复性能，但它需要大量的计算资源、优化时间和基于梯度的训练，这限制了其在资源受限场景下的适用性。

方法论：SHIFT-LLM

作者提出了 SHIFT-LLM，这是一个无需训练的、剪枝后校正框架，旨在不进行梯度计算的情况下缓解这种分布偏移。其核心机制是在每个剪枝位置插入的 线性残差适配器（Linear Residual Adapter, LRA）。

1. 线性残差适配器 (LRA) 公式化

LRA 并非从头开始重建整个输出隐藏状态，而是保留原始的恒等路径（identity pathway）并添加一个轻量级的仿射残差校正（affine residual correction）。

结构： 对于被剪枝的层 $\ell$ ，原始输出 $h^{(\ell)} = h^{(\ell-1)} + f_\ell(h^{(\ell-1)})$ 被近似为 $\hat{h}^{(\ell)} = h^{(\ell-1)} + g_\ell(h^{(\ell-1)})$ 。
校正函数： 适配器 $g_\ell(\cdot)$ 被建模为一个仿射变换： $g_\ell(h) = hA^{(\ell)} + \mathbf{1}(b^{(\ell)})^\top$ ，其中 $A^{(\ell)}$ 是权重矩阵， $b^{(\ell)}$ 是偏置向量。
目标： LRA 特别旨在近似缺失的残差更新（ $\delta^{(\ell)} = f_\ell(h^{(\ell-1)})$ ），而非完整的隐藏状态。通过利用模型预训练时所依赖的残差结构，这简化了近似问题。

2. 闭式估计（无需训练）

LRA 的参数（ $A^{(\ell)}$ 和 $b^{(\ell)}$ ）通过无需反向传播或迭代优化的方式进行估计：

数据收集： 原始未剪枝模型在少量留出的校准集上进行前向传播。收集输入隐藏状态（ $H^{(\ell)}$ ）以及对应的地面真值（ground-truth）残差更新（ $\Delta^{(\ell)}$ ）。
岭回归（Ridge Regression）： 通过闭式最小二乘回归（岭回归）求解参数，以最小化预测残差更新与实际残差更新之间的误差：
$X^{(\ell)*} = \left((H^{(\ell)}_{aug})^\top H^{(\ell)}_{aug} + \lambda I\right)^{-1} (H^{(\ell)}_{aug})^\top \Delta^{(\ell)}$
其中 $H^{(\ell)}_{aug}$ 包含一个偏置列， $\lambda$ 是正则化系数。
效率： 该过程仅需每个剪枝层进行一次前向传播和一次线性求解，避免了梯度计算或微调的需求。

3. 实际扩展

低秩分解： 拟合的权重矩阵 $A^{(\ell)}$ 可以通过截断奇异值分解（SVD）进行压缩，将参数量从 $d^2$ 降低至 $2dr + d$。
精确合并： 由于 LRA 定义的是仿射映射，位于相邻剪枝位置的连续 LRA 可以通过数学手段合并为一个单一的变换，且不会产生近似误差，从而进一步增强压缩效果。

核心贡献

SHIFT-LLM 框架： 一种无需训练的剪枝后校正方法，专门针对深度剪枝引起的隐藏状态分布偏移问题。
线性残差适配器 (LRA)： 一种新型组件，它在保留原始恒等路径的同时，通过经过校准的闭式回归来近似缺失的残差更新。
模块化与通用性： 该框架与特定的层选择策略（如 Block Influence、Taylor 敏感度、Magnitude）无关，并可应用于多种模型家族。
互补性： 该方法旨在与现有的参数高效微调技术（如 LoRA）协同工作，提供超越单纯微调的额外恢复能力。

实验结果

作者在五个模型家族（Qwen2-1.5B, Qwen1.5-7B, Llama-3.1-8B-Instruct, Vicuna-7B, 和 Qwen2.5-14B）、六种层选择标准以及七个零样本（zero-shot）基准测试上对 SHIFT-LLM 进行了评估。

无需训练的恢复： 在没有任何微调的情况下，SHIFT-LLM 能够持续恢复因深度剪枝而损失的准确率。
- 在使用逆序剪枝（Reverse-order pruning, 25% 深度）的 Llama-3.1-8B-Instruct 上，该方法实现了 +15.74 点 的平均零样本准确率增益。
- 在 Qwen1.5-7B 上，在 Magnitude- $\ell_1$ 剪枝下，增益达到了 +6.88 点。
- 在 WikiText-2 上的困惑度（Perplexity）在大多数配置下都大幅降低（例如，在 Llama-3.1-8B 的逆序剪枝下，困惑度降低了 1000 以上）。
可扩展性： 当扩展到 Qwen2.5-14B 时，该方法依然有效，展示了高达 +5.36 点的零样本准确率增益。
与微调的兼容性： 当与 LoRA 或部分层微调结合使用时，SHIFT-LLM 提供了互补性的恢复，在大多数评估设置中进一步提升了性能（例如，与 LoRA 结合时，在 Llama-3.1-8B-Instruct 上提升了 +1.14 点）。
与最先进技术的对比： 与 Navigation LLM 流水线集成后，SHIFT-LLM 将 Llama-3.1-8B-Instruct 的平均准确率从 59.08 提升至 59.54，证明了它在不降低强基准性能的前提下增加了价值。

意义与主张

本文声称 SHIFT-LLM 为深度剪枝固有的分布偏移问题提供了一个简单、通用且有效的解决方案。通过显式地近似缺失的残差更新并保留原始模型的残差结构，该方法在无需重新训练的计算成本下缓解了偏移。

作者强调，对于不希望或无法进行剪枝后训练的场景，这种方法具有特别重要的意义。该框架能够在仅使用几百个校准样本且无需梯度计算的情况下，实现显著的准确率恢复（高达 +15.7 点），这使其成为大规模微调的实用替代方案。此外，通过低秩分解合并连续适配器以及压缩权重的能力，确保了深度剪枝的效率增益得以保留甚至得到增强。