🤖 machine learning

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

本文提出了一种无需训练的“幽灵层”方法，通过推导一个闭式最优线性算子来对齐幸存层之间的激活分布，从而恢复层剪枝大语言模型的性能，在保持效率提升的同时超越了现有的约束基线方法。

原作者： Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢、训练有素的厨师（即大型语言模型），他花费数年时间学习烹饪复杂菜肴。这位厨师在一个拥有 32 个不同工作站的大型厨房中工作，每个工作站都会为菜肴增添特定的风味或质地。

问题：切除中间部分
为了让厨房运行得更快、成本更低，有人决定一次性移除中间的一大块工作站——例如，一次移除 7 个或 11 个工作站。这被称为“层剪枝”。

问题在于，被切除部分之前和之后的工作站，原本是通过那些缺失的工作站相互协作的。当你移除中间部分后，紧接在切口之后的工作站接收到的“食材”，与其预期的样子截然不同。这就像一位面包师期待得到完美揉好的面团，却收到了一团生硬、结块的烂泥。面包师（即下一层）感到困惑，食谱分崩离析，最终菜肴（即 AI 的回答）难以下咽。

旧有的修复方案：试图填补空缺
以往试图修复这一问题的方法，就像试图把方形的木桩硬塞进圆形的孔里。

有些方法试图仅仅“拉伸”现有食材，使其看起来更像预期的样子，但它们过于僵化。
其他方法则尝试使用一种非常具体、对称的工具来修复不匹配之处。论文指出，这就像试图仅用一把只能上下移动而不能左右移动的尺子，去修复一个歪斜的相框。这是一种受限的工具，无法达到完美的解决方案。

新方案：“幽灵层”
作者提出了一种名为“幽灵层”的新方法。你可以将其想象为一位“幽灵厨师”，或一座恰好出现在缺失工作站位置的魔法桥梁。

以下是其工作原理的简单说明：

校准（味觉测试）：在永久改变厨房之前，团队会取一小份食材样本（几段文本），让它们通过原始的完整厨房。他们记录下食材在进入缺失工作站之前的确切状态，以及离开这些工作站之后的确切状态。
数学魔法：他们计算出“之前”状态与“之后”状态之间的精确差异。他们不是靠猜测或使用受限工具，而是利用数学公式，找出将“之前”状态转化为“之后”状态所需的完美且无限制的转换。
- 类比：如果缺失的工作站将红苹果变成了绿苹果，受限的工具可能只能将其涂得稍绿一些。而“幽灵层”则能计算出将红苹果完美转变为绿苹果所需的精确化学变化，无论这种变化多么复杂。
结果：他们将这个完美的“幽灵层”插入到经过剪枝的厨房中。现在，当食材从切口前的工作站流向切口后的工作站时，它会穿过这个幽灵，瞬间被转化为下一工作站所期望的确切状态，烹饪得以顺畅继续。

为何更优
论文声称，以往的方法就像试图用半套拼图来解谜，或使用过于简单的工具。“幽灵层”则用完整的拼图和最灵活的工具解决了这个谜题。

无需重新训练：你无需重新教导厨师如何烹饪。只需安装这座新的“幽灵桥梁”，厨房即可恢复运作。
速度相同：尽管设计幽灵的数学计算很复杂，但一旦构建完成，它并不会拖慢厨房的运行速度。其运行速度与以往那些受限的修复方法一样快。
味道更佳：在测试中，当移除大量厨房部分时，该方法产生的结果（更高的准确率和更低的困惑度）远优于以往的方法。

总结
当你切除智能 AI 的部分组件时，剩余部分会因信息流中断而感到困惑。“幽灵层”充当了一个完美、无形的翻译器，瞬间修复了断裂的信息流，使 AI 能够在无需重新训练的情况下，以全速继续工作。

技术摘要：幽灵层——用于恢复层剪枝大语言模型的无约束激活对齐

1. 问题陈述

层剪枝是一种针对大语言模型（LLM）的实用压缩技术，它通过移除整个 Transformer 解码器块来减小模型规模和推理成本，且无需定制内核或架构变更。然而，移除这些块会导致边界激活失配。传递给下一个幸存层的隐藏状态，与其原本被训练处理的数据分布存在显著差异。这种分布偏移会传播至下游层，导致困惑度（perplexity）和下游任务准确率出现显著的性能下降。

现有的无训练恢复方法试图缓解这种失配，但受限于结构性缺陷：

ReplaceMe 通过将线性变换吸收进幸存权重来近似被剪枝块的计算，但并未直接解决边界失配问题。
LinearPatch 通过插入一个参数化为哈达玛旋转通道缩放（Hadamard-rotated channel-wise scaling）的线性算子，直接针对边界激活失配。关键在于，这种参数化在构造上是对称的，将搜索空间限制在线性算子的严格子空间内，从而阻碍了该方法达到对齐目标的全局最优解。

实证分析表明，这些方法未能校正大部分边界激活误差，这表明其算子的受限性质不足以完全恢复剪枝模型的性能。

2. 方法论：幽灵层

作者提出了幽灵层（Ghosted Layers），这是一种无训练、即插即用的恢复模块，通过求解无约束最优线性算子来解决边界激活失配问题。

核心公式

该方法将恢复问题表述为激活对齐问题。设 $X_{pre}$ 为原始未剪枝模型中第一个被剪枝层的输入隐藏状态， $X_{post}$ 为最后一个被剪枝层的输出隐藏状态（即下一个幸存层的输入）。目标是找到一个线性算子 $W$ ，使得 $X_{pre}W \approx X_{post}$ 。

作者定义边界激活差距为 $\Delta = X_{post} - X_{pre}$ 。他们将算子重参数化为 $W = I + M$ ，从而将目标转化为最小化差距的重构误差：
$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$

闭式解

与以往在受限子空间上进行优化的方法不同，幽灵层在完整的线性算子空间 $\mathbb{R}^{C \times C}$ 上推导出了闭式最小范数最小二乘解：
$M^* = X_{pre}^\dagger \Delta$
其中 $X_{pre}^\dagger$ 是边界前激活的 Moore-Penrose 伪逆。最终算子为 $W^* = I + M^*$ 。

实现

校准：将一小部分校准序列（例如来自 C4 数据集的 128 个序列）通过原始未剪枝模型，通过前向预钩子（forward pre-hooks）收集 $X_{pre}$ 和 $X_{post}$ 。
计算：使用正则化最小二乘求解器（或 SVD）离线计算最优算子 $M^*$ ，以确保数值稳定性。
部署：通过前向钩子将算子 $W^*$ 插入剪枝边界。操作为 $x_{new} = x W^* = x + x M^*$ ，其中加法项 $x M^*$ 估计了被剪枝层本应贡献的增量更新。

理论优势

论文证明，最优算子 $W^*$ 包含一个显著的反对称分量。由于 LinearPatch 将其搜索限制在对称矩阵（即 $W = W^\top$ ）范围内，它在结构上无法访问该反对称分量。幽灵层通过在无约束空间上操作，捕捉到了这一分量，理论上实现了对齐目标的真正最优解。

3. 主要贡献

剪枝后恢复的公式化：作者将恢复问题表述为激活对齐问题，并直接从边界激活中推导出了其闭式最优解。
无约束最优性：他们证明，该公式化产生了一个包含显著反对称分量的无约束最优解，而像 LinearPatch 这样的对称构造无法访问该分量。
幽灵层模块：他们提出了一种无训练、即插即用的模块，兼容任何剪枝标准和模型架构。在匹配的推理成本下，它始终优于以往的无训练基线。

4. 实验结果

该方法在多个 LLM 骨干网络（LLaMA-3-8B、LLaMA-3.1-8B、DeepSeek-R1-Distill-LLaMA-8B 以及附录中的其他模型）和剪枝策略（LLM-Streamline、ShortGPT、Shortened LLaMA）上进行了评估。

准确率：与无训练基线相比，幽灵层在九个常识推理基准（ARC、HellaSwag、WinoGrande 等）上始终取得最高或具有竞争力的平均零样本准确率。例如，在剪枝 7 层的 LLaMA-3.1-8B 上，幽灵层实现了 60.01% 的平均准确率，优于 LinearPatch (Rotate) 的 53.27% 和 ReplaceMe (LS) 的 59.68%。
困惑度：该方法显著降低了 WikiText-2、C4 和 Penn Treebank 上的困惑度。在激进剪枝场景（移除 11 层）中，相对于基线的改进幅度进一步扩大，幽灵层在大多数组合中实现了最低的困惑度。
效率：尽管求解的是完整的 $C \times C$ 矩阵，但与 LinearPatch 相比，幽灵层没有增加额外的推理成本。两种方法都将操作融合为边界处的单个稠密 $C \times C$ 矩阵乘法。实证延迟测量证实，它们在噪声容限内是不可区分的。
校准敏感性：该方法对校准集的大小具有鲁棒性；准确率在仅需 32 个序列时即达到饱和，且校准数据集的选择（C4 与 WikiText-2）对性能影响极小。
微调：即使结合轻量级知识蒸馏，幽灵层仍保持优于微调版 LinearPatch 变体的性能优势，表明闭式初始化提供了更优越的起点。

5. 意义与主张

论文主张，在无约束最优解处解决边界激活对齐，足以在不重新训练的情况下大幅恢复层剪枝大语言模型的性能。

这项工作的意义在于证明，剪枝模型的性能下降不仅仅是容量缺失的结果，而是可校正的分布偏移所致。通过超越受限算子子空间（如对称矩阵）而进入线性映射的完整空间，幽灵层恢复了以往方法遗漏的结构信息（特别是反对称分量）。这种方法为部署更小、经过剪枝的大语言模型同时保留其原始能力，提供了一种简单、计算高效且极其有效的解决方案。