🤖 machine learning

Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs

本文介绍了激活与影响感知秩（Activation- and Influence-Aware Ranks, AIR），这是一种通过将反向信号影响指标集成到单个闭式交替最小二乘（ALS）扫描中的新型基于 SVD 的框架，通过与 SVD-LLM 和 ACIP 等现有方法相比，实现了更优越的困惑度、数据效率和延迟增益，从而增强了大语言模型（LLM）的压缩效果。

原作者： Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座规模宏大、细节极其丰富的图书馆（即大型语言模型，或 LLM），它懂得如何写作、推理和聊天。但这座图书馆实在太大了，无法装进你的手机，而且寻找一本书需要花费很长时间。你想把这座图书馆缩小，让它能装进你的口袋，同时又不丢失其中的故事。

这篇论文介绍了一种缩减这些图书馆的新方法，称为 AIR（激活与影响感知秩）。你可以把它想象成一个“智能编辑”，它精准地知道哪些页面该剪掉，哪些该保留。

以下是它的工作原理，使用简单的类比进行说明：

1. 问题所在：“盲目”的剪刀

以往的方法试图通过观察词汇的大小或它们出现的频率（激活感知）来缩减图书馆。

类比： 想象一位图书管理员，他们只看书的厚度。他们决定扔掉所有薄书，因为它们占用的空间较少。
缺陷： 一本薄书可能包含了最重要的剧情转折！如果只看大小，这些旧方法会不小心剪掉最关键的信息，导致故事变得毫无意义。

2. AIR 的解决方案：“智能编辑”

AIR 与众不同。它不仅看词的大小，还看这些词对最终故事有多重要。它使用了一个两步走的过程：

步骤 A：前向传递（“正在发生什么”扫描）
编辑阅读书籍，以查看当前句子中实际使用了哪些词。这就像是检查桌子上目前正翻开着哪些页面。
步骤 B：后向传递（“为何重要”扫描）
这是神奇之处。编辑会问道：“如果我删掉这个特定的词，故事的结局会改变吗？”
- 如果删除一个词会改变句子的意思，那么这个词就是高影响力的。保留它！
- 如果删除一个词不会改变任何内容，那么这个词就是低影响力的。你可以安全地剪掉它。

3. 魔法技巧：“重新排列”

一旦 AIR 识别出“重要的”词和“不重要的”词，它并不仅仅是删除那些不重要的部分。它执行了一次巧妙的数学洗牌（称为 SVD 和 ALS）。

类比： 想象你有一个拼图。你想让这张图片变小。
- 旧方法： 直接扔掉颜色最少的碎片。结果图片变得模糊且破碎。
- AIR 方法： 它意识到有些碎片看起来虽小，却承载着整个画面。它重新排列拼图，将“重要的”碎片紧密地打包在中心，而将“不重要的”碎片推向边缘，以便在不破坏图像的前提下安全地修剪掉。

4. 结果：更小、更快、更聪明

论文声称，通过使用这种“智能编辑”方法：

更好的质量： 缩减后的图书馆即使被削减到原始大小的 60%，依然能完美地讲述故事。它比其他缩减方法犯的错误更少。
更少的数据需求： 它不需要阅读整个图书馆来确定该剪掉什么；它可以从极小的样本中学习（比其他方法节省约 90% 的数据）。
真实的提速： 因为图书馆变小了，它可以装入更小的设备（如手机或单张显卡），并且运行得更快。它不仅是文件体积变小了，实际上加载速度更快，占用的内存也更少。

5. “加分”功能

论文指出，AIR 可以与其他工具协同工作。

“微调”插件： 你可以拿这个缩减后的图书馆进行快速的“复习课程”（称为 LoRA），使其变得更好。AIR + 复习课程的效果比任何其他组合都要好。
“压缩”插件： 你也可以进一步挤压图书馆内部的数字（量化），而不会破坏它。

总结

简而言之，AIR 是一种充当明智编辑的压缩技术。它不是盲目地根据大小进行裁剪，而是观察每一个组成部分的重要性。它保留了驱动模型智能的关键部分，并丢弃了冗余内容，从而得到一个更小、更快、更聪明的 AI，它对世界的理解程度与庞大的原版版本一样出色。

技术摘要：激活与影响感知秩 (Activation- and Influence-Aware Ranks, AIR)

1. 问题陈述

大语言模型 (LLMs) 依赖规模来提升性能，因此需要通过后训练压缩来实现高效部署。奇异值分解 (SVD) 是压缩的主要候选方案，归功于 Transformer 权重中隐含的低秩结构以及秩- $k$ 近似的理论最优性（Eckart–Young 定理）。然而，标准的“原生 SVD (Vanilla SVD)”忽略了单个权重的功能作用，往往会导致下游性能严重下降。

现有的“功能保持型”方法试图通过校准数据来缓解这一问题，但面临着一种两极分化：

前向激活方法（如 ASVD、SVD-LLM(W)）计算成本较低且具有层局部性，但它们无法感知保留的激活值是否真正影响最终预测。
后向信号方法（如 FWSVD、ACIP）结合了任务损失或输出影响，但要么表现不如仅基于激活的方法，要么需要高昂的端到端优化成本（全量重训练或梯度下降）。

本文解决的核心挑战在于：如何在不引入端到端优化计算成本的情况下，将后向信号影响度量集成到 SVD 压缩中，同时保持层局部闭式解（closed-form solutions）的高效性。

2. 方法论：激活与影响感知秩 (AIR)

AIR 提出了一个混合框架，通过单次闭式交替最小二乘法 (ALS) 扫描，将前向传递的激活感知与后向传递的影响感知相结合。

2.1 前向-后向分析

该方法对权重矩阵 $W \in \mathbb{R}^{m \times n}$ 进行逐层操作：

前向传递（激活感知）： 遵循 SVD-LLM(W) 的方法，从校准数据中收集隐藏状态 $X$ ，以构建剖析矩阵 $S = \text{cholesky}(\sum XX^\top)$ 。权重矩阵被转换到潜空间：$W' = WS $。这一步通过对$ W'$ 进行标准 SVD 得到最优的激活感知秩- $k$ 解。
后向传递（影响感知）： 使用后向信号计算元素级影响矩阵 $I \in \mathbb{R}^{m \times n}$ 。该信号量化了每个权重对模型输出的功能性贡献。本文接受属于影响度量家族的任何元素级评分（例如：权重 $\times$ 梯度、经验费舍尔信息 (Empirical Fisher) 或层相关性传播 (LRP)）。矩阵 $I$ 在校准数据上进行累积并归一化为单位均值。作者默认使用带有 $\epsilon$ -规则（用于抑制噪声）的 AttnLRP。

2.2 混合目标函数

AIR 定义了一个混合损失函数，该函数对高影响权重的重构误差惩罚比对低影响权重更重：
$\mathcal{L}_{act,infl} = \left\| \sqrt{1 + \delta \cdot I} \odot (W' - U'_k \Sigma'_k V'^\top_k) \right\|_F^2$
其中 $\delta$ 控制影响权重强度， $\odot$ 是 Hadamard 积，平方根是元素级运算。项 $(1 + \delta \cdot I)$ 确保了激活感知的近似误差不会在低影响权重上被削减。

2.3 闭式 ALS 解

由于受影响加权的目标函数通常不具备闭式 SVD 解，AIR 采用了单次交替最小二乘法 (ALS) 扫描。

初始化： 过程从激活感知目标的全局最优解（标准 SVD 的 $W'$ ）开始。
更新规则： 算法按秩 $r = k-1$ 递减至 $0 $进行迭代。对于每个秩，它执行奇异向量 ($ u'_r, v'_r $) 和奇异值 ($ \sigma'_r$) 的闭式更新，以最小化扰动后的目标函数。
单调下降： 作者证明，从激活感知最优解开始，这一单次后向扫描保证了混合目标函数 $\mathcal{L}_{act,infl}$ 的非增（单调下降）。
效率： 该方法避免了元素级加权低秩近似的难解性，而是通过按顺序求解每个秩分量来实现。它仅需对秩进行一次遍历，使其计算效率极高（在 A100 上处理 LLaMA-7B 约需 12 分钟）。

2.4 系统级实现

为了实现实际的运行期收益，AIR 集成了特定的推理优化：

顺序传播： 计算 $y = U_k(V^\top_k x)$ 而不是重构 $W$ 。
KV 缓存优化： 缓存低秩中间值，并应用旋转位置嵌入 (RoPE) 预缓存以避免内存扩张。
缓冲区管理： 预分配缓冲区以消除每个 token 的动态内存分配。

3. 核心贡献

性能-效率权衡： 在 LLaMA-7B 上，在 60%/40%/20% 参数保留率下，AIR 的困惑度（perplexity）比 SVD-LLM(W) 分别降低了 18%/33%/45%。它在 LLaMA、Mistral 和 Vicuna 系列中具有泛化性。
数据效率： AIR 使用 约 90% 更少的校准数据 即可达到与 SVD-LLM(W) 相当的质量。
与端到端方法的互补性： AIR 是层局部的，且与端到端微调正交。
- AIR + LoRA 在所有压缩率下都优于 ACIP（一种最先进的端到端方法），在 20% 保留率时差距高达 59%。
- 文中展示了局部影响代理 (AIR) 与全局参数更新 (LoRA/重训练) 提供的是独立且相加的收益。
系统级收益： 在 60% 参数保留率下，AIR 将参数节省转化为 约 64% 的峰值 GPU 显存减少 和 约 53% 的每 token 延迟降低（基于 40 GB A100），从而支持了基础模型在发生 OOM（显存溢出）时的推理配置（如更大的 Batch Size 或序列长度）。
信号无关性： 集成机制（ALS 更新规则）主导了对信号的选择。原则性的后向信号（LRP、权重 $\times$ 梯度、Fisher）产生相同的困惑度，而无信息的基准（权重大小、全 1 矩阵）则表现不佳。

4. 结果与评估

困惑度： 在 WikiText-2 和 C4 数据集上，AIR 在各种压缩率下均一致优于 Vanilla SVD、FWSVD、ASVD 和 SVD-LLM(W)。随着压缩程度变得更加激进（较低的参数保留率），性能差距会进一步扩大。
推理任务： 与基准方法相比，AIR 在推理基准测试（OpenBookQA、ARC-E、WinoGrande 等）中保持或提升了平均推理准确率。
量化： AIR 压缩的模型适用于后训练量化 (RTN, GPTQ)。在 60% 保留率配合 4-bit GPTQ 时，AIR 保持了 11.99 的困惑度（对比未量化的 11.27）。
运行时： 虽然标准的 SVD 实现由于内存带宽瓶颈和 KV 缓存开销往往无法降低延迟，但 AIR 的特定优化（O1-O3）成功地将参数减少转化为延迟收益，特别是在高带宽压力（大 Batch Size/长序列长度）下。

5. 重要性与主张

本文声称填补了廉价的激活感知 SVD 压缩与昂贵的端到端重训练之间的鸿沟。

层局部 vs. 端到端： 作者认为层局部优化 (AIR) 与端到端优化 (LoRA/重训练) 是互补的，而非冗余的。AIR 提供了一个强大的、具备影响感知的初始化，随后的微调可以在此基础上进行。
机制重于信号： 一个关键发现是，集成机制（ALS 更新规则）比具体的后向信号选择更为重要。这使得该方法能够对信号具有鲁棒性和无关性。
实际部署： 本文强调，理论上的 FLOPs 减少并不自动转化为运行时的收益。通过解决系统级瓶颈（KV 缓存、内存分配），AIR 提供了切实的部署效益，将“OOM 前沿”向后推移，从而支持更大规模的推理工作负载。

6. 局限性

作者指出，将该方法扩展到大于 70B 参数的模型以及 Encoder-Decoder 或混合专家 (MoE) 架构仍是一个开放性挑战。此外，目前的方法使用统一的每层秩速率，将动态秩分配和 Token 级自适应作为未来的潜在扩展方向。