🤖 machine learning

LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models

该论文提出了 LASER，一种用于视觉语言模型的低秩压缩框架，该框架利用由曲率信息引导的损失感知奇异值分解以及跨层秩分配策略，在保持低精度推理准确性的同时实现显著的解码加速。

原作者： Haiyu Wang, Yutong Wang, Leshu Li, Yihui Ren, Sai Qian Zhang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Haiyu Wang, Yutong Wang, Leshu Li, Yihui Ren, Sai Qian Zhang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“装不进兜里”的巨型大脑

想象一下，视觉语言模型（VLM）就像一个超级聪明、巨大的大脑，它能够观察图片并回答相关问题。它功能极其强大，但也极其庞大。这就像是试图把一整座图书馆的百科全书都塞进你的背包里。因为体积太大，它需要消耗大量的能量来运行，需要巨大的硬盘来存储，并且在普通的手机或笔记本电脑上运行速度非常缓慢。

科学家们以前也尝试过用两种主要技巧来缩小这些模型：

剪枝（Pruning）： 剪掉大脑中看似无用的部分。
量化（Quantization）： 将大脑的思想转化为更简单、更短的语言（比如使用缩写）。

但还有第三种极具前景的技巧叫做低秩分解（Low-Rank Decomposition）。想象一下，你观察一幅复杂的画作，发现它其实只是由几层简单的笔触叠加而成的。如果你能找到这寥寥几笔，你就能在不存储每一个像素的情况下重现这幅画。这就是“低秩”所做的事情：它简化了模型内部的数学运算。

旧方法的缺陷： 以前尝试这种方法的人，就像是在通过猜测哪些笔触该保留来缩小画作。他们往往只关注让图片看起来保持一致（重构），而不是确保大脑依然能正确思考。他们还把大脑的每个部分都一视同同，尽管有些部分其实比其他部分更重要。

解决方案：LASER（损失感知奇异值分解与秩分配）

论文的作者创造了 LASER，一种能在不损失智能的前提下缩小这些巨型大脑的新方法。你可以把 LASER 想象成一位聪明的、具备损失感知的雕塑家。

以下是 LASER 如何通过三个简单步骤工作的：

1. “曲率”指南针（损失感知 SVD）

旧方法会问：“如果我移除这个部分，图片看起来还一样吗？”
LASER 则会问：“如果我移除这个部分，模型的答案会出错吗？”

想象你在剪辑一部电影。普通的剪辑师可能会仅仅因为一个场景与下一个场景看起来相似就把它剪掉。而 LASER 就像是一位知道哪些场景对剧情至关重要的导演。它使用一种数学“指南针”（称为 K-FAC）来衡量如果改变某个特定部分，模型的置信度或准确度会下降多少。它不仅仅观察数字的大小，更观察这些数字如何影响最终结果。这确保了在缩小模型时，“大脑”依然保持聪明。

2. “公平份额”预算（跨层秩分配）

想象你有一个 100 美元的预算，用来修理一栋有 10 个房间的房子。

旧方法： 给每个房间正好 10 美元。
LASER 方法： 先走遍整个房子。厨房快塌了（非常敏感），所以给它 40 美元。壁橱状况良好（不敏感），所以给它 5 美元。剩下的钱根据需求分配给其他房间。

LASER 意识到，AI 的所有部分并不完全平等。有些层非常“脆弱”，需要保留更多的原始复杂度；而有些层则可以被大幅度缩小。它使用一种特殊的“校准”过程，来确定应该给每一层分配多少“空间”（秩），从而使整个模型保持平衡且准确。

3. “混合型”FFN（重量级选手）

在这些 AI 大脑内部，有两种主要的“工作人员”：

注意力团队（The Attention Team）： 他们观察图像和文本，以确定关注重点。
FFN 团队（前馈网络团队）： 他们负责繁重的处理和推理工作。这个团队占据了模型体积的巨大份额。

旧方法主要缩小“注意力团队”，却忽略了“FFN 团队”。LASER 进入 FFN 团队并说道：“我们不能平等地缩小所有人，否则团队会崩溃。”
它使用了一种混合策略：

它识别出哪些特定的工作人员（通道）擅长被简化，并使用“笔触”技术（S之一 SVD）来缩小他们。
它让那些顽固、难以处理的工作人员保持原样（保持稠密）。
然后，它将整个团队转化为一种更简单的语言（量化）以进一步节省空间。

结果：快速、精简且聪明

论文声称，通过使用这种智能雕塑方法：

速度： 模型的运行速度比之前的顶尖方法快 2.3 倍，比标准的高精度方法快 4.7 倍。
准确性： 尽管模型被缩小和简化了，但它回答问题的正确程度几乎与那个巨大的、未缩小的版本一样出色。
效率： 它节省了大量的内存，使得在通常无法处理这些强大 AI 大脑的设备上运行它们成为可能。

简而言之： LASER 是一种缩小巨大 AI 大脑的聪明方法。它不是盲目地切除碎片，而是仔细测量哪些碎片是必不可少的，给重要的部分分配更多空间，并简化其余部分，从而得到一个运行快速、体积精简且依然非常聪明的模型。

技术摘要：LASER（损失感知奇异值分解与秩分配）

问题陈述

视觉语言模型（VLMs）展示了强大的多模态推理能力，但由于其庞大的计算成本、高参数量以及在自回归解码过程中巨大的显存带宽需求，面临着显著的部署挑战。虽然低秩分解已成为一种极具前景的压缩技术，但现有方法存在三个主要局限性：

局部优化： 大多数方法针对局部矩阵重构误差或层级输出误差进行优化，忽略了对端到端模型损失的影响。
低效的秩分配： 当前的方法通常依赖于均匀或启发式的秩分配，未能考虑到不同层和注意力头对压缩的敏感度差异。
范围有限： 现有的工作主要集中在注意力投影（Q、K、V）上，而将前馈网络（FFNs）——这些占据了模型大部分参数和存储量的部分——在低秩压缩方面很大程度上忽视了。

方法论

本文提出了 LASER（损失感知奇异值分解与秩分配），这是一个旨在将低秩压缩与下游 VLM 性能而非仅仅是重构保真度相对齐的框架。该方法由四个核心组件组成：

1. 损失感知奇异值分解 (SVD)

LASER 并非最小化权重重构误差的 Frobenius 范数，而是从模型损失的二阶近似中推导出一种曲率加权的 SVD 目标。

K-FAC 代理： 利用 Kronecker 因子化近似曲率（K-FAC），该方法将权重扰动 $\Delta W$ 引起的损失增加近似为 $\Delta L \approx \frac{1}{2}\text{vec}(\Delta W)^\top (G \otimes X)\text{vec}(\Delta W)$ ，其中 $X$ 和 $G$ 是在校准集上估计的激活值和梯度协方差矩阵。
变换： 权重矩阵 $W$ 被转换到曲率加权空间 $\tilde{W} = S_x W S_g$ （其中 $S_x$ 和 $S_g$ 是 $X$ 和 $G$ 的 Cholesky 分解因子）。对 $\tilde{W}$ 进行 SVD，并将得到的低秩因子映射回原始空间。这确保了截断的组件对应于估计的模型损失增量最小的部分。
量化感知白化 (QAW)： 为了适应低精度推理，该方法使用量化校准激活值来估计 K-FAC 因子，使白化目标与部署的低精度层保持一致。

2. 损失感知的跨层秩分配

论文指出，由于曲率估计中缩放因子的不同，源自 K-FAC 的奇异值在不同层或注意力头之间并不直接具有可比性。

经验 Fisher 重要性评分： 为了实现全局秩分配，LASER 引入了一种基于校准梯度的重要性评分。对于每个奇异分量，该评分通过结合奇异值的大小与其在原始参数空间中与校准梯度的对齐程度，来衡量其对经验 Fisher 二次损失近似的贡献。
全局优化： 通过贪婪地选择每个参数成本下具有最高重要性评分的奇异分量来进行秩分配，直到达到目标参数预算，从而实现跨层和跨头的非均匀秩分布。

3. FFN 的混合 SVD-量化方案

意识到对 FFN 进行统一的低秩分解会导致严重的精度下降，LASER 采用了混合方案：

通道选择： 对门控投影（gate）和上投影（up projection）应用临时 SVD，以识别“SVD 友好型”隐藏通道（即重构误差较低的通道）。
混合架构： 被选中的通道通过 SVD 进行压缩，而剩余通道则保持稠密状态。
量化： 在 SVD 因子之间插入一个正交旋转以平滑离群值，随后对低秩分支和稠密分支均进行最近舍入（RTN）量化。

4. 系统实现

为了实现延迟收益，作者实现了用于混合低秩 FFN 和低精度自注意力（SA）层的融合 Triton 内核。这些内核融合了输入投影、潜在激活生成、SwiGLU 操作以及量化/去量化步骤，显著减少了内存移动和内核启动开销。

核心贡献

损失感知目标： 推导出了一个曲率加权的 SVD 目标，利用 K-FAC 将分解过程与下游 VLM 性能对齐，超越了传统的局部重构误差。
鲁棒的秩分配： 识别了 K-FAC 奇异值在层间不可比性的问题，并引入了基于校准梯度的重要性评分，以实现可靠的全局秩分配。
FFN 扩展： 提出了一种混合 SVD-量化方案，通过对容错通道选择性地应用 SVD，同时保留对敏感通道的稠密计算，从而将低秩压缩扩展到了 FFN 层。
系统优化： 开发了融合 Triton 内核，集成了低秩重构、量化和非线性操作，实现了显著的解码加速。

实验结果

该框架在五种 VLM（LLaVA-v1.5 7B, LLaVA-Next 7B/13B, Qwen2-VL 7B, SmolVLM 2B）上进行了评估，涵盖 ScienceQA-IMG, SEED-Bench-IMG 和 MMBench 等基准测试。

精度保持： 在 FP16 推理下，LASER-noQ（仅 SVD）在各种参数比例 ( $\rho_1$ ) 下始终优于基线模型（SVD-LLM, QSVD, WSVD）。在 LLaVA-Next 13B 且 $\rho_1=50\%$ 的情况下，LASER 保持了与全量 FP16 模型相当的精度，下降幅度小于 1%。
低精度性能： 在 W8A8 量化设置下，LASER 实现的平均精度下降相对于 FP16 基线仅约为 0.5%，同时将 KV-cache 大小减少至 FP16 模型的 25%。它优于其他量化感知 SVD 方法（QSVD, WSVD）以及纯量化方法（DuQuant, QVLM）。
延迟与加速： 在 RTX 4090 和 5090 GPU 上的系统级评估表明，得益于融合内核和减少的内存传输，LASER 实现了比 Flash Decoding 快 4.7 倍 的解码速度，比 WSVD 快 2.3 倍。

重要性与主张

论文声称，LASER 通过将优化重点从局部重构转向全局损失敏感度，为 VLMs 的低秩压缩提供了一种原则性的方法。通过解决均匀秩分配和忽视 FFN 层的问题，LASER 能够在不牺牲多模态推理能力的前提下，实现在资源受限设备上的高效低精度推理。这项工作证明了结合损失感知分解、基于梯度的秩分配以及混合压缩策略，可以在保持精度和提升推理速度方面同时取得实质性进展。