💻 computer science

Rank-Gated and Sparse Low-Rank Adaptation for Efficient Fine-Tuning of Vision--Language Models

本文介绍了 Rank-Gated LoRA (RG-LoRA)，这是一种通过为 LoRA 秩分量分配可学习的重要性权重，以实现用于内存效率的训练后剪枝的方法，但针对 Qwen3-VL-8B 的初步实验表明，在缺乏显式稀疏正则化的情况下，门控机制无法学习到有意义的稀疏性，尽管验证了所提出的“训练-剪枝-评估”机制，却导致延迟或显存收益微乎其微。

原作者： Qinwu Xu

发布于 2026-09-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qinwu Xu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能系统能够识别图像并阅读文本，正变得异常强大，但同时也变得规模庞大。这些视觉语言模型拥有数十亿个参数，即允许机器学习的内部设置。为了教导这些巨头完成一项新任务，例如阅读医疗图表或理解复杂的图表，研究人员传统上必须调整每一个设置。这个过程就像是通过更换每一块砖来改造一座摩天大楼；它需要极高的计算机内存和时间，往往使得大多数研究人员无法负担。为了解决这个问题，科学家们开发了一种被称为“低秩自适应”（Low-Rank Adaptation，简称 LoRA）的捷径。这种方法不再触动整个建筑，而是为模型添加一个轻量级的附件，在保持原始庞大结构不动的情况下学习新任务。它是使这些大型模型在不耗费巨额计算成本的情况下发挥作用的标准工具。

然而，即使是这些轻量级的附件也存在隐藏的低效问题。当研究人员创建它们时，必须在开始训练前预估附件需要多少“容量”。他们选择一个固定的尺寸，而模型会使用该尺寸内的所有部分，即使其中只有一小部分对这项工作是真正必要的。这就像是建造了一个带有二十个隔层的行李箱，但你其实只需要五个隔层，却仍需背负全部二十个隔层的重量。来自德克萨斯大学奥斯汀分校的秦武（Qinwu Xu）的新研究提出了一个简单的问题：如果模型可以自行决定附件中的哪些部分是有用的，哪些是无用的，然后物理性地移除那些无用的部分，情况会怎样？

研究人员引入了一种称为“秩门控 LoRA”（Rank-Gated LoTA）的方法。想象一下，这个小附件就像一叠透明的薄片，每一张薄片代表了模型从数据中学习的一种不同方式。在标准方法中，模型被迫使用堆叠中的所有薄片，无论它们是否有用。在这种新方法中，研究人员在每张薄片上都添加了一个微小的、可学习的开关。在训练过程中，模型学习将有助于学习的薄片的开关调至“开启”，并将无助于学习的薄片的开关调至“关闭”。一旦训练完成，研究人员就可以物理性地剪掉那些被关闭的薄片。其结果是一个更小、更高效的附件，它能完成同样的工作，但占用的空间更少，运行所需的能量也更低。

为了测试这个想法是否可行，团队将其应用于一个名为 Qwen3-VL-8B-Instruct 的大型视觉语言模型。他们在包含图表、图像中的文本和文档问题的三个不同数据集的混合体上训练了该模型。他们将这种新方法与标准的、固定尺寸的版本进行了对比。结果显示，新方法可以像标准版本一样出色地学习，在测试问题上的准确率约为 81.56%，非常接近标准方法实现的 81.95%。这证明了即使在携带了缩减空间的潜力时，模型仍然可以有效地学习。

实验中最有趣的部分发生在训练完成后。研究人员取出训练好的模型，并开始逐一移除那些最不重要的薄片，以观察在模型失效之前，他们可以将附件缩小到多小。他们发现模型具有惊人的鲁棒性。即使在移除了八张原始薄片中的三张，仅留下五张后，模型的性能在特定的验证集上甚至略有提升，达到了 81.26%。这表明原始的、较大的附件确实携带了一些对模型思考没有帮助的额外重量。通过剪掉这些部分，模型在材料更少的情况下，表现得同样好，甚至更好。

尽管取得了成功，研究人员也谨慎地指出，他们的实验并未证明什么。虽然模型可以容忍部分被移除，但开关本身并没有在训练过程中自动学会关闭。它们保持在与起始位置几乎完全相同的位置，这意味着模型并没有自然地发现哪些部分是无用的。研究人员必须在事后手动决定剪掉哪些部分。此外，由于附件本身已经相当小，因此将其削减并不会显著提高模型的运行速度，也不会大幅减少其实时使用的计算机内存。繁重的工作仍然是由主模型中庞大且冻结的骨干网络完成的，因此从小型附件中节省下来的收益在整体速度中微乎其微，难以衡量。

研究结论认为：该机制是有效的——即可以训练一个带有额外容量的模型，然后在不损害其理解图像和文本能力的情况下，进行手术式地移除未使用的部分。然而，要使其成为真正的效率突破，未来的工作需要教会模型在训练期间自行关闭开关，并在更大的附件上测试该方法，因为在更大的附件上，节省下来的收益才会更加显著。目前，这项研究作为一个概念验证，展示了这些数字工具可以在构建完成后进行修剪，为未来更高效、更具适应性的人工智能铺平了道路。

技术摘要：用于视觉-语言模型高效微调的秩门控与稀疏低秩自适应技术

问题陈述

标准低秩自适应（LoRA）是大型语言模型（LLM）和视觉-语言模型（VLM）中一种主流的参数高效微调（PEFT）方法。然而，它存在两个主要局限性：

固定秩的要求：从业者必须在训练前选择一个固定的秩 $r$ 。这种全局性的选择往往并非最优，因为不同的层、模态和任务表现出不同的适应敏感度。
利用率不均：标准 LoRA 假设所有低秩维度同样重要。经验证据表明，在有限数据量或特定领域偏移的情况下，只有一部分学习到的秩分量会对结果产生实质性贡献，从而导致选定子空间内的过度参数化。

虽然像 MoRA 这样高秩的方法解决了欠参数化的风险，但仍需要一种框架，能够从具备充足秩容量的配置开始，并显式地学习哪些分量是冗余的，从而实现训练后创建物理紧凑的适配器。

方法论：秩门控 LoRA (RG-LoRA)

本文提出了 秩门控 LoRA (RG-LoRA)，这是一种结构化扩展，通过在 LoRA 适配器的潜在秩一分量上直接放置可学习的门控来实现。

核心机制

给定冻结的权重矩阵 $W$ 和标准的 LoRA 更新 $\Delta W = BA$ ，RG-LoRA 将更新修改为：
$\Delta W = B \text{diag}(g) A$
其中：

$A \in \mathbb{R}^{r_{max} \times d_{in}}$ 和 $B \in \mathbb{R}^{d_{out} \times r_{max}}$ 是标准的 LoRA 因子。
$g \in \mathbb{R}^{r_{max}}$ 是一个可学习的门控向量，通过 Sigmoid 转换后的对数（logits）进行参数化（ $g = \sigma(\ell)$ ）。
每个门控 $g_j$ 对特定的潜在秩一分量 $b_j a_j^\top$ 进行缩放。

训练与剪枝策略

训练：使用最大秩预算 $r_{max}$ 对模型进行训练。应用稀疏正则化项（例如 $\ell_1$ 惩罚）以鼓励不必要的组件获得较小的门控值。
剪枝：训练完成后，识别门控值低于阈值 $\tau$ 的组件。随后物理移除 $A$ 对应的行和 $B$ 对应的列。
部署：最终得到的适配器是一个标准的紧凑型 LoRA 模块（ $\Delta W' = B_S A_S$ ），其有效秩 $r_{eff} \le r_{max}$ 。门控被丢弃，且在推理过程中不需要额外的门控操作。

变体与兼容性

论文还研究了 步进稀疏 LoRA (Strided Sparse-LoRA)（确定性特征子采样）和 通道门控稀疏 LoRA (Channel-Gated Sparse-LoRA)（对输入通道进行门控）作为基准。RG-LoRA 被设计为兼容张量并行训练（包括行并行和列并行），因为门控操作仅作用于微小的、复制的低秩潜在空间，所需的通信开销极低。

实验结果

作者在 Qwen3-VL-8B-Instruct 上评估了 RG-LoRA，使用了 4-bit NF4 量化骨干网络。适配器应用于语言模型投影层，初始秩为 $r=8$ （ $\alpha=16$ ）。

关键发现

稠密性能：稠密型 RG-LoRA ( $r=8$ ) 在包含 3,000 个样本的混合数据集（ChartQA, TextVQA, DocVQA）上实现了 81.56% 的宽松 VQA 准确率，非常接近标准秩-8 QLoRA 实现的 81.95%（差距为 -0.39 个百分点）。
训练后剪枝：在 1,000 个样本的验证子集上，训练后的适配器展现出了对秩缩减的鲁棒性。保留前 5 个门控（ $k=5$ ）时，准确率为 81.26%，优于未剪枝的门控适配器（79.90%）以及标准秩-8 QLoRA（80.21%）在重叠 ID 上的表现。
效率限制：
- 训练：训练效率与稠密 QLoRA 几乎相同（平均步时长 ~14.84s vs ~14.9s；峰值显存 ~30.1 GB vs ~30.2 GB），因为在正向/反向传播过程中所有 8 个秩分量都保持活跃。
- 推理：将 $k$ 从 8 减至 4 导致的端到端延迟和 GPU 显存使用量变化微乎其微。作者将其归因于在秩为 8 时，适配器的计算成本相对于 8B 冻结骨干网络而言可以忽略不计。
门控行为：至关重要的是，学习到的门控在整个训练过程中始终保持在初始化值附近（ $\sigma(2) \approx 0.88$ ）。模型并未学习到稀疏分布；观察到的剪枝收益更有可能是由于移除了残差更新或过拟合，而非发现了本质上不重要的秩。

意义与主张

本文将 RG-LoRA 呈现为一个 机制验证原型，而非一个完全实现的效率解决方案。

机制验证：该研究成功验证了“训练-门控-剪枝”流水线。它证明了可以训练一个秩为 8 的适配器，可以通过门控来选择分量，并且可以在不造成灾难性性能损失的情况下，通过物理切片将适配器降低到更低的秩。
适度的效率主张：作者明确指出，目前的实验（ $r=8$ ）并未展示出学习到的稀疏性 或显著的计算/显存节省。由于缺乏门控稀疏性，且在推理阶段由骨干网络占据主导地位，因此效率收益尚未实现。
未来需求：论文总结道，若要使 RG-LoRA 成为真正的效率提升方法，未来的工作必须：
1. 实现显式的稀疏正则化，以驱动门控趋向于零。
2. 测试显著更大的初始秩（例如 $r=64$ 到 $128$），在这些情况下，适配器的计算成本将变得不可忽略。
3. 与直接在目标有效秩下训练的固定秩基准（例如 $r=5$ ）进行对比，以确定“先宽后剪”是否比“直接小秩训练”具有优势。

综上所述，RG-LoRA 提供了一条将过度配置的秩预算转化为紧凑适配器的结构化路径，但目前的证据支持其作为一个质量稳定的剪枝框架，而非一种已被证实的降低训练或推理成本的方法。