🤖 machine learning

Improving MLLM Training Efficiency via Stage-Aware Sparsity

该论文提出了稀疏训练方案（STS），这是一种阶段感知框架，通过在对齐阶段动态压缩视觉令牌并在指令微调阶段跳过冗余层，以应对不同来源的计算冗余，从而提升多模态大语言模型的训练效率。

原作者： Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位才华横溢但极度饥饿的学生（即人工智能）去同时理解图片和文字。这位学生是一位“多模态大语言模型”（MLLM）。问题在于，教导这位学生极其昂贵且缓慢，因为该学生试图查看照片中的每一个像素，并阅读教科书中的每一层内容，即使其中大部分信息只是噪声或重复。

本文提出了一种名为STS（稀疏训练方案）的新训练方法。请将 STS 视为一种聪明的两阶段辅导策略，而非单一技巧，它会根据学生当前正在学习的内容调整其方法。

以下是其工作原理，通过简单的类比进行分解：

核心问题：“过多的噪声”

在训练这些人工智能模型时，有两件事极大地浪费了时间：

视觉冗余：一张照片可能包含 10,000 个像素，但其中 8,000 个只是蓝天或空白背景。人工智能在处理这片空白天空时浪费了能量。
层级冗余：人工智能拥有许多“思考层级”（就像书中的章节）。在训练初期，人工智能并不需要阅读每一章就能掌握基础知识。

本文认为，这些“浪费”的部分在学习的不同阶段并不相同。在开始时浪费时间的事物，与在结束时浪费时间的事物是不同的。

解决方案：两阶段辅导计划

作者设计了一个系统，根据训练阶段切换战术，就像教练根据运动员是在热身还是比赛而改变训练项目一样。

第一阶段：“照片过滤器”（模态对齐）

情境：在开始时，人工智能正在学习将图片与文字联系起来。人工智能的“语言”部分被冻结（它尚未学习新词汇），但它正淹没在过多的图片细节中。
类比：想象你正在向学生展示一部 4K 电影来解释一个故事。学生被海量的帧数弄得不知所措。
修正方案（视觉令牌压缩器）：教练（STS）不使用整部电影，而是使用一个智能过滤器。它快速扫描图像并说道：“嘿，这部分只是蓝天，跳过它。这部分是人脸，保留它。”

它在人工智能甚至查看图像之前，就丢弃了图像中无聊且重复的部分。
这在开始时节省了巨大的能量。

第二阶段：“略读者”（指令微调）

情境：现在人工智能已经学会了如何看图，是时候学习如何遵循复杂指令并进行对话了。人工智能的“语言”部分现在已激活并正在学习。
类比：想象学生正在阅读一本厚重的教科书。起初，他们需要阅读每一个字来理解基础知识。但随着他们变得更聪明，他们开始意识到：“我已经掌握了第 1 章和第 2 章；我可以略读它们，专注于第 10 章中那些新的、棘手的内容。”
修正方案（层级动态跳过器）：教练告诉人工智能：“对于这一特定课程，你不需要动用全部脑力。你可以跳过前几个‘思考层级’，直接跳转到更深层的层级。”

随着训练的推进和人工智能能力的提升，教练逐渐让他们再次阅读更多层级。
这阻止了人工智能在已经理解的事物上进行不必要的思维体操。

结果：更快、更精简，且依然聪明

本文在几种不同的人工智能模型上测试了这种“两阶段辅导”。以下是他们的发现：

巨大的节省：人工智能在训练过程中使用的计算能力（FLOPs）减少了约17%。这就像在少花 17% 的时间内完成马拉松。
智力无显著下降：尽管跳过了如此多的工作，人工智能的测试得分仍达到了如果完成所有工作所能获得分数的97% 至 99%。
平衡的方法：本文发现，如果仅使用“照片过滤器”或仅使用“略读者”，效果并不理想。你需要两种策略在正确的时间协同工作，才能获得速度与智能的最佳平衡。

一句话总结

本文指出：“不要将人工智能训练过程视为一段漫长而枯燥的跋涉。要将其视为一段拥有不同地形的旅程。当人工智能在看图片时，帮助它忽略背景噪声。当人工智能学习说话时，让它跳过它已经知道的章节。通过这样做，我们可以以更快的速度训练出超级聪明的人工智能模型，而不会让它们失去智慧。”

技术摘要：通过阶段感知稀疏性提升多模态大语言模型训练效率

问题陈述

多模态大语言模型（MLLMs）已展现出显著能力，但其训练过程效率低下。这种低效性主要源于两类冗余：

数据冗余：多模态输入为每个样本引入数百个视觉令牌，其中许多对最终预测的贡献微乎其微。
参数冗余：深层 Transformer 架构包含数十层，但在整个训练过程中并非所有层都同等关键。

现有的效率提升方法通常独立处理这些问题（例如令牌压缩或层跳过），并将冗余视为静态属性。然而，本文指出冗余模式是依赖于训练阶段的。在模态对齐阶段，语言模型（LLM）通常被冻结，瓶颈在于处理海量视觉令牌序列；相反，在指令微调阶段，LLM 参数被主动更新，瓶颈则转移至深层 Transformer 层的计算开销。将冗余视为静态属性会导致效率与性能之间的权衡次优。

方法论：稀疏训练方案（STS）

作者提出了稀疏训练方案（STS），这是一个统一的框架，能够根据不同训练阶段的特定计算瓶颈自适应地调整稀疏策略。STS 包含两个互补组件：

1. 视觉令牌压缩器（VTC）—— 第一阶段：模态对齐

应用于模态对齐阶段，此时 LLM 被冻结，仅更新投影层。

功能：在视觉令牌进入 LLM 之前减少其长度（ $T_v$ ），以缓解数据冗余。
机制：选择函数 $C$ 将 $T_v \in \mathbb{R}^{b \times n \times d}$ 映射为压缩序列 $T_v' \in \mathbb{R}^{b \times n' \times d}$ （其中 $n' < n$ ）。
选择策略：
- 均匀采样：采用固定步长选择，以保留全局语义结构。
- 随机采样：引入随机性以提高鲁棒性。
- 指令引导：利用视觉令牌与文本令牌之间的余弦相似度，丢弃无关的视觉信息。
实现：本文采用均匀采样作为默认策略，发现相较于随机采样的不稳定性或指令引导选择的偏差，它在各项任务中提供了最均衡的性能。

2. 层动态跳过器（LDS）—— 第二阶段：指令微调

应用于指令微调阶段，此时 LLM 参数被更新。

功能：动态跳过不必要的解码器层，以减少参数更新和计算开销。
机制：对于训练步 $e$ 的第 $l$ 层，隐藏状态更新为 $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$ ，其中 $z_l$ 是由跳过概率 $p_l(e)$ 控制的伯努利变量。
概率公式：跳过概率结合了两个因素：
- 基于步长的衰减：基于“由粗到细”的收敛趋势。训练初期梯度较粗糙，允许较高的跳过率。随着训练进行，概率呈二次方衰减： $\alpha (\frac{E-e}{E})^2$ 。
- 基于深度的调整：认识到浅层比深层更有效地提取特征，概率根据层深度 $l$ 进行调整： $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$ 。
默认配置：作者发现 $\alpha=0.5$ 和 $\epsilon=0.5$ 在效率与任务性能之间提供了最佳平衡。

主要贡献

阶段依赖冗余的分析：该研究揭示了 MLLM 训练中的冗余并非静态；数据冗余主导模态对齐阶段，而参数冗余主导指令微调阶段。
统一框架（STS）：提出了一个阶段感知的稀疏训练框架，显式建模不断演变的冗余模式，在对齐阶段应用令牌级稀疏性，在微调阶段应用层级稀疏性。
实证验证：通过大量实验证明，STS 在保持多种 MLLM 架构高准确率的同时，显著降低了计算成本。

实验结果

作者在五个 MLLM（LLaVA、Mipha、Phi-2、MoE-LLaVA 变体）上评估了 STS，测试基准包括 GQA、VQAv2、SQA、POPE 和 MME。

效率：STS 实现了平均超过 15% 的 FLOPs 降低。具体而言，相对于基线的理论 FLOPs 比率降低至约82.2%。
性能：该方法平均保持了**96.9% 至 99.7%**的基线准确率。
- 鲁棒性指标（POPE）和综合评估（MME）显示退化极小。
- 感知导向任务（GQA、VQAv2）显示出略微更明显的下降（约 2–3 分），但在某些情况下（例如 LLaVA 上的 SQA），STS 的表现优于基线，这表明可能存在隐式正则化效应。
消融研究：
- VTC：均匀采样被证明比随机采样或指令引导采样更具鲁棒性。
- LDS：超参数 $\alpha$ （跳过率）和 $\epsilon$ （深度方差）的极端值会使模型偏向特定能力。平衡配置（ $\alpha=0.5, \epsilon=0.5$ ）产生了最佳权衡。
- 联合框架：同时使用 VTC 和 LDS 比单独使用任一组件提供了更优越的效率 - 性能权衡。

意义与主张

本文主张 STS 为高效的 MLLM 优化提供了一种实用且可扩展的解决方案。通过将重点从静态冗余减少转向阶段感知方法，该框架在不需复杂架构变更的情况下，解决了不同训练阶段的具体瓶颈。作者强调，STS 广泛适用于多种 MLLM 架构，并能在最小性能损失下实现更快的训练，使其成为降低大规模多模态模型训练计算障碍的可行策略。