💬 NLP

Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs

本文提出了一种持续训练方案，通过在训练过程中集成预测器门控路由机制，将稠密的 Qwen2.5-8B 模型向上回收（upcycle）为硬件高效的通道稀疏大语言模型，同时通过针对性的修复算法解决了特定的长文本上下文失效模式。

原作者： Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一座规模宏大、极其聪明的图书馆（即大型语言模型，LLM），它几乎无所不知。但问题在于：每当有人提问时，图书管理员都必须跑遍图书馆里的每一本书来寻找答案，尽管实际上只有极小部分的书籍与问题相关。这既缓慢又昂贵，而且浪费能量。

这篇论文介绍了一种训练这些“图书管理员”的新方法，让他们在不损失智慧的前提下变得超级高效。他们将这个过程称为“从稠密到稀疏的向上转型”（Dense-to-Sparse Upcycling）。

以下是该方法的简单拆解：

1. 问题所在：“全书式”方法

在标准的 AI 模型中，每当模型处理一个词时，它都会激活庞大的内部“神经元”网络（可以把这些神经元想象成书架上的书）。即使模型只需要 4 个特定书架上的信息，它目前也会为了保险起见而打开全部 16 个书架。这就是“稠密”（Dense）方法。这种方法效果很好，但非常沉重且缓慢。

2. 解决方案：“智能预测器”

作者希望教会模型只打开 16 个书架中最重要的 4 个。这被称为“稀疏性”（Sparsity）。

然而，你不能仅仅靠猜测来决定打开哪些书架。如果你猜错了，模型就会变笨。

旧方法： 一些方法会在书架被打开之后，再观察书里的内容来判断它们是否有用。这太晚了；能量已经浪费掉了。
新方法（本论文）： 他们在书架打开之前，安装了一个微型且超快速的“预测器”（就像一个聪明的图书管理员助手）。
- 这个助手会观察问题和当前的上下文。
- 它能瞬间预测出每 16 个书架中哪 4 个是最需要的。
- 它告诉主系统：“只打开这 4 个；忽略另外 12 个。”

3. “银行”系统

为了让这一切更有组织性，他们将书架分成了被称为**“组/库”（Banks）**的单元。

想象一个“库”里有 64 个书架。
规则很简单：对于每一个问题，助手会选出该“库”中最好的 16 个书架，并忽略其余部分。
这将工作量减少了 4 倍（4 倍稀疏度）。

4. 训练配方：“在做中学”

你不能直接拿一个已经完成的、沉重的模型，然后试图强迫它变得“懒惰”；这样做通常会导致模型崩溃。相反，他们使用了一种特定的训练配方：

从沉重开始： 他们首先训练一个标准的、沉重的模型（支持高达 8,000 个词的上下文）。
扩展记忆： 他们教会模型处理更长的对话（高达 32,000 个词）。
引入助手： 只有在模型已经变得足够聪明之后，他们才加入了“预测器助手”。
练习： 他们让模型和助手一起进行训练。模型学会了依赖助手的预测来节省能量，而助手则学会了如何更准确地猜测正确的书架。

5. 结果：更聪明，也更快

他们将这种新的“稀疏”模型与另外两种模型进行了对比测试：

沉重模型： 原始的、缓慢的版本。
“天真型”稀疏模型： 一个在没有经过预测器训练的情况下，只是简单或粗暴地关闭书架的版本。

胜出者： 这个“预测器门控”（Predictor-Gated）模型几乎和“沉重模型”一样聪明，但效率更高。而“天真型”版本则明显变笨了。这证明了从一开始就训练模型的稀疏性至关重要；你不能在后期仅仅通过“打补丁”的方式来实现它。

6. “悬崖”与修复

在测试过程中，他们发现了一个奇怪的故障。模型在处理短中长度的问题时表现出色，但当对话变得非常长（大约 12,000 到 16,000 个词）时，它会突然失效。就像图书管理员在面对一个非常长的故事时感到困惑，甚至忘记了如何找书。

他们发现这并不是整个图书馆的问题。这只是**某一个特定的书架（第 7 层）**出了问题。

修复方法： 他们创建了一个“修复补丁”，告诉模型：“如果对话变得太长，对于这一个特定的书架，请忽略那个聪明的助手，转而使用完整的、沉重的版本。”
这个简单的修复让模型在处理长篇故事时再次完美运行。

总结

这篇论文表明，你可以通过教给模型一个知道针对每个词该使用大脑哪部分的“预测器”，从而将一个沉重、缓慢的 AI 模型“向上转型”为一个轻量、快速的版本。这就像是教会一位厨师在做菜时只抓取所需的特定香料，而不是把整个香料架都倒进锅里。其结果是一个效率提升了 4 倍，但几乎保留了所有智能的模型。

技术摘要：通过预测器门控分块稀疏性的持续 LLM 升级（Upcycling）

问题陈述

大型语言模型（LLMs），特别是仅解码器（decoder-only）Transformer 的计算成本，正日益受到参数规模以及密集前馈网络（FFN）每 Token 计算量的支配。在现代 SwigLU 架构中，FFN 将隐藏状态扩展到巨大的中间维度，进行处理后再将其投影回原维度。在长上下文训练和推理过程中，这种密集计算被应用于所有 Token，尽管对于任何特定 Token 而言，只有一部分中间通道是至关重要的。

现有解决方案面临以下局限性：

混合专家模型 (MoE)： 通过将 Token 路由到特定的专家池来减少计算量，但引入了独立的参数池、复杂的负载均衡需求以及全对全（all-to-all）通信开销。
事后稀疏化 (Post-hoc Sparsity)： 从原生 FFN 激活值中提取稀疏掩码的方法往往“为时已晚”，无法跳过主门控（gate）和上投影（up-projection）的计算，因此无法提供硬件层面的加速。
上下文相关稀疏性 (Contextual Sparsity)： 虽然先前的工作表明 LLM 的计算是输入依赖的，但无训练（training-free）的方法在复杂的生成任务中可能表现得较为脆弱。

本文旨在解决如何通过持续训练（升级/upcycling）将预训练的密集 LLM 转换为通道稀疏模型，且不产生显著性能退化的挑战，目标是创建一个面向硬件的稀疏路径，使路由信号能够在 FFN 主要计算执行之前即可获得。

方法论

所提出的方法——预测器门控分块稀疏性 (Predictor-Gated Bank-Wise Sparsity)——通过特定的持续训练方案将一个稠密的 Qwen2.5-8B 模型转换为稀疏变体。

1. 架构：预测器门控稀疏 SwigLU

作者并没有使用原生的门控输出（gate outputs）来确定稀疏性，而是引入了一个低秩预测器 ( $P_l$ )，它在 FFN 计算之前作用于 Token 的隐藏状态 ( $x_{l,t}$ )。

预测器 (Predictor)： 一个轻量级的两层模块（ $R^d \to R^{448} \to R^{d_i}$ ），将隐藏状态映射到 FFN 中间通道的 Logits 上。
路由机制 (Routing Mechanism)： 预测器输出 Logits，用于生成路由信号。这取代了标准的密集 SwigLU 门控 $\sigma(u_{l,t})$ 。
分块 Top-k 规则 (Bank-wise Top-k Rule)： 将中间维度 ( $d_i = 14336$ ) 划分为固定大小为 64 的若干个分块（banks）。对于每个分块，应用硬性的 top-k 规则 ( $k=16$ )。这保留了每个 64 通道分块中的 16 个活跃通道，实现了 FFN 中间激活宽度 ( $d_s = 3584$ ) 的 4 倍稀疏化。
执行 (Execution)：
- 前向传播 (Forward Pass)： 应用硬二值掩码。非活跃通道被精确设为零。
- 反向传播 (Backward Pass)： 非微分的 top-k 选择通过软代理梯度（类似于 Sigmoid 的局部梯度）在选择阈值附近进行处理，从而允许语言模型损失（language modeling loss）更新预测器参数。

2. 训练方案（从密集到稀疏的持续训练）

该过程将一个在 8K 上下文下训练的 Qwen2.5-8B 模型转换为 32K 稀疏模型，共分为四个不同阶段：

密集 8K 阶段： 使用标准 Qwen2.5-8B 架构从头开始训练。
密集 32K 阶段： 从 8K 检查点恢复，将上下文扩展到 32K，并继续进行约 3T Token 的密集训练。
预测器预热 (Predictor Warm-up)： 引入低秩预测器作为辅助分支，模仿原生门控信号。该分支不影响主损失函数。
预测器门控密集 FFN： 通过预测器（使用 Sigmoid）对主 FFN 门控进行路由，使得预测器能够影响损失，但暂不应用硬性的 top-k 选择。
预测器门控 Top-k 稀疏 FFN： 激活分块 Top-k 选择，以实现 4 倍稀疏化。

注：稀疏分支是在 32K 阶段后期（约 3T Token 之后）引入的，以反映一种实际的升级场景，即如何将密集模型转换为稀疏模型。

3. 硬件意义

训练是在 GPU 上作为功能模拟进行的。虽然目前的 GPU 实现会在掩码操作之前实例化密集的门控（gate）和上投影（up projection）（这限制了即时的墙钟速度提升），但其算法原理允许专用稀疏硬件跳过所有三个 FFN 阶段（门控、上投影和下投影）中非活跃通道的计算，理论上可将有效中间宽度降低 4 倍。

核心贡献

预测器门控通道稀疏模式： 一种新颖的架构，其中低秩预测器在 FFN 计算前生成通道路由 Logits，并结合硬性的分块 Top-k 规则。只要使用专门的内核或硬件，该模式即可实现跳过非活跃的门控、上投影和下投影通道。
从密集到稀疏的持续训练方案： 一种实用的工作流，可将 Qwen2.5-8B 密集模型（8K 训练，持续 32K）转换为具有预测器门控的 4 倍稀疏 FFN 模型，且性能下降有限。
训练经验与失效模式：
- 通道平衡 (Channel Balancing)： 本文证明，MoE 式的专家平衡偏差无法直接迁移到分块通道路由中。研究发现，显式强制通道平衡（通过在线更新）与不进行平衡相比，结果是负面或中性的。
- 层局部长上下文失效 (Layer-Local Long-Context Failure)： 在 RULER-CWE 评估中，稀疏模型出现了在短上下文基准测试中不可见的性能骤降（12K–16K 处）。作者将其识别为层局部失效（具体为第 7 层），并提出了一种单层修复算法（密集回退干预），该算法能大幅度恢复受影响长度范围内的性能。

结果

稀疏模型与两个基准模型进行了对比评估：密集伴随模型 (Dense Companion)（完全密集，相同预算）和 Dense-4x 基准（基于激活强度的朴素 4 倍事后稀疏化）。

性能接近度： 在广泛的一组基准测试（事实问答、代码、推理、数学、综合测试）中，预测器门控稀疏模型的表现始终比朴素的 Dense-4x 基准更接近其密集伴随模型。
具体收益：
- 稀疏模型在 MBPP、MultiPL-E 和 MMLU 上达到或略微超过了密集基准模型。
- 在 Chinese SimpleQA、MBPP+、MBXP 和 KOR-Bench 上，它显著减少了 Dense-4x 基准所出现的性能退化。
长上下文性能：
- 在 RULER 基准测试（4K, 8K, 16K）中，稀疏模型的表现与密集模型相当。
- 在 32K 长度下，稀疏模型（80.4）优于 Dense-4x 基准（73.5），并略微超过了密集伴随模型（79.2）。
- RULER-CWE 分析： 稀疏模型在 12K 到 16K 之间表现出召回率的“悬崖”现象。应用所提出的单层（第 7 层）修复后，8.7K–12.2K 范围内的平均召回率从 0.856 提升至 0.947，12.8K–16.3K 范围内的召回率从 0.583 提升至 0.802。

意义与主张

本文声称，稀疏升级并非无损的，但它是构建面向硬件的稀疏模型（基于密集检查点）的一条可行路径。

以训练为中心的方法： 与事后压缩不同，该方法将通道稀疏性视为语言模型路径的一个组成部分，并在持续训练期间进行优化。
硬件对齐： 通过将路由预测器置于 FFN 计算之前并使用硬掩码，该方法符合专用稀疏硬件实现真正加速的要求，而不仅仅是理论上的稀疏性。
诊断价值： 这项工作强调了长上下文评估对于识别宽泛短上下文基准测试可能忽略的失效模式（如层局部悬崖）的重要性。同时，它也提供了关于 MoE 平衡策略在持续训练设置下能否迁移到通道级路由的负面结论。

作者总结道，虽然稀疏模型在所有场景下都不能完美替代密集模型，但它为将密集模型升级为高效、稀疏的变体提供了一个实用的方案，且性能权衡在可控范围内。