🤖 machine learning

Super Apriel: One Checkpoint, Many Speeds

该论文发布了名为 Super Apriel 的 150 亿参数超网络，通过在同一检查点中为每个解码层提供四种不同的注意力混合器选择，实现了无需重新加载权重即可动态切换多种速度预设，并在保持高质量的同时显著提升了推理吞吐量。

原作者： SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejas

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejaswi Madhusudhan, Shruthan Radhakrishna, Srinivas Sunkara, Valerie Becaert

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 Super Apriel 的人工智能模型，它解决了一个大模型领域的核心痛点：如何在保持高智商的同时，跑得更快、更省钱？

想象一下，你开了一家**“超级餐厅”**（这就是 AI 模型），顾客（用户请求）千奇百怪：有的只要一杯白开水（简单问题），有的要一桌满汉全席（复杂推理），还有的要立刻上菜（实时对话）。

传统的做法是：你要么准备一个**“全能厨师”（全注意力机制，Full Attention），他什么都会做，但动作慢，处理长菜单时特别累；要么你训练一群“快餐厨师”**（高效混合器），他们动作快，但只能做简单的菜，遇到复杂菜单就翻车。

Super Apriel 的突破在于：它不再只有一种厨师，而是一套“万能厨师组合包”。

1. 核心概念：一个模型，四种“超能力”

Super Apriel 是一个巨大的模型（150 亿参数），它的每一层（就像餐厅的每一个加工环节）都内置了四种不同的“工作模式”，随时可以切换：

全注意力模式 (FA)： 就像**“全能大厨”**。他记忆力超群，能记住所有之前的对话细节，处理复杂推理最棒，但干活慢，费脑子（计算资源）。
滑动窗口模式 (SWA)： 就像**“记性不错的助手”**。他只记住最近的一段对话，忘了太早的。干活快，适合处理中等长度的任务。
Kimi 差分注意力 (KDA) & 门控 DeltaNet (GDN)： 就像**“极速流水线工人”**。他们把信息压缩成极小的状态，只记核心要点。干活极快，非常省电，但记性有限，适合处理简单或短任务。

最神奇的地方： 这四种模式都训练好了，并且共用同一套“大脑”（参数）。你不需要下载四个不同的模型，只需要在服务请求的那一刻，告诉系统：“这一单，用‘流水线工人’模式”或者“那一单，用‘全能大厨’模式”。

2. 为什么这很酷？（三大优势）

🚀 优势一：像换轮胎一样换速度

以前，如果你想让模型变快，就得重新训练一个“快餐版”模型，或者在部署时只能二选一。
现在，Super Apriel 就像一辆**“变形金刚”**。

如果你要处理长篇小说（长上下文），你可以选择保留更多“全能大厨”，虽然慢点，但能保证逻辑连贯。
如果你要处理成千上万个简单聊天（高并发），你可以瞬间切换到“流水线工人”模式，速度直接提升 10 倍以上，而质量只下降一点点。
比喻： 就像你开一辆车，平时在市区开（全速模式），遇到堵车自动切换到“经济模式”（省油模式），而且不需要换车，也不需要重新学开车。

🧠 优势二：自带“草稿纸”，不用请外援

在 AI 领域，为了加速，通常需要一个“小模型”先猜答案，再由“大模型”来检查（这叫推测解码）。这通常需要训练两个模型。
Super Apriel 自己就能搞定：

它让“流水线工人”（GDN）先快速猜答案（作为草稿）。
然后让“全能大厨”（FA）快速检查并确认。
比喻： 就像你写文章，先用速记法打个草稿，再用正式笔法润色。因为草稿和正文是“亲兄弟”（同一个模型），配合得天衣无缝，不需要请外人帮忙。

🎯 优势三：找到“性价比”的甜蜜点

模型有 48 层，每层有 4 种选择，组合起来有天文数字般的排列方式。怎么知道哪种组合最好？
作者开发了一个**“智能导航仪”**（代理模型）：

它不需要把每一种组合都试一遍（那太慢了）。
它通过少量测试，就能预测出：在“速度”和“质量”之间，哪条路线是最优解。
比喻： 就像你点外卖，导航仪直接告诉你：“如果你愿意牺牲 5% 的味道，就能省下一半的钱，而且速度翻倍，这就是最佳方案。”

3. 实验结果：真的有效吗？

质量不掉队： 如果全用“全能大厨”模式，它的表现和原来的顶级模型（Apriel 1.6）一样好。
速度大爆发： 如果切换到最激进的“流水线”模式，速度提升了 10.7 倍，而质量依然保留了 77%。
越长的内容，优势越大： 对于短对话，大家速度差不多；但对于长文档（32k 长度），Super Apriel 的“流水线模式”比别人的快 80% 到 155%。因为别人的模型在处理长文时，记忆负担是指数级增长的，而 Super Apriel 的“流水线”模式负担是固定的。

4. 总结：这对我们意味着什么？

这就好比以前我们只能买**“固定配置的电脑”**：要么买昂贵的“工作站”（慢但强），要么买便宜的“上网本”（快但弱）。

Super Apriel 给了你一台“液态电脑”：

早上处理邮件时，它自动变成“上网本”，省电又飞快。
晚上写代码或分析数据时，它自动变成“工作站”，全开马力。
而且，你只需要下载这一个文件。

这篇论文不仅发布了一个强大的模型，还开源了所有的训练代码、服务代码和优化工具。这意味着未来的 AI 应用将不再受限于“速度”和“质量”的零和博弈，我们可以根据实际需求，实时动态地调整 AI 的“性格”和“速度”。

一句话总结： Super Apriel 让 AI 模型学会了“见人说人话，见鬼说鬼话”（根据任务难度自动切换模式），既聪明又勤快，还是同一个“人”。

Super Apriel 技术总结

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）向更长上下文和更高吞吐量的方向发展，全注意力机制（Full Attention, FA） 在推理过程中逐渐成为瓶颈。

显存与带宽限制：在自回归解码中，FA 层的 KV 缓存随序列长度线性增长，限制了批处理大小和吞吐量。
内存墙问题：解码步骤通常是内存受限的（memory-bound），数据移动而非计算主导了运行时间。
现有混合架构的局限性：虽然已有研究提出用滑动窗口注意力（SWA）、线性递归模型等高效机制替代部分 FA 层，但现有的混合模型通常在训练前或训练后固定了混合比例和位置。这意味着一个模型只能服务于“速度 - 质量”曲线上的一个固定点，无法根据实时负载（如长上下文推理 vs. 短提示高并发）动态调整，导致部署灵活性不足。

核心问题：如何构建一个单一的检查点（Checkpoint），能够在推理时动态切换不同的层混合策略（Placement），从而提供多种速度预设，同时保持高质量？

2. 方法论 (Methodology)

Super Apriel 提出了一种超网（Supernet） 架构，结合蒸馏训练、代理模型优化和动态部署策略。

2.1 超网架构设计

基础模型：基于 Apriel 1.6（15B 参数，48 层 Transformer）。
混合器词汇表（Mixer Vocabulary）：每一层解码器都包含四种训练好的 Token 混合器选项：
1. FA (Full Attention)：标准全注意力， $O(n^2)$ 时间复杂度， $O(n)$ 缓存。
2. SWA (Sliding Window Attention)：滑动窗口注意力，限制窗口大小（如 4096）， $O(w)$ 缓存。
3. KDA (Kimi Delta Attention)：基于通道门控的 Delta 规则， $O(n)$ 时间，固定状态大小。
4. GDN (Gated DeltaNet)：门控 Delta 网络， $O(n)$ 时间，固定状态大小。
权重共享：所有层共享 FFN、嵌入层和归一化层参数，仅混合器块不同。任何单一配置（Placement）仅激活约 15B 参数，但超网总参数量约为 25B。

2.2 训练流程

模型手术（Model Surgery）：将 FA 和 SWA 权重直接从教师模型继承，KDA 和 GDN 权重通过特定的初始化方法（DIL/KIL 食谱）从教师注意力权重复制而来。
随机蒸馏（Stochastic Distillation, S1）：
- 冻结教师模型（Apriel 1.6）。
- 在训练每一步，每一层随机均匀采样一种混合器类型。
- 使用复合损失函数（激活匹配 + 反向 KL + 前向 KL）进行蒸馏。
- 关键点：所有混合器同时训练，共享参数保持冻结，确保每个混合器都能学习到稳定的参考表示。
监督微调（Supervised Fine-Tuning, S2）：
- 基于蒸馏后的超网，针对特定的预设配置（Presets） 进行微调。
- 采用定向采样（Targeted Sampling），仅对 Pareto 前沿上的候选配置进行训练，以优化特定速度目标下的性能。

2.3 配置优化与代理模型

搜索空间：48 层 x 4 种选择 = $4^{48}$ 种组合，无法穷举。
聚类展开（Cluster Expansion）：借鉴统计物理方法，将配置质量分解为单层、层对（甚至层三元组）的相互作用项。
贝叶斯代理模型（Surrogate）：
- 使用贝叶斯线性模型拟合聚类展开特征，预测任意配置的质量得分。
- 利用动态规划（Dynamic Programming） 在代理模型上进行精确的、受成本约束的优化，快速找到 Pareto 前沿（速度 vs. 质量）。
自适应选择：通过贝叶斯模型证据自动选择展开的阶数和范围，平衡模型复杂度与拟合度。

2.4 推理与部署

运行时切换：单个超网检查点支持在推理时切换配置（Placement Switching）。只需加载不同的混合器块权重，无需重新加载整个模型。
推测解码（Speculative Decoding）：利用超网特性，将全注意力（FA）配置作为验证器，高效配置（如全 GDN）作为草稿模型，无需额外的草稿模型即可实现推测解码加速。

3. 关键贡献 (Key Contributions)

首个 Token 混合器超网（Token-Mixer Supernet）：
- 单个检查点提供 4 种混合器选项，支持运行时动态切换。
- 实现了从“教师级质量”到"10.7 倍吞吐量”的多种速度预设，且所有预设共享同一部署 artifact。
训练与优化食谱：
- 提出了基于随机蒸馏和定向 SFT 的训练流程。
- 开发了基于聚类展开的代理模型优化框架，能够高效探索巨大的配置空间并找到最优的 Pareto 前沿。
配置景观动力学研究：
- 通过 0.5B 和 15B 模型的对比实验，发现配置排名在训练早期趋于稳定（0.5B 模型），但在 15B 模型的 Pareto 前沿上存在较高的不稳定性。
- 证明了小模型上的发现不能直接外推到大规模模型，强调了大规模验证的重要性。
开源发布：
- 发布了 Super Apriel 15B 的 Base 和 Instruct 模型权重。
- 开源了 Fast-LLM 训练代码、vLLM 推理扩展代码以及配置优化工具包。

4. 实验结果 (Results)

性能与速度的权衡：
- 全 FA 配置：在所有基准测试中表现与教师模型（Apriel 1.6）持平（平均得分 74.2 vs 73.9）。
- 混合配置：
  - Reg|Lklhd–26：2.9 倍速度提升，保留 96% 质量。
  - Reg|Lklhd–10：10.7 倍速度提升，保留 77% 质量。
- Pareto 前沿：呈现出平滑的线性关系，验证了线性成本模型和代理优化的有效性。
长上下文扩展性：
- 随着上下文长度从 16K 增加到 32K，高效配置的相对速度提升显著增加（80%-155%）。
- 相比之下，外部混合基线模型（如 Nemotron, Falcon 等）在同一范围内的提升仅为 5%-46%。这是因为 Super Apriel 的高效混合器具有固定的内存占用，而外部模型仍保留部分 FA 层导致 KV 缓存开销。
与外部模型对比：
- 在 15B 参数规模下，Super Apriel 提供了比外部 27B-30B 模型更优的灵活性。
- 例如，在 6.2 倍速度提升下，Super Apriel 的数学推理能力（90.9）优于 30B 的 Nemotron-3-Nano（89.0），且参数量仅为一半。
微调效果：
- 定向 SFT 显著提升了高效配置的性能，特别是在数学推理任务上（如 MATH-500 提升 +6.8 分，AIME 提升高达 +20 分），证明了针对特定配置微调的必要性。

5. 意义与影响 (Significance)

部署灵活性：Super Apriel 将“速度 - 质量”的权衡从发布时的承诺转变为运行时的控制变量。用户可以根据实时负载（如高峰期追求吞吐量，低峰期追求质量）或任务类型（长上下文检索 vs. 本地推理）动态选择配置。
工程效率：单一检查点支持多种部署模式，简化了模型版本管理、分发和验证流程。
推测解码创新：利用超网内部结构实现无需外部草稿模型的推测解码，降低了推理系统的复杂性。
方法论启示：
- 证明了基于代理模型的精确优化在超大规模架构搜索中的可行性。
- 揭示了大规模模型训练中配置景观的动态特性，为未来的超网训练策略提供了重要参考（如早期稳定但前沿波动，需大规模验证）。

总结：Super Apriel 不仅是一个高性能的模型系列，更是一种新的模型部署范式。它通过超网架构和智能优化，打破了传统固定架构的局限，为构建适应性强、效率高的下一代大模型推理系统提供了强有力的技术支撑。