🤖 machine learning

DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices

本文介绍了 DECO，这是一种稀疏混合专家架构，它通过采用基于 ReLU 的路由机制、可学习的专家级缩放以及一种新颖的 NormSiLU 激活函数，在终端设备上仅激活 20% 的专家即可实现与稠密模型相当的性能，并带来 3.00 倍的推理速度提升。

原作者： Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在经营一家规模宏大、高端的餐厅。你希望为尽可能多的顾客提供最美味的食物（高性能），但必须遵守两条严格的规定：

低成本：你无法承担让每位厨师为每位顾客烹饪每一道菜的费用（低计算量）。
小厨房：你没有足够的空间为每位厨师存储每一本食谱和每一种食材（小存储）。

长期以来，行业标准是雇佣一支庞大的厨师团队（“稠密”模型），让每个人都尝试烹饪所有菜肴。这种做法味道极佳，但成本极高，且需要巨大的厨房空间。

随后，人们尝试了“混合专家”（MoE）方法。这就像拥有一支由 100 名专业厨师组成的庞大团队，但对于每一道订单，你只唤醒其中的 20 人来烹饪。这节省了烹饪时间的成本。然而，你仍然必须在厨房里保留所有 100 名厨师的食谱和食材。如果你的厨房很小（比如手机或笔记本电脑），空间就会不够用，而且为了获取正确厨师的食材而来回奔波的时间会拖慢一切。

DECO 登场了。

这篇论文的作者创建了一种名为 DECO 的全新餐厅设计。他们的目标是构建一个“稀疏”厨房（即同一时间只有少数厨师在工作），其味道与巨大的“稠密”厨房一样好，但能容纳在极小的空间内并快速运行。

以下是他们如何利用简单的类比来实现这一目标的：

1. 聪明的服务员（路由器）

在普通的 MoE 餐厅中，服务员（路由器）有点死板。他们可能会说：“每张桌子必须恰好由 2 名厨师烹饪。”

DECO 的创新：他们赋予服务员一个灵活的可微工具（称为 基于 ReLU 的路由）。现在，服务员可以根据具体订单决定：“这道菜需要 3 名厨师”，或者“那道菜只需要 1 名”。这是一个基于食物本身的灵活决策，而非僵化的规则。
缩放因子：有时，一名厨师天生比另一名更响亮或更强壮。DECO 为每位厨师给服务员提供了一组 可调节的音量旋钮（可学习的缩放）。如果 A 厨师天生声音较小，服务员就会调高他们的音量，使其贡献与声音较大的厨师保持平衡。

2. 专业厨师（专家）

DECO 中的厨师在设计上有所不同，以使其更加稳定。

"NormSiLU"围裙：作者发现，当厨师使用标准围裙（激活函数）时，他们有时会感到困惑或完全停止工作（信号消失）。他们发明了一种名为 NormSiLU 的新围裙。你可以将其想象为一种特殊的制服，在厨师开始烹饪之前就校准他们的能量。它能保持输出稳定，防止他们精疲力竭或变得过于安静。
没有守门人：大多数餐厅使用一名“守门人”厨师来决定主厨师是否应该开始烹饪。DECO 发现，对于他们灵活的服务员来说，移除守门人实际上更好。当厨师们能够根据服务员的信号直接开始烹饪，而无需额外的“许可”层级时，他们的工作效果更好。

3. 结果：“理想三角”

该论文声称 DECO 同时实现了三方面的“圣杯”：

高性能：它的味道与昂贵的大型餐厅（稠密模型）一样好。
低成本：它在任何给定时间只使用 20% 的厨师，节省了巨大的能量。
小存储：由于设计如此高效，总的“厨房占地面积”（总参数量）小到足以适配手机等端侧设备，而无需在存储中不断交换食材。

4. 证明

口味测试：当他们将 DECO 与其他模型进行测试时，其性能与巨大的“稠密”模型相当，并击败了其他“稀疏”模型，同时使用了相同数量的训练数据和总食材。
速度：他们构建了一个自定义引擎（加速内核）来运营这家餐厅。在真实硬件（如高端图形卡和 Jetson 设备）上，DECO 的运行速度比运行这些模型的标准方式 快 3 倍。

潜在问题（局限性）

作者诚实地指出了他们尚未测试的内容。他们尚未尝试这种餐厅设计用于“微调”（在主训练后教导厨师特定的新技能）或“强化学习”（通过试错来教导他们）。他们怀疑那里可能存在一些不稳定性，因此目前正在构建一个更大的版本来测试这些特定场景。

总之：DECO 是对 AI 模型运作方式的巧妙重新构想。它证明了你不需要一个巨大、臃肿的厨房也能做出美味的食物。有了合适服务员、合适的制服以及灵活的方法，你就可以用一个小巧、快速且高效的厨房获得同样高质量的结果。

技术摘要：DECO——在终端设备上实现与稠密模型相当性能的稀疏混合专家模型

问题陈述
尽管混合专家（MoE）架构能够在不 proportionally 增加计算量的情况下扩展模型容量，但它们传统上存在巨大的总参数规模问题。这造成了显著的存储和内存访问瓶颈，阻碍了在终端设备上的高效部署，而终端设备需要高性能、低计算成本和最小的存储开销。现有的 MoE 研究往往优先考虑性能和低计算量，却忽视了“存储开销”这一目标。此外，许多 MoE 模型是通过在相同计算预算下使用比稠密基线多得多的 token 进行训练来实现其结果的，而不是匹配确切的 token 数量。本文提出了一个问题：在相同的总参数预算和相同的训练 token 数量下，稀疏 MoE 模型能否实现与稠密模型相当的性能？

方法论
作者提出了DECO（DEnse-COmparable，稠密可比），这是一种旨在在相同约束下匹配稠密 Transformer 性能的稀疏 MoE 架构。该架构建立在三个核心设计支柱之上：

路由器设计：
- 基于 ReLU 的路由： 与传统的不可微 TopK 路由不同，DECO 采用基于 ReLU 的路由。这允许灵活、依赖于 token 的激活比例和平滑的可学习性。
- 可学习的专家级路由器缩放： 为了解决共享专家与路由专家之间的输出尺度不平衡，并适应专家的异质性，DECO 用可学习的向量化缩放因子（ $\alpha$ ）取代了固定的标量缩放因子。这校准了各个路由专家的贡献。
专家设计：
- NormSiLU 激活： 作者发现，将基于 ReLU 的路由与 vanilla SiLU 激活的专家耦合会导致激活比例激增和输出幅度消失。为了解决这个问题，他们引入了NormSiLU，该函数在 SiLU 算子之前应用双阶段归一化：
  - 专家间均值归一化： 将专家上投影权重中心化至零附近。
  - 专家内 RMS 归一化： 保持激活幅度的一致性。
    这稳定了激活趋势，减少了对激进稀疏正则化的需求，并确保了鲁棒的参数利用。
- 非门控 MLP 专家： 与通常偏好门控 MLP（SwiGLU）不同，DECO 利用非门控 MLP 专家。实证结果表明，非门控专家在与基于 ReLU 的路由配对时表现出更稳定的激活比例趋势，而门控变体则遭受不稳定、激增的激活动态，需要大量的正则化。
自适应稀疏正则化：
- DECO 采用基于路由器熵的自适应稀疏正则化。与静态系数不同，正则化强度（ $\lambda$ ）根据当前稀疏度相对于目标值的水平进行动态缩放，确保激活比例稳定在精确的目标水平。

关键结果
实验在四个参数规模（0.11B 到 1.18B）上进行，固定训练 token 数量（约为参数量的 40 倍）和 20% 的路由专家激活比例。

稠密可比性： 尽管仅激活了 20% 的专家，DECO 在 C4 验证集上的困惑度（PPL）和常识推理基准上的平均准确率方面，实现了与使用 SwiGLU FFN 的稠密 Transformer 基线相当的性能。
优于 MoE 基线： DECO 在相同规模和激活比例下，优于现有的 MoE 基线（TopP、DeepSeek-V3、ReMoE、BlockFFN）。
消融实验洞察：
- 可学习的专家级缩放显著优于固定或标量缩放，解决了观察到的专家输出范数异质性。
- NormSiLU 至关重要；移除其归一化步骤会导致激活比例激增和 SiLU 输出消失，从而降低性能。
- 在基于 ReLU 的路由上下文中，非门控专家优于门控专家。
硬件加速： 实现了一个利用 CUTLASS 和张量核心的专用加速内核。在真实硬件（NVIDIA RTX 4090 和 Jetson AGX）上，DECO 通过利用稀疏激活减少内存访问开销，实现了比 vanilla 稠密推理3.00 倍的加速。

意义与主张
本文声称，DECO 成功实现了终端端 MoE 部署的“理想三角形”：高性能、低计算成本和小存储开销。其意义在于证明了稀疏 MoE 模型可以在不需要额外训练 token 或巨大参数规模的情况下匹配稠密性能。

作者将此成功归因于对 MoE 设计的根本性修订，即对齐路由机制（基于 ReLU）、专家激活（NormSiLU）和专家结构（非门控），以创造稳定的训练动态。他们指出，稠密可比性是有条件的，依赖于激活比例、专家粒度和数据异质性等因素。本文表明，高熵、多领域数据集特别适合这种稀疏架构，因为模型可以有效地为不同任务激活专门的参数子集。

局限性
作者承认，他们尚未在监督微调（SFT）或强化学习（RL）阶段评估 DECO，在这些阶段，MoE 架构可能会面临路由器不稳定等独特挑战。此外，跨更大模型规模和多样化数据分布所需的、实现稠密可比性的激活比例阈值的缩放规律，仍需进一步研究。