🤖 AI

DTop-p MoE: Sparsity-Controlled Dynamic Top-p MoE for Foundation Model Pre-training

本文介绍了 DTop-p，这是一种稀疏性可控的动态路由机制，它通过自适应学习 Top-p 阈值并执行全局稀疏性约束，在保持基础模型预训练计算效率的同时，超越了标准的 Top-k 和固定 Top-p MoE 基准。

原作者： Can Jin, Hongwu Peng, Mingcan Xiang, Qixin Zhang, Xiangchi Yuan, Amit Hasan, Ohiremen Dibua, Yifan Gong, Yan Kang, Dimitris N. Metaxas

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Can Jin, Hongwu Peng, Mingcan Xiang, Qixin Zhang, Xiangchi Yuan, Amit Hasan, Ohiremen Dibua, Yifan Gong, Yan Kang, Dimitris N. Metaxas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营着一家规模宏大、高科技的呼叫中心（即 AI 模型），旨在回答数百万个问题。为了处理这些工作量，你雇佣了数千名专业人员（称为“专家”）。

在旧的处理方式中（Top-k），你有一条严格的规则：无论来电者问什么，每通电话都必须分配恰好 3 名专家。

如果有人问“2+2 等于几？”，你仍然会派 3 名专家去。这是一种能量浪费。
如果有人问一个极其复杂、多层次的法律问题，你仍然只派 3 名专家。他们可能会应接不暇，从而给出糟糕的答案。

研究人员尝试了一个新想法，叫做 Top-p。这就像是在说：“派人直到你觉得有足够的帮助为止。”

对于“2+2”，系统可能会说：“我有 99% 的把握，所以我只派 1 名专家。”
对于那个复杂的法律问题，它可能会说：“我还不确定，所以我继续增加人手，直到我觉得足够自信为止。”

问题在于： 旧的 “Top-p” 方法就像是一个油门失灵的司机。它太敏感了。有时它会只派 1 名专家，下一秒又会惊慌失措地派出 20 名专家。这使得你的呼叫中心的能源账单（计算成本）变得难以预测且混乱不堪。你无法预先规划预算。

解决方案：DTOP-p（智能定速巡航）

作者们构建了 DTOP-p，它就像是为你呼叫中心设计的智能定速巡航系统。它结合了两个主要工具来解决这种混乱：

1. “速度计”（PI 控制器）

假设你希望你的呼叫中心平均每通电话恰好使用 8 名专家。

PI 控制器 是一个聪明的经理，他会不断检查速度计。
如果团队使用的专家过多（速度过快），经理会轻轻地调低“概率阈值”，告诉系统：“你已经足够自信了，停止增加更多人手。”
如果团队使用的专家过少（速度过慢），经理会调高阈值：“这个问题很棘手，请引入更多帮助。”
结果： 系统会自动调整自身，以确保无论问题难易如何，都能精准维持在目标预算内。它既不会耗尽燃料（内存），也不会浪费燃料。

2. “楼层经理”（动态路由归一化）

在一个大型呼叫中心，前台（早期层）和法律部门（深层）的需求是不同的。

前台处理简单的问候（需要较少的专家）。
法律部门处理复杂的案件（需要更多的专家）。
旧的方法对每个楼层一视同仁。
DTOP-p 为每个楼层都配备了自己的“音量旋钮”。它允许前台保持安静且高效，同时让法律部门可以调高音量并召唤更多专家，而整个建筑的总能耗仍保持在限制范围内。

他们的发现（实验结果）

研究人员在两类 AI 上测试了该方法：一种是处理文本（自然语言处理，NLP）的，另一种是理解图像（计算机视觉）的。

更好的答案： DTOP-p 的表现始终优于旧的“固定 3 名专家”规则和混乱的 “Top-p” 规则。它更聪明，知道何时该寻求帮助。
稳定的预算： 与旧的 Top-p 方法（其成本会随机飙升）不同，DTOP-p 能够完美地坚守预算。它使用的计算能力与旧方法相同，但获得了更好的结果。
可扩展性： 他们在小型模型和大模型、小型数据集和海量数据集上都进行了测试。在所有情况下，“智能定速巡航”的效果都优于旧的僵化规则。

核心结论

这篇论文介绍了一种让 AI 模型更聪明、更高效的方法。DTOP-p 不再强迫每一项任务都使用相同程度的脑力，而是让 AI 动态地决定它需要多少帮助，同时通过一个智能控制器确保它绝不会浪费资源或超出预算。这就像是从一条僵化的流水线升级到了一个灵活的、能够自我调节的团队，该团队知道如何为每一项任务投入恰到好处的精力。

技术摘要：DTOP-p MoE

问题陈述

稀疏混合专家（MoE）架构通过将参数量与计算成本解耦，对于高效扩展基础模型至关重要。然而，标准的 Top-k 路由 施加了一种僵化的稀疏模式，无论 token 的难度或层级需求如何，始终选择固定数量的专家。这忽略了输入复杂性的内在差异，并限制了自适应资源分配。

虽然 Top-p 路由（核采样）提供了一种更具自适应性的替代方案，通过选择专家直到其累积概率达到阈值 $p$ ，但现有的实现存在两个关键局限性：

固定全局阈值： 朴素的 Top-p 实现使用静态全局概率阈值，无法适应不断演进的训练动态。
不可控的稀疏性： 这些方法会导致不可预测的计算成本。激活专家的数量在训练过程中波动显著，使得难以遵循严格的预训练计算预算。此外，固定阈值对超参数的选择高度敏感，通常需要进行昂贵的调优，这在计算上是非常耗时的。

方法论：DTOP-p MoE

作者提出了 DTOP-p，一种可控稀疏性的动态路由机制，旨在调和 Top-p 的自适应性与大规模预训练中严格的计算约束。该方法由两个主要部分组成：

1. 比例-积分（PI）控制器

为了解决阈值选择的不可微性以及缺乏显式资源约束的问题，DTOP-p 采用了经典控制理论中的反馈控制回路。

机制： 系统将目标激活专家数 ( $T$ ) 视为设定值，将全局概率阈值 ( $p$ ) 视为控制变量。
更新规则： 控制器监测当前批次中每个 token 的平均激活专家数 ( $a_t$ )。它计算稀疏误差 $e_t = (T - a_t)/N$ ，并使用离散 PI 控制律更新下一批次的阈值 ( $p_{t+1}$ )：
$p_{t+1} = p_0 + K_{pro} \cdot e_t + K_{int} \cdot \sum_{i=1}^{t} e_i$
效果： 这创建了一个负反馈循环：当出现正误差（激活不足）时，增加 $p$ 以选择更多专家；而当出现负误差时，减少 $p$ 。这确保了无论训练过程中逻辑熵（logit entropy）如何变化，模型都能收敛到目标稀疏水平。

2. 动态路由归一化 (DRN)

在所有层应用单一的全局阈值假设各层的专家置信度分布是均匀的，这与不同层具有不同计算需求（例如，浅层用于通用特征，深层用于专门化推理）的研究结果相矛盾。

机制： DTOP-p 不直接在原始 logits 上进行路由，而是在每一层 $l$ 使用可学习标量 $\theta_l$ 对 logits 进行归一化：
$P(x) = \text{softmax}\left(\theta_l \cdot \frac{z - \mu(z)}{\sigma(z)}\right)$
其中 $z$ 是原始 logits， $\mu(z)$ 和 $\sigma(z)$ 分别是它们的均值和标准差。
效果： 这将全局阈值与局部统计特性解耦。较大的 $\theta_l$ 会使分布变尖锐（激活较少专家），而较小的 $\theta_l$ 则会使分布变平坦（激活较多专家）。这使得模型能够在维持全局计算预算的同时，学习不同层的不同稀疏模式。

层级变体

针对需要严格逐层可预测性的部署场景，作者还提出了一个层级变体，其中每一层都维护自己的 PI 控制器和阈值，用近乎确定性的逐层追踪取代了全局跨层预算共享。

核心贡献

固定阈值 Top-p 的分析： 本文证明了固定阈值的 Top-p MoE 仅比 Top-k 提供边际收益，同时承受着对阈值 $p$ 的高度敏感性和不稳定的稀疏性，这使得它在没有控制机制的情况下不适用于大规模预训练。
DTOP-p 框架： 提出了一个集成了用于稀疏性控制的 PI 控制器和用于层级自适应性的动态路由归一化的动态 Top-p MoE。
全面的实证研究： 在自然语言处理 (NLP) 和计算机视觉 (CV) 领域进行了广泛验证，证明了 DTOP-p 在匹配 Top-k 平均 FLOPs 的同时，性能优于 Top-k 和固定 Top-p 基线。

实验结果

作者在 LLM 和扩散 Transformer (DiT) 上评估了 DTOP-p，使用了 DCLM-Baseline 数据集 (NLP) 和高质量内部图像数据集 (CV)。

性能： 在 NLP 基准测试（包括 MMLU、HellaSwag 和 ARC 在内的 13 个数据集）中，DTOP-p 在严格遵守目标激活专家数（例如 8 个专家）的情况下，比 Top-k MoE 基线实现了 1.9% 的平均提升。
稳定性： 与在激活专家数量上剧烈波动的固定 Top-p 不同，DTOP-p 能迅速收敛到目标稀疏度（在 1B 个 token 内），并保持较低的标准差 ( $\approx 1$ )。
缩放特性： DTOP-p 在以下方面展示了稳健的缩放能力：
- 专家粒度： 随着粒度增加（例如从 32 个专家增加到 128 个），性能增益扩大。
- 专家容量： 随着总专家容量的增加，性能呈单调提升。
- 模型与数据集规模： 随着模型规模（高达 2.4B 活跃参数）和数据集规模（高达 300B tokens）的增加，该方法始终保持对基线的优势。
层级分析： 激活分布分析证实，DTOP-p 学习到了层级化的稀疏模式，即在浅层激活较少的专家，而在深层激活较多的专家，这与不同深度处理的特征所具有的差异化复杂度相一致。

重要性与主张

本文声称 DTOP-p 为基础模型预训练提供了一个鲁棒且高效的 MoE 框架。其核心意义在于成功地调和了动态自适应性与严格的计算约束。通过利用控制理论使概率阈值实现有效可学习，并实现层级灵活性，DTOP-p 允许模型根据 token 难度和层深度分配计算资源，而不会超过预定义的 FLOP 预算。

作者将这项工作定位为迈向可持续绿色 AI 的一步，提高了稀疏模型的计算效率。他们明确指出，虽然该方法提高了效率，但并不能减轻训练数据固有的偏差，应与严格的安全对齐相结合。该工作被呈现为一种实用的解决方案，用于解决固定 Top-k 过于僵化以及不受控的 Top-p 过于不可预测的规模化基础模型问题。