技术摘要：稀疏混合专家模型（SMoE）中不连续性的几何与随机分析

问题陈述

稀疏混合专家（SMoE）架构已成为通过 Top-$k$ 专家选择进行条件路由来扩展最先进语言和视觉模型规模的核心机制。虽然这种机制允许在控制计算开销的同时实现海量参数量，但也引入了输入-输出映射中固有的不连续性。具体而言，Top-$k$ 门控机制将输入空间划分为若干个由固定 $k$ 个激活专家组成的多面体区域。在这些区域的边界处（即门控得分出现平局时），输入的无穷小扰动会导致向完全不同的专家集合的“硬切换”，从而导致显著且不可控的输出变化。

前人的工作已经承认了这些不连续性，并提出了可微路由的替代方案（例如 Soft MoE, SMEAR, ReMoE）。然而，这些方法往往会损害自回归生成所需的因果结构，或者需要使用根本不同的门控机制从头开始重新训练。目前仍缺乏关于标准 Top-$k$ SMoE 中这些不连续性的几何结构和随机行为的系统性理论分析。

研究方法

本文通过几何测度论和随机过程两个主要视角来研究该问题。

1. 不连续性的几何分析

作者根据定义为切换事件中发生平局的专家数量的**阶数（order）**对不连续性进行分类。

• 一阶（Order-1）： 第 $k$ 个激活专家与第 $k+1$ 个非激活专家之间的两两平局。
• $n$ 阶（Order-$n$）： 在阈值处涉及 $n+1$ 个专家的同时平局。

利用测度论中的切片论证（slicing arguments），本文推导了在有界输入空间内 $\epsilon$-加厚邻域（$\epsilon$-thickened neighborhoods）的渐近体积估计。该分析涵盖了欧几里得 $\epsilon$-加厚以及在计算上更易处理的 $\ell_\infty, \epsilon$-加厚（基于 logit 差值）。核心几何见解是：尽管所有不连续集的勒贝格测度均为零，但它们的 $\epsilon$-加厚集占据了不可忽视的体积。至关重要的是，随着输入空间半径 $R$ 增加或 $\epsilon$ 减小，高阶不连续性邻域的体积相对于低阶邻域呈渐近消失趋势。

2. 随机分析

作者将输入空间中的随机扰动建模为 Itô 扩散过程。作者分析了两个关键的随机属性：

• 命中时间（Hitting Times）： 他们证明了从 Top-$k$ 单元内开始的随机扩散路径几乎处处会在有限时间内命中不连续边界。此外，首次命中（first hit）几乎处处发生在一阶不连续性上。高阶不连续性（余维 $\ge 2$）对于扩散过程而言在首次命中概率上实际上是“不可见”的，这类似于在维度 $d \ge 2$ 中的布朗运动几乎处处不会命中一个固定点。
• 占用时间（Occupation Times）： 作者推导了随机路径在不同阶数不连续性的 $\epsilon$-邻域内停留的期望时间界限。这些界限证实，扩散过程中的绝大部分时间都处于一阶边界附近，且对于高阶边界，其占用时间迅速衰减。

3. 提出的解决方案：$\ell_\infty, \epsilon$ 局部平滑

受“输入最可能位于一阶不连续性附近”这一发现的启发，作者提出了一种简单的平滑机制，该机制可以在不改变底层 Top-$k$ 路由逻辑的情况下应用于现有的 SMoE 模型。

• 机制： 该方法识别出那些非 Top-$k$ 的 logit 与第 $k$ 个 logit 差距在 $\epsilon$ 以内的输入（即不连续集的 $\ell_\infty, \epsilon$-加厚）。
• 平滑处理： 对于这些特定输入，对近邻专家的 logits 应用“对数平滑阶梯函数（log-smoothstep）”。这软性地纳入了近边界专家，从而创造了一个连续的过渡而非硬切换。
• 自适应 $\epsilon$： 引入了一种边界损失函数来在训练期间自适应调整 $\epsilon$，以确保平均激活专家数量保持在目标预算（例如 $k + 0.5$）之内。

核心贡献

1. 渐近测度界限： 本文确立了一阶不连续性的 $\epsilon$-加厚集在输入空间体积中占主导地位，而高阶集合占有的相对体积微乎其微。这在欧几里得度量和 $\ell_\infty$ 度量下均成立。
2. 随机命中保证： 证明了随机扰动几乎处处会在有限时间内遇到不连续性，且首次遇到几乎处处是一阶不连续性。
3. 占用时间界限： 推导出了显式界限，表明在小 $\epsilon$ 机制下，在靠近高阶不连续性处停留的时间相对于一阶边界是微不足道的。
4. 实用的平滑机制： 提出了一种直接且计算高效的平滑方法，该方法在保持 Top-$k$ SMoE 的稀疏性和因果结构的同时，实现了局部连续性。

实验结果

作者在语言和视觉任务上对所提出的 SmoothSMoE 进行了评估：

• 连续性验证： 在 CIFAR-10 和 WikiText-103 上的可视化表明，虽然 vanilla SMoE 在边界处表现出剧烈跳变，但 SmoothSMoE 产生了一个连续的输出映射，其输出差异随输入扰动趋于零而消失。
• 语言建模： 在 WikiText-103 和 EnWiki-8 上，SmoothSMoE 在困惑度（PPL）和每字符比特数（BPC）方面优于 vanilla SMOE 和 ReMoE（一种完全可微的替代方案）。值得注意的是，它在受攻击的数据集上表现出了更强的鲁棒性。
• GLUE 基准测试： 在自然语言理解任务（CoLA, MRPC, MNLI 等）中，SmoothSMoE 在对比基线中取得了最先进的性能，比次优方法平均提高了约 0.5%。
• 视觉任务： 在 DomainBed 基准测试中，平滑版本（SmoothGMoE）在 TerraIncognita 数据集上较基线 GMoE 展现出一致的准确率提升。
• 大规模模型： 对一个 5.6B 参数量的视觉-语言模型的实验证实，该方法具有良好的扩展性，其中退火变体（推理时移除平滑）在保留硬 Top-$k$ 推理能力的同时，达到了与全平滑模型相当的性能。

意义与主张

本文声称其主要贡献是对 SMoE 不连续性进行了严谨的理论刻画，这揭示了低阶不连续性是不稳定性主要的来源。这一洞察为针对性的平滑策略提供了动力，避免了全局可微路由带来的计算和结构成本。

作者断言，其方法：

• 强制连续性： 从数学上保证了 SMoE 映射在不连续点附近的连续性。
• 保持稀疏性： 与 Soft MoE 或 Token 合并方法不同，它维持了对自回归生成至关重要的稀疏、因果路由结构。
• 最小化开销： 理论界限和实验结果表明，由于高阶不连续性在统计上是微不足道的，因此计算开销很小（因为它们不会激活过多的额外专家）。
• 提升性能： 平滑处理起到正则化的作用，稳定了训练动态，并在无需从头开始重新训练或改变基本 Top-$k$ 架构的情况下，提高了在多种任务上的经验性能。

论文总结道，虽然对抗性或结构化扰动可能会偏离所假设的随机扩散模型，但该理论框架为理解和缓解 Top-$k$ 路由固有的不稳定性提供了坚实的理论基础。