Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

技术摘要：哪些专家缺失值得等待？

问题陈述
混合专家（MoE）语言模型（如 Qwen3-Next-80B-A3B）虽然具有高容量，但需要将所有专家存储在内存中，这超出了消费级 GPU（如 24 GB）的显存（VRAM）容量。将专家卸载（offloading）到 CPU 内存或 SSD 可以让这些模型在消费级硬件上运行，但这会引入延迟，当“缓存缺失”（cache-miss）的专家（即当前不在 GPU 显存中的专家）被需要时，延迟尤为明显。传统的解决方案包括获取每一次缺失（高延迟）、在 CPU 上进行计算（算术运算慢）或预取（存在预测错误的风险）。另一种方法是通过使用驻留专家来替换缺失的专家，从而改变计算过程。然而，在每层拥有数百个专家的模型中，目前尚不清楚哪些替换会导致显著的质量损失，是否可以使用单一指标来指导缓存策略，以及何时应该将一个被反复替换的专家加入缓存。

研究方法
本研究针对 Qwen3-Next-80B-A3B（每层 512 个专家，选择 10 个）进行研究，其中约 25% 的专家驻留在 GPU 显存中。研究采用了三种不同的工具来评估替换策略：

1. 仿真（Emulation）： 一个 PyTorch 实现，它在相同的 Token 序列上计算所有策略的模型输出，通过理想化获取延迟来隔离替换对质量的影响（通过教师强制困惑度/teacher-forced perplexity 来衡量）。
2. 路由逻辑模拟器（Router-Logit Simulator）： 一个 C++ 工具，通过回放路由逻辑（router logits）来快速比较不同策略，在不计算完整模型的情况下估算每个 Token 的耗时和缓存状态。
3. 引擎（Engine）： 一个修改后的 llama.cpp 实现，在消费级 GPU（RTX 3090）上执行真实的专家获取、替换和缓存。

研究定义了被替换门控质量（substituted gate mass, $m$）为被替换专家的归一化门控权重的总和。它测试了几种策略：

• 获取每一次缺失（Fetch every miss）： 基准参考方案。
• 0.15 规则： 如果缺失的专家是路由器的首选或其门控权重 $\ge 0.15$，则同步获取；否则进行替换。
• 首选规则（First-choice Rule）： 仅获取首选的缺失专家；替换所有其他专家。
• 后台准入（Background Admission）： 一种规则，通过累积被替换专家的门控质量随时间的变化，一旦达到阈值（例如 0.5），则在后台将其准入缓存。

核心贡献与发现

1. 质量损失的来源： 在仿真中，大部分质量损失源于替换了少数权重较大的专家（首选专家或具有高门控权重的专家），而非替换专家的数量本身。对于 Qwen3-Next，0.15 规则替换了 7.5% 的调用（而获取每一次缺失时为 8.5%），但将困惑度增幅从 5.67% 降低到了 0.35%。这表明保护高权重专家至关重要，即使替换许多低权重专家也是可以接受的。
2. 质量作为比较指标： 研究提出了“质量假设”（Mass Hypothesis）：在始终获取首选专家的策略之间，较高的被替换门控质量与相同输入下的困惑度增幅相关。在引擎中，在相同数据下，不同策略之间的这种相关性很强（Pearson $r \approx 0.92$）。然而，质量（mass）并不能预测哪些特定的输入会损失质量，在比较那些替换了首选专家的策略时，该结论也不成立。
3. 替换的构成： 实验 B 通过改变等质量下的替换构成发现，少数重度替换比许多轻度替换造成的损失更大，尽管由于主要条件下的实际质量较低，计划中的统计决策规则并未得出决定性的判断。
4. 后台准入策略： 一种规则，即一旦专家的累积被替换质量达到 0.5 的阈值，就将其准入缓存，这降低了 0.3–1.5% 的困惑度，且在话题切换后效果最为显著。
5. 所选策略的表现： 根据这些结果选择了两种策略：
   • 质量优先（Quality-First）： 0.15 规则 + 基于频率的驱逐 + 后台准入（$\beta=0.5$）。
   • 速度优先（Speed-First）： 首选规则 + 基于频率的驱逐 + 后台准入（$\beta=0.5$）。
     在两个主机上，这些策略在每个 Token 上的速度比获取每一次缺失快 2.5–3.0 倍，而困惑度增幅仅为 0.7–1.5%。与仅使用 0.15 规则相比，质量优先策略在略微增加时间成本的情况下，进一步降低了困惑度（约 0.5–0.8%），而速度优先策略在没有显著增加困服度的前提下，减少了约 5% 的时间。
6. 与原生 llama.cpp 的比较： 在一台约有 16 GB 可用内存的机器上，使用 0.15 规则的引擎在配置使用相同显存的情况下，解码速度比原生 llama.cpp 快 2.8–3.0 倍，而困惑度增幅仅为 1.6%。

意义与主张
本文声称提供了关于在每层拥有数百个专家的 MoE 模型中，哪些专家替换导致了质量损失的首次直接测量。研究确立了：

• 替换策略： 保护高权重专家（通过 0.15 规则）比单纯减少替换总数更有效。
• 指标效用： 被替换门控质量是比较相同输入下不同策略的有用指标，但它不是跨不同输入的损失预测器。
• 实际效率： 在消费级 GPU 上运行大型 MoE 时，可以通过智能替换和后台准入策略，在实现 2.5–3.0 倍加速的同时，将质量下降控制在极小范围内（困惑度增幅 0.7–1.5%）。

局限性与谦逊态度
作者明确指出其结论是适度且有条件的：

• 范围： 结果主要基于 Qwen3-Next-80B-A3B 和教师强制困惑度。生成测试（GSM8K 和 HumanEval）仅部分支持了预测；例如，质量与 HumanEval 一致性之间的相关性失效了。
• 因果关系： 研究并未区分专家“排名”与“权重”的影响，也未声称门控权重本身会导致损失。
• 对比： 未将这些策略与预取（prefetching）或低精度方法进行比较。
• 泛化性： 报告的速度比率和具体的困惑度数值是针对测量的特定硬件主机的，可能不适用于其他机器。
• 实验状态： 除了生成测试和实验 B 之外，其余分析均属于探索性研究。论文报告了预测失败的情况（例如，关于问题级质量的相关性）以及随着样本量增加而发生逆转的结论（例如，质量与损失之间的相关性）。

总之，这项工作证明了智能替换和后台准入策略可以显著减轻大型 MoE 在消费级硬件上卸载带来的延迟，前提是必须优先考虑高权重专家。