🤖 machine learning

WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware

本文介绍了 WiSP，一种针对低资源硬件上混合专家模型（Mixture-of-Experts models）的路由感知工作集管理系统，该系统通过动态分页专家权重并优化专家与 KV 缓存之间的显存分配，在不修改底层推理引擎的情况下显著提高解码吞吐量。

原作者： Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware》的解释，使用了简单的语言和日常类比。

核心问题：由于“太大而装不下”的 AI

想象你拥有一座巨大的图书馆（AI 模型），其中包含了数千亿页的内容。你想在一台微型、便携式电子阅读器（标准的计算机图形卡，或 GPU）上阅读其中一个特定的故事。

问题在于，电子阅读器的内存不足以一次性容纳整个图书馆。然而，对于你正在阅读的任何一个句子，你只需要从几本书中提取特定的几页。其余的图书馆内容都处于闲置状态。

目前的解决方案试图通过将整个图书馆保存在仓库（计算机的主内存）中来解决这个问题，并在你每翻一页时都冲向仓库去抓取所需的页面。这非常缓慢，因为去仓库的路程（数据传输）需要很长时间。

WiSP 的解决方案：一位“聪明的图书管理员”

作者创建了一个名为 WiSP（工作集分页，Working-Set Paging）的系统。WiSP 不再是在每次需要页面时都冲向仓库，而是扮演了一位聪明的图书管理员的角色，他会观察你在读什么，并将一叠可能被需要的书籍精选出来，直接放在你的书桌上（GPU 内存）。

它是如何工作的，分为三个简单部分：

1. “智能书堆”（专家分页）

在被称为“混合专家模型”（Mixture-of-Experts, MoE）的 AI 模型中，模型拥有许多不同的“专家”（专门的子模型），但对于生成的每个词，它只使用其中的几个。

旧方法： 系统会抓取一层中的所有专家，即使它实际上只用到两个。这浪费了空间和时间。
WiSP 的方法： WiSP 只将你实际正在使用的特定专家放在你的书桌上。如果你需要一个新的专家，它会迅速从书堆中换出一个，并从仓库中抓取新的专家。
结果： 因为它只移动你真正需要的微小部分，所以速度快得多。论文发现，在小型计算机上，这使得 AI 的运行速度比旧方法快了高达 2 倍。

2. “共享桌面”（内存分配）

你的书桌（GPU 内存）非常小。你有两样东西在争夺空间：

专家书堆（Expert Stack）： 你现在正要读的书。
上下文笔记（KV Cache）： 你目前为止针对这个故事所写的笔记，以便你不会忘记发生了什么。

如果你把书桌填满了书，你就没有空间写笔记了。如果你把书桌填满了笔记，你就无法抓取所需的书。

WiSP 的解决方案 (MV-WSA)： 这是一个决定如何划分你桌面空间的聪明规则。它不断地询问：“是桌上有更多的书更有用，还是有更多的笔记更有用？”
它会动态地调整这种分配。如果你正在写一个长篇故事，它会给你更多的笔记空间。如果你在快速切换话题，它会给你更多的书籍空间。这确保了你永远不会在其中任何一方面耗尽空间。

3. “水晶球”的神话（为什么预测没有帮助）

研究人员想知道：“如果我们使用一个水晶球（AI 预测）来猜测你下一步需要哪本书，并在你开口要之前就把它抓过来，情况会怎样？”

惊喜发现： 他们发现，在这种特定设置下（一次阅读一个句子），预测并不会让它变快。
原因： 仓库与书桌之间的“路”（数据连接）太窄了。即使你预测得完美无缺，卡车一次也只能运载这么多东西。瓶颈不在于猜对哪本书，而在于卡车的速度。
真正的价值： “水晶球”仍然有用，但不是为了提速。它能帮助图书管理员知道书堆的大小应该针对你具体调整到多大。这使得系统可以将书堆缩小到完美的尺寸，从而为你的笔记腾出更多桌面空间。

总结

该论文认为，在小型计算机上运行大型 AI 模型是一个内存管理问题，而不仅仅是计算问题。

WiSP 是一个充当聪明图书管理员的工具，它只将必要的书籍留在桌面上，并高效地进行更换。
它并不改变 AI 模型本身；它只是更好地管理内存。
它通过停止浪费时间移动不必要的数据，使 AI 在小型设备上运行速度显著提升。
它告诉我们，在这种特定场景下，高效管理你的工作空间比试图预测未来更重要。

该系统表现出色，甚至可以让原本无法处理这些庞大模型的单张显卡也能流畅运行，且不会改变 AI 回答的质量。

技术摘要：WiSP —— 针对极低资源硬件的混合专家模型（MoE）服务的“工作集”视角

问题陈述
现代混合专家模型（MoE），如 Qwen3-30B-A3B 和 Mixtral-8×7B，将其大部分参数放置在专家层中，但对于任何给定的 token，只有一小部分专家是活跃的。在显存（VRAM）有限的消费级 GPU 上，这些模型通常无法完全装入内存。标准的解决方案——静态层级 CPU 卸载（例如 vLLM 中的 --cpu-offload-gb）——虽然保持了较低的内存占用，但会在每一次前向传播时将整个层的专家权重通过 PCIe 总线进行传输。这种方法未能利用 MoE 模型的稀疏性，实际上抵消了其带来的效率优势。

作者将低资源 MoE 服务框架化为一个工作集管理问题。在这种机制下，GPU 显存是受限的快速存储器，而主机内存（Host Memory）则是后备存储。两种截然不同的内存需求流在争夺同一个 VRAM 配额：

专家权重： 一个依赖于路由（Routing）的流，每步 token 仅需要其中一部分专家。
KV Cache： 一个依赖于 token 的流，用于自回归生成。

现有系统通常将这两者视为独立的问题，或者针对计算可以与数据传输重叠的高并发数据中心场景。然而，在低并发交互式服务（例如本地编程助手）中，每一步的计算量极小，使得 PCIe 带宽成为了主要的瓶颈，而非计算能力或预测精度。

方法论：WiSP（工作集分页）
论文介绍了 WiSP，这是一个将驻留专家集视为模型路由行为之缓存的系统，并将其与 KV cache 进行联合管理。WiSP 由两个主要部分组成：

路由感知专家分页器 (Routing-Aware Expert Pager)：
- 机制： WiSP 通过利用现有的专家映射间接钩子（ $\pi$ ），接入一个未经修改的推理引擎（如 vLLM）。它不加载完整的层，而是维护一个小的 GPU 暂存空间，其中仅包含可能被重复使用的“工作集”专家。
- 操作： 在每一步中，分页器仅从主机内存中获取缺失的路由专家（H2D），并采用最近最少使用（LRU）算法驱逐专家以腾出空间。
- 保证： 由于底层的算子和权重保持不变（仅改变了映射方式），WiSP 能产生与基准引擎**字节级一致（Byte-identical）**的输出。它不需要新的算子、量化更改或模型重训。
MV-WSA（边际价值工作集分配）：
- 分配问题： 由于专家权重和 KV cache 共享相同的 VRAM 配额，增加驻留专家集会减少 KV 容量，反之亦然。
- 策略： MV-WSA 确定专家预算与 KV 预算之间的最优分割比例（ $f$ ）。其目标是使两个池的单位字节边际延迟收益趋于相等。
- 准入底线： 至关重要的是，分配器强制执行一个最小 KV cache 大小（ $\kappa_{min}$ ），以容纳当前的并发水平。如果不受约束的最优分割会导致 KV cache 匮乏，系统会将分割比例锁定，以确保调度器能够初始化并运行。
- 实现模式：
  - 离线配置器 (Offline Configurator)： 分析代表性轨迹（Trace）以在启动时设置固定的分割比例。
  - 在线控制器 (Online Controller)： 在服务期间动态调整两个池的大小。它在“排空屏障”（Drained Barriers，即没有活动请求持有内存块的点）处进行调整，在不超过总预算的情况下，在专家暂存空间和 KV 池之间物理移动字节。

关于预取（Prefetching）的关键发现
论文的一个核心实证发现是，基于路由的预取在单流、低并发解码中几乎没有收益。

瓶颈： 性能受限于 PCIe 带速，而非预测精度。在 Batch-1 解码中，每一步的计算量太小，无法通过计算来掩盖 PCIe 传输延迟。
结果： 投机性预取（Speculative prefetching）往往会降低性能（在测试中导致吞吐量下降约 50%），因为它会与带宽竞争，并驱逐了当前步骤所需的专家。
重新定义： 路由信号的价值不在于隐藏延迟，而在于内存分配。它有助于识别最小的“安全”驻留集大小，从而允许系统根据用户需求调整专家缓存的大小，并将释放的 VRAM 分配给 KV cache。

结果
作者在 NVIDIA H100 上对各种 MoE 架构（包括 LLM、VLM、混合 SSM-MoE 和扩散模型）评估了 WiSP（部分实验模拟了更小的内存预算）。

吞吐量增益： 在模型无法完全装入显存且 VRAM 配额匹配的情况下，WiSP 的解码吞吐量比静态 CPU 卸载高出高达 1.95×。当内存预算处于中间水平时，增益最为显著，因为此时 WiSP 可以缓存很大一部分可重用的专家集，而基准方案仍在进行全量流式传输。
KV 容量： 通过缩减专家占用的 footprint，WiSP 直接增加了 KV cache 的容量。实验表明，在相同的总内存预算下，缩小专家上限可以使最大并发量提升超过 40%。
分配性能：
- 离线： MV-WSA 配置器在 prefill 和 decode 阶段表现良好，在模拟中仅比基于工作流的 Oracle 方案低几个百分点，而固定分割方案（如 50/50）的表现则差约 20%。
- 在线： 动态双重调整控制器通过适应工作负载的变化（例如从长上下文轮次切换到工具调用爆发），比最佳静态离线分割方案提升了 1.20× 的吞吐量。
通用性： WiSP 成功服务了无法在单个 GPU 上运行的模型（如 Jamba-v0.1, MiniMax-M2），并适用于包括视觉语言模型（Kimi-VL）和扩散模型（DiT-MoE, LLaDA-MoE）在内的多种模态，同时保持字节级一致的输出。

意义与主张
论文声称 WiSP 通过将专家驻留和 KV caching 视为统一的工作集分配问题，为低资源 MoE 服务提供了一个统一的框架。

设计范式的转变： 作者认为，对于低并发服务，重点应从“如何更快地预取专家”转向“如何优化专家与 KV cache 之间的 VRAM 分配”。
实际影响： WiSP 使在消费级硬件上运行前沿规模 MoE 模型成为可能，且无需牺牲输出正确性或需要专门的硬件（如 Intel AMX）。
局限性： 作者明确指出，WiSP 是为模型无法装入 VRAM 的场景设计的；如果模型能完全装入，静态驻留速度更快，因为分页会引入不必要的间接开销。此外，研究表明预取优化在单流解码中无效，尽管在计算可以重叠的高 Batch 或多轮 Agent 会话中可能具有相关性。

该研究总结道，在受内存限制的单流解码中，路由信号是一个内存杠杆（决定工作集的大小），而非速度杠杆（隐藏延迟）；因此，智能分配才是性能提升的主要驱动力。