Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning

Prism 是一个以内存为中心的 LLM 共存服务框架，它利用一种被称为 kvcached 的新型内存气球技术，在多个模型之间动态地回收和重新分配 GPU 显存，从而通过统一空间与时间共享，来提高生产环境中的成本效率和 SLO 达标率。

要点

想象一下，你经营着一家拥有数千间客房（GPU）和数千名不同访客（AI 模型）的大型酒店。有些访客是名人，他们要求 24 小时全天候占用房间；而有些则是游客，他们每天只会在 10 分钟的入住时间里出现一次。

问题在于，运营这家酒店的成本非常高昂。如果你为了以防万一，给每个游客都分配一间私人房间，你会发现酒店有 90% 的空间都在浪费。但如果你试图把所有人挤进一间房，就会陷入混乱，名人也会因为不得不等待而感到愤怒。

Prism 是一个全新的智能酒店经理，它通过一种被称为**“内存气球化”（Memory Ballooning）**的小技巧解决了这个问题。

以下是其工作原理的简单拆解：

1. 问题所在：“静态房间”陷阱

在传统的 AI 运行方式中，如果一个模型（访客）被分配了一个房间，那么这个房间就永远属于它，即使它正在睡觉（闲置）。

• 空间共享（旧方法）： 你尝试把多个访客放在一个房间里。如果他们都在清醒状态并进行交谈，效果很好。但如果其中一个访客离开了一周，他们占据的半个房间就会空置，而另一个访客无法使用这部分空间。
• 时间共享（另一种旧方法）： 你通过踢走一个访客来让另一个进来。如果访客在不同的时间到达，这种方法很有效。但如果两个访客在同一秒钟到达，你就必须不断地把他们踢进踢出。这种“踢人”的过程很慢，会导致大家都在等待（延迟），从而导致他们错过截止日期。

现实世界的 AI 流量是非常杂乱的。有时一群模型会同时变得繁忙，有时又会集体安静下来。没有任何一种旧策略能够完美处理这种切换。

2. 解决方案：“气球化”技巧

Prism 引入了一个名为 kvcached（气球驱动器）的新型管理器。请将 GPU 内存想象成不是一组固定的房间，而是充气气球。

• 弹性气球： 当一个模型正忙于思考并需要更多空间时，管理器会为它充气，从其他正在睡觉的模型那里“偷取”空余的空气。
• 为他人放气： 当一个模型进入睡眠状态时，它的气球会缩小，释放出空间，以便一个新的、正在苏醒的模型能立即充气。
• 无需搬动家具： 最棒的是，模型甚至不知道这些正在发生。它们只看到房间神奇地扩张和收缩。管理器在幕后处理了所有的繁重工作。

3. 两步走策略

Prism 使用两条智能规则来决定谁能获得空气：

• 规则 1：全局调度器（酒店经理）： 它观察整个酒店。它会询问：“目前哪些组的访客是活跃的？”然后将这些活跃的访客安排在同一个楼层（GPU）上，以便他们更容易地共享空间。如果一位访客正在睡觉，它会将他们移到储藏室（CPU）中，以腾出空间。它不断地重新排列酒店布局，以确保没有一个楼层过度拥挤而另一个楼层却空空如也。
• 规则 2：本地调度器（礼宾人员）： 它关注的是此时此刻正在发生的具体请求。如果两名访客正在争夺最后一点空间，礼宾人员会检查谁的截止日期更紧迫。它会让紧急的访客先进入，并告诉不太紧急的那位稍等片刻。这确保了最重要的任务能按时完成。

4. 结果

论文在来自主要 AI 供应商的真实数据上测试了 Prism，发现：

• 服务更快： 它满足服务水平目标（SLO）的速度比以往的方法高出达 3.3 倍。
• 成本更低： 为了达到相同的性能水平，Prism 所需的 GPU 数量仅为一半（或者说在相同硬件下可以处理两倍数量的请求）。
• 现实证明： 它已经部署在拥有超过 10,000 个 GPU 的生产环境中，帮助公司通过将浪费的“闲置”时间转化为可计费的工作，显著提升了每块 GPU 的收入。

总结

Prism 就像是一个聪明且具有弹性的酒店经理。它不像传统方式那样将访客锁定在固定房间或不断地将他们踢走，而是使用充气气球来动态共享空间。它为繁忙的模型扩张空间，为睡眠中的模型缩小空间，确保酒店始终保持满员、高效且快速，且无需任何人排队等待。

技术摘要

技术摘要：Prism

问题陈述

托管数千个大语言模型（LLM）的推理提供商面临着一个关键的效率挑战：如何在降低 Token 价格的同时，保持对低流量、核心模型的可用性。生产环境的追踪分析显示，现实世界的负载表现出一种动态爆发性分组模式（dynamic bursty-group pattern），即特定的模型子集会随着时间的变化而共同活跃，这由复合 AI 系统和智能体（agentic）流水线驱动。

现有的服务策略无法适应这种变动性：

• 空间共享（共置/Colocation）： 在 GPU 上共置多个模型以利用闲置显存，对于持续低流量的模型有效，但在长时间闲置期间会造成严重的显存碎片化。它阻止了活跃模型通过扩展规模来满足服务水平目标（SLO）的要求，因为显存被闲置模型静态锁定了。
• 时间共享（交换/Swapping）： 将模型在 GPU 显存中进行换入换出可以处理零星流量，但在面对快速波动的负载时，会产生高延迟开销（秒级）。当多个模型出现交错请求时，这会导致“抖动（thrashing）”，从而导致 SLO 违规。

核心挑战在于缺乏一种原则性的机制来统一空间共享和时间共享。现有系统被迫在 SLO 达标与资源效率之间进行权衡，无法随着负载模式从剧烈爆发转向交错活动而进行流式转换。

方法论

Prism 是一个以显存为中心的 GPU 共享框架，旨在通过**弹性显存分配（elastic memory allocation）**来统一空间和时间共享。其架构由三个主要部分组成：

1. GPU 显存气球化（kvcached 驱动器）

Prism 引入了一个气球驱动器 kvcached，它位于推理引擎（如 SGLang）与 GPU 物理显存之间。该驱动器实现显存气球化技术，可以在不中断执行的情况下在不同模型间回收和重新分配显存。

• 虚拟/物理解耦： 引擎预留一个巨大的虚拟地址空间，但物理内存是按需分配和映射的。这使得系统可以在运行时收缩或扩展模型的物理足迹（权重和 KV 缓存）。
• 统一管理： kvcached 将模型权重和 KV 缓存视为一个统一的物理页面池。它支持多样化的模型架构，通过将 Token 块映射到虚拟页面并进行物理隔离，以避免形状冲突。
• 优化： 为了最小化开销，它使用 2MB 内存页，优先处理部分填充的页面，并采用预分配线程进行异步页面准备。它提供了一种与现有注意力机制内核（attention kernels）和 CUDA 图兼容的**弹性张量（eTensor）**抽象，无需对服务引擎进行任何代码更改。
• 快速加载： 为了减轻冷启动延迟，Prism 将引擎生命周期与模型生命周期解耦，使用可复用的引擎池，并通过 NVLink 在 GPU 间进行并行权重加载，以饱和互连带宽。

2. 以显存为中心的控制平面

Prism 采用分层调度器来管理由 kvcached 提供的弹性：

• 负载感知模型放置（全局）： 全局调度器将模型放置在各个 GPU 上，以最大化气球化所需的显存余量。它使用一种 **KV 压力比（KVPR）**启发式算法，该算法根据经 SLO 加权的 Token 率来量化显存竞争。该算法贪婪地将高需求模型放置在现有压力最低的 GPU 上，确保活跃模型在爆发期间有空间扩展其 KV 缓存。
• 松弛度感知的请求仲裁（局部）： GPU 本地调度器管理来自共置模型的并发请求。它不采用静态隔离，而是使用共享请求队列，并应用 Moore-Hodgson 算法来最小化截止日期缺失。它根据时间松弛度（time slack）（即截止日期与所需执行时间之间的差值）对请求进行优先级排序，确保紧急且短延迟的请求在较长运行的请求之前得到处理，从而最大化首 Token 延迟（TTFT）的 SLO 达成率。

3. 系统集成

Prism 实现为一个扩展 SGLang 的库，利用 CUDA 虚拟内存管理（VMM）API。它作为一个独立的控制进程运行，根据运行时指标协调模型的驱逐、激活和迁移。

核心贡献

1. 统一共享机制： Prism 是第一个通过将 GPU 显存视为弹性资源，从而在单一方案下统一空间和时间共享的系统。它允许系统同时作为时间共享系统（驱逐闲置模型）和空间共享系统（共服务活跃爆发）。
2. kvcached 气球驱动器： 一个开源驱动器，能够实现跨异构 LLM 的灵活、细粒度（2MB）显存重新分配，具有毫秒级开销且无需修改内核。
3. 生产级部署： 该系统已在 10,000+ GPU 的生产环境中部署并处于积极维护中。
4. 全面评估： 论文对来自主要提供商（Hyperbolic, Novita AI）和评估平台（Chatbot Arena）的生产追踪数据进行了严格分析，涵盖了 58 个异构模型，观察周期从 11 天到 16 个月不等。

结果

在包含高达 32 块 NVIDIA H100 GPU 的集群上使用真实世界追踪数据进行评估：

• SLO 达成率： 在相同 GPU 数量下，相比于最先进的基准方案（包括 MuxServe++, QLM 和 ServerlessLLM），Prism 的 TTFT SLO 达成率提升高达 3.3 倍，TPOT SLO 达成率提升高达 2 倍。
• 成本效率： 为了达到相同的 SLO 达成水平，Prism 减少了 2 倍 的所需 GPU 数量（例如，在 16 块 GPU 上达到 99% 的 TTFT SLO，而基准方案需要 32 块以上），或者在相同硬件下处理了 3.5 倍 的请求。
• 生产影响： 在两家公司的影子部署中，Prism 将单 GPU 吞吐量提升了 3.89 倍（公司 A）并将单 GPU 收入提升了 2.86 倍（公司 B），通过在不违反 SLO 的情况下将闲置容量转化为可计费的 Token。
• 延迟： 即使对于 70B 参数的模型，模型激活延迟也降低到了 1.5 秒以下，且在使用 NVLink 时，迁移开销可以忽略不计（数十毫秒）。

重要性

论文指出，多 LLM 服务的基础瓶颈是 GPU 显存竞争，而非计算能力。通过将视角从静态分区或硬性时间切片转向弹性显存管理，Prism 解决了对即时响应能力（需要共置）与资源效率（需要驱逐）之间的冲突。这项工作证明，通过采用显存中心化的视角，可以流式地适应现代 AI 工作负载的“爆发性分组”特性，使提供商能够在严格遵守延迟 SLO 的同时，高效地托管数千个模型。kvcached 的开源及其在大型生产环境中的采用，验证了这一方法的实际可行性。