SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving
SplitZip 是一种面向 GPU 友好的无损压缩器，它通过利用固定长度码本和稀疏转义流来挖掘浮点数指数冗余，从而加速解构式 LLM 服务中的 KV cache 传输，与现有方法相比实现了显著更高的吞吐量并降低了延迟。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在经营一家规模宏大、高速运转的图书馆，两个不同的团队正协作处理复杂的问题。
- A 队（“预填充”团队）： 他们是研究员。他们阅读一份冗长且详细的文件（用户的提示词），并做详细的笔记。这个过程非常快，但需要极高的脑力（计算能力）。
- B 队（“解码”团队）： 他们是作家。他们利用这些笔记，逐字逐句地写出答案。这个过程较慢，且需要大量的记忆力（内存）来存放笔记。
在现代 AI 系统中，这两支队伍通常在不同的建筑（不同的服务器）里工作，以节省成本并平衡工作量。问题在于：A 队必须将他们的笔记邮寄给 B 队，之后 B 队才能开始写作。
如果笔记非常庞大（比如用户询问关于整本书的内容），邮寄过程就会耗时过久。作家（B 队）只能坐在那里干等，等待邮件送达。这种“邮寄延迟”成为了拖慢整个系统的瓶颈。
当前“邮寄”方法的缺陷
以前，人们尝试压缩这些笔记以使其传输更快。
- “有损”方法： 有些人试图丢弃部分笔记以节省空间。但这就像是通过删除随机句子来总结一部小说。虽然节省了空间，但故事（AI 的答案）可能会变得错误或荒谬。
- “旧式”无损方法： 另一些人尝试完美地压缩笔记而不丢失任何一个字母。但他们使用的软件就像是一个缓慢、陈旧的打字员。它太慢了，跟不上 A 队生成笔记的速度。当笔记被压缩好时，A 队早已生成了下一批新的笔记。
解决方案：SplitZip
研究人员创建了一个名为 SplitZip 的新系统。你可以把它想象成一种专门为 AI 笔记设计的超级智能、高速快递服务。
它是这样运作的，这里使用一个简单的类比：
1. “笔记”的结构
AI 生成的笔记是由数字组成的。在它们使用的格式（称为 BF16）中，每个数字都有三个部分：
- 符号 (Sign)： 是正数还是负数？（就像加号或减号）。
- 尾数 (Mantissa)： 数字的具体细节。
- 指数 (Exponent)： 数字的“幂”或规模（比如是 10、100 还是 1,000）。
2. 神秘的发现
研究人员注意到一个有趣的现象：虽然“细节”（尾数）分布很散，但“幂”（指数）却非常有规律。这就像你在写书时，99% 的时间里只使用了“非常”、“相当”和“极其”这些词，而很少使用“稍微”或“几乎”。
3. SplitZip 策略
SplitZip 并不直接写出每一个词，而是这样做：
- 快捷方式： 它创建了一个“前 16 名”列表，列出了最常见的 16 种“幂”（指数）。它为这 16 种常见的幂分配了一个极小的、由 4 个字符组成的编码（就像一个秘密手势）。
- 打包： 它将两个这样的微型编码打包进一个字节的空间里。这就像把两个秘密手势塞进一个字母的空间内。
- “稀有”列表： 对于那 1% 出现的“稀有”幂，它不会强行将其挤入快捷方式中，而是会写下一条小型的“逃逸说明”，内容如下：“在位置 #50 处，实际的幂值是‘稀有值-99'。”
4. 为什么它很快
- 对于 A 队（编码）： 因为该系统使用的是固定长度且简短的编码（4 bit），而不是复杂的变长编码，所以它可以极快地打包笔记。这就像一个知道要把每件物品放在哪里的机器人手臂，而不是一个还在费劲琢磨如何折叠衬衫的人类。
- 对于 B 队（解码）： 当笔记到达时，B 队可以瞬间解包。他们查找 4 位编码，获取幂值，并结合细节。如果存在“逃逸说明”，他们只需覆盖那个特定位置即可。这是一条直线式的作业流程，没有任何令人困惑的绕路。
结果
论文声称 SplitZip 是一个游戏规则改变者：
- 速度： 它的数据压缩和解压缩速度分别达到了 613 GB/s 和 2181 GB/s。对比来看，这比之前尝试在 CPU 上进行此类操作的方法快了数百倍。
- 完美的准确度： 它是“无损”的。B 队收到的笔记与 A 队编写的笔记在比特位（bit-for-bit）上完全一致。没有任何信息丢失。
- 现实世界的影响： 当他们在真实的 AI 系统（使用 SGLang 框架）中进行测试时，观察到：
- 笔记在服务器之间的传输速度提升了 1.32 倍。
- 获取第一个答案单词的时间（TTFT）缩短了 1.30 倍。
- 每小时处理的总请求量增加了 1.23 倍。
总结
SplitZip 就像是一个专门针对 AI 笔记设计的、高速运转的快递员，因为它知道 AI 的笔记大多是重复性的。它不再邮寄沉重的完整包裹，而是发送一份包含常见物品的微型编码清单，并附带一份关于稀有项的小说明。它运行得如此之快，以至于 AI 服务器永远无需等待，从而让 AI 能够更快地回答长篇、复杂的问题，且绝不会丢失任何细节。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。