💬 NLP

MiniPIC: Flexible Position-Independent Caching in <100LOC

MiniPIC 是一种极简且灵活的 vLLM 设计，它通过存储未旋转的 K 向量并在注意力机制计算期间应用针对每个请求的相对位置编码，实现了对循环结构化输入的有效位置无关缓存，从而在核心引擎改动不足 100 行的情况下，显著提升了吞吐量并降低了延迟。

原作者： Nathan Ordonez (IBM Research), Thomas Parnell (IBM Research)

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nathan Ordonez (IBM Research), Thomas Parnell (IBM Research)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营一家规模宏大、高速运转的图书馆，图书管理员（AI）必须阅读数千本书籍才能回答一个问题。在现代 AI 中，这个“阅读”阶段被称为 预填充（prefill）。

通常情况下，如果两个人问了相似的问题，图书管理员可以复用已经读过的书中的部分内容。然而，目前的图书馆系统（如 vLLM）非常僵化：只有当某页内容出现在书中的完全相同位置时，它才能被复用。如果你把一段文字从第 10 页移动到第 100 页，图书馆系统会将其视为一个全新的页面，并不得不重新阅读一遍，即使它刚才才刚刚读过。

MiniPIC 是对这个图书馆系统进行的一次聪明且微小的升级，它在不重建整个建筑的情况下解决了这个问题。以下是它的工作原理，我们使用简单的类比来解释：

1. 问题所在：“便利贴”困境

在目前的 AI 系统中，记录已读内容的“记忆”（称为 KV cache）在每一页上都贴着一张便利贴，上面写着：“我是第 10 页”。

冲突： 如果你想在新的请求中使用同一页文字，而它在新的请求中属于第 100 页，图书馆系统就会感到困惑。它无法让同一个物理页面在不同的人面前同时既是“第 10 页”又是“第 100 页”。
旧的解决方法： 之前的解决方案试图为这一页制作复印件，移动它们，然后重新贴标签。这既慢又浪费空间，还会造成图书馆内的交通拥堵。

2. MiniPIC 的解决方案：“空白页”策略

MiniPIC 通过两种简单的方式改变了图书馆的规则：

A. “无标签”书架（无位置信息的缓存）
MiniPIC 不再在物理页面上写下“第 10 页”，而是让页面在位置信息上保持空白。页面只包含文字本身。

工作原理： 当管理员阅读该页时，他们仅在那个特定时刻决定它“在哪里”。如果他们是在为 A 读书，那么这一页就是“第 10 页”；如果他们是在为 B 读书，同一个物理页面瞬间就变成了“第 100 页”。
益处： 你不需要复印或移动页面。同一个物理内存块可以同时为不同位置的多个人提供服务。

B. “魔法标记”（用户控制的基元）
由于管理员不再能仅通过观察页面来得知它属于哪里，用户（或管理者）会给管理员三个特殊的“魔法标记”（特殊词汇）来告诉系统如何处理书籍：

填充（Padding）： “填满空白空间，使这本书能整齐地结束在书架边界上。”
SSEP（跨度分隔符/Span Separator）： “这一部分是独立的。即使它在不同的书或不同的位置，你也可以复用这段文本块。”（这打破了“必须从开头匹配”的僵化规则）。
PDEP（提示词依赖/Prompt Depend）： “这部分取决于之前出现的所有内容。不要复用它，请重新阅读。”

通过使用这三个标记，用户可以准确地告诉系统哪些部分是可复用的“块”（如文档或代码文件），哪些部分是独特的。

3. “传送带”调度

该论文还引入了一种更聪明的组织工作的方式。

旧方式： 图书馆会先读完所有人所有可复用的文本块，然后在流水线上放一个“停止”标志，然后才开始回答实际的问题。这会让管理员处于闲置状态。
MiniPIC 方式（交错调度）： 管理员在为下一个人阅读可复用文本块的同时，仍在回答当前那个人的问题。这就像厨师在当前菜肴炖煮时，就开始为下一道菜切菜一样。这让厨房（GPU）始终保持 100% 的忙碌状态。

结果：快速、精简且灵活

论文声称，通过这些改进，他们实现了：

速度： 与标准系统相比，系统的读取和准备数据能力（预填充吞吐量）提升了 49%。
即时访问： 对于缓存的文档，获取第一个答案的时间缩短了高达 100 倍（两个数量级）。
极小足迹： 整个系统仅需修改核心引擎中的 78 行代码（外加一个自定义的“注意力”工具）。这就像是通过更换两个微小的火花塞来修理汽车引擎，而不是重建整个引擎。
无惩罚： 当系统不使用这些技巧时，其性能仅下降了约 5.7%，几乎察觉不到。

总结

MiniPIC 是一个轻量级、灵活的升级，它允许 AI 系统无论文本块出现在提示词的什么位置都能进行复用。它通过移除内存中的“位置标签”，并允许用户使用简单的特殊词汇来标记可复用部分来实现这一点。这消除了复杂的、缓慢的复制操作，并让 AI 的工作速度更快，尤其是在处理长文档或重复信息时。

技术摘要：MiniPIC：在少于 100 行代码内实现灵活的位置无关缓存

1. 问题陈述

现代大语言模型（LLM）推理正日益受到长上下文预填充（prefill）工作负载的主导，特别是在检索增强生成（RAG）和智能体（agentic）场景中。这些工作负载涉及重复预填充可预测的、结构化的输入片段（称为“span”），例如文档、工具描述或记忆状态。

当前的生产级推理引擎（如 vLLM 和 SGLang）利用前缀缓存（prefix caching），该技术基于其前序 token 对固定大小的 KV 缓存块进行哈希处理。虽然这种方法对于完全相同的初始提示词非常有效，但当 span 出现在不同的绝对位置或在不同的前缀之后时（例如，同一个文档出现在不同的系统提示词之后），该方法无法复用 KV 条目。

现有的位置无关缓存（Position-Independent Caching, PIC）方案在**位置编码（positional encodings）**方面面临着根本性的系统冲突：

冲突点： 大多数 LLM 使用旋转位置嵌入（RoPE）。标准实现会在应用 RoPE 后将 key 存储在 KV 缓存中。如果一个 span 被缓存在偏移量 0 处并在偏移量 2048 处被复用，那么缓存的 key 将携带错误的角度旋转。
并发障碍： 在服务系统中，物理 KV 块是在并发请求之间共享的。如果同一个 span 需要同时在两个不同的偏移量处使用，单个物理块无法同时容纳两种不同的位置旋转。
先前研究的局限性：
- 外部缓存： 将 span 存储在 GPU 之外（例如在主机内存中）会带来显著的主机到设备传输开销。
- 复杂的内部解决方案： 像 SPNL 和 MEPIC 这样的实现试图在引擎内部解决此问题，但需要大量的代码更改，包括复杂的块重定位引擎（例如 SPNL 用于检测循环和块复制的 CIDRA 算法）、新的内存管理子系统以及专门的驱逐策略。这些都会引入内存放大、复制循环和非融合操作，从而降低性能。

本文认为，灵活的 PIC 需要一种既能从共享缓存中消除位置冲突，又能保持引擎修改极小且与现有架构对齐的解决方案。

2. 方法论：MiniPIC

作者提出了 MiniPIC（Minimalistic PIC，极简 PIC），该设计构建在两个核心要素之上：无位置编码的 KV 缓存和用户控制的缓存复用原语。

2.1 无位置编码的 KV 实现

与存储预旋转的 key 不同，MiniPIC 在 KV 缓存中存储未旋转的 key 向量 ( $\tilde{k}_j$ )。

机制： 旋转位置嵌入（RoPE）是在注意力内核（attention kernel）内部根据每个请求的逻辑位置进行实时（on-the-fly）应用的。
数学公式： 注意力分数计算如下：
$\text{score}(t, j) = \frac{(R_t q_t)^\top (R_{\pi(j)} \tilde{k}_j)}{\sqrt{d}}$
其中 $R$ 是旋转矩阵， $q_t$ 是查询， $\pi(j)$ 是缓存的 key $j$ 在当前请求中的逻辑位置。
优势： 这将物理 KV 块与特定位置解耦。同一个块可以被多个处于不同偏移量的并发请求引用，而无需进行重复或重新旋转共享内存。
实现： 这需要修改注意力内核，以执行余弦/正弦表查找以及针对每个 key 元素的融合乘加（fused multiply-adds）。这在代数上等同于重新旋转缓存命中项，但避免了修改共享块。

2.2 用户控制的缓存复用原语

为了在不依赖复杂的引擎侧规范化的情况下管理 span 组合，MiniPIC 暴露了三个通过特殊 token 实现的用户侧原语。这些 token 会修改引擎的块哈希行为：

填充（Padding）： 用户将 span 填充至 KV 块边界，以确保特殊 token 出现在块的起始位置。
SSEP（Span Separator，跨度分隔符）： 当放置在块的开头时，SSEP 会重置哈希链（ $h_i = H(h_0, x_i)$ ）。这使得该 span 无论其前序上下文如何，都能实现独立缓存，从而支持 Block-Attention 和 EPIC 风格。
PDEP（Prompt Depend，提示词依赖）： 当放置在块的开头时，PDEP 会强制哈希依赖于整个前序提示词（ $h_i = H(h_0, x_{\le i})$ ）。这防止了那些真正依赖于先前上下文的后缀块发生错误的缓存命中。

调度： 本文引入了交错 Span 预填充调度（Interleaved Span-Prefill Scheduling, ISPS）。ISPS 不再是先对所有 span 进行预填充批处理，然后设置屏障（barrier）再进行最终提示词处理，而是将 span 预填充与正在进行的 decode 步骤进行流水线化处理。这保持了 GPU 的饱和度并消除了空闲时间，充分利用了 vLLM 的连续批处理（continuous batching）能力。

3. 核心贡献

位置冲突的系统分析： 通过详细研究证明，在共享 KV 缓存中保留位置编码会导致级联问题（内存竞争、内存放大、复制循环）时，尝试进行 PIC 会产生这些问题。
极简且灵活的实现： 无位置编码的 KV 实现，通过在注意力内核中存储未旋转的 keys 并应用 RoPE。排除模块化注意力后端，该方案仅需对 vLLM 核心进行 78 行代码（LOC） 的修改（其中包含 61 行新功能代码）。
用户控制的接口： 证明了三个特殊 token（Padding, SSEP, PDEP）足以表达多种 span 技术（Block-Attention, EPIC, Prompt Cache），而无需引擎管理的块规范化或中间提示词重计算策略。
感知 PIC 的交错调度： 一种调度策略，能够将 span 预填充与最终提示词请求重叠，相比于采用屏障分离的基准方案，实现了显著的吞吐量提升。
原生兼容性： 该设计原生集成到 vLLM 的 CPU 卸载（offload）实现中，因为未旋转的块可以在不追踪或调整位置的情况下在 GPU 和主机之间移动。

4. 实验结果

实验在单张 NVIDIA H100 GPU 上使用 2WikiMultihopQA 数据集（12,576 个样本）和 Tulu3-block-ft 模型（Llama-3-8B 架构）进行。

吞吐量： 带有 ISPS 的 MiniPIC 达到了 48.01 samples/s，相比基准 vLLM（32.21 samples/s）提升了 49%，相比 SPNL（36.14 samples/s）提升了 33%。
开销： “禁用 PIC”配置（仅使用无位置编码的 keys 但没有 span 信号）与基准相比仅产生了 5.7% 的开销，证实了修改 RoPE 内核的成本极低。
延迟（TTFT）： 与基准 vLLM 相比，MiniPIC 将缓存 span 的首字延迟（time-to-first-token）降低了多达两个数量级，并且通过消除 CIDRA 的内存复制开销，表现显著优于 SPNL。
可扩展性： 系统为未缓存的 span 保留了线性预填充缩放特性。
代码规模： 该实现仅需 78 行核心代码修改（加上 Triton 注意力后端的 251 行代码），这与引入整个新子系统的先前研究形成了鲜明对比。

5. 重要性与主张

本文认为，灵活的位置无关缓存并不需要一个庞大的、由引擎管理的 PIC 技术栈。作者声称，两个要素就足够了：

KV 缓存中的无位置编码 keys，用以消除并发冲突和对复杂块重定位（如 CIDRA）的需求。
一个极简的用户控制接口（通过特殊 token），将 span 管理的责任转移给用户或编排层。

通过从共享内存中移除位置编码，MiniPIC 避免了以往方法中固有的内存放大和复制循环等结构性后果。其结果是一个更简单（代码量更少）、更快（无复制/重定位开销）且兼容现有功能（如 CPU 卸载）的系统。本文得出结论：对于基于 RoPE 的 span 感知服务，最简单且最有效的方案是保持缓存的位置无关性，并将接口控制权交给用户。