💻 computer science

CachePrune: Privacy-Aware and Fine-Grained KV Cache Sharing for Efficient LLM Inference

CachePrune 是一种面向大语言模型推理的隐私感知机制，它通过实现细粒度的令牌级键值缓存条目共享，在消除侧信道泄露的同时，显著提升了缓存命中率并缩短了首令牌生成时间，从而优于现有的粗粒度或禁用共享的方法。

原作者： Guanlong Wu, Zhaohan li, Yao Zhang, Zheng Zhang, Jianyu Niu, Ye Wu, Yinqian Zhang

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Guanlong Wu, Zhaohan li, Yao Zhang, Zheng Zhang, Jianyu Niu, Ye Wu, Yinqian Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一座庞大且超级智能的图书馆（即大型语言模型或 LLM），它帮助人们撰写故事、回答问题并解决难题。为了快速工作，这座图书馆会保留一个“草稿纸”（称为KV 缓存），记录它已经阅读和思考过的所有内容。如果两个人提出了相似的问题，图书馆可以跳过重新阅读共同部分，直接查阅其草稿纸，从而节省大量时间和能量。

然而，这里存在一个问题：隐私。

问题：图书馆中的“回声”

如果图书馆允许所有人共享同一张草稿纸，一个狡猾的小偷（攻击者）就可能试图猜测你写了什么。

如何做到？ 小偷向图书馆提问。如果图书馆超级快地给出了回答，那就意味着图书馆从你之前的请求中识别出了部分内容，并复用了其草稿纸。
风险： 通过测量图书馆回答不同问题所需的时间，小偷可以确切地推断出你使用了哪些词语，即使他们本不应看到这些内容。

旧方案： 为了防止这种情况，图书馆的管理者决定完全停止在不同用户之间共享草稿纸。这很安全，但速度慢且浪费资源，因为图书馆每次都必须从头重新阅读所有内容。

新方案：CachePrune

本文的作者构建了一个名为CachePrune的新系统。你可以把它想象成一位手持红笔的聪明图书管理员。

图书管理员不会仅仅因为某个人写了一个秘密就扔掉整张共享草稿纸，而是采取了更聪明的做法：

红笔标记（隐私检测）： 图书管理员扫描你的请求，并在任何敏感词汇（如你的姓名、信用卡号或私人秘密）上贴上红色的“禁止共享”标签。
剪刀（细粒度切割）： 图书管理员将请求切割成微小的片段。
- 带有红色标签的片段被扔进私人垃圾桶（它们永远不会被共享）。
- 没有标签的片段（如“你好”、“请写一个关于……的故事”或“天气是”）则保留在共享草稿纸中。
拼图求解者（智能检索）： 当新的人进来时，图书管理员不再仅仅寻找预先切割好的大块文本。他们会寻找那些安全的、无标签片段的精确匹配，无论这些片段出现在句子的什么位置。

为什么这很重要（类比）

想象你正在和朋友一起烤蛋糕。

旧方法（全有或全无）： 如果你在烘焙时向朋友耳语了一个秘密，整个厨房就被视为“被污染”了。你再也无法与他人分享食谱或工具。你必须购买新工具并从头开始。
CachePrune 方法： 你穿上一件特殊的围裙。你耳语秘密，围裙将其接住。厨房的其他部分（面粉、鸡蛋、搅拌碗）则完全干净。你可以立即将干净的工具有分享给下一位烘焙者。你节省了时间，同时你的秘密依然安全。

内部工作原理

本文解释了他们为解决此问题而攻克的两项棘手的技术挑战：

寻找安全片段： 很难确切知道句子的哪些部分可以重用而不破坏含义。该系统使用一种数学技巧（称为“求和区域表”）来快速扫描句子，找出最长且最安全的片段，这些片段不依赖于秘密词汇。
快速查找片段： 由于安全片段的长度可以是任意的（而不仅仅是固定块），寻找它们就像在针 haystack 里找针。该系统使用“滚动哈希”（类似于滑动窗口）来极快地扫描请求，在毫秒级内检查匹配项。

结果

作者在真实的图书馆（使用 vLLM 软件）上测试了该系统，涵盖了三种不同类型的任务（回答问题、阅读故事和总结会议）。以下是他们的发现：

隐私： “小偷”无法猜出任何秘密词汇。“直接恢复”率为0%。即使从上下文中推测含义也非常困难（成功率低于 7%）。
速度： 由于能够共享安全部分，该系统在开始回答问题时的速度比旧的“不共享”方法快了4.5 倍。
质量： 回答的质量与系统从头阅读所有内容时一样好。
效率： 即使没有任何隐私规则，这种新的“切割”方法在重用工作方面也比仅使用固定大小块的旧方法提高了44%。

总结

CachePrune 是一个允许 AI 服务器共享其“内存”以加快工作的系统，但它充当了一个智能过滤器。它在共享前自动隐藏敏感信息，使得安全部分能够被即时重用。这打破了旧规则，即你必须在速度和隐私之间做出选择；现在，你可以两者兼得。

技术摘要：CachePrune

问题陈述

大语言模型（LLM）依赖键值（KV）缓存来加速推理，现代服务系统通常在不同用户间共享 KV 缓存，以减少冗余计算和内存占用。然而，无限制的用户间共享会引入严重的侧信道漏洞。攻击者可以通过特定的 token 序列探测系统；如果系统重用了缓存的 KV 条目（通过降低的延迟或调度优先级检测到），攻击者即可推断这些 token 是否存在于受害者的提示中，从而可能重构敏感输入。

现有的防御措施通常完全禁用用户间共享以防止泄露。这种“全有或全无”的方法过于粗粒度。实际上，用户提示中包含大量与隐私无关的内容（例如系统指令、公共模板或 RAG 管道中的检索段落），其中敏感 token（如个人身份信息 PII）往往仅占总输入的一小部分（例如，约占用户输入的 2.3%）。禁用所有共享会牺牲巨大的效率增益。此外，现有的细粒度共享机制（例如 CacheBlend、CacheCraft）在固定的块级别运行（例如 512 个 token）。如果单个敏感 token 落在一个块内，整个块都必须被丢弃，导致大量可重用内容的损失。

方法：CachePrune

作者提出了 CachePrune，这是一种隐私感知的 KV 缓存共享机制，能够实现非敏感 KV 条目的 细粒度、token 级重用。该系统旨在通过仅选择性共享与隐私无关的片段，打破隐私与效率之间的权衡。

系统架构

CachePrune 在 vLLM 等现有框架之上集成了五个核心组件：

敏感度检测器：一个可插拔接口（支持用户自定义规则、正则表达式或 Presidio 等分类器），用于识别提示中的敏感 token 并生成二值敏感度掩码。
KV 标注器：在推理后，该模块分析注意力分数矩阵，从非敏感 token 中推导出可重用片段。它识别“自上下文化”片段，其中内部注意力超过外部注意力。
KV 检索器：在生成响应之前，该模块使用基于滚动哈希的算法，在 KV 池中搜索与传入请求的非敏感 token 匹配的片段。
LLM 引擎：通过计算缺失的 KV 条目并重新计算重用片段内的特定 token 来完成推理，以维持生成质量。
KV 池：存储和索引可重用的 KV 片段，管理其生命周期和淘汰。

关键算法解决方案

该系统解决了两个主要挑战：

1. 高效推导可重用 KV 片段（挑战 1）

问题：在 token 级别确定可重用性需要评估任意子串的注意力依赖关系。一种朴素的方法是将所有子串与注意力矩阵进行比对，导致 $O(n^4)$ 的复杂度，这是不可接受的。
解决方案：CachePrune 在注意力分数矩阵上采用 求和面积表（积分图） 算法。这使得系统能够在 $O(n^2)$ 的预处理步骤后，以 $O(1)$ 的时间计算任意候选子串的内部和外部注意力总和。这将寻找最优可重用片段的整体复杂度降低至 $O(n^2)$ 。
重计算策略：在可重用片段内，具有高外部注意力（依赖外部上下文）的 token 被标记为重计算，以保持输出质量。

2. 高效检索变长片段（挑战 2）

问题：与固定大小的块不同，token 级共享产生变长片段。直接哈希查找会失效，因为单个 token 的偏移会破坏对齐，使得检索成为一个子串包含问题，朴素搜索的复杂度为 $O(n \times m)$ 。
解决方案：系统使用 基于滚动哈希的检索算法。
- 前缀过滤：预先计算缓存片段前 128 个 token 的哈希值。传入请求通过滑动窗口扫描，以 $O(n)$ 的时间找到潜在匹配项。
- 完整验证：候选项经过快速前缀哈希检查，随后进行加密哈希（SHA-256）验证，以确保正确性而无需逐个 token 比较。

主要贡献

首个实用的细粒度共享系统：CachePrune 是首个在 token 级别实现选择性 KV 缓存共享的系统，通过重用非敏感条目同时阻止敏感条目，有效打破了隐私与效率的权衡。
算法创新：本文提出了一种自适应算法，利用求和面积表进行高效的片段推导，并利用滚动哈希机制进行变长检索，克服了固定块方法的局限性。
全面评估：作者在 vLLM 上实现了 CachePrune，并在三个数据集（QASPER、NarrativeQA、QMSum）和多个模型（Mistral-7B、Qwen2.5）上进行了评估。

结果

评估表明，CachePrune 在不妨碍隐私或生成质量的情况下实现了显著的效率提升：

隐私：
- 直接泄露：标记为敏感的 token 无法通过基于重用的侧信道被恢复（0% 的精确恢复率）。
- 上下文泄露：从非敏感 token 推断敏感内容仍然有限（在 SOTA 攻击下，精确恢复率为 2.2%，语义恢复率为 6.4%）。
- 不完美检测：系统对检测错误具有鲁棒性；假阴性会增加直接泄露，而假阳性则会保守地减少上下文泄露。
效率：
- TTFT 降低：与非共享基线相比，CachePrune 将首 token 时间（TTFT）降低了高达 4.5 倍。
- 命中率：实现了高达 94.57% 的 KV 缓存重用率。
- 细粒度优势：即使没有隐私约束，与最先进的固定块方法（CacheCraft、CacheBlend、EPIC）相比，CachePrune 的 token 级共享也将缓存命中率提高了 44%。
质量：生成质量（通过 F1 分数和 ROUGE-L 衡量）与完全重计算相当，偏差可忽略不计。

意义与主张

本文声称，CachePrune 为多租户环境中的安全 LLM 服务提供了实用基础。通过超越固定大小的分块，它最大限度地利用了与隐私无关内容（如系统提示和公共数据）的重用潜力，同时严格隔离敏感的用户输入。作者强调，他们的方法不需要新的隐私检测机制，而是与现有机制集成，为安全、高性能的推理提供统一接口。这项工作强调，细粒度的 KV 管理不仅是可行的，而且是平衡现代 LLM 基础设施中隐私与效率竞争需求的关键。