🤖 machine learning

Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving

Irminsul 为智能体大语言模型引入了一种原生位置无关的缓存系统，该系统利用多头潜在注意力的架构结构实现基于内容寻址的键值缓存，通过克服传统前缀匹配方法固有的缓存失效问题，实现了高达 83% 的提示词令牌恢复率和 63% 的预填充能耗节省。

原作者： Bole Ma, Jan Eitzinger, Harald Köstler

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bole Ma, Jan Eitzinger, Harald Köstler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在运营一个非常繁忙、高速运转的图书馆，其中一位图书管理员（即人工智能）必须阅读堆积如山的文档来回答问题。为了保持高效，管理员会保留一份“作弊条”（即缓存），记录他们最近读过的页面，这样就不必每次都从头重读。

问题所在：“位置”与“内容”的冲突

在旧有的方法（称为前缀缓存）中，管理员的“作弊条”是严格按照位置来组织的。

“第 1 页是系统提示词。”
“第 2 页是文档 A。”
“第 3 页是文档 B。”

如果管理员面对一个新问题，且顺序发生轻微变化——例如“第 1 页仍然是系统提示词，但现在文档 A 移到了第 5 页”——旧的“作弊条”就会失效。管理员会想：“哦，第 2 页变了，所以我必须扔掉整份‘作弊条’，从头开始重读所有内容。”

在智能体 AI（即能够使用工具、搜索网络并与其他 AI 对话的 AI）的世界里，这种情况频繁发生。AI 可能会调取同一份文档，但由于将其插入到对话的不同部分，其“位置”发生了变化。旧系统将此视为全新的、无法识别的混乱局面，迫使 AI 浪费时间和能量去重读它已经知晓的内容。

解决方案：Irminsul（“内容”导向的图书管理员）

这篇论文介绍了一种名为Irminsul的新系统。Irminsul 不再根据页面的位置来组织“作弊条”，而是根据页面实际所说的内容来组织。

可以这样理解：

旧方法：“只有当书在第 3 个书架上时，我才记得它。”
Irminsul：“我记得这本书，因为它是《哈利·波特》的副本，无论它放在哪个书架上。”

Irminsul 根据实际文本（内容）将对话分割成块。如果 AI 再次看到“文档 A"，即使它位于不同的位置，Irminsul 也会说：“我以前见过这段完全相同的文本！我可以重用我的笔记。”

秘诀所在：“位置”调整

你可能会问：“如果文本相同，但位置不同，AI 不会感到困惑吗？”

是的，通常如此。在 AI 中，单词的“位置”至关重要（就像知道一个词是在句首还是句尾一样）。

旧问题：为了修正位置，旧系统必须为每一个单词重写整份“作弊条”。这就像为了修改页码而重写整本书。这既缓慢又昂贵。
Irminsul 的诀窍：该论文专注于一种特定的人工智能架构，称为MLA（多头潜在注意力）。这种架构的特殊之处在于，它将“笔记”分为两部分：
1. 内容（90%）：单词的实际含义。无论位置如何，这部分都是相同的。
2. 位置（10%）：一个微小的标签，表明“我在这里”。

Irminsul 意识到它只需要调整那个微小的 10% 标签。它利用一种巧妙的数学“旋转”（称为 $\delta$ -旋转），在不重写整本书的情况下即时更新位置标签。这就像给文档拍张照片，然后只需将其在桌面上滑动到新位置，而不是重新拍摄整个房间。

结果

该论文在三个充当智能体的真实世界 AI 系统（DeepSeek、Kimi 和 JoyAI）上测试了这种方法。

恢复率：在 AI 移动文档的复杂任务中，Irminsul 能够重用旧系统丢弃的约**77% 至 83%**的工作量。
能耗：由于无需重读文本，它节省了处理这些重复部分所需约63% 的能耗。
准确性：AI 的回答与之前一样准确；新方法并未使其产生混淆。

“第一页”规则

这里有一个小陷阱。任何对话的最初几个单词都充当 AI 注意力的“重力锚点”。论文发现，如果你尝试重用恰好从对话开头开始的文本块，AI 会感到困惑。

修复方案：Irminsul 只需每次都重新阅读第一个文本块（前 32 个单词），但对于其后的所有内容，它都使用智能的“基于内容”的重用机制。这一微小的代价确保了系统其余部分完美运行。

总结

Irminsul 是一种让 AI 更聪明地记忆事物的方法。它不再说“我之所以记得这个，是因为它在第 5 号插槽”，而是说“我之所以记得这个，是因为它是同一个故事"。通过认识到“故事”（内容）比“插槽”（位置）更重要，并利用一种特殊技巧快速修正位置标签，Irminsul 使 AI 智能体运行得更快、成本更低，并且在处理复杂、多变的对话时表现更佳。

技术摘要：Irminsul——面向智能体 LLM 服务的 MLA 原生位置无关缓存

1. 问题陈述

当前的生产级 LLM 服务严重依赖前缀缓存（例如 SGLang 的 RadixAttention、vLLM 的 PagedAttention），即基于精确的 token 序列前缀缓存键值（KV）状态。虽然该机制在标准对话轮转中行之有效，但在智能体工作负载中却会彻底失效。

在智能体系统（例如工具调用、检索增强生成、多智能体编排）中，提示词由静态系统指令、检索文档和工具输出动态组装而成。即使文档或工具模式的内容在轮次间保持完全一致，其在提示词中的位置也会因以下原因发生偏移：

动态插入检索文档。
工具输出的重新排序。
可变长度的系统提示词或元数据头部。

由于标准前缀缓存要求从位置 0 开始字节完全对齐，提示词结构中单个字节的偏移就会导致下游 token 的整个缓存失效。运营方报告了严重的性能回退，包括缓存命中率从 100% 降至 35%，以及在内容未变的情况下首 token 延迟（TTFT）出现 10–16 秒的激增。

先前的**位置无关缓存（PIC）**系统（例如 CacheBlend、EPIC）试图通过逆旋转修正完整的 $d_K$ 维 Key 张量，以解决分组查询注意力（GQA）架构下的此问题。然而，这带来了巨大的架构成本：修正必须应用于每个 token 的整个 KV 行，导致计算开销巨大，往往抵消了缓存带来的收益。

2. 方法论：Irminsul 方法

Irminsul 提出了一种专为多头潜在注意力（MLA）架构（用于 DeepSeek-V2/V3/R1、Kimi-K2、GLM-5、Mistral Large 3）设计的内容寻址缓存系统。

2.1 结构洞察：MLA 分解

Irminsul 的核心使能因素是 MLA 模型中 KV 对的结构分解。与位置不可分割地融合在整个 Key 张量中的 GQA 不同，MLA 将每个 token 的 KV 分解为：

$cKV$（内容潜在向量）：一个 512 维的、与位置无关的潜在向量。该组件可在任何绝对位置原样复用。
$k_r$ （旋转 Key）：一个携带位置信息（RoPE）的小型 64 维向量。

Irminsul 利用了 $cKV$ 占 KV 行约 89% 且复用时无需修正这一事实。仅需调整 $k_r$ 切片（约 11%），该调整可通过单次 $\delta$ 旋转（其中 $\delta$ 为位置偏移）以闭式解完成。

2.2 系统设计

Irminsul 通过以下机制扩展了 SGLang 的基数缓存：

基于 CDC 的内容哈希键：Irminsul 不使用固定块进行哈希，而是基于 64-token 窗口上的滚动 Gear 哈希使用内容定义分块（CDC）。当哈希值低于阈值时输出分块，确保分块边界与内容对齐，而非任意字节偏移。每个分块使用 xxHash64 进行指纹识别。
注册表查找：缓存注册表将内容哈希映射到存储的 $(cKV, k_r, base\_pos)$ 。
$\delta$ -旋转规则：发生缓存命中时，系统计算位置偏移 $\delta = p_{target} - p_{source}$ 。它检索存储的 $cKV $，并对存储的$ k_r $应用旋转矩阵$ R(\delta)$，以生成新位置的正确位置键。此操作被融合到 FlashMLA 内核中，产生的延迟可忽略不计。
首块剔除：为处理“注意力汇”现象（即模型高度关注序列开头），如果分块从绝对位置 0 开始，Irminsul 会通过标准预填充预先填充该分块的前 32 个 token。这避免了后续分块在边界处的重新计算，因为注意力汇是序列起始局部的，而非分块起始局部的。
混合策略（S1/S2）：
- S2（通过协作预防）：在受控环境中，提示词组装器在共享区域周围插入 64-token 边界标记，以强制确定性的 CDC 边界。
- S1（检测与恢复）：针对不受控流量，一种回退机制将 CDC 未命中细分为固定的 128-token 窗口，以恢复部分复用。

3. 主要贡献

Irminsul 系统：首个 MLA 原生 PIC 系统。它在 bf16 精度下实现了相对 L2 误差为 $4.7 \times 10^{-3}$ 的高精度 $\delta$ -旋转，比标准 FP8 KV 量化tight 一个数量级。
可行性证明（ROC 分析）：论文提供了一项无阈值的 ROC 研究，证明 MLA 的 $cKV$ 组件具有高度的位置不变性（AUC $\approx$ 0.77），而 GQA/MHA 中的原始 K 向量则与位置纠缠（AUC < 0.5）。这验证了内容寻址复用对 MLA 在结构上是合理的，但对未经修正的纯 softmax 架构则不然。
能效研究：一项跨架构分析表明，虽然基于 softmax 的注意力（GQA、MLA、MHA）每次缓存命中可节省 63–86% 的预填充能量，但混合 SSM/线性架构（Mamba2、GDN、KDA）仅节省约 0%，因为它们的循环状态未按 token 索引，使得循环层上的“缓存命中”无法定义。
恢复指标：在三个原生 MLA-MoE 部署（DeepSeek-V2-Lite、Kimi Moonlight-16B、JoyAI-Flash）上的评估显示，与标准前缀缓存对偏移内容近乎零的恢复率相比，Irminsul 在智能体流量中恢复了高达**~83%**的提示词 token（超出精确前缀匹配）。

4. 结果

缓存恢复：在具有“早期变化”（例如偏移的智能体元数据头部）的智能体流量上，Irminsul 恢复了77.2%（DeepSeek-V2-Lite）和82.7%（JoyAI-48B）的原本需要重新计算的 token。在这些场景下，标准前缀缓存仅捕获约 1.5%。
能量节省：每次缓存命中，Irminsul 在 MLA 模型上实现了63% 的预填充能量节省（GQA 为 86%）。这证实了 PIC 的主要收益是在基于 softmax 的架构中实现的。
输出一致性：在四个数据集（QA、GovReport、NIAH）和三个模型上，Irminsul 的贪婪轨迹与朴素复用相匹配或超越。在 JoyAI-48B 的“大海捞针”（NIAH）任务中，PIC 的召回率与完整预填充完全一致（0.820），同时与朴素复用相比将 KL 散度降低了 22%。
延迟：该系统在生产延迟预算内运行。 $\delta$ -旋转被融合到 HBM 到 SRAM 的加载路径中，避免了额外的 HBM 带宽使用。

5. 意义与主张

论文认为，内容寻址缓存应成为 LLM 服务堆栈中的一等公民原语，而非前缀匹配的修补方案。

结构性与算法性：论文指出，先前 PIC 系统无法完全解决 GQA 问题是一种结构性限制（将位置融合到整个 Key 张量中），而不仅仅是工程缺陷。MLA 将位置（ $k_r$ ）与内容（$cKV$）分解，是实现高效、低开销 PIC 的关键。
智能体工作负载：随着智能体系统成为主导，共享上下文（文档、模式）的"token 重编码”代表了巨大的低效。Irminsul 将这种冗余重新定义为内存问题而非计算问题，允许服务堆栈为内存复用计费，而非重新计算。
范围：作者明确将其安全性主张限制在MLA 架构（具体指生产中使用的吸收矩阵乘法形式）。他们指出，虽然 GQA 理论上支持 PIC，但修正成本很高。他们还指出，混合 SSM 模型（如 Mamba2）由于其循环状态结构，无法从 PIC 中受益。
未来工作：论文承认 DeepSeek-V4 的“重度压缩注意力”（HCA）聚合了 token，这消解了 Irminsul 分块所需的每 token 身份。将分块原语适配到 HCA 的聚合调度被确定为 immediate 的下一步。

总之，Irminsul 证明，通过利用 MLA 特定的代数特性，可以缓存提示词中任意位置的內容，在智能体 LLM 服务中回收大量的计算和能量成本，同时不损害输出质量。