技术摘要：Leyline：面向智能体推理的 KV Cache 指令集

1. 问题陈述

现代大语言模型（LLM）服务系统围绕着一种特定的工作负载假设进行演进：提示词（prompt）仅到达一次，且 KV cache 呈单调增长（仅追加）。这种假设支撑了诸如前缀缓存（prefix caching）和前向式逐出（forward-only eviction）等优化技术。然而，智能体 LLM（Yao et al., 2023; Yang et al., 2024）通过策略驱动的编辑打破了这种单调性。智能体经常通过重试失败的工具调用、丢弃陈旧的输出或转向新的轨迹来修改对话历史。

这种行为造成了两个截然不同的缓存管理问题：

1. 位置无关的复用（Position-Invariant Reuse）： 相同的内容在不同轮次之间会发生绝对位置的偏移（例如，由于插入了工具输出）。精确的前缀缓存无法复用这些块，因为它们的相对位置发生了变化，尽管其底层的键值（KV）数据仍然有效。最近的研究（Ma et al., 2026）通过内容寻址匹配解决了这一问题。
2. 策略驱动的变异（Policy-Driven Mutation，本文关注点）： 智能体或策略可能需要主动移除或替换一段已缓存的内容（例如，截断旧的工具输出以释放内存），并在不重新进行整个前缀预填充（re-prefill）的情况下继续生成。
   • 现状： 生产系统（如 Anthropic, 2025）通过编辑消息列表并触发完整的重新预填充来处理此问题，这产生了重新计算原本旨在节省的整个前缀的全部成本。
   • 内核局限性： 现有的内核级逐出方法（Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024）进行的是自主决策，无法接受来自外部策略的显式指令来执行特定的原地（in-place）编辑。

目前不存在一种原语，允许策略指导服务系统主动拼接 KV cache，同时在不重新预填充的情况下保持下游注意力数学计算的正确性。

2. 方法论：Leyline 原语

作者引入了 Leyline，这是一种旨在弥合策略意图与内核执行之间鸿沟的服务端原语。

2.1 指令抽象

Leyline 通过声明式的 4 元组指令 将“编辑什么”与“如何编辑”解耦：
$$D = (s_{start}, s_{end}, R, m)$$

• $(s_{start}, s_{end})$：待替换片段的 Token 索引范围。
• $R$：替换后的 Token 序列（通常是一个短存根，例如 [evicted: 3 older tool turns]）。
• $m$：语义模式，可选：
  • AMORTIZE（摊销）：默认模式。系统执行原地拼接。替换内容被插入，下游位置被重新索引。至关重要的是，下游 Token 的底层 KV 值（$K_{nope}$ 和 $V$）会被保留，从而维持模型对被逐出内容的原始注意力，而非对新存根的注意力。
  • FORGET（遗忘）：系统将编辑路由到标准的经过前缀裁剪的重新预填充。当需要真正的“内容遗忘”（例如脱敏）时使用，确保模型不会保留来自被逐出内容的潜在影响。

2.2 机制：$\delta$-旋转（$\delta$-Rotation）

实现 AMORTIZE 模式的核心技术创新是针对**多头潜在注意力（Multi-Head Latent Attention, MLA）**架构（如 DeepSeek-V2）的位置编码偏移进行的闭式修正。

• 结构洞察： 在 MLA 中，Key 张量被分为 $K_{nope}$（位置无关）和 $K_{pe}$（位置相关，由 RoPE 旋转）。
• 操作过程： 当长度为 $|S|$ 的片段被长度为 $|R|$ 的片段替换时，所有下游 Token 都会发生偏移 $\Delta = |R| - |S|$。
• 修正方法： Leyline 并不重新计算下游 Token 的注意力，而是对所有下游槽位的已缓存 $K_{pe}$ 值应用 $\delta$-旋转：
  $$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$$
  由于 RoPE 具有酉旋转闭包特性（$R(a)R(b) = R(a+b)$），对现有的 $R(i)$ 应用 $R(\Delta)$ 在代数上等同于从头计算 $R(i+\Delta)$。
• 结果： 系统通过对每个槽位进行单次矩阵乘法来更新位置编码，从而保留 $K_{nope}$ 和 $V$ 张量。这使得系统能够以单次操作更新位置编码，同时保持对原始完整上下文的注意力数学逻辑。

2.3 服务栈集成

Leyline 通过以下三个步骤集成到服务栈中（特别是在 SGLang 中进行了演示）：

1. 基数匹配（Radix Match）： 按照常规方式将未改变的前缀（$[0, s_{start})$）与基数缓存进行匹配。
2. 预填充（Prefill）： 将替换 Token $R$ 预填充到新槽位中。
3. 旋转（Rotation）： 内核对所有下游槽位的 $K_{pe}$ 带进行 $\delta$-旋转并重新索引它们。

该接口是信号无关的：任何能够发出片段替换元组（例如，截断规则、检测陈旧工具调用的检测器）的策略，都可以驱动缓存，而无需内核去检查其背后的逻辑原因。

3. 核心贡献

1. 问题区分： 本文正式区分了复用（相同内容的位移）与变异（策略驱动的主动编辑），并将变异识别为智能体缓存管理中的开放子问题。
2. 指令抽象： 提供了一个 4 元组接口，将策略（编辑什么）与机制（如何拼接）解耦，实现了显式的、原地的缓存编辑，且无需重新预填充。
3. 语义编辑通道： 提出了一个新的接口边界，位于智能体服务栈之上，处于块级存储之上，旨在将智能体编辑分解为块级操作，同时保持位置编码的正确性。
4. 双重验证：
   • 机制维度： 证明了拼接内核提升了重放缓存命中率，并通过避免重新预填充降低了延迟。
   • 策略维度： 证明了通过该接口路由的简单截断策略可以提高智能体的解决率（solve rates），通过减少上下文噪声来实现。

4. 结果

4.1 机制性能（SGLang 微基准测试）

• 缓存命中率： 在并发度 $C \in \{1, 4, 8, 16\}$ 下，拼接分支比标准基数（radix）基线提升了 11.2 个百分点 (pp)。
• 延迟： 通过在关键路径上节省重新预填充的成本，端到端延迟最高降低了 241 ms（在 $C=8$ 时）。
• 正确性： 拼接路径保持了 100% 的首 Token argmax 一致性（与热前缀/全上下文路径相比），证实了 $\delta$-旋转保留了原始上下文的注意力数学逻辑。

4.2 策略性能（Debug-Gym）

• 任务： 使用 JoyAI-LLM Flash 模型执行 8 个 debug-gym 的 mini_nightmare 任务。
• 策略： 一个 10 行的截断规则，用于丢弃早于 $n=2$ 轮的工具输出。
• 结果： 通过 Leyline 路由的截断策略将智能体的解决率从 31.2%（基线，无截断）提升至 45.5%（提升了 14.3 pp）。
• 分析： 收益主要来自于长轨迹任务（如 shopping_cart, sum_tree）。通过丢弃陈旧的工具轮次，模型可以更有效地关注真正重要的轮次。若没有 Leyline，执行此类策略将迫使每次截断都进行完整的重新预填充，从而抵消效率增益。

4.3 正确性验证

• 单提示词微基准测试： 构建了全上下文路径与重新预填充路径必然产生分歧的场景。Leyline 一致地匹配了全上下文预测（追踪原始块的影响），而非重新预填充预测（丢失了该块的影响）。
• 跨架构验证： 在四种 MLA 模型上进行了验证（DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B）。
• 数值稳定性： $\delta$-旋转引入了微小的漂移（在 bf16 下相对于 L2 范数约为 $4.7 \times 10^{-3}$），该漂移呈亚线性累积。作者指出，在存储 KV 时使用 bf16 但在进行旋转计算时使用 fp32 可以有效缓解这种漂移。

5. 重要性与主张

本文声称 Leyline 为智能体系统提供了策略驱动缓存编辑所需的缺失接口。

• 接口转变： 它改变了服务栈的接口边界。前智能体时代（Pre-agentic）系统仅暴露提示词；后智能体时代（Post-agentic）系统则需要一个缓存编辑通道。Leyline 具象化地定义了这个通道。
• 解耦： 它允许策略声明其意图（例如，“遗忘此片段”或“摊销此编辑”），而无需理解底层的内核机制（RoPE、MLA 或基数树）。
• 可编程内存： 作者认为，这使 KV 缓存管理从一种反应式的、系统侧的猜测游戏（逐出）转变为一种协作式的调度问题，其中智能体声明上下文的命运，而存储层负责执行。
• 范围： 本文验证了**拼接（splice）**这一动作。作者承认旋转内核目前是针对 MLA 特定的，但指出指令抽象是架构无关的，且通过边界重计算过程，将其扩展到 GQA/MHA 是可行的。

论文总结道，虽然机制（拼接）使得此类策略成为可能且无需重新预填充成本，但策略类本身才带来了部署层面的胜利（更高的解决率）。指令接口的词汇表（包括未来的动词如 PIN, DECAY, SCRATCH）代表了未来智能体内存管理的议程。