🤖 AI

Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory

Nexus 通过语义旁路缓存（semantic lookaside buffer）和压缩签名将工具路由与昂贵的模式预填充（schema prefilling）解耦，并采用具有回退重解码机制的深度自适应 KV 缓存拼接机制，在通过统一内存加速代理式 LLM 的同时，确保尽管存在旋转位置嵌入（rotary position embedding）漂移，仍能保持输出保真度。

原作者： Mustafa Arslan

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mustafa Arslan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，一种特定类型的软件智能体正在学习如何代表我们行事。这些数字助手不仅仅是回答问题，它们还会主动调用工具，比如检查日历、搜索数据库或发送电子邮件。为了实现这一点，软件必须首先理解每一个可能使用的工具的详细说明书。随着可用工具的数量增长到数百个，这些说明书变得极其庞大，在智能体甚至开始思考之前，就会填满计算机的短期记忆。这造成了一个瓶颈：智能体拥有的工具越多，开始工作所需的时间就越长，因为计算机每次执行新步骤时，都必须重新阅读并处理这些庞大的指令集。

研究人员一直在寻找绕过这一瓶颈的方法。一种想法是将计算机对这些指令的工作以压缩形式保存下来，就像一个书签一样，并在需要时将其重新粘贴回内存中。这听起来很高效，但却遇到了现代AI模型追踪时间和顺序方式的一个根本性问题。这些模型使用一种系统来记录它们在单词序列中的位置，如果将保存的工作块移动到内存中的不同位置，模型会对事件的顺序感到困惑。这就像是从一本书的中间撕下一页并将其粘贴到另一个章节中；故事本身可能仍然通顺，但句子之间微妙的联系可能会断裂，从而导致错误。

一支独立研究团队现在构建了一个名为 Nexus 的系统，用以应对这一复杂的局面。他们发现，虽然你不能随意移动这些保存的指令块而无风险，但如果你能谨慎地处理它们放置的位置并修复必然产生的错误，则是可以实现的。他们的研究在一种现代笔记本电脑中常见的特定强大计算机芯片上进行了测试，揭示了在AI输出变得不可靠之前，你可以移动这些数据块的精确边界。他们发现，如果数据块移动得太远，模型的序列理解就会发生偏移，但这种偏移是可预测的。研究人员设计了一种方法，用于检测这种偏移何时变得过大，并自动重新读取必要的指令部分，从而完美地将记忆缝合在一起。

这项工作的最显著发现是，该系统不需要依赖这些具有风险的记忆捷径来完成其最关键的任务：决定使用哪个工具。Nexus 并没有强迫 AI 阅读庞大的指令手册来做出选择，而是使用了一个独立的、极速的查找系统。该系统通过扫描一份包含工具名称和描述的精简列表，在微秒内找到匹配项。一旦工具被选中，AI 就会利用一份极小的、压缩后的指令摘要（通常仅有几十个单词）来生成必要的参数，而不是使用那份臃颖的全文。这种方法保持了主内存的整洁，并使智能体能够更快地开始工作，在生成答案的第一个词时，比重新阅读完整手册所需的时间缩短了不到一半。

研究人员还严格测试了他们这种“记忆拼接”技术的极限。他们证实，虽然该方法在短距离内表现良好，但存在一个硬性限制。如果保存的数据块距离其最初创建的位置超过 256 个位置，错误将变得过于严重而无法忽视。此时，系统会停止尝试修补记忆，转而退回到较慢但更安全的方法——即重新阅读全文。这确保了最终输出的准确性始终与从未尝试过捷径的情况完全一致。他们还证明，一种基于快速检查内存内部状态来猜测何时停止捷径的更简单、更廉价的方法是行不通的，因为它无法可靠地预测错误。

在测试中，Nexus 系统能够处理包含 250 种不同工具的注册表而不减速，并保持了极高的正确工具选择成功率。在上下文长度适中时，该系统的速度比传统的重新阅读全文法快了高达 1.7 倍。然而，随着对话变得越来越长、越来越深，其速度优势自然会逐渐消退，最终与标准方法持平。这并非失败，而是其设计的特性：系统将“答对问题”置于“速度”之上。它保证了输出结果绝不会比标准方法差，即便有时两者耗时相同。

这项工作是在一种具有统一内存架构的单一类型计算机芯片上进行的，这种架构允许处理器直接访问数据，而无需在机器的不同部分之间移动数据。这种特定的硬件设置对于实现记忆拼接技术至关重要，因为它需要对内存单元进行直接的物理访问。研究人员明确表示，虽然这些速度数据是针对这一特定设置的，但其背后的原理——即移动内存块的限制以及建立独立路由系统的必要性——似乎是关于这些模型运作方式的普遍真理。他们提供了一张清晰的地图，标明了捷径在哪里有效、在哪里失效，以及如何构建一个尊重这些边界的系统，从而同时实现速度与可靠性。

技术摘要：Nexus

问题陈述

使用模型上下文协议（MCP）的智能体大语言模型（LLM）在工具注册表规模扩大时面临显著的性能瓶颈。每个工具都由冗长的 JSON Schema 描述，且必须在每一轮进行重新编码（预填充）。由于自注意力机制的复杂度随序列长度呈二次方增长（ $O(N^2)$ ），这些 Schema 的累积占据了提示词的主导地位，形成了“Schema 预填充墙”，严重降低了首字生成时间（TTFT），并最终导致上下文窗口溢出。

虽然先前的系统通过在原位重用数据块来优化 KV 缓存管理（例如 PagedAttention、RadixAttention），但它们无法将编译好的数据块迁移到新的位置。一种直接的方法是将 Schema 编译为一次性的键/值（KV）块，并在推理时将其移植到实时上下文中，但这会因为**旋转位置嵌入（RoPE）**的相位漂移而失效。RoPE 通过旋转查询/键特征对来注入位置信息；一个为锚点位置 $m_0$ 编译的块在被放置到运行时位置 $n_{past}$ 时，会携带错误的绝对相位，从而破坏注意力分数。

方法论

Nexus 是一个专为 Apple Silicon 统一内存架构（UMA）设计的用户态 KV 缓存服务原型。它通过两种主要机制应对“预填充墙”：检索解耦路由和深度自适应 KV 缓存拼接。

1. 检索解耦路由

为了避免每轮都重新预填充 Schema 的开销，Nexus 将工具选择与主上下文生成解耦：

语义侧边缓冲区（SLB）： 工具嵌入（通过 nomic-embed-text-v1.5 生成）被量化为 INT8 并存储在稠密缓冲区中。路由通过无分支 SIMD 点积扫描完成。
校准边际门控（Calibrated Margin Gate）： 系统会对候选工具进行评估。如果前两名工具之间的得分差距超过校准阈值（ $\tau = 0.0136$ ），则执行自动路由。否则，由经过微调的交叉编码器对前几名候选进行重排序。
压缩中间表示（IR）： 一旦选中工具，参数将基于压缩后的文本签名（中位数 19 个 token）生成，而非完整的拼接 KV 缓存。这保持了主上下文提示词的精简，并避免了依赖拼接 KV 进行参数生成。

2. 深度自适应 KV 拼接与修复

对于需要移植到实时上下文中的 Schema，Nexus 采用“失效关闭（fail-closed）”策略来管理 RoPE 漂移：

锚定拼接（Anchored Splice）： 对于上下文深度（ $n_{past}$ ）在保守阈值（ $P = 256$ 个 token）内的情形，系统执行编译好的 KV 块的直接物理拼接。该块会被重新锚定（重新旋转）以匹配运行时位置，确保输出精确性（DKL $\approx 0$ ）。
深度自适应重计算： 当超过 256 个 token 的阈值后，系统会启动修复过程。它会重新解码拼接 Schema 的末尾后缀。重新解码的 token 比例 $R(n_{past})$ 随深度线性缩放，在更深层上下文中达到 100%（即全量重新预填充）。这确保了**“永不退化（never-regress）”保证**：即使延迟暂时上升，其输出保真度（Top-1 一致性和分布同一性）也绝不会差于全文本预填充。
系统实现： 系统利用零拷贝内存映射（mmap）处理编译块，针对软截断注意力模型（如 Gemma-2）采用转置-V 拼接技术，并使用缓存行硬化（cache-line hardening）以确保在并发环境下的确定性和位稳定输出。

核心贡献与负面结果

本文明确区分了正面贡献与定义系统架构极限的“边界负面结果”。

正面贡献

检索解耦路由： 一种与深度无关的路由机制，即使在注册表扩展至 250 个工具时仍能保持约 89% 的准确率（而“拼接所有 Schema”的基准线会因上下文溢出而失败）。它实现了在达到第一个参数 token 时 1.66× 的加速，并减少了约 80% 的主上下文 token。
深度自适应重计算： 一种有界的修复机制，通过随上下文深度增加而升级重解码过程，保证了输出保真度（永不退化），并平滑收敛至预填充水平。
UMA 系统机制： 实现了针对软截断模型的转置-V 拼接以及用于本地执行的缓存行硬化分配器。

负面结果（设计边界）

偏离锚点 RoPE 保真度边界： 本文证明，虽然纯拼接（不进行重解码）在 2048 个 token 内能保持 Top-1 一致性，但会引入残余分布偏差（ $\sim 10^{-2}$ nats）。这使得修复机制成为必要，以保证在任何解码参数下都能实现位一致（bit-identical）的输出。
无参考漂移门控的失效： 尝试使用廉价的、无参考代理（每头 K 方差）来预测深度拼接何时失效的尝试并未成功。该代理未能与实际漂移呈现相关性（Spearman $\rho = 0.193$ ），这证明了使用确定性的、深度自适应修复曲线的合理性。

实验结果

测量是在配备 Apple M4 Max (64 GB UMA) 的设备上使用 Qwen2.5-14B-Instruct (Q4_K_M) 进行的。

延迟： 在中等深度（ $n_{past} = 256$ ）下，相比于全量预填充，Nexus 实现了 1.63× 至 1.73× 的 TTFT 加速。随着深度增加且重计算比例 $R(n_{past})$ 趋近 100%，加速比缩小至与基准持平（1.0×），但系统在保真度上从未退化。
路由准确率： 当工具注册表从 10 个扩展到 250 个时，路由准确率保持稳定（~89%）。相比之下，拼接所有 Schema 的基准线在 $N \ge 50$ 时就会发生上下文溢出。
参数保真度： 在路由案例中，系统能 100% 正确填充指定的查询参数，且 JSON 有效性为 100%。端到端参数准确率（包含路由错误）为 80%。
微观开销： 250 个工具的 INT8 SLB 扫描（含 FFI 开销）耗时 17.6 $\mu$ s，表明路由开销相对于预填充成本几乎可以忽略不计。

意义与范围

本文将 Nexus 定位为并非通用的 LLM 服务解决方案，而是对 KV 缓存移植与 RoPE 相位漂移之间权衡关系的刻画。

定性泛化： 本文声称，其定性边界——即偏离锚点会导致漂移、分散的重计算无法廉价修复、以及无参考门控无法预测漂移——是 RoPE 的特性，具有模型无关性。
定量特异性： 其定量包络线（256 个 token 的阈值、特定的重计算曲线常数及偏差量级）是针对特定的模型组合（Qwen2.5-14B）和硬件（Apple M4 Max）进行校准的。
范围限制： 该系统专为本地、驻留于 UMA 的执行环境设计。对于无法暴露物理缓存地址的云端 API 以及在其中转跨步传输（transposed strided transfers）具有病态性能表现的离散 GPU 后端，系统将完全回退至文本预填充模式。

作者总结道，这项工作的最持久贡献在于其测量的包络线与负面结果，这些内容定义了 Schema 拼接的硬性极限，并证明了完全将路由与拼接路径解耦这一架构选择的合理性。