🤖 AI

KEEP: A KV-Cache-Centric Memory Management System for Efficient Embodied Planning

本文提出了名为 KEEP 的 KV 缓存中心内存管理系统，通过静态 - 动态内存构建、多跳内存重计算和层平衡内存加载三项创新，显著提升了具身规划任务中的推理效率与成功率，在 ALFRED 数据集上相比文本内存方法实现了 2.68 倍加速，且优于 CacheBlend 方法。

原作者： Zebin Yang, Tong Xie, Baotong Lu, Shaoshan Liu, Bo Yu, Meng Li

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zebin Yang, Tong Xie, Baotong Lu, Shaoshan Liu, Bo Yu, Meng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 KEEP 的新系统，它的目的是让机器人（或者任何拥有“身体”的 AI 智能体）在完成任务时，能像人类一样既聪明又高效地利用记忆。

为了让你轻松理解，我们可以把 AI 做任务的过程想象成一个侦探在破案，而 KEEP 就是这位侦探的超级记忆管理助手。

1. 背景：侦探的困境（为什么需要 KEEP？）

想象一下，侦探（AI）要完成一个复杂的任务，比如“把煮好的土豆片放进水槽”。

传统方法（存文字）： 侦探每走一步，都要把过去所有的经历、环境描述（桌子在哪、锅热不热、土豆在哪）全部写成一大段文字，重新读一遍。
- 问题： 随着任务变长，这段文字越来越长，侦探读得越来越慢，还没开始干活，时间就耗光了（这就是论文说的“预填充延迟高”）。
旧有的优化方法（存缓存）： 侦探把读过的文字变成“思维快照”（KV Cache），下次直接看快照，不用重读。
- 新问题： 在现实世界里，情况是动态变化的。比如侦探刚把牛奶从桌子上拿走，桌子上的状态就变了。这时候，之前关于“桌子上有牛奶”的旧快照就失效了，侦探不得不把后面所有的快照都扔掉，重新计算。这就像你刚整理好书架，突然有人抽走了一本书，你不得不把后面所有书的位置重新排一遍，效率极低。

2. KEEP 的三大绝招（核心创新）

KEEP 系统通过三个聪明的策略解决了上述问题：

绝招一：动静分离的“记忆分类法” (Static-Dynamic Memory Construction)

比喻： 侦探把记忆分成了两类：“死记硬背类”和“实时更新类”。

死记硬背类（静态）： 比如“厨房里有冰箱”、“任务目标是放土豆”。这些很少变。KEEP 把它们打包在一起，算一次“思维快照”就长期保存，不用老重算。
实时更新类（动态）： 比如“牛奶刚被拿走”、“锅刚加热”。这些变化快。KEEP 把它们单独处理，只更新变动的部分，不牵连整个包。
效果： 就像整理文件，把长期不变的文件锁在柜子里（不用动），只把正在修改的文件放在手边。这样，哪怕手边的文件变了，柜子里的也不用重新整理，大大减少了“重算”的工作量。

绝招二：多跳式的“记忆联想术” (Multi-hop Memory Re-computation)

比喻： 侦探发现，有些记忆虽然看起来不相关，但通过逻辑链条其实是紧密相连的。

旧方法： 只重算那些“位置”或“开头”固定的记忆，容易漏掉关键联系。
KEEP 的方法： 它像玩“六度人脉”游戏。
1. 先问：“这个任务（开锁）最需要什么？” -> 答：“钥匙”。
2. 再问：“钥匙在哪？” -> 答：“在桌子上”。
3. 再问：“桌子在哪？” -> 答：“在厨房”。
- 通过这种层层递进（多跳）的联想，KEEP 能精准地找到那些真正重要的记忆片段，只对这些片段进行“深度重算”，而忽略那些无关紧要的。
效果： 既保证了侦探能联想到关键线索（准确率不降），又避免了把无关紧要的琐事都重新算一遍（速度快）。

绝招三：流水线式的“记忆搬运工” (Layer-balanced Memory Loading)

比喻： 想象侦探的大脑有 7 层（就像 7 个房间），每层都要处理记忆。

旧问题： 以前，搬运记忆（从慢速内存加载到快速内存）和处理记忆（计算）是串行的。有时候搬运工在等，有时候计算员在等，就像工厂流水线出现了“堵车”和“停工”，导致效率低下。特别是深层房间，需要搬运的数据多，容易卡住。
KEEP 的方法： 它设计了一个平衡的流水线。
- 当第 1 层房间正在计算时，搬运工提前开始把第 2 层、甚至第 3 层需要的记忆搬过来。
- 如果第 1 层算完了，搬运工正好把第 2 层需要的东西搬好了，第 2 层马上就能开工，中间没有任何等待时间。
效果： 就像一条完美的流水线，搬运工和计算员配合得天衣无缝，机器（GPU）一直满负荷运转，没有闲置时间。

3. 最终成果：快且准

实验结果表明，KEEP 系统非常厉害：

速度快： 在 ALFRED 数据集（一个机器人任务测试集）上，它的速度比传统的文字记忆方法快了 2.68 倍，比另一种先进的缓存方法（CacheBlend）快了 1.90 倍。
准度高： 虽然速度快了，但任务成功率（Success Rate）反而比那些旧方法高了 4.13%。

总结

简单来说，KEEP 就是给 AI 侦探配了一个超级管家：

它知道哪些记忆该锁起来（静态），哪些该随时更新（动态），避免无效劳动。
它懂得如何联想，只把精力花在真正关键的线索上。
它安排好了搬运和计算的节奏，让 AI 的大脑一刻也不停歇。

这套系统让 AI 在处理复杂的现实世界任务时，不再因为“记性太好导致脑子转不动”而变慢，真正实现了既聪明又高效。

这是一篇关于KEEP (KV-Cache-Centric Memory Management System for Efficient Embodied Planning) 的技术论文总结。KEEP 是一个专为具身智能（Embodied AI）规划任务设计的内存管理系统，旨在解决大语言模型（LLM）在处理长程、动态更新的环境记忆时面临的效率与准确性挑战。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

在具身规划任务中，智能体需要利用 LLM 根据当前状态、环境物体状态及历史任务记录来预测动作序列。为了提升规划成功率，系统需要维护一个结构化的“记忆”，但这带来了以下核心挑战：

提示词过长与高延迟： 现有的方法通常将记忆存储为原始文本。随着记忆片段增加，Prompt 长度可达数万个 Token，导致极高的预填充（Prefill）延迟，成为规划延迟的主要瓶颈。
KV Cache 复用困难： 虽然 LLM 推理中常用 KV Cache 缓存来避免重复计算，但在具身场景中，记忆是高度动态的（例如：机器人移动物体后，物体位置和状态改变）。
- 前缀缓存失效： 一旦记忆发生更新，其后的所有 KV Cache 都会失效，导致必须重新计算。
- 固定分块的不匹配： 现有的 KV 复用方法（如固定大小的块）无法适应具身记忆中不同片段更新频率的差异。细粒度的更新会导致整个大块 KV 失效，而粗粒度则忽略了不同记忆块之间的交叉注意力（Cross-Attention），导致规划准确率下降。
静态重计算策略的局限： 现有的 KV 重计算方法（如 CacheBlend）通常基于静态规则（如固定位置或前缀差异）选择重计算 Token，无法适应具身场景中记忆重要性随查询和上下文动态变化的特点。
层间负载不平衡： 在 KV 重计算范式下，不同层的 KV 加载量和计算量严重不平衡，导致流水线气泡（Pipeline Bubbles），降低了硬件利用率。

2. 核心方法论 (Methodology)

KEEP 提出了一套以 KV Cache 为中心的内存管理方案，包含三个关键创新：

2.1 静态 - 动态记忆构建 (Static-Dynamic Memory Construction)

原理： 根据记忆片段的更新频率将其分为“静态组”和“动态组”。
- 静态组： 包含长时间未更新的记忆（如已完成的任务记录、固定物体属性）。这些组内的所有片段作为一个整体计算 KV Cache，保留组内丰富的交叉注意力关系。
- 动态组： 包含频繁更新的记忆（如物体位置、状态）。这些片段单独计算 KV Cache，避免单个片段的更新导致整个组的 KV 失效。
机制： 系统使用句子编码器对记忆进行聚类。如果组内所有片段在 $t$ 步内未更新，则标记为静态；否则为动态。当组的状态切换时，按需重新计算 KV。
优势： 在减少 KV 无效化（Invalidation）的同时，保留了静态记忆内部的上下文关联。

2.2 多跳记忆重计算 (Multi-hop Memory Re-computation)

原理： 针对动态组和不同组之间的交互，提出了一种基于**重要性传播（Importance Propagation）**的动态重计算策略。
流程：
1. 初始化： 基于查询（Query）与记忆片段的注意力分数初始化重要性。
2. 重要性传播： 迭代地选择当前最重要的记忆片段，利用它们去发现与其强相关的“次级重要”记忆片段。通过多跳传播，挖掘出对当前任务至关重要的记忆链（例如：要“开门”，需先找到“钥匙”，而“钥匙”在“桌子”上）。
3. 选择性重计算： 仅对传播后确定的关键记忆片段进行 KV 重计算。
粒度： 以**记忆片段（Segment）**为粒度进行重计算，而非 Token 粒度。这使得系统可以连续加载未重计算的 KV 块，显著降低 I/O 开销。

2.3 层平衡内存加载 (Layer-balanced Memory Loading)

问题： 在具身规划中，浅层网络通常重计算比例高（需加载的 KV 少），深层网络重计算比例低（需加载的 KV 多）。传统的“计算当前层 + 预加载下一层”的流水线会导致早期层加载空闲、晚期层计算空闲。
策略： 利用“如果一个记忆片段在当前层未被重计算，它在后续所有层也无需重计算”这一特性。
- 系统主动管理加载流水线：在早期层计算时，如果下一层的 KV 加载已完成，立即利用空闲时间预加载那些在后续所有层都确定不需要重计算的 KV 数据。
效果： 将晚期层的加载压力前移至早期层，消除了流水线气泡，最大化硬件利用率。

3. 主要贡献 (Key Contributions)

深入分析： 揭示了具身规划记忆管理与传统 LLM 推理在记忆构建和更新频率上的本质差异。
系统创新：
- 提出了静态 - 动态记忆构建，最小化 KV 缓存失效。
- 提出了多跳记忆重计算，通过重要性传播恢复关键记忆间的交叉注意力。
- 提出了层平衡加载调度，优化了异构负载下的硬件利用率。
性能突破： 在 ALFRED 和 WAH-NL 基准测试中，KEEP 实现了显著的速度提升和准确率保持。

4. 实验结果 (Results)

实验在 ALFRED 和 WAH-NL 数据集上进行，使用 Qwen-2.5 (14B 和 32B INT4) 模型进行评估。

与文本记忆方法对比： 相比基于文本的记忆方法，KEEP 在 ALFRED 上实现了 2.68 倍 的加速，且准确率损失可忽略不计。
与 KV 重计算方法 (CacheBlend) 对比：
- 成功率 (SR)： 提升了 4.13% (ALFRED 数据集)。
- 首 Token 延迟 (TTFT)： 减少了 1.90 倍。
- 在 WAH-NL 数据集上，子目标成功率 (Sub-SR) 提升了 3.31% - 3.37%，TTFT 减少了 1.51 - 1.91 倍。
消融实验：
- 移除“静态 - 动态构建”会导致 SR 下降 6.94%，TTFT 增加 1.54 倍。
- 移除“多跳重计算”会导致 SR 下降 2.52%。
- 移除“层平衡加载”会导致 TTFT 增加 1.20 倍。
扩展性： 随着检索到的记忆片段数量增加（从 5 到 40），KEEP 的延迟增长远慢于全量重计算和 CacheBlend，证明了其在长上下文场景下的优越性。

5. 意义与价值 (Significance)

解决具身 AI 的长程规划瓶颈： 有效解决了具身智能体在长程任务中因记忆更新导致的 KV Cache 频繁失效问题，使得 LLM 能够高效地利用长程历史记忆。
平衡效率与精度： 证明了通过细粒度的 KV 管理（而非简单的文本压缩或全量重算），可以在不牺牲规划准确性的前提下，大幅降低推理延迟。
系统优化范式： 提出的“层平衡加载”和“多跳重要性传播”为未来在资源受限设备（如边缘计算）上部署长上下文 LLM 应用提供了新的系统优化思路。
开源贡献： 代码已开源，推动了具身智能与高效 LLM 推理系统的结合研究。

总结： KEEP 通过智能化的 KV Cache 管理策略，成功克服了具身环境中记忆动态更新带来的性能瓶颈，为构建高效、长程的具身智能体提供了强有力的技术支撑。