🤖 AI

Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents

该论文介绍了 FCGraft，这是一个通过维护一个包含已验证的函数级代码骨架及其相关 Transformer KV 缓存的库，并将这些骨架检索并嫁接到新任务中，从而消除冗余的预填充计算并确保可靠控制结构的框架，旨在加速并增强具身智能体代码策略合成的鲁棒性。

原作者： Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题：会遗忘且会反复阅读的机器人

想象一下，你正在教一个机器人做家务，比如清理凌乱的书桌或准备一顿饭。你用简单的英语给机器人下达指令，比如“把垃圾丢进垃圾桶，把笔收进抽屉里。”

为了完成任务，机器人使用了一个非常聪明的“大脑”（大语言模型），它会编写一段计算机程序（代码）来指挥机器人的手臂执行动作。然而，目前这种方法有两个大问题：

速度慢（“反复阅读”问题）： 每当你给出一个新的指令，即使它与上一个指令非常相似，机器人的大脑都必须从第一页开始重新阅读整本说明书才能理解基础内容。这就像要求一位厨师做三明治，但每次你开口，他们都必须从第 1 页读到第 500 页，才能拿起刀具。这太浪费时间了。
不可靠（“幻觉”问题）： 因为机器人在每次执行任务时都是从零开始编写代码，所以经常会出错。它可能会尝试使用一个不存在的工具，忘记检查门是否锁好，或者发出一条会导致机器人手臂损坏的指令。这就像一个学生在解数学题时没有看公式表；他们可能偶尔能得出正确答案，但经常会出错。

解决方案：FCGRAFT（“智能食谱盒”）

作者提出了一种名为 FCGRAFT（功能性缓存嫁接）的新系统。你可以把它想象成给机器人提供了一个智能食谱盒，让它能更快、更好地烹饪。

机器人不再需要从头编写整个食谱，而是查看它那个装满了经过测试、行之有效的预制食谱（称为“函数”）的盒子。

它是如何工作的：两个神奇技巧

该系统使用了两种主要技术来提高速度并修复错误：

1. 缓存缝合（“乐高积木”法）

类比： 想象你正在建造一座城堡。你不需要亲手用粘土捏出每一块砖，而是有一个装满了现成的、完美的乐高积木的盒子。
论文中的描述： 当机器人需要执行一项任务时，它会抓取之前成功使用过的“预制”代码块。它像拼乐高积木一样将它们“缝合”在一起，从而构建出一个新的计划。
优势： 因为它不需要“重新阅读”如何制作一块积木的指令（它已经拥有了关于这块积木的现成记忆），所以它构建计划的速度更快。同时，由于这些积木之前经过了测试，它也保证了积木的稳固性。

2. 缓存修补（“抽检”法）

类比： 想象你正在修改一篇长文章。如果你发现中间有一个错别字，你不会重写整篇文章，而是只剪掉那一个句子，修改后，再把它粘贴回去。
论文中的描述： 有时，即使使用了正确的积木，机器人也可能犯一点小错（比如试图打开一个实际上是关着的抽屉）。与其丢弃整个计划重新开始，FCGRAFT 会找到出错的具体那一行。它保留代码中好的部分，仅对那段微小的损坏部分进行“修补”（重写）。
优势： 这种方式速度极快。它在不浪费时间重做已经正常运行的部分的情况下，修复了错误。

“两层式”归档系统

为了实现这一目标，机器人的记忆被组织成一个两层的档案柜：

第一层（索引）： 保存食谱的“名称”和“签名”（例如：“如何拿起杯子”）。它非常轻量，用于快速查找合适的工具。
第二层（完整食谱）： 保存这些食谱的实际详细代码。机器人随时准备着，以便在需要时立即调用。

该系统在存储方面也非常聪明。它会记住哪些食谱经常被使用（如“捡起垃圾”），以及哪些是独特但重要的（如“处理燃气泄漏”）。如果内存满了，它会保留最有用的部分，并将较少使用的部分移动到较慢的存储区域，就像厨师把最常用的香料放在台面上，而把稀有的香料放在后方的储藏柜里一样。

结果：更快、更强

论文在机器人执行任务（如整理办公桌和准备烹饪站，甚至模拟了燃气泄漏！）方面测试了这个系统。

速度： 与之前的最佳方法相比，机器人在构思计划时的速度快了 2.3 倍。
成功率： 机器人的任务成功率提高了 18%。
现实世界证明： 在使用物理机器人手臂的真实测试中，FCGRAFT 处理突发问题（如燃气软管脱落）的速度比其他方法快得多，使其能够修复泄漏并继续烹饪，而不会导致系统崩溃。

总结

FCGRAFT 就像是将机器人的大脑从一个“从头开始死记硬背的学生”，升级为一位“拥有组织有序、经过测试的食谱书的大师级厨师”。

它通过缝合已知的、行之有效的部件来快速构建计划。
它通过修补来瞬间修复微小的错误，而不必重启。
结果是，机器人变得更快、更可靠，并且在不可预测的环境中更安全。

技术摘要：功能性缓存嫁接 (FCGRAFT)

问题陈述

具身智能体在开放领域环境中运行时，在使用代码编写大语言模型（CodeLLM）进行策略合成时面临重大挑战。现有的“代码即策略”（Code-as-Policies, CaP）范式将自然语言指令转化为可执行控制代码，但在动态设置中存在两个根本性的局限性：

延迟： 全生成式解码对于每一个新指令都需要对长提示词进行重复的预填充（prefill）计算，导致响应延迟，从而削弱了在时间敏感场景下的响应能力。
鲁棒性： 从头开始生成完整代码往往会导致 API 不匹配、缺失安全防护措施以及控制逻辑不稳定，最终导致任务失败。

现有的基于记忆的方法主要在文本层面运行，提供的计算效率提升有限。类似地，先前的键值（KV）缓存方法通常仅支持基于前缀的复用或文档级缓存，无法适应开放领域具身任务所需的函数级适配。

本文提出了 FCGRAFT（功能性缓存嫁 grafting），这是一个旨在通过函数级 KV 缓存和统一的缓存嫁接合成流水线来增强基于 CodeLLM 的机器人编程的框架。

1. 两层级函数级 KV 缓存

FCGRAFT 将原生的 KV 缓存机制重构为由函数标识符 ( $f_k$ ) 索引的分层两级代码缓存 ( $H$ )：

函数接口层 ( $I$ )： 存储可调用的函数签名（文本）及其关联的 KV 状态 ( $i^{KV}_k$ )。这些轻量级条目允许模型在不重新计算交叉注意力的情况下复用函数接口，作为**缓存缝合（cache-stitching）**的基础。
函数代码层 ( $C$ )： 存储经过验证的完整实现 ( $c^{text}_k$ ) 及其对应的 KV 状态 ( $c^{KV}_k$ )。这些用于执行过程以及缓存修补（cache-patching），提供修复特定代码片段所需的上下文，而无需重新生成整个策略。

缓存管理： 为了管理 GPU 显存限制，该框架根据以下维度为每个函数分配局部性评分 ( $\ell(f_k)$ )：

近期性 ( $\ell_{curr}$ )： 即时保留最近使用的函数。
频率 ( $\ell_{freq}$ )： 近期任务中的使用频率。
关联性 ( $\ell_{asso}$ )： 在执行轨迹中与其他函数的条件共现情况。
语义多样性 ( $\ell_{sema}$ )： 基于困惑度（perplexity）的独特性，以保留稀有但有用的函数。
低分条目会被卸载到 DRAM，而高分条目则保留在 GPU 上。

2. 缓存嫁接合成流水线

新策略通过两个相互依赖的阶段进行合成：

缓存缝合（Cache-Stitching）： 当新任务到达时，系统从层 $I$ 中检索相关的函数接口。CodeLLM 通过注入这些接口的缓存 KV 状态来组合新策略。这消除了对已验证函数结构的冗余预填充计算，确保了内部控制逻辑和 API 序列的鲁棒性和预验证性。
缓存修补（Cache-Patching）： 如果发生执行错误（例如 API 不匹配、运行时异常），系统会触发缓存修补。策略被拆分为前缀、错误片段和后缀。系统复用前缀的 KV 状态，并仅在识别出根因的思维链（CoT）轨迹引导下生成仅修正后的中间片段。这避免了全量再生，大幅缩短了解码时间。

核心贡献

FCGRAFT 框架： 一种通过实现函数级 KV 缓存来改进基于 CodeLLM 的机器人编程的新方法，减少了冗余预填充，同时确保了在开放领域环境中的行为一致性。
相互依赖的机制： 引入了 缓存缝合（用于消除结构错误并减少预填充）和 缓存修补（用于以最小解码量纠正局部错误）作为统一的流水线。
实证验证： 证明了 FCGRAFT 在多种基准测试（ALFRED, TEACh, RLBench）和真实世界机器人操控任务中，实现了鲁棒性与延迟之间的卓越权衡。

实验结果

作者将 FCGRAFT 与九种具有竞争力的基准方法进行了评估，包括通用 CodeLLM 方法（CaP, SCoT）、基于记忆的方法（HELPER, LRLL, PromptBook）以及 KV 缓存方法（CAG, RAGCache, PromptCache, EPIC）。

性能提升： 在模拟基准测试中，与强基准 RAGCache 相比，FCGRAFT 的任务成功率（SR）平均提高了 18.31%，策略合成延迟降低了 2.3 倍。
特定基准测试：
- ALFRED： 在 SR 上超过第二名基准（LRLL）4.04%，并将延迟降低了 2.67 倍。
- RLBench： 与 CAG 相比，SR 高出 16.21%，延迟降低了 2.25 倍，在需要精细控制和循环结构的任务中表现尤为出色。
- 真实世界机器人： 在物理机器人实验（办公室桌面整理和烹饪工作站准备）中，FCGRAFT 的 SR 比 CaP 高出 37.04%，且比 RAGCache 的延迟降低了 2.88 倍。
一致性： 该框架保持了高代码相似度（CSIM）和正向迁移（FWT），且没有出现灾难性遗忘（非负后向迁移），表明其能够稳定地积累可复用的技能。

重要性与主张

论文声称，FCGRAFT 通过使智能体能够快速可靠地生成和适配代码策略，代表了迈向可扩展且通用具身智能的重要一步。

通过复用实现鲁棒性： 通过复用缓存中经过验证的控制结构和 API 调用模式，该框架使策略合成倾向于经过验证的程序结构，从而避免了诸如不兼容的原语组合等常见失效模式。
通过嫁接实现高效性： 将不变区域（通过缝合处理）与适配点（通过修补处理）分离，使系统能够在保持纠正局部错误灵活性的同时，绕过冗余计算。
实用性： 该框架从模拟到真实世界机器人操控的成功迁移，证明了其在需要对意外状态变化（如燃气泄漏、物体错位）做出快速响应的时间敏感型及安全敏感型应用中的可行性。

作者承认了局限性，指出目前的实现为每个智能体维护一个独立的代码缓存，这可能会限制多智能体协作场景下的可扩展性。未来的工作建议探索代码缓存共享和基于学习的驱逐策略。