Agentic Plan Caching: Test-Time Memory for Fast and Cost-Efficient LLM Agents
该论文提出了智能体规划缓存（Agentic Plan Caching, APC），这是一种新颖的测试时记忆系统，通过提取、适配并重用来自先前智能体执行过程中的结构化规划模板，在保持性能的同时，显著降低基于大语言模型（LLM）的智能体的成本与延迟。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位技术精湛但收费昂贵的私人助理（即 AI Agent），负责帮助你解决复杂问题，比如分析财务报告或在网站上进行操作。
每当你向这位助理提问时，他们并不会立即给出答案。相反，他们会经历一个两步走的流程：
- 规划（Planning）： 他们会深入思考如何解决问题（例如：“首先，我需要找到总资产，然后是负债……”）。这一步需要消耗大量的脑力，并且成本很高。
- 执行（Acting）： 他们会根据制定的计划实际开展工作。
问题所在：“思考”造成的浪费
论文指出了一个巨大的效率问题：即使你提出的问题略有不同（例如，“A公司的比例是多少？”对比“B公司的比例是多少？”），助理通常仍会从头开始重新思考整个策略。他们忽略了“思考”部分（即计划）其实几乎是完全相同的——他们只是把公司名称替换掉了。
现有的节约成本的方法（如“语义缓存/Semantic Caching”）就像是一个只记得精确书名的图书管理员。如果你要找《了不起的盖茨比》，他们能找到；但如果你问“那本关于绿灯的书”，他们可能会错过；或者如果你问“2024版《了不起的盖茨比》”，他们可能会认为这是一本完全不同的书。对于这些复杂的、不断变化的复杂任务，这些方法过于僵化。
解决方案：智能体计划缓存（Agentic Plan Caching, APC）
作者提出了一种名为 Agentic Plan Caching (APC) 的新系统。你可以把它想象成给你的助理一本“食谱”，而不是仅仅记录过去的对话。
它是这样运作的，我们用烹饪作为类比：
“食谱”提取（厨师的秘诀）：
当你的助理成功解决一个问题（例如计算财务比率）时，系统不仅仅是保存最终答案。它会观察助理采取的步骤，并将具体的细节（如“开市客/Costco”或“2019年”）剥离出来。- 原始计划： “查找开市客在2019年的总流动资产。”
- 保存的“食谱”（模板）： “查找**[公司名称]在[年份]**的总流动资产。”
“关键词”搜索：
当你提出一个新问题时，系统不会尝试匹配整个句子。相反，一个小型且廉价的助手（“轻量级模型”）会提取出关键词或主要目标，比如“营运资本比率”。它利用这个关键词在“食谱书”中查找匹配的“食谱”。“适配”（Adaptation）：
如果系统找到了匹配的食谱，它就不会再次调用那个昂贵、超级聪明的助理去思考，而是利用保存好的“食谱”，由一个小型且廉价的助手填补空白（例如，将“开市客”替换为“沃尔玛”）。- 结果： 你可以立即获得一个定制化的计划，而无需支付昂贵的“思考”费用。
为什么这更好
论文在五种不同类型的现实任务（如财务分析和数学问题）上测试了该系统，并发现：
- 更便宜： 它将运行这些智能体的成本降低了约 50%。你不再需要每次都为昂贵的“思考”过程买单。
- 更快： 它将等待时间减少了约 27%。
- 更准确： 它并没有让助理变得更笨。其结果与助理从头思考每个问题时的表现相比，达到了 96.6% 的水平。
“冷启动”陷阱
论文指出该系统有一个局限性：当你刚开始使用该系统时，“食谱书”是空的。助理必须从头开始进行昂贵的思考，以编写出这些食谱。这被称为“冷启动（Cold Start）”。然而，一旦食谱书填满了，系统就会变得极其高效。
总结
简而言之，智能体计划缓存（Agentic Plan Caching） 就像是教会 AI 不要重复造轮子。与其每次你只需要开车去商店时，都请一位天才来设计一辆新车，不如给他们一个标准的汽车蓝图（计划），然后只需告诉他们更改颜色（上下文）即可。这在保证能安全到达目的地的前提下，节省了大量的成本和时间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。