Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live
本文介绍了 CacheTTL，这是一种新颖的 KV 缓存管理系统，它采用动态生存时间机制，在多轮大语言模型智能体工作流中的工具调用暂停期间选择性地保留缓存，从而与现有驱逐策略相比实现了超过 8 倍的作业完成时间提升和更高的吞吐量。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在运营一个高效、超快的厨房，一位主厨（即人工智能）正在同时为众多顾客烹饪复杂的菜肴。
问题：那个“停停走走”的厨房
在普通的 AI 聊天机器人中，主厨做完一道菜、端给顾客后，会立即开始下一道。如果厨房变得拥挤，主厨就会扔掉当前菜肴的半成品食材，以便腾出空间接待新顾客的订单。这对于简单的聊天来说运作良好。
但现代的 AI“智能体”（agents）则不同。它们不仅仅是聊天；它们会采取行动。它们先思考，然后调用工具（例如查询天气或搜索网络），等待结果，随后再继续烹饪同一道菜。
当前系统存在一个故障：
- 主厨开始烹饪一道菜。
- 主厨暂停以调用工具（例如，“查询天气”）。
- 由于主厨处于“暂停”状态，厨房系统误以为该订单已结束。它会扔掉半准备好的食材（即KV 缓存），以便为其他订单腾出空间。
- 工具在 2 秒内完成。主厨准备继续。
- 灾难发生：食材不见了！主厨要么不得不从遥远的仓库重新购买（CPU 卸载），要么不得不从头重新切配一切（重新计算）。
- 更糟糕的是，由于食材已被扔掉，主厨必须排在其他顾客后面，仅仅为了重新获得切菜板的位置。
这种情况反复发生。如果一个智能体需要 20 步来解决一个问题，它可能会浪费 20 次重新做工作和排队等待的时间。
解决方案：CacheTTL（“保持就绪”计时器）
研究人员构建了一个名为CacheTTL的新系统。你可以将其想象为给每位顾客的订单配备了一个特殊的**“保持就绪”计时器**。
当主厨暂停以调用工具时，系统不会立即扔掉食材，而是会说：“等等！这位主厨可能在 2 秒后回来。让我们将食材在操作台上保留一段特定的时间（生存时间，即 TTL）。”
其工作原理如下：
- 智能预测：系统查看历史记录。“通常，当主厨调用‘查询天气’时，大约需要 2 秒。当他们调用‘搜索网络’时，需要 5 秒。”
- 计时器：根据该预测设置计时器。如果工具调用预计需要 2 秒，食材将在操作台上保留 2.5 秒。
- 收益：
- 如果主厨按时返回：食材还在！主厨可以从中断的地方继续。无需重新切配，也无需排队等待。
- 如果主厨迟到：如果工具调用耗时 10 秒而非 2 秒，计时器会超时。系统会安全地扔掉食材，以便为其他顾客腾出空间，防止厨房堵塞。
这为什么比我们之前的方案更好？
之前的系统试图猜测是否应该保留食材，但它们只关注一件事：“重新购买食材是否昂贵？”它们忽略了更大的问题：“主厨需要排队等待多久才能重新工作？”
CacheTTL 同时考量两者：
- 重新制作食物的成本。
- 排队等待的成本（排队延迟）。
它计算出将食材保留在操作台上的最佳时间，以最大限度地节省总体时间。
结果
研究人员使用解决软件漏洞、搜索网络和编写代码的真实世界 AI 智能体对此进行了测试。他们发现：
- 速度：在某些真实世界测试中，智能体完成任务的速度快达8 倍。
- 效率：厨房（GPU）能够同时处理更多订单而不会卡住。
- 鲁棒性：即使工具调用比预期耗时更长，系统也不会崩溃或卡死；它只是让计时器超时，然后继续前进。
总而言之
CacheTTL 就像一位聪明的厨房经理，他知道当主厨暂停去打电话时，他们并没有做完烹饪。通过将食材保持就绪的时间控制在恰到好处的长度，它阻止了主厨不得不从头开始或排队等待，从而使整个厨房运行得更加顺畅和快速。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。