AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving
AOSpec 是一个无损框架，它通过期望值解码（Expected Value Decoding）和联合动作-状态验证（Joint Action-State Verification）对动作与观测进行协同推测，从而打破了前瞻性与准确性之间的权衡，并在多种基准测试中实现了显著的端到端延迟降低。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位指挥着规模宏大、高速运转的交响乐团的指挥家，乐手们是超级聪明的计算机（大语言模型），而舞台是一个充满工具、文件和程序的复杂、鲜活的世界。在这场数字交响乐中，计算机思考一个音符（动作），然后舞台必须物理性地奏出这个音符（执行工具），之后计算机才能听到结果并决定下一个音符。长期以来，这个过程是一个严格的接力赛：在舞台奏出音符之前，计算机必须在沉默中等待，无法进行下一步思考。随着计算机思考速度的提升，舞台演奏音符的等待时间已成为瓶颈，拖慢了整个表演。科学家们曾尝试通过提前猜测下一个音符（动作推测）或猜测声音的结果（观察推测）来解决这个问题，但这些单独的猜测往往会失败，因为舞台是不可预测的，而且试图猜测一整串音符通常会导致一场混乱的噪音。
这篇论文介绍了一种全新的指挥技术，称为 AOSpec（动作与观察协同推测）。AOSpec 不仅仅是猜测单一事物，它运行着一场巧妙的并行排练，同时猜测下一个动作和产生的声响，但配备了安全网。它使用一种智能策略，将猜测重点放在演出中最慢、最耗时的部分，并设置了“安全区”（隔离的沙盒），使其可以在不破坏真实舞台的情况下尝试冒险动作。如果猜测正确，演出便能瞬间推进；如果猜错了，排练会被悄悄丢弃，而真实的演出则会毫无差池地继续进行。作者们在各种复杂任务上对该方法进行了测试，发现这种方法可以将总等待时间平均缩减高达 32.5%，对于那些最慢、最令人沮丧的延迟，它甚至能缩减近 43% 的时间，让这场数字交响乐在不失节奏的前提下演奏得更加迅速。
问题所在：等待的游戏
想象你在玩一款视频游戏，你的角色是一位天才战略家。每当你输入一个指令，比如“打开宝箱”，你的角色就必须停止思考，等待游戏引擎实际打开宝箱、检查内部物品并向你展示金币。如果宝箱需要 10 秒钟才能打开，你的角色就会在那里坐着 10 秒钟，无所事事。
随着计算机芯片变得越来越快，你的角色开始以毫秒级的速度思考。但开宝箱（即“工具执行”）仍然需要数秒钟。这产生了一个令人沮丧的差距：思考者是闪电般的，但执行者却是缓慢的。论文指出，大部分等待时间都来自于极少数非常缓慢的动作，比如打开一个巨大的保险库，而许多其他动作其实很快。旧的方法试图通过猜测下一个命令来节省时间，但它们经常猜错，因为它们没有考虑到有些结果（比如宝箱里的内容物）在实际打开之前是无法预测的。
解决方案：“安全排练”策略
来自帝国理工学院的论文作者构建了一个名为 AOSpec 的系统来解决这个问题。你可以把它想象成一位不等待演员完成场景才开始规划下一幕的导演。
以下是三个主要技巧的工作原理：
精明的赌徒（期望值解码）：
并非所有的猜测都具有同等的价值。猜测一个快速的“你好”命令很容易，但节省的时间很少。而猜测一个“下载电影”命令很难，但如果你猜对了，就能节省大量的等待时间。AOSpec 使用了一种称为**期望值解码（Expected Value Decoding, EVD）**的方法。它不是仅仅猜测最“可能”的结果，而是猜测那个能提供最大“时间节省”的结果。这就像一个赌徒，忽略那些稳健的小注，只专注于高风险、高回报的动作。如果猜测正确，系统会完全跳过等待过程。安全沙盒（隔离分叉）：
有些事情是根本无法通过猜测获得的。在实际尝试打开之前，你无法知道一个文件是否损坏或服务器是否宕机。为了处理这种情况，AOSpec 创建了一个“安全沙盒”或一个平行宇宙。它在这一隔离的副本世界中启动风险动作（如打开文件）。如果动作出错，这个沙盒会被直接丢弃，真实世界保持原样。如果动作正确，系统会立即获取结果并投入使用。这使得系统可以在不面临崩溃真实世界的风险下，“预演”危险或缓慢的动作。双重检查（联合动作-状态验证）：
猜测长链条动作的最大问题在于，其中一个微小的错误会毁掉整个链条。如果你猜测了步骤 1、2 和 3，而步骤 2 错了，那么步骤 1 和 3 都将变得毫无意义。AOSpec 通过不猜测整个链条来避免这个问题。相反，它只猜测“目标”动作（即那个能节省最多时间的动作），并检查沙盒的“起始状态”是否与真实世界相匹配。这就像是在演员登台前检查舞台布置是否正确。如果舞台匹配，那么预演的动作就是有效的。如果不匹配，系统会丢弃猜测并重新开始。这打破了“准确性 vs 速度”的权衡，使系统无需拥有完美的预知能力，也能实现长远的观察。
研究发现
研究人员在广泛的任务中（从解决编程难题到管理复杂的计算机系统）测试了 AOSpec，使用了不同类型的 AI 模型和不同的速度。他们将该方法与仅猜测动作或仅猜测观察结果的现有技术进行了对比。
结果非常明确：
- 速度提升： AOSpec 将完成任务的总时间平均减少了 11.8% 至 32.5%。
- 解决最慢时刻： 最大的收获来自于“尾部延迟”（即最慢、最令人沮丧的延迟）。对于最慢的 1% 任务（p99），AOSpec 将等待时间缩减了高达 42.8%。
- 在高速度下表现更佳： 随着 AI 思考速度的提高（从每词 20 毫秒降至 1 毫秒），AOSpec 的收益变得更大。这是因为 AI 思考得越快，在等待工具执行上浪费的时间就越多，而 AOSpec 最擅长隐藏这种等待时间。
- 无需重新训练： 该系统在完全陌生的任务集（SWE-bench）上同样表现出色，且无需重新训练，证明了该方法的鲁棒性和通用性。
为什么这很重要
这篇论文表明，快速 AI 智能体的未来不仅仅在于让 AI 思考得更快，还在于让“思考与执行”的整个循环更加高效。通过将智能猜测与安全并行测试相结合，AOSpec 展示了我们可以如何隐藏 AI 智能体的“等待室”时间，使其即使在进行繁重、复杂的任务时，也能让人感觉是即时响应的。它证明了你不需要在速度和准确性之间做选择；有了正确的安全网，两者皆可兼得。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。