🤖 AI

Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL

本文介绍了一种自我推测智能体框架，该框架通过利用联合强化学习方法，将任务求解与下一工具调用预测统一在单个模型中，从而在不损害任务性能的情况下，显著提高了推测准确度并降低了延迟。

原作者： Jiabao Ji, Yujian Liu, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiabao Ji, Yujian Liu, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在试图破解谜题的超级聪明侦探。你拥有一个能够通过线索进行思考的卓越大脑，但为了得到最终答案，你需要向外界提出几个问题——比如打电话给图书管理员查阅一本书，或者询问气象预报员天气预报。问题在于，每次打电话时，你都必须挂断电话，等待对方接听，听取他们的回答，然后再次挂断，然后才能思考下一个线索。而在你等待的过程中，你那卓越的大脑只是在那儿无所事事。这种“等待时间”是 AI 智能体（本质上是利用工具解决复杂问题的计算机程序）的一个巨大瓶颈。

为了解决这个问题，科学家们尝试了一个被称为“投机预测”（speculation）的小技巧。这就像是有一个侧写师，在你还没说完句子之前，就猜到了你接下来要问图书管理员什么。如果侧写师猜对了，那么在你还在思考的时候，图书管理员就已经开始翻书了，这样当你开口询问时，答案已经准备就绪。但问题在于，通常这个侧写师是另一个人（一个较小的、独立的 AI 模型），他们并不像你一样了解你的思考风格。他们经常猜错，或者需要自己专门的笔记本和电话，这会占用额外的空间和能量。大问题是：侦探能否学会完美地预判自己的下一步行动，而不需要一个笨拙的侧写师？

这篇论文介绍了一种巧妙的新方法，旨在教 AI 智能体实现这一点。研究人员发现，预测智能体下一步行动的最佳人选就是智能体本身。他们训练了一个单一的 AI 在两种模式之间切换：“思考模式”（解决实际任务）和“猜测模式”（预测其下一次的工具调用）。他们使用了一种特殊的训练方法，称为“联合智能体-投机者强化学习”（Joint Agent–Speculator RL）。你可以把它想象成一款电子游戏，角色在练习通关关卡的同时，也在预测下一个敌人的动作。AI 从自己最近的游戏中学习，以提高猜测水平，同时确保它不会忘记如何真正赢得游戏。

结果非常令人振奋。当他们在处理诸如搜索难题答案或管理航空公司预订等任务时，测试了这个“自我猜测型”智能体，发现该 AI 预测其下一步行动的能力有了显著提升。对于一个名为 Qwen3-4B 的特定 40 亿参数模型，猜测正确下一次工具调用的准确率从 44.1% 跳升至 61.2%。对于一个稍新版本的 Qwen3.5-4B，准确率从 48.9% 提升到了 66.3%。至关重要的是，虽然智能体的猜测能力变强了，但它解决实际任务的能力并没有下降；其成功率保持稳定甚至略有提高。

论文还排除了“较小的独立 AI 模型是最佳猜测者”这一观点。他们测试了将较小的模型作为“侧写师”的情况，并发现这些模型经常出错，因为它们与主智能体的风格不匹配。他们还表明，使用独立的猜测者需要更多的计算内存，并且在不同模型之间切换需要更长的时间，这违背了节省时间的初衷。通过让“思考者”和“猜测者”成为同一个大脑，该系统节省了内存，并避免了在不同计算机之间切换产生的延迟。

然而，作者也谨慎地指出，这种方法最适用于“只读型”工具，例如搜索信息或查找数据。如果工具涉及改变现实世界中的某些事物——比如下单购买或删除文件——猜错可能会带来危险。在这些情况下，系统需要额外的安全检查。但在绝大多数 AI 只需要收集信息的任务中，这种“自我猜测”的小技巧暗示了一种更快、更高效的 AI 工作方式，将等待时间隐藏在了思考时间之中。

技术摘要：边推理边推测 (Speculate While You Reason)

问题陈述

大语言模型 (LLM) 智能体在等待外部工具调用结果（例如网络搜索、数据库查询、API 调用）时，往往会产生显著的墙钟延迟（wall-clock latency）。一种极具前景的缓解策略是工具调用推测 (tool-call speculation)，即系统在智能体进行推理的同时，并行预测并预执行其下一个可能的工具调用。如果预测结果与智能体最终进行的调用完全一致，则可以复用预执行的结果，从而有效地隐藏延迟。

然而，现有的推测方法存在推测器与智能体之间的差距 (speculator–agent gap)。目前的方法依赖于：

外部草稿模型 (External draft models)： 较小的 LLM 虽然可以近似模拟通用的工具使用助手，但无法与部署的特定智能体的行为保持一致。
缓存轨迹 (Cached traces)： 历史工具调用日志可能对应于不同的用户查询、推理状态或过时的环境。

这些方法引入了系统开销（额外的模型权重、独立的 KV 缓存），并且往往无法准确预测目标智能体即将进行的特定结构化调用，从而限制了推测的效用。

方法论

本文提出了一种自我推测智能体 (Self-Speculating Agent)，这是一个能够在两种不同模式下运行且无需额外参数或 KV 缓存的单一模型：

智能体模式 (Agent Mode)： 模型通过交替进行推理、工具调用、观察和最终回答来解决任务。
推测器模式 (Speculator Mode)： 给定一个中间轨迹和一个固定的“推测后缀”，模型直接预测下一个结构化工具调用（工具名称和参数）。

联合智能体-推测器强化学习 (Joint Agent–Speculator RL)

为了在不降低任务性能的前提下，通过单一策略 ( $\pi_\theta$ ) 同时实现这两个目标，作者提出了一个联合智能体-推测器强化学习框架：

在线策略数据生成 (On-Policy Data Generation)： 推测目标直接从智能体自身的当前采样轨迹中导出。对于采样轨迹中每一个工具调用轮次 $t$ ，利用前缀 $h_t$ 构建推测器输入，并将智能体实际的下一个调用 $a_t$ 作为地面真值（ground truth）目标。
奖励函数设计 (Reward Formulation)：
- 智能体奖励 ( $R_{ag}$ )： 基于最终的任务成功率（例如答案的正确性）。
- 推测奖励 ( $R_{sp}$ )： 一种基于名称条件的参数奖励。它要求工具名称必须精确匹配（ $R_{name}$ ），并计算参数字典的宏观 Token-F1 分数（ $R_{args}$ ）。最终奖励为两者的乘积 $R_{sp} = R_{name} \cdot R_{args}$ 。
交替优化 (Alternating Optimization)： 训练过程在智能体更新和推测器更新之间交替进行（例如采用 4:8 的比例）。这可以防止两种模式的优化景观（optimization landscapes）相互干扰。
稳定性技术 (Stabilization Techniques)：
1. SFT 热身 (SFT Warmup)： 在混合了成功轨迹和推测示例的阶段进行初步的有监督微调，以建立两种模式下的良好行为。
2. 优化器重置 (Optimizer Resets)： 每当训练计划在智能体和推测器模式之间切换时，都会重置优化器状态，以防止一个目标的动量（momentum）传递到另一个目标。
3. 重复惩罚 (Penalty for Repetition)： 智能体奖励包含对重复、无意义工具调用的惩罚，以防止陷入无意义的循环。

核心贡献

识别了推测器-智能体差距： 作者证明了现成的较小草稿模型往往无法匹配目标智能体的下一个调用分布，而目标智能体本身则是其自身行为的更强预测器。
自我推测智能体架构： 一种统一的模型设计，可在任务求解模式和下一个调用预测模式之间切换，能够完全复用前缀 KV 缓存，无需辅助模型或历史轨迹缓存。
联合智能体-推测器强化学习： 一种通过从智能体自身采样轨迹中提取推测目标，并交替进行更新的训练方法，在提升推测准确性的同时，保持了任务求解性能。

实验结果

该方法在 Agentic SearchQA (HotpotQA, MuSiQue, BrowseComp-Plus) 和 对话式工具使用 ( $\tau$ -bench Airline 和 Retail) 任务上进行了评估，使用了 Qwen3-4B 和 Qwen3.5-4B 作为基座模型。

推测性能： 联合 RL 方法显著提高了 Hit@1 分数（工具名称和参数的精确匹配）。
- Qwen3-4B： 从 44.1 (SFT 基线) 提升至 61.2。
- Qwen3.5-4B： 从 48.9 (SFT 基线) 提升至 66.3。
- 这些结果优于外部推测器（同系列较小模型）以及被提示进行自我推测的基础智能体。
任务性能： 至关重要的是，下游任务的成功率保持稳定或略有提升（例如，Qwen3-4B 的任务成功率从 26.6 变为 27.7），这证实了双模式训练并未降低智能体的核心任务求解能力。
效率： 自我推测通过避免需要第二个模型的权重和独立的 KV 缓存，降低了推理服务开销，同时保持了前缀缓存的复用。

重要性与主张

论文声称，工具调用推测可以直接整合进智能体本身。通过将智能体和推测器统一在单个模型中，并通过在线策略 RL 进行联合训练，系统实现了高精度的下一个调用预测，且不会产生与外部草稿模型相关的系统开销或对齐问题。

作者将这项工作定位为迈向“推测性工具使用”的第一步，并指出该方法特别适用于只读工具（如搜索、检索、数据库查询），因为在这些场景下，错误的预执行可以被安全地丢弃。他们也承认了针对会改变外部状态的工具（如下单）存在的局限性，这类工具需要额外的保护措施（如试运行模式或事务回滚），并指出目前的评估主要局限于 4B 规模的模型及特定的任务族。