🤖 machine learning

TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents

TRACE 引入了一种针对长程智能体的稠密、无评论家（critic-free）信用分配方法，该方法通过从对数比例状态值的时序差分变化中推导每轮奖励，使得纯强化学习能够在无需监督微调或实时网络数据的情况下，显著提升在复杂搜索基准测试上的工具使用性能。

原作者： Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人去解决一个巨大的、多步骤的谜题。在人工智能的世界里，这被称为“智能体强化学习”（agentic reinforcement learning）。把这个机器人想象成一名侦探，他不仅仅是猜一次答案，而是会花上好几个小时去搜寻图书馆、打开文件、提问并收集线索，最后才大喊一声：“我找到凶手了！” 难点在于如何教导这个侦探。如果侦探在最后时刻猜错了答案，一个简单的老师可能只会说：“做得不好，”然后给一个零分。但这并不公平！也许侦探在第一个小时里找到了正确的线索，却在最后一分钟被一块松动的地板绊倒了。如果你因为最后的一个错误就惩罚整个小时的努力工作，侦探会感到困惑并停止收集线索。这就是“信用分配”（credit assignment）的问题：当奖励只在最后才出现时，你该如何为好的步骤给予荣誉，又该如何为坏的步骤承担责任？

这篇名为 TRACE 的论文正是针对那些需要通过许多回合来解决问题的 AI 智能体所面临的这种头疼问题。研究人员提出了一种巧妙的方法，在每一个步骤（比如每一次搜索或打开文件）之后都给侦探一个“赞”或“踩”，而不是等到最后。他们这样做并不需要人类去为每一步打分，也不需要一个超级聪明的裁判来观看整部电影。相反，他们使用了一个“冻结的参考模型”——把它想象成一个冷静、不变的图书管理员，他手里握着答案解析。在侦探做出每一次动作后，图书管理员都会检查：“这个新线索是否让最终答案变得更容易被猜中？”如果是，侦视为侦探提供一个小奖励；如果不是，则给予微小的惩罚。这种被称为 TRACE 的方法，能让 AI 比起单纯等待最终成绩的学习得更快、更好。

侦探的困境

想象一下，你正在训练一个机器人去寻找一位虚构作家“埃琳娜·克鲁兹”（Elena Cruz）的出生地。机器人必须使用浏览器进行搜索、打开页面并阅读文本。它可能需要点击 20 次才能到达目的地。在旧有的机器人训练方法（称为“仅基于结果”训练）中，机器人会经历所有 20 次点击，也许最后猜错了答案，然后计算机就会说：“失败。”机器人随后会再次尝试，但它并不知道这 20 次点击中哪些是有帮助的。也许前 15 次点击找到了正确的书，但第 16 次点击打开了一个关于另一个埃琳娜的页面，导致了错误的答案。旧方法将有用的前 15 次点击与无用的第 16 次点击同等对待：两者都会受到惩罚。这就像是因为你在数学考试最后犯了一个微小的算术错误，就被判了不及格，尽管你前面已经正确解出了复杂的代数题。

研究人员发现，这种“全有或全无”的方法使得机器人很难学习复杂的长任务。机器人会感到困惑，训练过程会变得异常漫长，并且由于害怕在最后时刻出错，它往往会放弃探索新想法。

TRACE 解决方案：每一步都有记分卡

论文的作者提出了 TRACE（通过信用估计实现的轮次级奖励分配）。TRACE 不再等待最终答案来给机器人评分，而是在每一次工具调用（每一次搜索、每一次打开、每一次点击）之后都给机器人一个分数。

以下是使用我们的侦探类比来解释其工作原理：

冻结的图书管理员： 系统使用一个“冻结的参考模型”。想象一位已经读过答案解析且永远不会改变主意的图书管理员。这位图书管理员是“冻结”的，意味着他们不会学习或感到困惑；他们只是作为一个稳定的衡量标准。
进度检查： 在机器人做出一个动作（比如搜索“埃琳娜·克鲁兹”）后，图书管理员会检查机器人的当前笔记。图书管理员会问：“基于机器人目前所发现的内容，猜中正确答案有多容易？”
分数的变化： 如果机器人的新搜索让答案变得更容易猜中，机器人就会获得正分。如果这次搜索导致了死胡同或令人困惑的页面，分数就会下降。
“叠层”的魔力： 论文使用了一种叫做“时序差分”（Temporal-Difference, TD）的数学技巧。把它想象成一把梯子。如果你向上爬了一级，你就为这一级获得荣誉。如果你向上爬的过程中不小心滑了下来，你就会失去荣誉。系统会将这些微小的变化累加起来。如果机器人在收集了 10 轮好线索后做出了一个错误的举动，系统会将这 10 个好的步骤视为正向，并将那一个坏的步骤视为负向。它不会仅仅因为最终答案错了，就惩罚那 10 个好的步骤。

这种方法很特别，因为它既不需要人类在每一步后写下“做得好”，也不需要第二个超级聪明的 AI 来观察机器人并给它评分。它只是利用“冻结的图书管理员”来观察机器人是否正在接近真相。

他们的发现

研究人员在极其困难的任务上测试了 TRACE：在海量文档集合中寻找隐藏的特定事实（即“闭域网络”搜索）。他们使用了两种不同规模的 AI 模型：一个较小的模型（Qwen3-4B）和一个较大的模型（Qwen3-30B-A3B）。

结果令人印象深刻。在使用 TRACE 之前，较小的模型只能解决大约 7.2% 的困难搜索问题。在使用 TRACE 进行训练后，它跃升至 35.6%。较大的模型从 8.4% 提升到了 42.6%。考虑到他们没有使用任何“冷启动”训练（即先用完美的例子来教导机器人）或实时互联网数据，这些进步是非常巨大的。他们只是在原始模型上使用了 TRACE 方法。

论文还表明，即使机器人在训练过的库之外的“开域”互联网上接受测试，TRACE 依然有效。机器人学会了一种通用的搜索和阅读技能，这种技能可以迁移到新的地方。例如，较大的模型在名为 BrowseComp 的基准测试中得分为 12.9，在 GAIA 中得分为 52.0，在中文深度搜索测试中得分为 45.0。

为什么它很重要以及它的局限性

论文指出，这种方法让学习变得更快。在实验中，使用 TRACE 训练的机器人比使用旧有的“等待到底”方法的机器人更早开始变好，并更快地达到了巅峰性能。学习曲线显示，机器人正在学习如何更有效地探索和收集证据。

然而，作者也谨慎地指出了他们工作的局限性。这种方法在最终答案简短且明确（如名字、日期或数字）时效果最好。如果机器人的任务是写一个长篇复杂的故事，或者修理一个损坏的计算机程序，而“正确”的答案是开放式且难以定义的，那么这种方法可能效果不佳。因为“冻结的图书管理员”需要一个清晰的答案解析来对照。如果答案是模糊的，图书管理员就无法判断机器人是否正在接近真相。

简而言之，TRACE 是一种教导 AI 智能体成为优秀侦探的新方法。它不再等到案件结束才说“做得好”或“做得不好”，而是在发现每一个线索后都给出一个记分卡。这有助于 AI 理解，即便最终猜测不完美，收集证据本身也是有价值的，从而引导出更聪明、更快速且更可靠的搜索智能体。

技术摘要：TRACE（基于信用估计的转折级奖励分配，用于长程智能体）

1. 问题陈述

大语言模型（LLM）智能体通过工具交互（如网页搜索、代码执行）的长序列来解决复杂任务，并在产生最终答案前进行多轮操作。虽然具有可验证奖励的强化学习（RLVR）在单轮推理任务（如数学或编程）中取得了成功（利用确定性的结果奖励），但将其应用于长程智能体时，面临着根本性的信用分配挑战。

在多轮智能体展开（rollout）过程中，单一的终端奖励（成功/失败）是稀疏且高方差的。它无法区分：

有用的动作： 在最终失败的轨迹中，早期收集必要证据的工具调用。
冗余或有害的动作： 对目标没有贡献或导致轨迹偏离目标的中间步骤。

仅基于结果的训练会将相同的优势值（advantage）分配给轨迹中的所有回合，导致对生产性探索的信用分配不足，对无关动作的信用分配过度，并随着轨迹长度的增加而导致梯度方差上升。现有的过程监督方法通常需要步级标签、强大的 LLM 评判器或训练好的过程奖励模型，这会引入复杂性、漂移或对昂贵监督的依赖。

2. 方法论：TRACE

作者提出了 TRACE（基于信用估计的转折级奖励分配），这是一个无需额外过程标签训练或学习型评论家（critic）的无评论家框架，能够生成稠密的转折级奖励。

核心机制

TRACE 将智能体的展开视为发生在工具调用边界处的序列状态转换。它不学习价值函数，而是利用一个冻结的参考模型 ( $\pi_{ref}$ ) 作为稳定的探测器，来估计当前轨迹前缀产生金标准答案（gold answer）的“就绪程度”。

状态表示： 展开过程在每个工具调用边界处被分割为前缀 $S_k$ 。
状态价值估计：
- 冻结的参考模型计算给定前缀 $S_k$ 时金标准答案 $y^*$ 的对数概率： $\bar{\ell}_k = \frac{1}{|y^*|} \sum \log \pi_{ref}(y^*_t | S_k, y^*_{<t})$ 。
- 为了处理原始对数概率变化可能产生误导的问题（例如，当远离答案时，微小的增益是显著的；而当接近答案时，增益则微不足道），TRACE 将其转化为对数比率状态价值：
  $V(S_k) = \log \frac{-\bar{\ell}_0 + \epsilon}{-\bar{\ell}_k + \epsilon}$
  其中 $\epsilon$ 是一个偏移量。该值衡量了初始答案似然差距的相对闭合程度。
通过时序差分（TD）实现的转折级奖励：
- 从状态转移 $S_k \to S_{k+1}$ 的奖励通过 TD 误差（价值差）导出：
  $\delta_k = V(S_{k+1}) - V(S_k) = \log \frac{d_k}{d_{k+1}}$
- 解释： 如果工具调用及其观察结果使金标准答案变得更具可预测性（增加了状态价值），则分配正向奖励。如果轨迹偏离答案，则分配负向奖励。
- 级联特性（Telescoping Property）： 单步 TD 信用值的总和等于轨迹起始与结束之间的总价值变化。这确保了冗余的中间回合不会人为地夸大总信用。
前瞻与锚定：
- 为了考虑延迟效应（例如，一个搜索查询只有在打开文档后才会产生回报），TRACE 使用了带有折扣因子 $\gamma_{td}$ 的截断 K 步 TD 回溯（K-step TD backup）。
- 最终的转折级奖励结合了来自组相对策略优化（GRPO）的标准结果级优势（ $A^{out}$ ），确保最终的正确性仍然是核心训练目标。
优化： 策略使用混合了结果级优势和转折级 TD 信用的剪切目标进行更新，且不对提示词组（prompt group）内的转折值进行归一化。

3. 核心贡献

无评论家的稠密信用： TRACE 为长程智能体提供了稠密的转折级奖励，而无需训练单独的评论家、过程奖励模型，也不依赖于步级的专家/合成标签。
冻结参考作为探测器： 它将（通常用于 KL 正则化的）冻结参考模型重新利用为稳定的价值估计器，用以衡量每次工具交互如何增加金标准答案的可预测性。
对数比率 TD 公式： 该方法引入了答案概率的对数比率变换，从而创建了一个鲁棒的状态价值，该价值能对不同置信水平下的信用进行归一化，并防止冗余步骤导致的奖励膨胀。
纯 RL 训练： 该方法支持使用纯 RL（结果 + 转折级奖励）对基座模型进行有效训练，无需冷启动监督微调（SFT）阶段、智能体中期训练或实时网络数据。

4. 实验结果

作者在长程复杂搜索任务上使用 Qwen3-4B 和 Qwen3-30B-A3B 作为骨干网络评估了 TRACE。

闭环网络基准测试 (BrowseComp-Plus)：
- Qwen3-4B： 从基准分数 7.2 提升至 35.6。
- Qwen3-30B-A3B： 从基准分数 8.4 提升至 42.6。
- TRACE 显著优于仅基于结果的基线（GRPO, GSPO, GiGRPO），并且在使用了较小骨干网络和极少监督的情况下，接近或超越了规模更大的外部深度研究智能体（如 TongyiDS-30B-A3B）。
开环网络迁移：
- 学习到的搜索行为成功迁移到了开环网络基准测试（BrowseComp, GAIA, xbench-DeepSearch）。
- 30B-A3B 智能体在 BrowseComp 上达到 12.9，在 GAIA 上达到 52.0，在 xbench-DeepSearch 上达到 45.0，证明了其超越训练语料库的泛化能力。
学习动态：
- 与仅基于结果的基线相比，TRACE 显示出更早的提升和更快的收敛。
- 它促进了训练早期交互长度（轨迹规模）的快速扩张，因为转折级信号即使在最终答案正确之前，也会奖励中间过程的进展。

5. 重要性与主张

论文声称，基于验证器锚定的转折级信用是利用纯 RL 训练长程智能体时缺失的关键组件。

效率： TRACE 证明了基座模型拥有可以被稠密信用信号解锁的潜在推理和工具使用原语，从而消除了对昂贵 SFT 或复杂过程监督流水线的需求。
泛化性： 该方法教授了一种通用的交互策略（搜索、阅读、精炼），这种策略可以跨不同的检索环境和语言进行迁移，而不仅仅是过拟合于训练语料库。
局限性： 作者谦虚地指出，当前方法依赖于紧凑、可验证的答案（短字符串）。对于具有长篇、结构化或开放式输出的任务（例如多文件代码补丁），对数概率代理可能不够可靠，这表明未来需要探索替代的状态价值估计器。

总之，TRACE 确立了通过冻结参考模型在工具调用边界分配信用，是增强长程智能体性能的一种有效、可扩展且数据高效的策略。