技术摘要：TRCA —— 面向长程 LLM Agent 的基于转换维度的准则信用分配

1. 问题陈述

长程大语言模型（LLM）智能体通常使用稀疏的终端奖励（例如，轨迹结束时的成功或失败）进行优化。这种方法仅提供粗粒度的信用分配，使得难以区分有益的中间步骤与有害或冗余的步骤。

现有解决方案面临显著局限性：

• 过程奖励模型 (PRMs)： 虽然有效，但需要大量的专家标注或来自大型判别模型的巨大推理成本。
• 基于锚点的方法 (Anchor-based Methods)： 这些方法从成功的轨迹中推导出步级信用。然而，在强化学习（RL）的早期阶段，成功的轨迹极其稀缺（通常占比 <5%）。因此，依赖“成功锚点”的方法无法在关键的探索阶段提供可靠的监督。

作者识别出了一个成功稀缺的信用分配问题：在训练早期，失败的展开（rollouts）占据主导地位，但分析表明，这些失败轨迹中的超过 72% 的动作仍包含具有诊断价值的转换信号（例如，有效的执行或部分进展），而这些信号目前正被丢弃。

2. 方法论：基于转换维度的准则信用分配 (TRCA)

TRCA 是一个旨在直接从动作诱导的转换（transitions）中分配细粒度步级信用的框架，它无需依赖成功的锚点或学习到的过程评估器。它通过使用三个特定的准则来评估状态转换：

2.1 准则定义

对于任何转换 $\xi_t = (s_t, a_t, s_{t+1})$，TRCA 评估以下内容：

1. 证据 (Evidence)： 捕捉新揭示的任务相关信息（例如，观察到目标实体、揭示属性）。这为信息获取提供正向信用。
2. 执行 (Execution)： 识别已完成的任务所需操作或中间条件（例如，执行子目标操作）。这为实质性的任务执行提供正向信用。
3. 无效性 (Invalidity)： 识别格式错误、不规范或不可执行的动作（例如，非法动作、格式错误）。这提供负向信用。

这些准则通过 LLM 针对每种任务类型进行离线实例化，在策略优化过程中无需额外的判别模型。

2.2 奖励构建

TRCA 将这些判断聚合为两个互补的奖励信号：

• 基础准则奖励 ($r^F$)：
  将每个判定的准则项映射为有符号的贡献（对 Evidence/Execution 为正，对 Invalidity 为负）。这些项按步进行聚合，以提供广泛的有符号监督。它奖励转换的即时质量，无论该转换是否为“首次”出现。
  $$r^F_{i,t} = \sum_{j \in \mathcal{R}(x)} q^i_{t,j}$$

• 突破准则奖励 ($r^B$)：
  解决重复奖励相同条件的问题。它追踪 Evidence 和 Execution 条件的累积覆盖范围。仅当一个准则条件在一次轨迹中首次被满足时（即一次“突破”），才会分配信用。
  $$r^B_{i,t} = \Phi_{i,t} - \Phi_{i,t-1}$$
  其中 $\Phi$ 是已覆盖正向准则的累积潜力。

最终的 TRCA 奖励是两者的加权组合：
$$r^{TRCA}_{i,t} = (1 - \lambda) \cdot r^F_{i,t} + \lambda \cdot r^B_{i,t}$$

2.3 策略优化

TRCA 将这些步级奖励与稀疏的终端环境奖励结合，以计算“感知完成度的回报”。随后计算：

1. 回合相对优势 ($A_E$)： 将轨迹的总回报与同一组内的其他轨迹进行比较。
2. 步级相对优势 ($A_S$)： 在语义相似的决策上下文组内对完成度回报进行归一化。

最终的优势信号 $A^{TRCA} = A_E + A_S$ 用于通过类 PPO 的裁剪目标函数来优化策略。

3. 核心贡献

1. 问题识别： 作者量化了长程智能体训练中“成功稀缺阶段”的严重程度，证明了虽然失败的展开在早期训练中占主导，但它们保留了有价值的转换信号。
2. TRCA 框架： 一种新型的步级信用分配方法，通过 Evidence、Execution 和 Invalidity 准则从环境转换中提取监督。它消除了对成功锚点或外部过程评估器的需求。
3. 双重奖励机制： 引入了基础准则奖励（广泛监督）和突破准则奖励（强调新进展），以平衡即时步骤质量与累积任务进度。
4. 实证验证： 在多种基准测试和模型规模上展示了持续的性能提升。

4. 实验结果

作者在 ALFWorld、WebShop 和七个搜索增强型 QA 基准测试上使用 Qwen2.5 模型（1.5B, 3B, 7B）对 TRCA 进行了评估。

• ALFWorld & WebShop：
  • 使用 Qwen2.5-1.5B-Instruct，TRCA 在 ALFWorld 上实现了 92.0% 的成功率（比最佳基线 GiGPO 高出 5.3%），在 WebShop 上实现了 90.5% 的任务得分（提升 7.4%）。
  • 使用 Qwen2.5-7B-Instruct，TRCA 在 ALFWorld 上达到 94.5%，在 WebShop 上达到 92.9%，分别超过 GiGPO 3.7% 和 8.5%。
• 搜索增强型 QA：
  • 在 Qwen2.5-3B-Instruct 上，TRCA 实现了 45.4% 的平均得分，超过了 IGPO (8.2% 增益) 和 GiGPO (3.3% 增益)。在该设置下的所有七个单独数据集上均取得了最佳结果。
  • 在 7B 模型上也观察到了类似的提升，平均得分达到 48.4%。
• 学习动态：
  • 与 GRPO 相比，TRCA 展示了显著更快的收敛速度和更高的样本效率。例如，在 ALFWorld 的 pick_two 子任务中，TRCA 在 3.84K 次轨迹后达到了 69.2% 的成功率，而 GRPO 在 6.40K 次轨迹后仅达到 46.7%。
• 消融实验：
  • 移除基础奖励或突破奖励中的任何一个组件都会导致性能下降，证实了它们的互补性质。研究发现，突破组件对于任务关键型动作尤为重要。

5. 重要性与主张

本文声称 TRCA 解决了训练长程智能体的根本瓶颈：对稀少成功轨迹的依赖。通过将信用分配建立在环境观测到的状态转换而非终端结果之上，TRCA 将“失败”的经验转化为了可靠且细粒度的监督。

作者断言，这种方法在 RL 的早期探索阶段特别有价值，因为此时成功的展开虽然稀缺，但信息丰富的转换却很丰富。结果表明，转换层级的环境证据可以作为学习长程行为的通用基础，使智能体能够在无需学习过程评估器开销或依赖成功锚点的情况下，提高性能、收敛速度和样本效率。