技术摘要：TRUST —— 用于智能体工具调用中不确定性对齐的强化学习

问题陈述

基于大语言模型（LLM）的智能体经常表现出次优的工具使用决策，其特征是两种主要的失效模式：在不支持或不需要时调用工具，以及在需要调用工具时直接给出虚假回答（幻觉式直接回答）。与标准的文本幻觉不同，这些决策失败会破坏中间状态，并在多步交互中传播错误，导致现实世界智能体任务中的执行失败、经济成本增加和信息泄露。

现有的缓解方法主要依赖于推理时的修正或基于决策结果和结构化检查清单的粗粒度奖励信号。然而，这些方法未能充分探索决策过程中的不确定性特征。作者观察到，标准的面向决策的强化学习（RL）往往会削弱正确与错误动作之间的不确定性分离。具体而言，RL 优化通常会增加采样高奖励动作的置信度，但却在无意中导致了不确定性差距的坍缩，使得模型对错误的决策变得过度自信（例如，不支持的工具调用）。这种被称为“决策错误但低不确定性”的现象，损害了模型的校准能力，并减少了向更可靠替代方案进行策略更新所需的探索信号。

方法论：TRUST 框架

为了解决这些局限性，作者提出了 TRUST（Tool-calling decision Reward with Uncertainty-Separated post-Training，基于不确定性分离的工具调用决策后训练），该框架将不确定性量化（UQ）直接集成到奖励设计中，使其起到一种排斥力的作用，从而维持正确决策与错误决策之间的清晰分离。

1. 轮次级 UQ 对齐奖励

TRUST 不仅仅是将不确定性作为事后诊断，而是将其纳入奖励函数，使决策正确性与模型确定性保持一致。

• 不确定性指标： 该方法通过序列困惑度（PPL）来实现不确定性实例化。
• 确定性裕度 ($m(s)$)： 对于每个决策点，系统计算负面（错误）决策的预期困惑度与真实决策之间的裕度。
• 确定性系数 ($c(s)$)： 该裕度通过 Sigmoid 函数转换为有界的确定性系数。较大的裕度意味着模型为正确决策分配了比负面决策更低的困惑度。
• 奖励函数 ($R_{UQ}$)： 总奖励结合了格式有效性、答案一致性和动作正确性，并由确定性系数进行加权：
  $$R_{UQ}(z) = R_{fmt}(z) + R_{ans}(z, z^*) + c(s) \cdot R_{cls}(a, a^*)$$
  此处，$c(s) \cdot R_{cls}$ 起到了排斥力的作用。它将错误的决策推向高不确定性（高 PPL），并将正确的决策拉向低不确定性，从而鼓励策略远离不确定或不可靠的决策进行探索。

2. 轨迹统一后训练

由于智能体失败往往发生在错误会破坏后续状态的多轮对话轨迹中，TRUST 将这一训练范式从独立的决策扩展到了完整的轨迹。

• 轻量化关键轮次标注： 该框架并非对整个对话进行详尽的重新标注，而是通过对关键轮次的轻量化标注来增强轨迹。标注模型会选择每条轨迹中最多两个决策关键轮次，并从空间 $\{DIRECT, TOOL, ASK, UNABLE\}$ 中分配地面真值动作。
• 混合奖励优化： 训练利用了一种混合奖励函数，该函数结合了原始的轨迹级检查清单奖励（$R_{CM2}$，用于监督任务完成度和工具执行质量）以及应用于标注关键轮次的轮次级 $R_{UQ}$。这使得在无需重新设计现有性能驱动型奖励的情况下，能够实现整体任务成功率与轮次级工具调用校准的联合优化。

核心贡献

1. 不确定性分离的奖励设计： 本文引入了一种新颖的奖励机制，利用 UQ 作为 RL 目标函数中的排斥力。这显式地防止了标准决策导向 RL 中常见的正确与错误决策之间不确定性分离的坍缩现象。
2. 统一的训练范式： TRUST 提出了一个统一的后训练框架，将轮次级决策校准与轨迹级任务优化相结合。通过仅标注关键轮次，它实现了高效的训练，既提高了即时决策质量，又提升了长程任务性能。
3. 不确定性校准的实证验证： 研究表明，仅针对决策正确性进行优化会降低不确定性校准，而 TRUST 则能成功地将内部不确定性与决策正确性对齐，使得错误的决策更容易被识别且不易被强化。

实验结果

作者在三个基准测试上评估了 TRUST：When2Call（轮次级决策）、BFCL-V4（多轮函数调用）和 ToolSandbox（交互式工具使用）。

• 轮次级性能 (When2Call)： 在 Qwen3-4B-Thinking 主干网络上，TRUST 比基座模型提升了 11.47% 的归一化准确率，并比最佳基线（未采用 TRUST 的 GRPO）高出 8.37%。至关重要的是，它将错误直接回答率（FDAR）降低至 5.07%，并显著降低了整体幻觉指标。
• 轨迹级性能 (BFCL-V4 & ToolSandbox)：
  • 在 BFCL-V4 上，TRUST（基于 Qwen3-4B-Thinking）实现了 48.04% 的总分，超过基座模型 9.43%，并优于 30B-A3B-Instruct 等更大规模的模型。在多轮（Multi-Turn, 49.62%）和无关性（Irrelevance, 84.84%）场景中观察到了显著增益。
  • 在 ToolSandbox 上，TRUST（基于 Qwen3-8B-Base）取得了 68.28% 的 SOTA 分数，比轨迹级 GRPO 基线高出 7.07%，并接近 235B 参数模型的性能。
• 不确定性校准： 困惑度分布分析显示，虽然标准 RL 增加了正确与错误决策分布之间的重叠（IoU 从 34.50% 上升至 70.21%），但 TRUST 保持了清晰的分离（IoU 降至 35.29%），确保了错误的决策保留了更高的不确定性。
• 消融实验： 移除不确定性排斥组件（$c(s)$）会导致最显著的性能下降，证实了其在抑制不支持的工具调用和幻觉式直接回答方面的关键作用。

重要性与主张

本文声称 TRUST 为智能体 RL 中的“过度自信错误”问题提供了鲁棒的解决方案。通过将不确定性量化直接集成到奖励函数中，TRUST 确保了模型的内部置信度与决策正确性相一致。这种对齐不仅提高了即时的工具调用准确性，还通过防止错误传播，增强了多轮交互的可靠性。

作者强调，TRUST 在实现这些增益时，在部署阶段不会增加额外的推理延迟或计算开销，因为决策逻辑已被内化到模型权重中。此外，该框架证明了精确的轮次级决策训练可以催化复杂、长依赖工具链工作流中的泛化改进。文章总结道，尽管目前在依赖基于困惑度的 UQ 和预定义动作空间方面仍存在局限性，但所提出的方法是迈向更可靠、更具自我感知能力的智能体系统的重要一步。