技術サマリー: TRUST – エージェントによるツール呼び出しのための不確実性整合型強化学習

問題提起

大規模言語モデル（LLM）ベースのエージェントは、しばしば最適ではないツール使用の決定を示すことがあり、これは主に2つの失敗モードによって特徴付けられます。一つは、サポートされていない、あるいは不要な場合にツールを呼び出してしまうこと、もう一つは、必要なツール呼び出しを行わずに直接回答を捏造すること（ハルシネーションによる直接回答）です。標準的なテキストのハルシネーションとは異なり、これらの決定の失敗は中間状態を破壊し、多段階の相互作用を通じてエラーを伝播させ、現実世界のエージェントタスクにおける実行失敗、コスト増大、および情報の漏洩を招きます。

これらの問題を軽減するための既存のアプローチは、主に推論時の修正や、決定の結果と構造化されたチェックリストに基づく粗粒度な報酬信号に依存しています。しかし、これらの手法は、エージェントの決定における不確実性の特性を十分に探索できていません。著者らは、標準的な決定指向の強化学習（RL）が、正解と不正解のアクション間の不確実性の分離を弱める傾向があることを観察しています。具体的には、RLの最適化は、高報酬のサンプルアクションに対する自信を高める一方で、意図せず不確実性のギャップを崩壊させ、モデルが誤った決定（例：サポートされていないツール呼び出し）に対して過剰に自信を持ってしまう現象を引き起こします。この現象は「誤った決定だが低不確実性（Wrong Decision But Low Uncertainty）」と呼ばれ、モデルの較正（キャリブレーション）を損ない、より信頼できる代替案への方策更新に必要な探索信号を減少させます。

メソドロジー: TRUST フレームワーク

これらの制限に対処するため、著者らは TRUST (Tool-calling decision Reward with Uncertainty-Separated post-Training) を提案します。これは、不確実性定量化（UQ）を報酬設計に直接組み込み、正解と不正解の決定の間に明確な分離を維持する斥力として機能させるフレームワークです。

1. ターンレベルの UQ 整合型報酬

不確実性を単なる事後的な診断としてではなく、決定の正当性とモデルの確信度を一致させるために報酬関数に組み込みます。

• 不確実性指標: 本手法は、シーケンス・パープレキシティ（PPL）を用いて不確実性を具体化します。
• 確信度マージン ($m(s)$): 各決定ポイントにおいて、負の（誤った）決定の予想パープレキシティと、正解の決定との間のマージンを計算します。
• 確信度係数 ($c(s)$): このマージンは、シグモイド関数を用いて有界な確信度係数に変換されます。大きなマージンは、モデルが正解の決定に対して負の決定よりも低いパープレキシティを割り当てていることを示します。
• 報酬関数 ($R_{UQ}$): 総報酬は、フォーマットの妥当性、回答の一貫性、およびアクションの正当性を組み合わせ、確信度係数によって重み付けされます。
  $$R_{UQ}(z) = R_{fmt}(z) + R_{ans}(z, z^*) + c(s) \cdot R_{cls}(a, a^*)$$
  ここで、$c(s) \cdot R_{cls}$ は斥力として機能します。これは、誤った決定を高不確実性（高いPPL）へと押しやり、正しい決定を低不確実性へと引き寄せることで、ポリシーが不確実または信頼できない決定から離れて探索することを促します。

2. トラジェトリのための統一されたポストトレーニング

エージェントの失敗は、初期のエラーが後の状態を損なうマルチターン・トラジェトリ内で発生することが多いため、TRUST はこのトレーニングパラダイムをスタンドアロンの決定から完全なトラジェトリへと拡張します。

• 軽量なキーターン注釈: トラジェトリ全体を網羅的に再ラベル付けする代わりに、本フレームワークは、次のアクションの決定が極めて重要となる特定の「キーターン」に対して軽量な注釈を付与します。ラベル付けモデルは、トラジェトリごとに最大2つの決定クリティカルなターンを選択し、$\{DIRECT, TOOL, ASK, UNABLE\}$ の空間から正解のアクションを割り当てます。
• 混合報酬最適化: トレーニングでは、タスク完了とツール実行の品質を監督する元のトラジェリレベルのチェックリスト報酬 ($R_{CM2}$) と、注釈付けされたキーターンに疎に適用されるターンレベルの $R_{UQ}$ を組み合わせた混合報酬関数を使用します。これにより、既存のパフォーマンス駆動型報酬を再設計することなく、全体的なタスクの成功とターンレベルのツール呼び出しの較正を共同で最適化することが可能になります。

主な貢献

1. 不確実性分離型報酬設計: 本論文は、RLの目的関数内で不確実性を斥力として使用する新しい報酬メカニメントを導入しています。これにより、標準的な決定指向のRLで一般的な失敗モードである、正解と不正解のアクション間の不確実性の崩壊を明示的に防ぎます。
2. 統一されたトレーニングパラダイム: TRUST は、ターンレベルの決定の較正と、トラジェトリレベルのタスク最適化を統合した統一的なポストトレーニングフレームワークを提案します。キーターンのみを注釈付けることで、即時的な決定の質と長期的なタスクパフォーマンスの両方を向上させる効率的なトレーニングを実現します。
3. 不確実性較正の実証的検証: 本研究は、決定の正当性のみを最適化すると不確実性の較正が劣化することを示す一方で、TRUST が内部の不確実性を決定の正当性と一致させ、誤った決定を特定しやすくし、それらが強化されにくくなることを実証しています。

実験結果

著者らは、When2Call（ターンレベルの決定）、BFCL-V4（マルチターン・ファンクションコーリング）、ToolSandbox（インタラクティブなツール使用）の3つのベンチマークで TRUST を評価しました。

• ターンレベルの性能 (When2Call): Qwen3-4B-Thinking バックボーンにおいて、TRUST はベースモデルに対して正規化精度を 11.47% 向上させ、最高のベースライン（TRUST なしの GRPO）を 8.37% 上回りました。決定的なことに、False Direct Answer Rate (FDAR) を 5.07% に減少させ、標準的な GRPO と比較して全体的なハルシネーション指標を大幅に抑制しました。
• トラジェトリレベルの性能 (BFCL-V4 & ToolSandbox):
  • BFCL-V4 において、TRUST は 48.04% の総合スコア（Qwen3-4B-Thinking 使用）を達成し、ベースモデルを 9.43% 上回り、30B-A3B-Instruct のような大型モデルをも上回りました。特に、マルチターン（49.62%）および無関連性（84.84%）のシナリオで顕著な利得が見られました。
  • ToolSandbox において、TRUST は 68.28% の SOTA スコア（Qwen3-8B-Base 使用）を達成し、トラジェトリレベルの GRPO ベースラインを 7.07% 上回り、235B パラメータのモデルの性能に迫りました。
• 不確実性の較正: パープレキシティ分布の分析により、標準的な RL が正解と誤りの決定分布間の重複を増加させる（IoU が 34.50% から 70.21% へ上昇）一方で、TRUST は明確な分離を維持（IoU が 35.29% へ減少）し、誤った決定が高い不確実性を保持し続けることを示しました。
• アブレーション研究: 不確実性の斥力コンポーネント ($c(s)$) を取り除くと、最も大幅な性能低下を招き、サポートされていないツール呼び出しやハルシネーションによる直接回答を抑制する上でのその決定的な役割が確認されました。

意義と主張

本論文は、TRUST がエージェント型 RL における「過剰な自信を持つ間違い」の問題に対する堅牢な解決策を提供すると主張しています。不確実性定量化を報酬関数に直接組み込むことで、TRUST はモデルの内部的な確信度が決定の正当性と一致することを保証します。この整合性は、即時のツール呼び出しの精度を向上させるだけでなく、エラーの伝播を防ぐことで、マルチターン相互作用の信頼性を高めます。

著者らは、決定ロジックがモデルの重みに内面化されているため、TRUST はデプロイ時の追加の推論レイテンシや計算オーバーヘッドなしにこれらの利点を得られることを強調しています。さらに、本フレームワークは、精密なターンレベルの決定トレーニングが、複雑で依存関係の強いツールチェーンのワークフローにおける汎用的な改善を促進できることを示しています。結論として、パープレキシティに基づく UQ や定義済みのアクション空間への依存といった現在の制限はあるものの、提案されたアプローチは、より信頼性が高く自己認識能力を持つエージェントシステムへの重要な一歩であるとしています。