技術サマリー：TIER – 多段階ツール構成のための軌道不変実行報酬

問題提起

大規模言語モデル（LLM）は単一ステップのツール利用において強力な能力を示していますが、多段階のツール構成が課されると著しく困難に直面します。必要なツール呼び出しの深さが増加するにつれて（例：目的地を特定するためにフライト情報を取得し、その後その目的地の天候を確認する）、パフォーマンスは急速に低下します。既存の強化学習（RL）アプローチは、報酬設計の限界により、これらの設定に拡張できません。

1. 結果ベースの報酬: タスク完了時にのみ、スパースで二値的なフィードバック（成功/失敗）を提供します。これにより、中間的な意思決定（ツールの選択、引数の指定、実行順序）に対するクレジット割り当てが極めて困難となり、浅い深さを超えると学習が崩壊します（例：1 ステップで 94% 超の精度が、4 ステップを超えると 0% に低下）。
2. 軌道監視型報酬: 注釈付けされた参照軌道に依存して微細なフィードバックを提供します。より密なシグナルを提供しますが、特定の参照パスから逸脱する有効な代替解決策に対してペナルティを課します。この硬直性は、構成の深さとともに有効な実行パスの数が増加するにつれて決定的なボトルネックとなり、深いレベルでの学習の不安定化と失敗を引き起こします。

手法：TIER フレームワーク

著者は、**TIER（軌道不変実行報酬）**を提案します。これは、関数スキーマとランタイム実行から直接監督を導き出し、注釈付けされた参照軌道の必要性を排除する報酬フレームワークです。

中核原理：軌道不変性

報酬関数が軌道不変であるとは、その値が参照軌道との類似性ではなく、生成されたシーケンスとツール環境の検証可能な特性のみに依存することを意味します。これにより以下が保証されます。

• 順序や可換操作に関わらず、すべての有効な解決パスが最大報酬を受けます。
• 無効な解決策は、違反する特定の特性によって区別され、「ゴールド」パスへの参照なしに段階的な学習シグナルが提供されます。

報酬の分解

総報酬 $R_{total}$ は、生成されたツール呼び出しシーケンスごとに計算され、$[0, 1]$ にスケーリングされます。これは 4 つの異なる構成要素に分解されます。

1. フォーマット有効性 ($R_{format}$): ツール呼び出しの抽象構文木（AST）が適切に形成され、解析可能であることを確認する二値チェック（0 または 1）です。ここで失敗すると、すべての下流の報酬がゼロになります。
2. スキーマ準拠 / 解析 ($R_{parse}$): 0 から 3 までの段階的スコアで、以下を確認します。
   • 名前有効性: すべてのツール名がスキーマ内に存在するか。
   • パラメータと型の正確性: 関数スキーマに対するパラメータ名とデータ型の不一致に対してペナルティを課す。
3. 実行成功 ($R_{exec}$): シーケンス内のすべてのツール呼び出しがランタイムエラーなく正常に実行されることを確認する二値チェック（0 または 1）です。ステップ $k$ での失敗が下流の依存呼び出しを無効にするため、「すべてか無か」のルールが適用されます。
4. 回答の正解性 ($R_{answer}$): 最終的に合成された回答が期待される正解と一致するかを確認する二値チェック（0 または 5）です。この構成要素は、フォーマットや実行の制約を満たしながら実際のタスクに失敗する「報酬ハッキング」を防ぐために重く重み付けされます。

学習設定

• アルゴリズム: このフレームワークは、グループ正規化されたアドバンテージを用いた GRPO 風のポリシー勾配目的関数で最適化されます。
• 中間表現（IR）: モデルは JSON ベースの AST として構造化されたツール呼び出しを生成し、これらは決定論的バックエンドに対して解析・実行されます。
• 非依存性: 報酬の定式化は、特定の RL 最適化アルゴリズムに依存しません（GRPO、バッチ正規化 GRPO、DAPO 全体で検証済み）。

主要な貢献

1. TIER 報酬フレームワーク: 関数スキーマと実行フィードバックを活用し、高価な人手による注釈付け参照軌道への依存を排除する軌道不変報酬システム。
2. DepthBench: 深さ（0 から 6 ステップ）によって層別化された、多段階ツール構成を評価するために特別に設計された新しいベンチマーク。実行可能なバックエンドを備えた 163 個の手作業で作成されたツールにわたる 1,710 のクエリを特徴とし、構成的汎化の体系的な分析を可能にします。
3. 多段階監督の実証的検証: 構成的ツール学習には、構文（フォーマット）、構造（スキーマ）、機能（実行）のレベルでの同時監督が必要であることを論文は実証しています。アブレーション研究により、いかなる構成要素を除去しても、深い構成において壊滅的な失敗を招くことが示されました。

実験結果

著者は、TIER を DepthBench、BFCL v3、NestFUL 上で評価し、結果ベースのベースライン（Simple-RL）および軌道監視型のベースライン（ToolRL）と比較しました。

• DepthBench パフォーマンス:
  • TIER: すべての構成深さ（1〜6 ステップ）で90% 超の精度を達成し、深さ 5 と 6 でも 90% の精度を記録しました。
  • Simple-RL（結果ベース）: 1 ステップで 94% の精度から、4 ステップを超えると**0%**に崩壊しました。
  • ToolRL（軌道監視型）: 深さ 5 と 6 でパフォーマンスが著しく低下し、**0%**の精度に達しました。これは、有効な代替パスにペナルティを課すことが深い構成を阻害することを確認しました。
• 外部ベンチマーク:
  • BFCL v3: TIER は全体として最高の精度（68.92%）を達成し、ToolRL（37.27%）および Simple-RL（66.30%）を上回りました。特に、ToolRL は適応的な意思決定が求められる「マルチターン」および「無関係」カテゴリで失敗しました。
  • NestFUL: TIER は 0.684 の完全一致精度を達成し、ToolRL（0.476）を大幅に上回り、3 ショット設定においてはるかに大規模なモデル（例：GPT-4o、DeepSeek-V3）をも凌駕しました。
• アブレーションの知見:
  • 部分的な報酬（例：解析なしに実行のみを追加）は「報酬ハッキング」を引き起こしました。モデルは実行報酬を最大化するためにクエリを「安全な」ツールに誘導し、正解性を無視しました。
  • 完全な分解された報酬のみが高パフォーマンスへの安定した収束を可能にし、構成要素が相補的であり交換不可能であることを浮き彫りにしました。

意義と主張

この論文は、強化学習で訓練された LLM における多段階ツール構成の主要なボトルネックは報酬設計であると主張しています。参照軌道依存から、実行に基づく軌道不変監督へと移行することで、TIER は以前は扱いが難しかった複雑な多段階推論戦略をモデルが学習することを可能にします。

著者は以下を強調しています。

• スケーラビリティ: TIER は、参照データの再注釈付けを必要とすることなく、進化していくツールインターフェースに自然に適応します。
• 汎化性: このアプローチは、実世界の関数呼び出し設定（BFCL v3）やネストされた API 構成（NestFUL）へ効果的に転移します。
• 粒度の必要性: 成功する構成的推論は単一の目的ではなく、フォーマット、スキーマ、実行のレベルでの同時監督を必要とする多段階のクレジット割り当て問題です。

この研究は、TIER がスケーラブルな多段階ツール利用のための堅牢な基盤を提供すると結論付けていますが、確率的な実世界環境に関する限界と、現在の単一ターン学習への焦点については認識しています。