技術概要：マルチターンツール呼び出し LLM エージェントのためのプロキシ状態ベース評価

問題定義

インタラクティブな大規模言語モデル（LLM）エージェントは、マルチターン・多段階のツール呼び出しタスクを解決するために、商業やアカウント管理などの産業ワークフローにおいてますます展開されています。効果的な開発には、(1) エージェントがユーザーの目標を達成するかどうかを正確に反映する安定した評価と、(2) 相互作用および環境からのフィードバックからの学習を可能にするオンポリシーデータ生成という 2 つのコンポーネントが必要です。

現在のエージェントベンチマーク（例：$\tau$-bench、$\tau^2$-bench、AppWorld）は、最終状態ベースの評価を用いた「ベンチマーク＝環境」というパラダイムを採用しています。このアプローチは、厳密な軌道一致ではなく、ターミナルデータベースの状態を正しくスコアリングしますが、完全に決定論的なバックエンドに依存しています。これらの決定論的エンジンの構築と反復には、スキーマ設計、決定論的ツール、アサーションなど、莫大なエンジニアリング努力が必要であり、一部のベンチマークでは数万行のコードと広範な単体テストを要します。このエンジニアリングの負担は、反復を遅らせ、産業応用におけるスケーラビリティを制限します。

ここで扱われる中心的な問いは、**「決定論的なバックエンドを構築することなく、最終状態ベースの評価の利点を維持できるか？」**というものです。

手法：プロキシ状態ベース評価

著者は、決定論的データベースを LLM によって推論された「プロキシ状態」に置き換える LLM 駆動のシミュレーションフレームワークであるプロキシ状態ベース評価を提案します。このシステムは、5 つの協調する LLM コンポーネントからなる「ベンチマーク＝環境」として機能します。

1. シナリオ仕様 ($z$)：ユーザーの目標、ユーザー事実、システム事実（初期状態）、期待される最終プロキシ状態、および期待されるエージェントの行動を定義する構造化オブジェクト。これは、真の軌道（ground-truth trajectory）の必要性を代替します。
2. 推論エージェント (RA)：評価対象のモデルであり、ReAct スタイルのループ（推論 $\to$ 行動 $\to$ 観察）に従って、マルチターン対話および多段階のツール呼び出しを介して環境と対話します。
3. ユーザーシミュレータ ($f_{user}$)：シナリオのユーザー事実、目標、および特定のペルソナ（例：パワーユーザー、混乱している、曖昧）に基づいて、ユーザーの発話を生成します。
4. ツールシミュレータ ($f_{tool}$)：RA のサブクエリとシステム事実に基づいて、現在のプロキシ状態を「読み取り」「書き込む」ことで、ツール応答（例：アカウント管理、商業）をシミュレートします。
5. 状態トラッカ ($f_{state}$)：ステップ $(t,k)$ までの完全な相互作用トレースから、構造化されたプロキシ状態 ($\tilde{s}_{t,k}$) を推論する LLM コンポーネントです。段階的な状態更新とは異なり、誤差蓄積に対する堅牢性を確保するために、完全な軌道のプレフィックスに基づいて条件付けを行います。
6. LLM ジャッジ：
   • 目標達成ジャッジ：最終プロキシ状態とエージェントの応答を、シナリオの期待される最終状態および行動と比較して評価し、結果（目標達成、ユーザーエラー、エージェントエラー）を分類します。
   • 幻覚検出ジャッジ：ツールシミュレータまたはユーザーシミュレータが、シナリオの制約と矛盾する情報を生成したかどうかを検出します。

評価指標：このフレームワークは、目標達成率（GC）、ユーザー/エージェントエラー率、および幻覚率（ツールおよびユーザー）を測定します。ポストトレーニング（SFT/RFT）に適したオンポリシーデータ生成と、教師あり微調整（SFT）用のオフポリシーデータ生成の両方をサポートします。

主な貢献

1. プロキシ状態ベース評価の形式化：決定論的バックエンドを必要とせず、相互作用トレースから抽出された LLM 推論プロキシ状態を利用することで、状態ベース評価の原則を保持する実用的なベンチマークを形式化しました。
2. シナリオスキーマとコンポーネントアーキテクチャ：複雑なワークフローをシミュレートするために協調する、特定のシナリオスキーマと 5 成分 LLM アーキテクチャ（推論エージェント、ユーザーシミュレータ、ツールシミュレータ、状態トラッカ、ジャッジ）を導入しました。
3. 信頼性フレームワーク：ブートストラップ標準誤差、幻覚率、人間と LLM ジャッジの合意率を含む信頼性基準を定義しました。ペルソナ感受性、システム/ユーザー事実の完全性、および状態トラッカの強度に対するターゲットアブレーションを実行しました。
4. スケーラブルなデータ生成：この環境は、ポストトレーニング（SFT/RFT）に適したスケーラブルなオンポリシーおよびオフポリシーロールアウトを生成し、モデル比較のための安定した指標を提供します。

結果

このベンチマークは、多様なモデルファミリー（GPT-5、GPT-4o、Gemini-2.5、Qwen3）および推論努力において評価されました。

• モデルの差別化：目標達成率（GC）は、モデルの強度および推論時の推論努力と一貫してスケーリングします。例えば、GPT-5 ファミリー内では、より高い推論努力が単調な GC 向上をもたらします（High: 85.76% > Minimal: 66.04%）。
• トレーニングの有効性：この環境内でベースの Qwen3-30B-A3B モデルをトレーニングすることで、パフォーマンスが大幅に向上しました。より強力な教師からのオフポリシーデータを使用した教師あり微調整（SFT）により、GC は 65.64% から 77.34% に向上しました。リジェクションサンプリング微調整（RFT）も改善をもたらしました。
• 複雑性に対する堅牢性：ベースモデルでは会話の深さに伴ってパフォーマンスが低下しますが、SFT トレーニングは長文会話において大幅な gains（+26.69 パーセントポイント）を提供し、トレーニング信号がより困難な多段階相互作用に一般化することを示しています。
• 信頼性と幻覚：
  • 人間と LLM の合意：90% を超え、自動評価の有効性を裏付けました。
  • シミュレータの幻覚：デフォルト設定（中程度の推論努力を持つ GPT-5o）では、ツールおよびユーザーの幻覚率はほぼゼロでした（それぞれ 1.33% および 0.67%）。
  • アブレーションの知見：シナリオからシステム事実またはユーザー事実を削除すると、幻覚率が単調に増加し、綿密なシナリオ仕様が重要であることを確認しました。より弱い状態トラッカ（例：GPT-4o）はツール幻覚率を増加させ、正確な状態推論の必要性を浮き彫りにしました。
• クロスモデルの堅牢性：シミュレータおよびジャッジモデルを交換した場合（例：GPT-5o の代わりに Gemini-2.5-Pro を使用）でも、モデルのランキングおよびトレーニングによる gains は一貫して維持され、単一モデルファミリー設定からの循環的バイアスを排除しました。

意義と主張

本論文は、プロキシ状態ベース評価が、産業用 LLM エージェントのための決定論的エージェントベンチマークに対する実用的でスケーラブルな代替案を提供すると主張しています。状態ベース評価を、決定論的バックエンドの構築というエンジニアリング負担から切り離すことで、このフレームワークは以下を可能にします。

• 高速な反復：シナリオは迅速に立ち上げられ、広範なコードエンジニアリングなしに製品ロードマップに合わせて進化できます。
• 厳格な評価：複数の正しいツール呼び出しパスの柔軟性をサポートしながら、最終状態検証の厳格さを維持します。
• 効果的なトレーニング：SFT および RFT によるオープンウェイトエージェントの成功を可能にする高品質なオンポリシーおよびオフポリシーデータを生成し、 gains は未見のシナリオにも転移します。

著者は、この作業をすべての決定論的テストの代替としてではなく、決定論的バックエンドのコストが禁止的であるが、状態ベースで目標指向の評価の必要性が依然として最優先される産業環境における必要な進化として位置付けています。