技術要約: AppWorld-UL

問題提起

LLMベースのツール使用エージェントを評価するための現在のベンチマークは、目標が明確かつ完全で、最初から固定されている、完全に仕様化された自律的なタスクに大きく焦点を当てています。しかし、現実世界のデジタルタスク解決は本質的に「ユーザー・イン・ザ・ループ（ユーザーが介在する）」であり、ユーザーはしばしば曖昧、未指定、あるいは実行不可能な指示を提供するため、エージェントは対話を通じて意図を反復的に洗練させる必要があります。既存のインタラクティブなベンチマークは、こうした相互作用の多様性と複雑さを捉えきれていません。これらは以下の点において限界があります：

1. 限定的な相互作用タイプ： ほとんどのベンチマークは相互作用を単純な確認質問に限定しており、不可能性への対処や、高コストなアクションに対する承認の要請といった重要なパターンを見落としています。
2. 不均衡なユーザーシミュレーション： 先行研究は、柔軟性に欠ける厳格なルールベースのユーザーと、不安定で失敗の帰属を困難にする制約のないLLMシミュレーターの間で揺れ動いています。
3. 小規模な環境： 多くの環境は、状態変化を伴わないAPIが少ない限定的な環境で動作しており、複雑でステートフルなシステムにおける長期的なプランニングをテストできていません。

その結果、多様で適応的なユーザーコミュニケーションとツール使用を効果的に組み合わせる必要があるエージェントを評価するための、原理に基づいたテストベッドが不足しています。

メソドロジー

著者らは、既存のAppWorldフレームワーク（AmazonやSpotifyなど9つの人気アプリをシミュレートし、約475のAPIを備えたもの）に基づいたAppWorld-ULを導入します。コアとなる革新は、**摂動ベースのメソドロジー（perturbation-based methodology）**を用いて、明確に定義された自律的タスクを、ユーザー・イン・ザ・ループ型のバリアントへと系統的に変換することです。

1. 摂動によるタスク変換

インタラクティブなシナリオをゼロから構築する代わりに、著者らは既存の自律的タスクに対し、ユーザーとの相互作用を通じてのみ解決可能な、指示（$I$）または初期状態（$S_0$）における特定の既知のギャップを導入することで修正を加えます。これにより、タスクのタプル $T = (I, S_0, E, K)$ が作成されます。ここで、$K$ は**ユーザー知識セット（User Knowledge Set）**であり、ユーザーのみが保持している情報です。

これらの摂動は、以下の3つの特定の相互作用タイプを対象としています：

• 未指定（Underspecification）： 重要な詳細を削除する（例：複数のシャツが存在する場合に「先週買ったシャツを返品して」とする）。これにより、エージェントに明確化のための質問をユーザーに促します。
• 不可能性（Infeasibility）： 状態または制約を変更し、元の目標が達成不可能になるようにする（例：リクエストされたアイテムが在庫切れである）。これにより、エージェントに失敗を伝え、代替案を提案することを要求します。
• 確認要請（Confirmation-Seeking）： 以前は低リスクであったアクションに対して、高コストな結果（例：価格の高騰）を導入する。これにより、エージェントに進行前の明示的な承認を求めさせます。

これらの摂動は、複数の相互作用タイプを同時に必要とするタスクを作成するために組み合わせることも可能です。

2. 制約付きユーザーシミュレーション

先行するユーザーシミュレーターの不安定性に対処するため、AppWorld-ULは制約付きLLMベースのユーザーを採用しています。

• 知識の境界： シミュレートされたユーザーには、摂動プロセスから導出された特定の質問と回答のペア（$K$）がプロンプトとして与えられます。
• 制御された応答： ユーザーLLMは、エージェントの質問が $K$ 内のペアに対応する場合にのみ回答するように指示されます。質問が $K$ の範囲外である場合、ユーザーは拒絶または転換を行います（例：「ご自身で決めてください」）。
• 信頼性： このアプローチは、ユーザーの知識を制限することで再現性を確保しつつ、自然な会話の流れを維持し、ルールベースのシステムの硬直性と、制約のないLLMの予測不能性の両方を回避します。

3. プログラマティックな評価

このベンチマークは、**インタラクティブ・タスク目標完了（I-TGC）およびインタラクティブ・シナリオ目標完了（I-SGC）**を導入しています。標準的な指標とは異なり、これらには、エージェントがユーザーから必要な情報をすべて引き出すことに成功したか（すなわち、$K$ に含まれるすべての質問を行ったか）を検証するユニットテストが含まれています。これにより、タスクの成功率とともに、相互作用の質（必要な情報の想起率）の評価が可能になります。

主な貢献

1. 摂動フレームワーク： 自律的タスクに特定の情報の欠落を注入することで、多様なユーザー・イン・ザ・ループ型タスクを生成する系統的な手法を提供し、相互作用の要件を精密に制御することを可能にします。
2. AppWorld-UL ベンチマーク： 9つのアプリケーションにわたる516の挑戦的なタスクからなるデータセットを提供します。内訳は以下の通りです：
   • 1種類の相互作用タイプ（未指定、不可能性、または確認要請）を必要とする306タスク。
   • 2つまたは3つの相互作用タイプの組み合わせを必要とする210の構成的タスク。
3. 制約付きユーザーシミュレーター： ユーザーの知識境界を厳密に定義することで、柔軟性と評価の信頼性のバランスをとる堅牢なシミュレーションメカニズムを提供します。
4. 実証的エビデンス： 正しいユーザー相互作用が、環境の複雑性とは別に、タスクの難易度と成功の主要な要因であることを示しています。

実験結果

著者らは、様々な最先端のLLM（Claude Opus 4.7、GPT-5.5、Qwen 3.7 Maxなどを含む）を用いた、最先端のエージェント（コードエージェントおよびファンクションコーリングエージェント）を評価しました。

• 全体的なパフォーマンス： 最も優れた性能を示したシステム（Claude 4.7を用いたCode Agent）であっても、ベンチマーク全体でのI-TGCは48.6%、I-SGCは**30.2%**に過ぎませんでした。
• 構成的難易度： 構成的なタスクではパフォーマンスが大幅に低下し、最良のシステムでもI-TGCは35.7%、I-SGCは**21.3%**にとどまりました。
• 相互作用の相関： 相互作用の質とタスクの成功の間には強い相関があります。成功したエージェントは、必要な質問に対して約100%のリコール（再現率）と80-91%のプレシジョン（適合率）を達成しましたが、失敗したエージェントはこれらの指標が劇的に低い値（リコール37-40%）を示しました。
• アブレーション研究：
  • 隠された知識： シミュレートされたユーザーが情報の提供を拒否した場合、パフォーマンスは急落しました（TGC: 12.8%）。これは、エージェントが環境推論のみではこれらのタスクを解決できないことを裏付けています。
  • オラクル知識： すべてのユーザー知識（$K$）がプロンプトにあらかじめ提供された場合、パフォーマンスは大幅に向上しました（TGC: 78.1%）。これは、相互作用の要件自体が難易度の大部分を占めていることを示しています。しかし、オリジナルの自律的タスクと比較すると依然として低い数値であり、分割された情報を統合すること自体に追加の課題があることを示唆しています。

意義

AppWorld-ULは、ユーザー・イン・ザ・ループ型のツール使用エージェントの研究を進めるための原理に基づいたテストベッドを提供します。本論文は、現在のモデルが、未指定の認識、不可能性への対処、承認の要請といった、現実世界の相互作用のニュアンスにおいて大幅に苦戦していると主張しています。相互作用の要件を環境の複雑性から分離することで、このベンチマークは、効果的なユーザーコミュニケーション能力がエージェント展開における決定的なボトルネックであることを明らかにしています。本研究の目的は、単にツールを使用できるだけでなく、現実的でステートフルなデジタル環境において、ユーザーに問いかけ、確認し、ユーザーの意図に適応できる「コラボレーター（協力者）」として振る舞えるエージェントの開発を支援することにあります。