🤖 AI

A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks

既存のエージェントベンチマークにおける飽和とツール使用の網羅性の限界に対処するため、本論文はツールシーケンスを進化させることでタスク構築プロセスを逆転させ、挑戦的かつ高網羅性の $\tau^c$ -Bench を生成する自動化手法 TASTE を導入し、これにより現在の最先端モデルがより複雑で多様なタスクに直面した際に著しい性能低下を被ることを明らかにする。

原著者： Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

新しいロボットシェフの調理能力をテストしようとしていると想像してください。

問題：「簡単なメニュー」は使い果たされている
現在、ロボットに「サンドイッチを作る」や「ピザを注文する」といった指示に従わせる標準的なテストメニュー（ $\tau$ -Bench と呼ばれる）が存在します。しかし、最も賢いロボットシェフたちはすでにこのメニューを暗記してしまっています。彼らが満点を取る理由は天才だからではなく、テストが簡単で反復的だからに過ぎません。これは、先生が常に一桁の足し算しか出さない数学のテストで、生徒が A+ を取るようなものです。

また、新しいより難しいテスト問題を作成するのは悪夢のような作業です。人間が座って複雑なシナリオを書き、ロボットが取るべき正確な手順を特定し、そのシナリオが論理的かどうかを確認する必要があります。これは時間がかかり、費用もかさみ、人間が思いつくシナリオの種類に限界を生みます。

解決策：TASTE（「逆レシピ」マシン）
著者たちは、TASTE（Task Synthesis from Tool Sequence Evolution：ツールシーケンス進化からのタスク合成）と呼ばれる新しいシステムを開発しました。これは、まずシナリオから手順を導き出すのではなく、プロセスを逆転させたものです。

以下のように考えてみてください：

「ツールシーケンス」（手順）： まず、システムは「冷蔵庫を開ける、牛乳を取る、グラスに注ぐ、冷蔵庫を閉める」といった、無作為な行動リストを数千生成します。
「妥当性フィルター」（味見テスト）： 超高性能な AI 審査員がこれらのリストをチェックし、「いいえ、それは不可能だ。冷蔵庫を開ける前に牛乳を注ぐことはできない」あるいは「はい、これは有効な一連の出来事だ」と判断します。これは誤りから学習し、有効な手順と無効な手順を見分ける能力を向上させていきます。
「クラスタリング」（風味別グループ化）： これらの有効なシーケンスをグループ化します。あるグループが「朝食作り」に特化し、別のグループが「サンドイッチ作り」に特化している場合、テストが多様なシナリオを網羅するように、各グループから最も代表的な例を選択します。
「進化」（スパイスを加える）： これが秘密のソースです。基本的なタスク（例：「ピザを注文する」）を一度獲得したら、意図的にそれを難しくします。具体的には以下のような操作を行います：
- 顧客（シミュレートされたユーザー）に注文の詳細を忘らさせる。
- 一見正しく見えるが実際は誤っている「囮」のオプションをメニューに追加する（例えば、売り切れのピザなど）。
- 顧客を非協力的にしたり、混乱させたりする。

結果： $\tau^c$ -Bench
この手法を用いて、彼らは $\tau^c$ -Benchと呼ばれる、はるかに困難な新しいテストを構築しました。

この新しいメニューで「チャンピオン」ロボットシェフ（Gemini-3-Flash など）をテストしたところ、結果は衝撃的でした。

旧来の簡単なメニューでは、これらのロボットは0.90（ほぼ完璧）のスコアを記録しました。
一方、新しい TASTE 生成メニューでは、スコアは0.30以下に低下しました。

なぜこれが重要なのか
この論文は、旧来のテストでの高得点は「誤警報」であったと主張しています。ロボットは実際には複雑で厄介な現実世界の課題を解決する能力がそれほど高かったわけではなく、単に古いテスト問題を丸暗記していただけだったのです。

新しい手法は以下のことを証明しています：

網羅性： 新しいテストは、ロボットに同じ数少ない手口ではなく、はるかに多様なツールと組み合わせの使用を強制します。
難易度： 混乱、欠落情報、そしてトリッキーなシナリオを含んでいるため、テストは本質的に困難です。
自動化： これらの困難なテストを作成するために人間を必要としません。システムは、ロボットが賢くなるにつれて継続的にテストし続けるための、無限に供給される挑戦的で有効かつ多様なタスクを生成できます。

要するに、TASTE は AI エージェントのための「ボス戦」を自動的に発明する機械であり、スクリプトを暗記したロボットと、実際に思考できるロボットを見分けることを可能にします。

技術的概要：A Matter of TASTE：エージェントベンチマークのカバレッジと難易度の向上

問題提起

ツール利用エージェントの能力が進展するにつれ、既存のベンチマーク（ $\tau^2$ -Bench など）は次第に飽和状態にあり、最先端のモデルは天井に近いパフォーマンスを達成しています。しかし、より困難な新しいベンチマークタスクを構築することは、手動作成に依存しており、複雑でコストが高く、労働集約的なプロセスのままです。さらに、著者がまず自然言語のシナリオを作成し、その後ツールシーケンスを導出するという標準的な構築アプローチは、有効なツール組み合わせの空間を明示的に探索することに失敗しています。その結果、現在のベンチマークはツール利用パターンの狭い部分集合のみを捉えることが多く、高いスコアが堅牢なタスク解決能力の反映ではなく、多様な課題の欠如を示す「飽和」状態を招いています。タスクが解決可能かつ検証可能である「妥当性（Validity）」、エージェントの能力を意味的に区別する「難易度（Difficulty）」、そして構造的に多様なツール利用パターンを網羅する「カバレッジ（Coverage）」を確保できる自動ベンチマーク生成手法が緊急に必要とされています。

手法：TASTE

著者は、従来の構築プロセスを逆転させることで、困難なエージェントベンチマークタスクを自動生成する手法「TASTE（Task Synthesis from Tool Sequence Evolution）」を提案します。TASTE はシナリオから始めるのではなく、ツールシーケンスから始め、それを中心に完全なタスクを合成します。この手法は 3 つの段階で動作します。

段階 1：ツールシーケンスのサンプリング

「カバレッジ」と「妥当性」に対処するため、TASTE はツールシーケンスの空間上で訓練された「適応的対照的 n-gram モデル」を採用します。

モデルアーキテクチャ: このモデルは、「おそらく有効な」シーケンスと「おそらく無効な」シーケンスで観測された n-gram に対して、それぞれ個別のカウントテーブル（ $C^+$ および $C^-$ ）を維持します。
訓練: 生成と検証を繰り返す反復ループを使用します。シーケンスは自己回帰的にサンプリングされ、大規模言語モデル（LLM）によって妥当性について判定されます。有効なシーケンスは $C^+$ を更新し、無効なシーケンスは $C^-$ を更新します。
対照的サンプリング: 次のツールのサンプリング確率は、正のスコアと負のスコアの比率から導出され、無効なシーケンスに関連する n-gram にペナルティを課します。これにより、モデルはツール組み合わせの空間を探索しつつ、確率質量を有効なシーケンスに集中させることができます。

段階 2：クラスタリングと選択

ベンチマークが冗長性なく多様なパターンを代表するようにするため、TASTE はサンプリングされたプールから代表性のあるシーケンスのサブセットを選択します。

クラスタリング: 著者は、数千の候補シーケンスのプールを $K$ 個のクラスタに分割するために「K-medoids クラスタリング」を使用します（ここで $K$ はターゲットベンチマークのサイズです）。
距離指標: 標準的な編集距離の代わりに「重み付きレヴェンシュタイン距離」が使用されます。置換コストは、機能やタイプが類似したツール間（例：2 つの検索ツール）では低く、異なるタイプ（読み取り対書き込み）のツール間では高く設定されます。これにより、クラスタが意味的に一貫したものになります。
選択: 各クラスタのメドイド（中心となるシーケンス）が代表として選択されます。無効なメドイドは、そのクラスタ内の次に近い有効なメンバーに置き換えられます。

段階 3：タスク生成と進化

選択された各ツールシーケンスは完全なベンチマークタスクとして具体化され、その後「難易度」を高めるために進化させられます。

ベースタスク生成: LLM が、特定のツールシーケンスをサポートする一貫した現実世界のシナリオ（ユーザー指示 $u$ ）を構築し、データベースの状態（ $s_0$ ）を初期化します。
妥当性検証: タスクはルールベースのチェックと「ヒント支援型検証エージェント」シミュレーションを受けます。検証エージェントは、ゴールドのツールシーケンスをシャッフルし、部分的にマスクしたバージョンを使用してタスクの解決を試みます。成功はタスクが解決可能であることを確認します。
難易度の進化: 現実的で敵対的な条件をシミュレートするため、ベースタスクは以下の 3 つのステップを経て進化させられます。
1. 戦略分析: 混乱の機会（例：ポリシー違反、曖昧な要求）を特定します。
2. 環境摂動: ターゲットに似ていますが無効な「囮（デコイ）」データベースレコード（例：希望するルートで満席のフライト）を追加します。
3. シナリオの書き換え: ユーザー指示を協力的でないもの、曖昧なもの、または敵対的なものとして書き換え、エージェントがポリシーを遵守しつつ混乱を navigat することを強制します。

主要な貢献

ベンチマークへの要請: 本論文は、ツール利用エージェントのベンチマークにとって重要な 3 つの特性（妥当性、難易度、カバレッジ）を明確化し、実用化します。特に重要なのは、「カバレッジ」を表面的な言語的変異ではなく、ゴールドツールシーケンスの多様性の観点から定義している点です。
TASTE フレームワーク: 手動キュレーションなしに上記 3 つの要請を満たすタスクを生成するために、ツールシーケンス空間を直接探索する完全自動化パイプラインである TASTE の提案。
$\tau^c$ -Bench: 3 つのドメイン（航空、小売、通信）にわたる $\tau^2$ -Bench の困難な拡張版である $\tau^c$ -Bench の構築。このデータセットは、先行版に比べて著しく高い難易度と広範なカバレッジを特徴としています。

結果

著者は、 $\tau^c$ -Bench 上で 11 のエージェント/ユーザー LLM ペアを評価し、元の $\tau^2$ -Bench（検証済みバージョン、 $\tau_{BV}$ ）のパフォーマンスと比較しました。

パフォーマンスの低下: $\tau_{BV}$ をほぼ飽和させたモデルは、 $\tau^c$ -Bench において深刻なパフォーマンスの低下を遂げました。例えば、Gemini-3-Flashは $\tau_{BV}$ で0.82–0.94のスコアから、 $\tau^c$ -Bench では0.28–0.61に低下しました（相対的に最大 80% の低下）。
増大した難易度: 進化させたタスクは著しく困難であり、使用された進化モデルに応じて成功率が 16–55% 低下しました。
拡大されたカバレッジ: $\tau^c$ $τ^{c}$ -Bench は、エージェントが実行しなければならない一意のツール組み合わせの数を 2 倍以上に増やしました。
- 重み付き編集距離（WED）: 最大**124%**増加。
- タイプ・トークン比（TTR）: 最大**111%**増加し、n-gram ツールシーケンスの多様性が大幅に高いことを示しています。
- エントロピー: ツール頻度分布のエントロピーが**35%**増加し、ツールの使用がより偏りが少なく、多様であることを示しています。

意義と主張

本論文は、既存のベンチマークにおける高いスコアが、堅牢なタスク解決能力ではなく、飽和を反映していることが多いと主張しています。TASTE によって生成されたタスクに対して最先端のモデルが著しく苦戦することを示すことで、著者は現在のベンチマークがツール利用パターンの完全な複雑さを捉えきれていないと論じています。

TASTE の意義は、困難で高カバレッジのベンチマークを自動生成する能力にあり、将来のエージェントの継続的かつスケーラブルな評価を可能にします。構築プロセスを逆転させ、ツールシーケンスを優先することで、TASTE はベンチマークが恣意的な著者の選択に依存するのではなく、エージェント行動の構造的な多様性を探索することを保証します。著者は、エージェントの能力が進展するにつれて評価の停滞を防ぐために、この研究は必要な一歩であると位置付けています。