WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing
本論文は、異種混合のナレッジサーフェス（ドキュメント、テーブル、グラフ）を横断してクエリをルーティングするエンタープライズエージェントの能力を評価するために設計された、1,151の監査可能なタスクからなる新しいベンチマークであるWorkSurface-Benchを紹介し、エージェントは高いルーティング精度を達成できる一方で、正しいサーフェスの選択だけでは高いタスク完了率を得るには不十分であることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、忙しいオフィスを運営するために、超スマートなロボット助手を採用しようとしていると想像してください。あなたはロボットに、「先月の出荷費用はいくらでしたか？また、どのファイルが遅延の原因になっていますか？」といった複雑な質問を投げかけます。この質問に答えるために、ロボットは単に推測するだけでは不十分です。情報を調べに行く必要があります。しかし、ここには落とし穴があります。オフィスには、全く異なる3種類の情報棚があるのです。文書（ドキュメント）が詰まったライブラリ、行と列の数字や計算が並ぶスプレッドシート・ルーム、そしてすべてのファイルがどのように繋がっているかを示すマップ・ルームです。
長い間、ロボットをテストしてきた科学者たちは、主に「正しい答えを得られたか？」を問うてきました。もしロボットが間違った部屋を選んだり、間違った本を選んだり、あるいは計算を間違えたりした場合、テストは単に「失敗」と判定するだけでした。しかし、これでは「なぜ」失敗したのかが分かりません。ロボットはマップ・ルームに行く必要があることを知らなかったのでしょうか？それとも、マップ・ルームに行って正しいマップを見つけたものの、それを読み取る際に混乱してしまったのでしょうか？この論文は、その空白を埋めるものです。研究者たちは、**「正しい部屋を選ぶ」という行為と、一度中に入ってから「パズルを解く」**という行為を切り離すことで、新しいロボットのテスト方法を導入しています。これは、「ロボットは探し始める前に、どのような知識が必要なのかを判断できるか？」という問いを投げかけています。
新しいゲーム：WorkSurface-Bench
研究者たちは、WorkSurface-Benchと呼ばれる新しいテスト場を構築しました。これは、1,151種類の異なるタスクを備えた、巨大で現実的なオフィス・シミュレーションのようなものです。彼らは5つの異なる「ペルソナ」（物流マネージャーや財務アナリストなど）を設定し、それらが3つの異なるサーフェス（文書ライブラリ、テーブル・データベース、ファイル関係グラフ）にアクセスできるようにしました。
ここでの大きな革新は、ロボットの採点方法にあります。最終的な答えに対して単に合格か不合格かを判定するのではなく、2つの別々の要素をスコア化します。
- ルート（Route）： ロボットは正しい「サーフェス」（ライブラリ、スプレッドシート、またはマップ）を選択できたか？
- 回答（Answer）： サーフェスを選んだ後、実際に問題を正しく解けたか？
彼らは、あらゆる回答に対して「ゴールドスタンダード（黄金律）」を作成しました。タスクに数学的計算が必要な場合は、実際のコードを実行して真の答えを算出しました。文書の読み取りが必要な場合は、ソース内の正確な単語を確認しました。ファイルの接続が必要な場合は、実際のパスを辿りました。つまり、「正しい」答えとは、別のAIによる推測ではなく、検証済みの事実なのです。
大きな驚き：どこを見るかを知るだけでは不十分である
チームは、4つの非常にスマートなAIモデル（GPT-4o-mini、DeepSeek-V4-Pro、Gemini-3.1-Pro、およびGPT-5.5を含む）を、6つの異なるシナリオでテストしました。彼らは、ロボットにどの部屋に行くべきかを正確に伝えることで、ミスを修正できるかどうかを調べようとしました。
結果は以下の通りであり、それは少し意外な展開でした。**「どこを見るべきかを知っていることは、答えを見つけることを保証しない」**のです。
研究者が、ロボットに正しいサーフェスのみを使用するように強制した場合（「ゴールド制約（Gold-constrained）」設定）、ロボットは正しい部屋を選ぶことにおいてほぼ完璧になりました。彼らの「ルート」スコアは**98.7%から99.8%**へと跳ね上がりました。彼らはどこへ行くべきかを正確に理解していました。
しかし、彼らの「回答」スコア――つまり、最終的な解決策の実際の正確さ――は、わずか**56.1%から75.3%**にとどまりました。
これは、たとえロボットが正しい部屋に立ち、手元に正しいマップを持っていたとしても、4回に1回以上の割合で答えを間違えていることを意味します。正しいファイルは見つけたものの、数字を読み間違えたのかもしれませんし、スプレッドシートと文書の情報を誤って組み合わせたのかもしれません。この論文は、「正しいツールを選ぶこと」と「ツールを正しく使うこと」は全く別のスキルであり、片方ができるからといって、自動的にもう片方もできるわけではないことを示しています。
ヒント vs 制限
研究者たちはまた、「ヒントを与える」ゲームと「邪魔なものを取り除く」ゲームも行いました。
- ヒント： 「スプレッドシートとマップを見る必要があります」とロボットに伝えました。これにより、ロボットは正しいサーフェスをより良く選択できるようになり、一部のモデルでは最終的な回答もわずかに改善されました。
- 制限： 次に、ロボットが不要なすべてのツールを取り去りました。これにより、ロボットはより高速かつ効率的になり、正しいサーフェスをより良く選択できるようになりました。しかし、驚いたことに、これが必ずしも最終的な回答を良くするとは限りませんでした。実際、一部のモデルでは、余分なツールを取り除いたことで、むしろ問題を解く能力がわずかに低下しました。これは、別のツールを使って自分の作業をダブルチェックする能力を失ったためと考えられます。
これが将来にとって何を意味するか
この論文は、もはやAIエージェントの最終スコアだけを見ていてはいけない、と結論付けています。もしAIが質問に間違った答えを出した場合、それが「何を探すべきか」を知らなかったために失敗したのか、それとも「正しい場所にはいたが、見つけた情報を処理できなかった」ために失敗したのかを知る必要があります。
著者らは、ロボットによる27,624回の異なる試行を通じてこれを測定しました。彼らは人間によるチェックと厳格なルールによって結果を監査しており、これらの数値には非常に自信を持っています。彼らは、最高のロボットたちがルーティング（経路選択）においては非常に優れている（98%以上）一方で、最後のステップである「情報を正しく組み合わせる」段階で依然として苦戦している（約56〜75%）ことを発見しました。
要するに、スマートなオフィス・ロボットの未来は、単にオフィスへのより良い地図を与えることではありません。到着した後に、いかにして看板を読み、計算を行うかを教えることにあるのです。この論文は、開発者がロボットの「脳のどの部分が壊れているのか」を特定して修正できるように、単に全体が良くなるのを待つのではなく、特定の箇所を追跡するための詳細なスコアボードを提供しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。