AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints

私たちは、フライトを予約したり、コードを書いたり、売り切れになったスニーカーの代わりを見つけたりできる、巨大な脳によって動く、小さくて目に見えないロボット――「自律型エージェント」と呼ばれるデジタルヘルパーを構築している世界を想像してみてください。長い間、これらのロボットをテストしてきた科学者たちは、まるで宿題に成績をつける親のようでした。彼らは答えが合っているかどうかだけに注目していました。「ロボットは靴を見つけたか？」はい、見つけました。では素晴らしい、A評価を与えましょう！しかし、現実の世界では、答えが完璧であっても、届くまでに10分かかったり、お小遣いすべてを使い果たして生成されたりするものは役に立ちません。それは、翌日に届いたピザの請求書が100万ドルだったようなものです。技術的にはピザは手に入りましたが、実際に食べることはできません。

ここで、「リソース・プロファイリング」と呼ばれる新しい概念が登場します。これは、レースカーを点検するメカニックのようなものだと考えてください。彼らは単に「車はゴールラインを越えたか？」と聞くだけではありません。彼らは他にもチェックします。ガソリンをどれくらい消費したか？ エンジンはオーバーヒートしていないか？ ドライバーはスピードを出しすぎていなかったか？ コンピュータサイエンスの世界には、プログラムがどれだけの「燃料」（メモリ、時間、お金など）を使用するかを測定するツールがあります。しかし、これまでは、ロボットが実際に仕事を正しく遂行したかどうかを確認しながら、同時にそれらの要素を測定する方法はありませんでした。この論文は、これらのデジタルヘルパーをテストするための新しい方法を紹介しており、彼らを「レースを完走し、かつ燃料と時間の制限内に収まらなければ勝者とは認められないレースカー」として扱うものです。

この研究の背後にいる研究者、Meher Bhaskar Madiraju氏とMeher Sai Preetam Madiraju氏は、AGENTSLABENCHという新しい実験場を構築しました。これは、AIエージェントが完璧で無制限なファンタジーの世界ではなく、現実世界で生き残れるかどうかを確認するために設計された、高度なテクノロジーを備えた障害物コースのようなものです。

通常、AIをテストする際、私たちは時間やお金を無制限に与えて自由に走らせます。それは、まるで学生がテストを受ける際に、辞書や計算機、そして3時間の猶予を与えられているようなものです。しかし、実際のテストではペン一本と10分間しか許されません。著者らは、これは現実に対する準備としては不適切な方法であると主張しています。そこで、彼らは「在庫切れのシャツの代わりを見つけて」から「厳格な予算内で旅行を計画して」に至るまで、16種類の異なるチャレンジを用意しました。しかし、ここには仕掛けがあります。すべてのチャレンジには厳格なルールブックがあります。エージェントには、「あなたは180秒以内で、これだけのコンピュータメモリを使用でき、数セント以上は使えない」と告げられます。もしエージェントがこれを超えようとした場合、テストは停止し、失敗とみなされます。

彼らは2種類のロボットをテストに入れました。まず、「汎用（General Purpose）」エージェントです。これらは論理と推論を用いてあらゆる問題を解決しようとする、賢くて多才な思考者です。次に、「特化型（Specialized）」エージェントです。これらは、靴の専門家や旅行プランナーのように、特定の仕事のために作られたロボットであり、その特定のタスクのためのショートカットやルールが組み込まれています。

結果は衝撃的なものでした。汎用エージェントは、単純な質問には非常に優れた回答を示しましたが、現実世界のタスクに直面すると完全に崩壊しました。シャツの買い物をしたり、予算内で旅行を計画したりするよう求められると、彼らは100%失敗しました。時間がかかりすぎたか、お金を使いすぎたか、あるいは混乱してしまったのです。それはまるで、博識な哲学者が蛇口の修理をしようとして、家を水浸しにしてしまったかのようでした。

一方で、特化型エージェントは主役となりました。「小売エージェント（Retail Agent）」は83.3%の確率で靴の代わりを見つけることに成功し、「旅行エージェント（Travel Agent）」は83.3%の確率で旅行を計画し、「ウェブショッピングエージェント（Web Shopping Agent）」は100%の確率で完璧にこなしました。決定的なのは、彼らが時間と予算の制限を厳格に守りながらこれらを行ったことです。彼らは単に正しい答えを出しただけでなく、実際のビジネスが必要とするやり方、つまり「速く、安く、確実に」実行したのです。

この論文は、EASR（効率調整成功率：Efficiency-Adjusted Success Rate）という新しいスコアを導入しています。これは、「レースを完走し、かつガソリンを使い果たさなかった場合にのみもらえる『金メダル』」と考えてください。もしエージェントが正しい答えを出したとしても、時間がかかりすぎたりコストがかかりすぎたりすれば、そのEASRスコアはゼロになります。このスコアは、従来のテストの「勝者」であった汎用ロボットが、実際には店やオフィスでは災難をもたらす存在であることを明らかにしました。一方で、特化型ロボットは、すぐにでも仕事に取り掛かれる準備ができていることを示しました。

著者らはまた、このテストが公平で再現可能であることを確認しました。彼らはテストの問題をデジタル金庫にロックして、誰もルールを回避できないようにし、結果が単なる運ではないことを確認するためにテストを何度も実行しました。その結果、特化型エージェントは特定の仕事においては優れているものの、依然としてミスを犯すことがある（例えば、旅行エージェントが複雑な予算ルールで行き詰まったり、コード生成器が架空の指示を作ってしまったりするなど）ことが分かりました。しかし、どこで、なぜ失敗するのか（時間切れなのか、メモリ不足なのかなど）を正確に測定することで、研究者たちはエンジニアがそれらの特定の問題を修正するのを助けることができます。

要約すると、この論文は、AIエージェントを無限の命と資金があるビデオゲームの中にいるかのように扱うのをやめるべきだと示唆しています。彼らを現実世界で有用にするためには、車や飛行機をテストするように、単に機能するかどうかだけでなく、効率的かつ安全に、そして現実世界の制限内で機能するかどうかをテストする必要があります。この研究は、一般的な「賢い」脳が苦戦している一方で、特定のルールとショートカットを備えたロボットこそが、実際に仕事を成し遂げる準備ができていることを示しています。