💬 NLP

Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks

本論文は、6 つの多様な環境にまたがる 828 の実世界のマルチモーダルタスクと、視覚中心のエージェントにおける深層推論を評価するための微細なステップレベル評価枠組みを備えた大規模ベンチマーク「Agent-X」を導入し、現在の最先端モデルが複雑な多段階シナリオにおいて完全な連鎖的成功を達成することに苦慮していることを明らかにする。

原著者： Tajamul Ashraf, Amal Saqib, Hanan Ghani, Muhra AlMahri, Yuhao Li, Noor Ahsan, Umair Nawaz, Jean Lahoud, Hisham Cholakkal, Mubarak Shah, Philip Torr, Fahad Shahbaz Khan, Rao Muhammad Anwer, Salman Khan

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tajamul Ashraf, Amal Saqib, Hanan Ghani, Muhra AlMahri, Yuhao Li, Noor Ahsan, Umair Nawaz, Jean Lahoud, Hisham Cholakkal, Mubarak Shah, Philip Torr, Fahad Shahbaz Khan, Rao Muhammad Anwer, Salman Khan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超賢いロボットアシスタントを構築したと想像してください。カメラ、脳、そして拡大鏡、電卓、ウェブブラウザなどのガジェットが詰まった工具箱をそのロボットに与えます。そして、「パリへの最安のフライトを見つけ、現地の天気を確認し、傘が必要かどうか教えてくれ」といった、厄介なパズルを解くよう依頼します。

長らく、これらのロボットは、ビデオゲームのレベルのような単純で架空のパズルでテストされてきました。しかし、現実世界は複雑で、動画を含み、ロボットに単一のステップではなく、複数のステップで思考することを要求します。

ここで登場するのがAgent-Xです。この論文は、これらのロボットアシスタントが現実世界でいかに深く思考し、ツールを活用できるかをテストするために設計された、極めて困難な新しい「障害物競走」の創作者だと考えてください。

以下に、彼らが行ったことを日常的な比喩を用いて解説します。

1. 問題：「ビデオゲーム」対「現実世界」

以前のテストは、壁にルールが書かれたビデオゲームのレベルをロボットに与えるようなものでした。「赤い鍵を使って青い扉を開けろ」といった具合です。ロボットは指示に従うだけです。

しかし、現実生活では、誰しもどのツールを使うべきかを教えてくれません。「蛇口の漏れを修理してくれ」と言うだけです。ロボットは自分で考えなければなりません。「レンチが必要か？動画チュートリアルを検索する必要があるか？配管工を呼ぶ必要があるか？」と。

著者らは、現在のロボットは特定のテストの答えを暗記するのは得意だが、未経験の問題を解くよう求められたら凍りついてしまう学生のようなものだと言います。彼らは、思考の複数のステップを連鎖させることに苦しんでいます。

2. 解決策：「Agent-X」障害物競走

チームは、828 の現実世界の課題からなる大規模なコレクションAgent-Xを作成しました。

シナリオ： 架空の画像の代わりに、生活の 6 つの異なる「地域」からの実際の写真、動画、スクリーンショットを使用しました。
- 運転： 車の動画を視聴し、歩行者が横断しようとしているかどうかを判断する。
- 監視： 防犯カメラの映像を見て、不審な人物を特定する。
- スポーツ： ゲームの動画を分析して選手数を数えたり、勝者を予測したりする。
- ウェブブラウジング： どのボタンをクリックすべきか正確に指示されずに、ウェブサイトを移動して特定の情報を検索する。
- 数学と一般論理： 画像に見られる方程式を解く、または複数の画像を比較する。
ひねり： ロボットにはチェックリストが与えられません。画像を見て、何が欠けているかを認識し、工具箱から適切なツールを選び、それを使用し、結果を見て、次に何をすべきか決定する必要があります。

3. 「審判」：ロボットをどのように評価するか

ここが最も重要な部分です。通常、私たちはロボットが最終的な答えを正しく出したかどうかのみをチェックします（教師が数学のテストを採点するようなものです）。

Agent-X はステップバイステップの審判を導入します。最終的な答えだけでなく、生徒の計算用紙も見る教師を想像してください。

適切なツールを選んだか？（例：拡大鏡の代わりに電卓を使ったか？）
ツールを正しく使ったか？（例：数字を正しい順序で入力したか？）
論理は妥当か？（例：証拠を確認せずに結論に飛びついたか？）

ロボットが正解を当てたとしても、ハルシネーション（事実を捏造すること）によって到達したか、ステップをスキップした場合は、Agent-X は不合格を与えます。これは、間違った材料を使って美味しいケーキを作ったシェフのようなものです。ケーキは美味しいですが、プロセスに欠陥があります。

4. 結果：ロボットはまだ学習中

著者らは、GPT-4、Gemini、Qwen などの有名モデルを含む、利用可能な 12 の最も賢い AI モデルをテストしました。

判決： 最も「賢い」ロボットでさえも苦しんでいます。

スコア： 最上位のモデルでも、最初から最後まで完全に正しいタスクは50% 未満でした。
ボトルネック： ロボットは画像を見て、それについて話すことは得意ですが、計画を立てることは非常に苦手です。彼らはしばしば以下のような失敗を犯します。
- 必要なツールの使用を忘れる。
- 持っていないツールを使う（存在しないツールをハルシネーションさせる）。
- 動画を見て、時間の経過とともに何が起こっているかを追跡する際に混乱する。
- 回答のフォーマットを間違える（フォームを埋める代わりに手紙を書くなど）。

5. 教訓

この論文は、これらの AI エージェントは印象的ではあるものの、まだ完全自律的な労働者として準備が整っていないと結論付けています。彼らは多くの事実を知っているが、どのように仕事を行うかを理解するために絶えず監督を必要とする、優秀なインターンのような存在です。

著者らは、研究者が計画やツール使用を処理する「脳」の特定の部分を修正できるように、これらのロボットがどこで失敗しているかを正確に示す「ストレステスト」として Agent-X を構築しました。彼らは単に「これに答えられますか？」と尋ねているのではなく、「これを通り抜けて考えられますか？」と尋ねています。そして今のところ、答えは「まだ完全にはできていない」です。

技術概要：Agent-X

問題定義

深層推論は、逐次的かつ多モーダルな理解を必要とする複雑な現実世界のタスクを解決するために不可欠です。しかし、既存のエージェントシステム向けベンチマークには重大な限界が存在します。それらは主に完全に合成された単一ターンクエリに依存しており、多様な視覚モダリティ（ビデオや複数画像の比較など）への対応が不足しており、また多段階にわたる推論の質を評価するための枠組みを提供できていません。現在の評価は、最終的な回答の精度にのみ焦点を当てることが多く、真の現実環境におけるエージェント行動に必要な解釈可能性、論理的整合性、およびツールの使用忠実度を軽視しています。

手法

これらのギャップに対処するため、著者らは現実世界の多モーダル環境における視覚中心のエージェントを評価するために設計された大規模ベンチマーク「Agent-X」を導入します。

ベンチマーク構築

Agent-X は、画像、ビデオ、指示テキストを含む実世界の視覚的文脈から派生した 828 のエージェントタスクで構成されています。構築は半自動パイプラインに従います：

クエリ生成：大規模多モーダルモデル（LMM）が、視覚入力と事前に定義されたツールセットに基づいて初期候補クエリを生成します。
人間の精査：人間の注釈者が、現実性、明確さ、および多段階推論の必要性を確保するためにこれらのクエリを精査します。重要なのは、クエリが特定のツールや手順の順序への明示的な言及を含まないように設計されており、エージェントに独立して計画を立案させる点です。
推論トレースの作成：LMM が初期の推論トレース（ステップごとのツール呼び出し、入力、出力、思考）を生成します。その後、人間のレビューヤーが論理的整合性、事実の正確性、および適切なツールの使用のためにこれらのトレースを厳格に検証・修正します。
グランドトゥルース：各タスクには、グランドトゥルースの推論トレース、最終回答、およびその根拠が含まれます。

タスク範囲とツール

このベンチマークは、6 つの主要なエージェント環境にまたがります：

一般視覚推論
ウェブブラウジング
セキュリティおよび監視
自動運転
スポーツ
数学的推論

タスクは、知覚、視覚操作、数学、芸術の各分野にわたる 14 の実行可能ツール（OCR、SceneDescriber、ObjectCounter、Calculator、WebSearch、CodePlotter など）の統合を必要とします。データセットには 716 の画像入力と 112 のビデオ入力を含みます。

評価枠組み

Agent-X は、エージェントを 3 つのモードで評価する微細なステップレベルの評価枠組みを導入します：

ステップバイステップ：Grounding Score ( $G_s$ )、Tool Precision ( $T_p$ )、Tool Accuracy ( $T_a$ ) などの指標を用いて、中間推論の質を評価します。
深層推論：Faithfulness ( $F_{acc}$ )、Context Score ( $C_s$ )、Factual Precision ( $F_p$ )、Semantic Accuracy ( $S_{acc}$ ) を用いて、推論チェーン全体の整合性と論理的整合性を評価します。
結果：最終回答の正しさ（Goal Accuracy, $G_{acc}$ ）と使用されたツールセット全体の正しさ（Toolset Accuracy, $T_{sacc}$ ）を測定します。

評価には、堅牢性を確保しバイアスを最小化するために、複数のジャッジ（GPT-4o、Qwen-14B、および人間の注釈者）が採用されます。

主要な貢献

Agent-X ベンチマーク：6 つの多様な環境にわたるツール強化のステップごとの推論評価と、実世界の多モーダル入力（画像、ビデオ、テキスト）を組み合わせた、初の大規模ベンチマーク。
微細な指標：最終結果だけでなく、中間推論ステップ、ツール選択の精度、論理的整合性を評価する新規の指標群。これにより、真の推論と虚構（confabulation）を区別します。
包括的な評価：クローズドソースモデル（GPT-4o、Gemini-2.5-Pro、OpenAI-o4-mini）およびオープンソースモデル（Qwen2.5-VL、InternVL、VideoLLaMA3）を含む、12 の最先端大規模多モーダルモデル（LMM）の広範な評価。

結果

評価により、視覚中心のエージェントタスクにおける現在のモデルの重大な課題が明らかになりました：

低いフルチェーン成功率：最高性能のモデルであっても、Goal Accuracy ( $G_{acc}$ ) は 50% 未満です。トップパフォーマンスの OpenAI-o4-mini は 45% に達しますが、ほとんどのオープンソースモデルは 30% 未満のスコアです。
推論対実行：強力な推論能力（高い $F_{acc}$ 、 $F_p$ ）を持つモデルは最終結果においてより良いパフォーマンスを示す傾向がありますが、ツールの呼び出しと引数の予測は依然として核心的なボトルネックです。
ツールの使用制限：ツール関連の指標には大きなばらつきが見られます。モデルは頻繁にツールの使用を幻覚させたり、無効な JSON 形式を生成したり、ツールを正しく連鎖させられなかったりします。例えば、Gemini-1.5-Pro は高い JSON エラー率（44.5%）を示し、GPT-4o は視覚的誤解（18.5%）に苦しんでいます。
オープンソースの進展：クローズドソースモデルが現在リードしていますが、Qwen2.5-VL-7B などのトップオープンソースモデルは特定の指標において競争力のあるパフォーマンスを示しており、格差が縮小しつつあることを示しています。

重要性

本論文は、Agent-X が、表面的な回答の正しさから深層的で解釈可能な推論へと焦点を移すことで、エージェントシステムの評価において重要な前進を提供すると主張しています。その発見は、現在の LMM が現実世界のタスクに必要な知覚、計画、およびツール実行の複雑な相互作用に苦労していることを浮き彫りにしています。ビデオにおける時間的推論、ツールスキーマへの準拠、構造化された出力の強制などの特定のボトルネックを特定することにより、このベンチマークは、より堅牢で推論中心の多モーダルエージェントを開発するための将来の研究を導くための実用的な洞察を提供します。著者らは、Agent-X が多モーダル推論と堅牢なツールの統合の進展を促進し、視覚中心のエージェントフレームワークにおける進捗を追跡する基準として機能すると予測しています。