AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios

本論文は、現実世界の複雑な視覚シナリオと長期的なツール利用を評価するための新しいベンチマーク「AgentVista」を提案し、最先端のマルチモーダルエージェントがこれらのタスクにおいて依然として大きな課題を抱えていることを示しています。

要約

📸 現実世界の「AI 探偵」をテストする新しい試験：AgentVista の解説

この論文は、**「AgentVista（エージェント・ヴィスタ）」**という、新しい AI のテスト基準（ベンチマーク）を紹介するものです。

これまでの AI のテストは、どちらかというと「学校の試験」や「クイズ大会」のようなものでした。「この写真を見て、何が見えますか？」「この文章の続きを言ってください」といった、一度きりの質問に答える能力を測るものが主流でした。

しかし、現実世界で AI が活躍するには、もっと複雑なことが必要です。例えば、**「壊れた家電の写真をアップロードしたら、AI が自分でマニュアルを検索し、修理方法を調べ、必要な部品を注文して、最終的に修理完了を報告する」**ような、**一連の長い作業（ワークフロー）**をこなせる能力です。

AgentVista は、まさにこの**「現実世界の複雑なタスク」**に挑む AI の能力を測る、非常にハードなテストです。

---

🏗️ AgentVista とは何か？（アナロジーで解説）

AgentVista を理解するために、以下の 3 つの比喩を使ってみましょう。

1. 「クイズ大会」ではなく「冒険クエスト」

• これまでのテスト（クイズ大会）： 先生が「この写真の犬は何色？」と聞いて、AI が即答する。正解すれば合格。
• AgentVista（冒険クエスト）： 「この写真の犬が病気っぽいです。ネットで症状を調べ、近くの動物病院を探し、予約を取り、治療費を計算してください」という長い物語が始まります。AI は自分で地図を読み、道具（検索エンジンや計算機）を使い、道中で迷子にならないようにしながらゴールを目指さなければなりません。

2. 「道具箱」の使い方が鍵

このテストでは、AI には 4 つの強力な「道具」が与えられます。

• 🌐 Web 検索： 情報を探す。
• 🔍 画像検索： 似た写真や図面を探す。
• 🚶 ページ移動： 検索結果のサイトに入って中身を読む。
• 💻 コード実行： 画像を切り取ったり、サイズを測ったり、複雑な計算をしたりする。

AgentVista の難しいところは、これらの道具を「交互に」使いながら、長い間（最大 25 回以上も！）作業を続けなければならない点です。

例： 「このフローリングの柄に合うものを探して（画像検索）→ 価格を調べる（Web 検索）→ 部屋の広さを測って（画像処理）→ 総額を計算して（コード実行）」というように、道具を次々と切り替えながら進みます。

3. 「25 問のサブ科目」がある総合テスト

AgentVista は、7 つの大きな分野（商業、地理、技術、エンタメなど）と、25 の細かい分野（スポーツ分析、レゴの組み立て、料理のレシピなど）にまたがっています。

• 技術系： 「CPU の写真を見て、キャッシュの容量を計算して」
• 生活系： 「アレルギーがある友達へのチョコレート選び（成分表示を読み、ネットと照らし合わせる）」
• 地理系： 「閉店時間を考慮して、効率的な移動ルートを組んで」

これらはすべて、「写真や図面」という現実の証拠に基づいて行われるため、AI は単に言葉を並べるだけでなく、「目」を使って現実を理解しなければなりません。

---

📉 現在の AI はどうだった？（結果の衝撃）

このテストで、世界最高峰の AI たち（GPT-5 や Gemini-3 など）をテストしたところ、結果はあまり良くなかったのです。

• 最高成績でも 27.3% しか正解しなかった：
  最も得意な AI（Gemini-3-PRO）でも、209 問中 27 問程度しか正解できませんでした。つまり、7 割以上は失敗していることになります。
• どこでつまずく？
  多くの失敗は、**「写真の細かい部分を見間違える」**ことから始まります。

  例： 「この部品は A だ」と勘違いして検索をかけると、その後のすべての作業が間違った方向に進んでしまい、最終的に「正解」から遠ざかってしまいます。

これは、現在の AI が「一度に大量の情報を処理する力」はあっても、**「長い道のりを、途中で迷わず、道具を使いこなして歩き続ける力」**がまだ十分ではないことを示しています。

---

🚀 なぜこれが重要なのか？

このテスト（AgentVista）は、AI 開発者にとって**「羅針盤」**のような役割を果たします。

1. 現実の壁を突きつける：
   「すごい AI」だと言われても、複雑な現実のタスク（旅行計画、家電修理、買い物など）ではまだ頼りにならない、という真実を浮き彫りにしました。
2. 次の進化への道標：
   「視覚的な理解」と「道具（ツール）の使い方」をどう組み合わせれば、AI がもっと賢く、頼もしくなるかが見えてきました。

結論

AgentVista は、AI に**「学校の成績」ではなく「社会人としての実力」を問う、非常にハードな試験です。
今の AI は、まだ「新人研修生」レベルで、複雑な現場では失敗も多いですが、このテストを通じて、「写真を見て、道具を使い、長い間考え続ける」**ことができる、本当に頼れる AI への道が開かれていくでしょう。

---

一言で言うと：

「AI に『写真を見て、自分で調べ、計算して、問題を解決する』という、現実世界の『冒険』をさせてみたところ、まだ道に迷ってばかりだった。でも、このテストがあれば、AI をもっと賢く育てるヒントが得られる！」

技術概要

AGENTVISTA: 超難易度な現実的視覚シナリオにおけるマルチモーダルエージェントの評価

本論文は、現実世界の複雑なタスクを解決するために、視覚的証拠に基づいた長期的なツール使用を必要とする「一般化されたマルチモーダルエージェント」を評価するための新しいベンチマークAGENTVISTAを提案するものです。既存のベンチマークが単一ターン推論や特定のスキルに偏っているのに対し、AGENTVISTA は、現実的な視覚的曖昧さ、詳細なコンテキスト、そして複数のツールを交互に使用する長期的なワークフローを網羅的に評価することを目的としています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

現実世界のマルチモーダルエージェントは、配線図と写真の照合による機器のトラブルシューティングや、交通マップとスケジュールの統合による旅行計画など、視覚的証拠に基づいた多段階のワークフローを処理する必要があります。しかし、現在の評価基準には以下の重大なギャップが存在します。

• 能力特化型評価の限界: 既存のベンチマークは、視覚操作、ウェブブラウジング、コード生成など、特定のスキルに焦点を当てており、これらを組み合わせた「一般化されたエージェント」の長期的な信頼性を評価できていません。
• 現実性と難易度のトレードオフ: 多くのベンチマークは、視覚状態を単純化したり、現実のワークフローから外れたツールパターンを使用したりすることで難易度を上げています。これにより、現実的な視覚的 grounding（視覚的根拠付け）や相互作用のボトルネックが評価から除外されています。

2. 手法：AGENTVISTA の構築

AGENTVISTA は、7 つの主要カテゴリ（技術、商業、地理、エンターテインメント、社会、学術、文化）にまたがる 25 のサブドメイン、合計 209 タスクから構成されるベンチマークです。

データセットの設計原則

1. 視覚中心の現実的タスク: 各タスクは、重要な視覚的証拠（小さなキュー、複数の関連オブジェクト、微妙な差異など）を視覚入力から抽出することを必須とします。テキスト検索だけで答えられるような単純な質問は排除されています。
2. 自然なハイブリッドツールの交互使用: 各タスクは、画像検索、ウェブ検索、ページナビゲーション、コード実行（画像処理・計算）など、異なる種類のツールを**交互に（interleaved）**呼び出すことを要求します。単一のツール呼び出しではなく、視覚的証拠と外部情報の統合が必要です。
3. 検証可能性と安定性: 各タスクには、数値、エンティティ名、短い記述など、明確で決定論的な正解（Ground Truth）が用意されています。また、情報の時間的変化を考慮し、特定の時間制約を設けることで正解の安定性を確保しています。

データ構築パイプライン

1. エージェント中心のフィルタリング: 30 万枚以上の画像から、CLAUDE-OPUS-4 などのモデルを用いて視覚情報が乏しいケースを除外し、ツール使用が可能な候補を選別します。
2. 専門家による最終化: 専門アノテーターが、現実的なユーザー要求に再構成し、視覚的依存性を高め、決定論的な正解とツールステップを記録します。
3. 実行フィルタリング: 実際のツール環境でタスクを実行し、再現可能なツール出力と正解の整合性を確認します。ツールなしで解決可能なタスクは除外されます。
4. 2 段階の検証: 視覚的証拠の不足や不安定な回答を除去し、最終的に 209 タスクを確定します。

評価環境

エージェントは以下の 4 つの主要ツールを使用できます：

• Web Search: 情報検索
• Image Search: テキストまたは逆画像検索
• Visit: ウェブページ訪問と内容抽出
• Code Interpreter: Python コード実行（画像処理、計算、データ解析）

3. 主要な貢献

• 超難易度な現実的ベンチマークの提案: 既存のベンチマークでは評価されていなかった、「視覚的詳細の理解」と「長期的なツール交互使用」を同時に要求する 209 タスクを公開。
• 包括的な評価フレームワーク: 7 カテゴリ、25 サブドメインにわたる多様なタスクと、厳格な品質管理プロセスによる高品質なデータセット。
• オープンソースとクローズドソースモデルの包括的評価: GPT-5 シリーズ、Gemini-3、Claude-4 シリーズ、Qwen3-VL など、最先端の 14 モデル以上を対象とした大規模な実験結果の提供。
• 失敗パターンの詳細分析: エージェントがどこでつまずくのか（視覚誤認識、知識幻覚、ツール実行失敗など）を体系的に分析し、今後の研究の指針を示した。

4. 実験結果

14 の最先端マルチモーダルモデル（GPT-5.2, Gemini-3-Pro, Claude-Opus-4.1 など）を評価した結果、以下の知見が得られました。

• 極めて低い性能: 最も高性能なモデルである Gemini-3-Pro でも、全体の正解率は 27.3% に留まりました。4 つのモデルは 15% 未満のスコアでした。
• 長期的な相互作用の難しさ: 平均して 10 回以上のツール呼び出し（Turn）が必要であり、GPT-5.2 は平均 13.85 回、最大で 25 回以上のターンを要するタスクも存在しました。
• ドメインごとの性能差: モデルによって得意分野が異なります（例：GPT-5.2 は技術分野、Gemini-3-Pro は地理・文化分野で相対的に高い）。しかし、どのモデルもドメイン横断的な一貫した能力は示していません。
• マルチ画像入力の影響: 意外なことに、多くのモデルにおいてマルチ画像入力の方がシングル画像入力よりも精度が高くなりました。これは、追加の視覚情報が曖昧さを解消し、視覚的 grounding を支援するためです。
• テスト時スケーリング: 試行回数を増やす（K=16）ことで、Best-of-K 選択により精度は 30.6% まで向上しましたが、それでも 50% には達せず、単純なサンプリング増では解決できない課題が残っていることが示されました。

主要な失敗要因

エラー分析によると、最も一般的な失敗要因は**「視覚的誤認識（Visual Misidentification）」**（40% 近く）でした。ラベルの読み間違い、類似コンポーネントの混同、小さなインジケーターの見落としなどが、その後の検索や推論を誤った方向へ導いています。次いで「知識の幻覚（Knowledge Hallucination）」が多く見られました。

5. 意義と結論

AGENTVISTA は、マルチモーダルエージェントが現実世界の複雑な問題（ショッピング支援、旅行計画、機器のトラブルシューティングなど）を解決するための真の能力を評価するための重要な基盤を提供します。

• 現状の限界の明確化: 現在の最先端モデルでさえ、視覚的詳細の理解と長期的なツール使用の組み合わせにおいて大きな課題を抱えていることを示しました。
• 研究の指針: 視覚的 grounding の強化、制約の追跡能力、そして信頼性の高いツール使用の重要性を浮き彫りにし、今後のモデル開発や強化学習の方向性を示唆しています。
• 実用化への道筋: より信頼性の高いエージェントの実現は、ユーザーの視覚的証拠とオンライン情報を統合する実用的なアプリケーションの発展に不可欠であり、AGENTVISTA はその進捗を測定するための標準的な指標となります。

本論文は、マルチモーダルエージェントの研究において、単なる「視覚理解」から「視覚に基づく能動的な問題解決」へのパラダイムシフトを促す重要なマイルストーンとなっています。