技術サマリー: VistaHop: Visual DeepSearchのためのマルチホップ視覚的推論のベンチマーク

問題提起

マルチモーダル大規模推論モデル（MLRM）の最近の進歩により、エージェントは受動的な画像理解を超え、きめ細かな視覚的知覚やツールを用いた推論へと移行できるようになりました。これにより、エージェントがタスクに関連する画像領域を能動的に調査し、外部のエビデンスを検索・検証し、複数の推論ステップにわたって視覚的な手がかりを結合する必要がある「Visual DeepSearch」という設定が生まれています。

しかし、既存のベンチマークはこの能力を評価するには不十分です。現在のデータセットは、主に単一ステップの視覚的理解や、孤立した画像・質問回答に焦点を当てています。これらは以下の4つの決定的な限界を抱えています：

1. 視覚中心の検索の欠如: タスクが静的な画像と質問のペアに依存しており、視覚的な証拠を再確認することなく言語による推論が進んでしまう。
2. 浅い推論の深さ: 多段階のエビデンスチェーンを必要とするタスクが少なく、モデルが浅い認識やショートカット推論によって問題を解けてしまう。
3. 繰り返しの検査の欠如: モデルが画像領域を反復的に再訪したり、特定の視覚的アンカーに基づいた推論を行ったりする能力が評価されていない。
4. 回答のリーク（漏洩）: 多くのデータセットにおいて、真の視覚的探索を行うことなく、テキストの手がかり、事前知識、または記憶された関連性から回答を推論できてしまう。

その結果、現在のMLRMが、深く、反復的で、エビデンスに基づいた視覚的探索をサポートできるかどうかを判断するための体系的な評価手法が不足しています。

メソドロジー

1. VISTAHOP ベンチマークの構築

著者らは、マルチホップの視覚的推論と繰り返しの画像検査を評価するために設計された包括的なベンチマークである VISTAHOP を導入します。構築パイプラインは、7つの自動化および人間による検証ステップで構成されています：

• 画像ソースのフィルタリングとエンティティ抽出: Wikimedia CommonsやUnsplashなどのソースから、視覚的な豊かさを備えた高解像度画像（4K以上）をフィルタリングします。LLM（GEMINI-3.1-PRO）を使用して、バウンディングボックスと属性を伴う領域レベルのエンティティ（例：ロゴ、ランドマーク、テキスト）を抽出します。
• エンティティ知識の強化とシード選択: 抽出されたエンティティは、Wikipedia/Wikidataの知識で強化されます。隣接ノードの検索をサポートするための構造化されたプロパティの可用性に基づいて、有効なシードエンティティが選択されます。
• エビデンスチェーンの構築: 視覚的なシードエンティティ（$v_0$）からターゲットとなる回答（$v_k$）に至るまで、関係性のホップ（$k \ge 5$）を通じてマルチホップチェーンを構築します。関係性はカテゴリー（例：部分と全体、時間的、空間的）に正規化されます。LLMベースのリレーションチェッカーが、各ホップを信頼度閾値（$\tau_{nli} = 0.9$）で検証し、難易度を確保するために、あまりにも有名なエンティティを排除します。
• テキストQAの構築: これらのチェーンの終端ノードに対して自然言語の質問を生成します。質問は、直接的な文字列一致を防ぐために間接的な形式で記述されます。
• VQA生成とアンチリーク検証: 3つのエージェント・ループ（Solver, Judge, Rewrite）により、質問がテキストのみで解決できないことを保証します。Solver はテキストのみを使用して回答を試みます。成功した場合、Judge がリークをフラグ立てし、Rewrite エージェントが視覚的依存性を維持しつつ、テキストによるショートカットを隠蔽するように質問を修正します。
• マルチチェーンの融合: クロスチェーン推論を評価するために、関連する複数のVQAインスタンスを融合します。中間値（例：年、カウント）を抽出し、算術演算または条件演算（加算、減算、最大/最小）を介して組み合わせることで、複数の視覚的アンカーを必要とする複雑な融合質問を形成します。
• 人間による修正: アノテーターが推論パス、回答の一意性、および可読性を検証します。

データセット統計: VISTAHOPは、25の視覚的探索シナリオ（生命、科学、社会、技術、文化）にわたる300の高解像度画像を含んでいます。これには、350のマルチホップQAタスク（190のシングルチェーンおよび160のマルチチェーン融合タスク）が含まれ、平均チェーン長は7.43ホップです。

2. VISTAARENA 評価フレームワーク

VISTAHOPにおけるモデルのテストを行うため、著者らは以下の機能をサポートする統一された評価環境 VISTAARENA を提案します：

• 探索エージェント (Search Agent): 質問、画像、履歴を観察する反復的なエージェント。以下のツールを呼び出すことができます：テキスト検索（ウェブ検索）、画像検索（逆画像検索）、および画像クロップ（ローカル領域の検査）。
• 検証エージェント (Validation Agent): 正解との意味的な等価性を評価し（Pass@1）、エビデンスの接地（グラウンディング）を確認し、ツールの利用状況を監視するLLM-as-a-judge。

主な貢献

1. VISTAHOP ベンチマーク: Visual DeepSearchのために特別に設計された最初のベンチマークであり、マルチホップの視覚的推論、繰り返しの画像検査、およびマルチチェーンVQAタスクを通じたエビデンスに基づいた回答生成を評価します。
2. 自動構築パイプライン: データ品質を制御し、厳格なアンチリーク検証を通じてテキストのみのショートカットを最小限に抑える、スケーラブルで自動化された、視覚的に接地されたロングチェーン推論タスク生成プロセス。
3. VISTAARENA フレームワーク: 直接回答、検索拡張推論、およびマルチアンカー推論の設定におけるMLRMの性能を分析するための、統一された評価環境。

実験結果

著者らは、汎用モデル（Gemini 2.5 Pro, GPT-5, Claude-4-Sonnet, Qwen3-VL バリアント）および訓練されたエージェント型検索モデル（SenseNova-MARS-32B, Tongyi-DeepResearch-30B-A3B）を含む、7つの代表的なMLRMを評価しました。

• 全体的なパフォーマンス: 最先端のモデルであっても、大幅に苦戦しています。最も優れた性能を示したモデルである SenseNova-MARS-32B は、Search+Crop 設定下で Pass@1 がわずか 24.31% でした。
• ツールの影響: ツールの使用は極めて重要です。平均して、パフォーマンスは 7.72%（No-Tool）から 20.11%（Search+Crop）へと向上しました。最良のモデルは、許可されたラウンドの 89.4% でツールを使用しました。
• 難易度のスケーリング: 難易度が上がるとパフォーマンスは急激に低下します。Search+Crop 設定下では、Pass@1 は 24.40%（レベル2、5-10ホップ）から 15.03%（レベル3、>10ホップ）へと減少しました。
• 失敗モード: 不正確なトレースの分析により、主な失敗タイプは、誤った/欠落した視覚的アンカー（27.4%）、リトリーバルのドリフト（24.1%）、およびロングチェーンのプランニング崩壊（21.5%）であることが明らかになりました。

意義と主張

本論文は、現在のMLRMが Visual DeepSearch の課題を解決するにはまだ遠いことを主張しています。低いスコアは以下を示唆しています：

• 専門的なベンチマークの必要性: 既存のベンチマークは、反復的な視覚的エビデンスの探索や、領域レベルの接地といった複雑さを捉えられていません。
• トレーニングのギャップ: 現在のモデルは、ロングホップの視覚的推論、視覚的エビデンスへの再訪問、およびマルチアンカー・エビデンスの融合に関する堅牢な能力を欠いています。
• 今後の方向性: 本研究は、深く、エビデンスに基づいた視覚的探索が可能なエージェントを進展させるために、専門的な学習方法とベンチマークが必要であることを強調しています。

著者らは、現在のモデルの能力に関して、自らの知見は控えめなものであると強調しており、最も高度なエージェント型モデルであっても、VISTAHOP が要求する多段階の視覚中心の推論を確実に実行することに失敗していると述べています。データセットとコードは、この領域のさらなる研究を促進するために公開されています。