Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models

本論文は、現実世界の視覚的ノイズや複雑な推論課題に対処するため、マルチターン・多エンティティ・多スケールにわたる視覚・テキスト検索を可能にし、強化学習を通じて深層調査能力を内包させた新しいマルチモーダル大規模言語モデル「Vision-DeepResearch」を提案し、既存の最先端モデルやクローズドソースの基盤モデルを大幅に凌駕する性能を実証しています。

要約

🕵️‍♂️ 従来の AI の問題点：「全体写真」だけ見て諦める探偵

これまでの AI（マルチモーダル大規模言語モデル）は、画像を見て質問に答える際、「全体の写真」を一度だけ検索エンジンに投げかけるというやり方をしていました。

• 例え話：
  探偵が「この写真の中の男の子は誰？」と聞かれました。
  従来の AI は、**「写真全体をコピーして検索」**します。しかし、背景にたくさんの人々がいて、男の子が小さく写っていたり、背景がごちゃごちゃしていたりすると、検索結果は「誰か分からない」や「全く関係ない画像」ばかり返ってきます。
  さらに、AI は「検索して 1 回で答えが出なかったら、もうダメだ」と考えて、すぐに諦めてしまいます。

この論文は、この 2 つの大きな弱点を指摘しました。

1. ヒット率の問題： 全体画像や簡単な検索では、必要な情報が見つからないことが多い。
2. 探求の浅さ： 一度検索してダメなら、別の角度から探したり、何度も検索し直したりする「粘り強さ」がない。

---

🚀 新しい技術「Vision-DeepResearch」：執念の探偵

この新しい技術は、AI に**「執念深い探偵」**のような行動パターンを教えました。

1. 画像を「切り抜き」ながら、何度も検索する（マルチスケール・マルチエンティティ）

探偵は、全体写真を見て「分からない」と即座に諦めません。

• 行動： 「あ、この男の子の顔が小さすぎるな。じゃあ、顔の部分だけ切り取って検索してみよう」「あ、背景の看板がヒントになりそうだから、看板の部分だけ切り取って検索しよう」。
• 効果： 画像の「どの部分」を「どの大きさ」で検索するかを、AI が自分で判断して何十回も試行錯誤します。これにより、必要な情報が「ヒット」する確率が劇的に上がります。

2. 何十回も検索を繰り返す（ロングホライズン・リーソニング）

探偵は、1 回検索して答えが出なくても、「次はどうしよう？」と考えます。

• 行動：
  1. 「この男の子はバスケットボール選手かな？」→検索。
  2. 「チーム名が『レイカーズ』と書いてあるな」→検索。
  3. 「レイカーズの選手リストを見て、この顔に合う人を探す」→検索。
  4. 「あ、この選手の奥さんがこの写真の女性だ！奥さんの名前を検索して…」→検索。
• 効果： 画像検索とテキスト検索を何十回も、何百回も組み合わせて、断片的な証拠をつなぎ合わせ、最終的な答えにたどり着きます。

---

🏭 どのようにして AI を鍛えたのか？（データ工場の仕組み）

このすごい探偵を育てるために、研究者たちは**「人工的な探偵訓練シミュレーション」**という工場を作りました。

1. 難しい問題を作る（フェイジー・マルチホップ）：
   単に「猫の名前は？」という簡単な質問ではなく、「猫の飼い主が A 社で働いていて、その娘が B 校に通っている。では、猫の名前は？」のように、答えを導くために何段階も検索と推理が必要になる問題を自動生成しました。
2. 正解までの道筋を作る：
   最強の AI（GPT-5 や Claude などの最新モデル）を使って、「この問題を解くためには、まず画像のどこを切り取って、次に何を検索し、最後にどう推理するか」という**完璧な手順（軌跡）**を大量に作りました。
3. AI にそれを学ばせる：
   その「完璧な手順」を AI に見せて、「こうすれば正解にたどり着けるよ」と教えました（教師あり学習）。さらに、実際に検索エンジンを使って試行錯誤させ、「正解したときはご褒美、間違えたら反省」というゲーム感覚で、自分で考えながら学習する力を強化しました（強化学習）。

---

🏆 結果：小さなモデルでも最強に！

この技術を導入した結果、驚くべきことが起こりました。

• 小さなモデルでも大活躍： 巨大なスーパーコンピュータのようなモデルでなくても、比較的小さなモデル（80 億パラメータなど）でも、GPT-5 や Gemini 2.5 Pro といった、世界最高峰のクローズドソース（中身が見えない）の AI が作った「エージェント（自動作業ロボット）」よりも、はるかに高い性能を発揮しました。
• 6 つのテストで 1 位： 画像検索や複雑な推理が必要なテストで、既存のどの AI よりも正解率が高くなりました。

💡 まとめ

この論文が伝えていることはシンプルです。

「AI に『全体を見て一発で答えを出す』ことを強いるのではなく、『画像を細かく切り分け、何回も検索し、粘り強く推理する』という、人間のような探偵の行動パターンを教えることで、AI は劇的に賢くなれる」

これまでは「検索エンジンに頼りすぎず、AI 自身の知識だけで答えよう」としていた時代から、「検索エンジンと AI がチームになって、泥臭くでも徹底的に調べ上げる時代」へと進化させた画期的な研究です。

技術概要

Vision-DeepResearch: マルチモーダル大規模言語モデルにおける深層調査能力の強化

本論文は、マルチモーダル大規模言語モデル（MLLM）が現実世界の複雑な視覚・言語タスクにおいて、検索エンジンを用いた「深層調査（Deep Research）」を効果的に行えるようにするための新しいパラダイム「Vision-DeepResearch」を提案しています。既存の手法が抱える限界を克服し、数十回の推論ステップと数百回の検索エンジン相互作用を可能にするエンドツーエンドのモデルを構築しました。

以下に、論文の技術的概要を問題定義、手法、主要な貢献、結果、意義の観点から詳述します。

---

1. 問題定義 (Problem Definition)

既存のマルチモーダル深層調査 MLLM は、以下の 2 つの主要な課題に直面しています。

1. ヒット率の問題（Hit-Rate Problem）:

   • 従来の手法は、画像検索を「フルイメージ（全体）」または「エンティティレベル」の単一クエリとして扱っています。
   • しかし、現実の検索エンジンでは、画像にノイズが多く含まれている場合や、対象エンティティのスケールが異なる場合、単一のクエリでは必要な証拠が得られず、検索ヒット率が著しく低下します。
   • 異なるスケールの切り抜き（クロップ）をクエリしても、結果のばらつきが大きく、確実な証拠収集が困難です。

2. 推論の深さと検索の幅の制限:

   • 既存手法は、推論ステップ数が少なく、検索エンジンとの相互作用も限定的（短い軌道）です。
   • 複雑な質問に対して、多様な視覚・テキストソースから証拠を集約する「多ホップ（Multi-hop）」な深層調査や、中間結果に基づいてクエリを反復的に洗練するプロセスが不足しています。

2. 手法 (Methodology)

Vision-DeepResearch は、高品質なデータパイプラインの構築と、強化学習（RL）を組み合わせた新しいトレーニングパラダイムを採用しています。

2.1. データパイプラインの構築

高品質な「マルチターン・マルチエンティティ・マルチスケール」の深層調査軌道（Trajectory）を合成するための自動化パイプラインを設計しました。

• 高品質なファクトベース VQA の合成:

  • 既存のデータセットから高品質な画像を選択し、MLLM による厳格な検証とフィルタリング（画像検索で即答可能なものや、フル画像検索で容易に解決されるものを除外）を行います。
  • Fuzzy Multi-hop VQA Synthesis: エンティティと回答を「曖昧化（Obfuscation）」する技術を採用します。
    • 回答の曖昧化: 答えに関連する関係性をチェーン化（例：「猫の飼い主の娘の先生の名前」）。
    • エンティティの曖昧化: ウェブページ上のランダムウォークを用いて、元のエンティティを関連する多ホップのエンティティに置換。
    • これらを交互に適用し、視覚的証拠なしには解決できない複雑な質問を生成します。

• マルチモーダル深層調査軌道の生成:

  • 視覚的探索（Visual Search）: MLLM が画像から複数のスケールと領域（バウンディングボックス）を特定し、それらを切り抜いて視覚検索エンジンに送信します。これは「試行錯誤（Trial-and-error）」のプロセスであり、ヒットするまで多様な切り抜きを試行します。
  • テキストブリッジング（Text Bridging）: 視覚的探索の結果を要約し、画像をテキスト記述に置き換えることで、テキストベースの深層調査モデル（Foundation LLM）へ文脈を接続します。
  • テキスト深層調査（Text Deep Research）: テキストベースのモデルが、ウェブ検索、ページ訪問、Python コード実行などを行い、長期的な推論軌道を生成します。
  • これらを統合し、拒否サンプリング（Rejection Sampling）を用いて、正解と一致する高品質な軌道のみをトレーニングデータとして採用します。

2.2. トレーニング戦略

• 教師あり微調整（SFT）: 生成された 3 万の深層調査軌道を用いて、モデルにマルチターン検索、視覚・テキスト証拠の統合、長期的な計画立案を学習させます。
• 強化学習（RL）:
  • GRPO（Group Relative Policy Optimization）: 生成された軌道に対して、最終回答の正誤に基づき報酬（正解なら 1.0、不正解なら 0.0）を与えてモデルを最適化します。
  • 非同期ロールアウト・アーキテクチャ: 長い推論時間と頻繁なツール呼び出しによるボトルネックを解消するため、マルチスレッド非同期処理を導入し、ロールアウトのスループットを 10 倍以上向上させました。
  • エンジニアリング工夫: 無限ループやフォーマットエラーによる長尾現象を防止するための早期終了戦略や、失敗した軌道に対する勾配マスク（Masking）により、トレーニングの安定性を確保しました。

3. 主要な貢献 (Key Contributions)

1. 新しい深層調査パラダイムの提案:
   • 単発の検索ではなく、「多ターン・多エンティティ・マルチスケール」な視覚・テキスト検索を統合した、現実のノイズの多い環境に耐性のある深層調査パラダイムを確立しました。
2. 大規模な合成データパイプライン:
   • エンティティと回答の曖昧化、多ホップ構造の生成、視覚的試行錯誤のシミュレーションを含む、高品質な深層調査軌道の自動生成パイプラインを開発しました。
3. 高性能なエンドツーエンド MLLM の実装:
   • 30B-A3B パラメータ規模（および 8B）のモデルにおいて、数十回の推論ステップと数百回の検索エンジン相互作用を可能にする深層調査能力を内面化しました。
4. SOTA 性能の達成:
   • 6 つのベンチマークにおいて、既存のオープンソースモデルだけでなく、GPT-5 や Gemini-2.5-Pro などの強力なクローズドソースモデルに基づくエージェントワークフローをも凌駕する性能を達成しました。

4. 結果 (Results)

• ベンチマーク性能:
  • Vision-DeepResearch-30B-A3B は、6 つのベンチマーク（VDR, FVQA, MMSearch+, MMSearch, LiveVQA, BC-VL）の平均スコアで 56.9% を記録しました。
  • ベースモデル（Qwen3-VL-30B-A3B-Thinking）と比較して平均 +16.0% の改善、MMSearch+ では +18.5%、VDR では +17.6% の大幅な向上を示しました。
  • 8B モデルでも、同様のアーキテクチャを持つ他のモデルや、GPT-5 などのエージェントワークフローを上回る性能を達成しました。
• アブレーション研究:
  • マルチスケール切り抜き（CIS）: フルイメージ検索（WIS）に比べ、視覚的検索の精度が劇的に向上しました。
  • テキスト検索の併用（TS）: 視覚的検索だけでは知識不足になるケースが多く、テキスト検索との併用が必須であることが確認されました。
  • SFT と RL の効果: SFT による軌道学習に加え、RL によるオンライン相互作用の最適化が、長期的な意思決定能力をさらに向上させることが示されました。

5. 意義 (Significance)

• 現実世界の複雑なタスクへの対応: 従来の MLLM が苦手としていた、ノイズの多い画像や、単一の検索クエリでは解決できない複雑な事実確認タスクに対して、人間のような「試行錯誤と探索」を行う能力を実装しました。
• スケーラビリティの証明: 比較的小さなパラメータ規模（8B, 30B）のモデルでも、適切なデータとトレーニング戦略（特に RL）を用いることで、巨大なクローズドソースモデルに匹敵する、あるいは凌駕する深層調査能力を獲得できることを示しました。
• 研究コミュニティへの示唆: 視覚とテキストの検索を統合した長期的な推論（Long-Horizon Reasoning）の構築方法論を提供し、将来的な自律的エージェントの発展に重要な基盤となるでしょう。

本論文は、マルチモーダル AI が単なる「画像を見て答える」段階から、「画像を見て、検索し、推論し、証拠を集めて答える」という真の深層調査段階へ進化するための重要なマイルストーンとなっています。