VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning

本論文は、強化学習と大規模な合成データパイプラインを活用して、テキスト・画像検索やウェブ閲覧などの長期的なマルチターンツール使用を可能にする自律型マルチモーダル検索エージェント「VSearcher」を提案し、その有効性を新たなベンチマーク「MM-SearchExam」での評価を通じて実証しています。

要約

VSearcher：インターネットの「探偵」になるAIの物語

この論文は、**「VSearcher（ブイ・サーチャー）」**という新しいAIの仕組みについて紹介しています。

簡単に言うと、**「写真を見て、インターネットを飛び回り、複雑な謎を解くことができる、超能力を持ったAI探偵」**を作ったというお話です。

これまでのAIは、本（学習データ）の中に書かれていることしか知らなかったり、文章しか読めなかったりしました。でも、VSearcherは違います。

---

🕵️‍♂️ 1. 従来のAI vs VSearcher：何が違うの？

• 従来のAI（静かな図書館の司書）：
  すごい知識を持っていますが、本棚（学習データ）から出られません。「最新のニュース」や「今この瞬間の天気」は知りません。また、写真を見て「これは何？」と答えるのは得意でも、その写真に関連する情報をネットで探すことは苦手でした。
• VSearcher（活発な探偵）：
  写真を見て、その手がかりを頼りに**「Google 画像検索」や「Google 検索」、そして「Web サイトを訪問して中身を読む」**という行動を自分で取ることができます。まるで、写真を見ながら「あ、この建物はあの国のものだ！じゃあ、その国の歴史を調べてみよう！」と動き回る探偵のようです。

🎓 2. どうやってこんなに賢くしたの？（3 つのステップ）

VSearcher を作るために、研究者たちは特別なトレーニングを行いました。まるで、見習い探偵をベテラン探偵に育てるようなプロセスです。

ステップ①：「難問の宝庫」を作る（データ合成）

まず、AI が練習するための「超難問」を大量に作りました。

• やり方： 普通の質問に、少しずつ「ひねり」を加えていきます。
  • 例：「この写真の鳥の名前は？」→「この鳥が住んでいる島の、19 世紀の有名な詩人の名前を教えてください」→「その詩人が愛用していた時計の製造元は？」
• 工夫： 答えがすぐに出てくるような簡単な問題は排除し、**「画像検索」「テキスト検索」「Web 閲覧」を何回も繰り返さないと答えられないような、複雑で面白い問題だけを厳選しました。これを「反復注入データ合成」**と呼んでいます。

ステップ②：「天才先生」の真似をする（教師モデルによる微調整）

次に、すでに超優秀な AI（Gemini-3-Pro-Thinking など）を「先生」にしました。

• やり方： 先生に難問を解かせて、その「思考プロセス（どうやって検索して、どうやって答えにたどり着いたか）」を記録しました。
• フィルタリング： 先生が間違えた答えを出した場合は「×」として捨て、「正解にたどり着いた完璧な手順」だけを残しました。
• 学習： 見習い探偵（VSearcher）に、この「完璧な手順」をひたすら真似させて、基本的な動きを身につけさせました。これを**「拒絶サンプリング微調整」**と呼びます。

ステップ③：「実戦訓練」で成長させる（強化学習）

最後に、VSearcher を実際のインターネットの世界に放ちました。

• やり方： 自分で検索して答えを見つけようとする実験を繰り返します。
• 報酬： 正解すれば「ご褒美（報酬）」、間違えれば「ご褒美なし」。
• 効果： 正解するために、どのタイミングでどのツール（画像検索か、Web 閲覧か）を使うのが一番効率的かを、AI 自身が試行錯誤しながら学びました。これを**「強化学習（RL）」**と呼びます。

🏆 3. 結果はどうだった？

VSearcher は、他の最新の AI モデルや、お金を出さないと使えない高価な「プロの AI」さえも凌駕する性能を見せました。

• MMSearchExam（独自のテスト）： 非常に難しいテストで、他のプロの AI がボロ負けする中、VSearcher は高い正解率を叩き出しました。
• 特徴： 単に知識を覚えているだけでなく、**「必要な情報を探し出し、つなぎ合わせて答えを導き出す」**という、人間に近い「探偵力」が身につきました。

💡 まとめ：なぜこれがすごいのか？

VSearcher は、AI が**「静的な知識」から「動的な行動」**へと進化することを示しました。

• 昔の AI： 「本に書いてあること」を答える。
• VSearcher： 「今、ネットで何が起こっているか」を調べ、写真を見て、自分で動いて答えを見つける。

これは、AI が単なる「質問箱」から、私たちが困った時に**「一緒に調べてくれるパートナー」**へと進化するための重要な一歩です。まるで、AI が「図書館の司書」から「冒険家」に生まれ変わったようなものですね！

技術概要

VSearcher: 強化学習による長期的マルチモーダル検索エージェント

技術的サマリー（日本語）

本論文は、静的な知識に依存するマルチモーダル大規模モデルを、リアルワールドのウェブ環境において長期的・多ターンにわたってツール（テキスト検索、画像検索、Web ブラウジング）を自律的に活用できる「検索エージェント」へと変革する手法 VSearcher を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

近年、大規模言語モデル（LLM）は ReAct などのパラダイムを通じて推論能力を高め、自律エージェントとして発展しています。しかし、既存のアプローチには以下の重大な限界がありました。

• テキストモデルの制約: 既存の自律エージェント研究の多くはテキストのみに焦点を当てており、視覚情報（画像など）を扱うマルチモーダルなユースケースに対応できていません。
• マルチモーダルモデルの限界: 既存のマルチモーダル大規模モデル（MLLM）は優れた知覚能力を持ちますが、知識が静的（トレーニングデータ截止時点）であり、最新のウェブ情報にアクセスしたり、外部ツールを動的に活用して複雑なタスクを解決する能力が不足しています。

課題: 最新のウェブ情報にアクセスし、テキストと画像の両方を用いて、長期的な推論と多段階のツール使用を必要とする複雑なマルチモーダル検索タスクを解決できる自律エージェントの構築。

2. 提案手法 (Methodology)

VSearcher は、ベースとなるマルチモーダルモデルを「検索エージェント」へと転化するための包括的なポストトレーニングフレームワークを提案しています。このプロセスは、データ合成、教師あり微調整（SFT）、強化学習（RL）の 3 つの段階で構成されます。

2.1. 反復注入に基づくデータ合成 (Iterative Injection-based Data Synthesis)

高難度のマルチモーダル検索タスクを大規模かつ自動生成するためのパイプラインです。

1. シード選定: Wikidata から「サイトリンク数（言語ごとの Wikipedia ページ数）が少なく、ステートメント数（事実の量）が多い」希少なエンティティを選択し、モデルの静的知識では解けないようにします。
2. 初期 QA 生成: 選択されたエンティティの Wikipedia 内容から初期のテキスト QA ペアを生成します。
3. テキスト情報注入（反復）: 質問内のエンティティを抽出し、その Wikipedia 情報（特に一般的でない詳細）を注入して質問を複雑化します。このプロセスを数回繰り返すことで、多段の推論と検索が必要になるようにします。
4. 画像注入: 質問の解答に不可欠なエンティティを選択し、その Wikipedia 画像を取得します。質問内の該当エンティティを「画像に示されているもの」などのフレーズに置き換え、視覚入力として画像を付与します。これにより、画像検索ツールの使用が必須となります。
5. フィルタリング: 合成されたタスクに対し、以下の基準で厳格なフィルタリングを実施し、品質と難易度を保証します。
   • 弱いモデルがツールなしで解ける場合の除外。
   • テキストのみで解ける場合の除外（画像の重要性を確保）。
   • 画像が単純すぎる場合の除外。
   • 答えが質問文に漏洩している場合の除外。

2.2. 拒否サンプリングによる微調整 (Rejection Sampling Fine-tuning, RFT)

ベースモデルに初期の多ターンツール使用能力を付与する段階です。

• 教師モデル: 強力なプロプライエタリモデル（Gemini-3-Pro-Thinking）を「教師」として使用し、合成されたタスクに対する ReAct 推論経路（思考・行動・観測の連鎖）を生成させます。
• 拒否サンプリング: 生成された経路のうち、最終回答が正解であるもののみを抽出し、誤った経路は破棄します。
• SFT: 正解の経路のみを用いてベースモデルを教師あり微調整し、ツール呼び出しの形式や基本的な検索戦略を学習させます。

2.3. 強化学習 (Reinforcement Learning, RL)

実世界のウェブ環境において、長期的な検索能力を一般化・強化する段階です。

• 環境: 実際の Google 検索 API（テキスト検索、画像検索）および Web 閲覧ツール（Visit）を備えた環境でトレーニングを行います。
• アルゴリズム: GRPO (Group Reward Proximal Optimization) を採用。
• 報酬設計: 最終回答の正誤のみを報酬（正解=1, 不正解=0）として与えます。
• フォーマットチェック: 推論プロセス（Rollout）中に厳格な形式チェックを行い、不正な出力は即座に終了させます。
• 目的: 実環境での試行錯誤を通じて、適応的なツール選択と複雑なタスク解決能力を向上させます。

2.4. 評価ベンチマーク: MM-SearchExam

マルチモーダル検索エージェントの評価のために、上記のデータ合成パイプラインを用いて作成された高難度ベンチマークです。

• 10 回の反復注入を行い、極めて複雑なタスクを生成。
• 既存のプロプライエタリモデルでも低い精度を示す難易度を有しています。

3. 主要な貢献 (Key Contributions)

1. マルチモーダル検索タスクのためのデータ合成パイプライン: 反復注入と包括的なフィルタリングにより、大規模かつ高難度のマルチモーダル検索タスクを完全に自動生成する手法を提案。
2. マルチモーダル検索エージェントのための包括的ポストトレーニングパイプライン: 教師モデルからの知識転移（RFT）と実環境での強化学習（RL）を組み合わせ、静的モデルを自律エージェントへ変換する手法を確立。
3. 高難度評価ベンチマーク (MM-SearchExam): 既存のモデルが苦戦する、長期的推論とツール使用を必要とするマルチモーダル検索ベンチマークを構築。
4. SOTA パフォーマンス: 複数のマルチモーダル検索ベンチマークにおいて、既存のオープンソースエージェントおよび複数のプロプライエタリモデル（GPT-5 や Gemini-3-Pro など）を上回る性能を達成。

4. 実験結果 (Results)

• ベンチマーク性能: 5 つのマルチモーダル検索ベンチマーク（MMSearch, BrowseComp-VL, MM-BrowseComp, SimpleVQA, MM-SearchExam）において、VSearcher は他モデルを凌駕しました。
  • 特に MM-SearchExam では、GPT-5 や Gemini-3-Pro などの強力なプロプライエタリモデルが 20% 前後の精度にとどまる中、VSearcher は 19.3%（MM-SearchExam 全体では 19.3%、他のベンチマークではさらに高い性能を示す）を記録し、競合モデルと同等かそれ以上の性能を発揮しました。
  • BrowseComp-VL や MMSearch においても、GPT-5 や Gemini-3-Pro を上回る結果を記録しました。
• トレーニング効果:
  • ベースモデル → RFT モデル → RL モデル の順で精度が段階的に向上し、RL による実環境での学習が長期的な検索能力の一般化に寄与していることが示されました。
  • 合成データの質が高く、教師モデル（Gemini-3-Pro-Thinking）が 20 回以上のツール呼び出しを必要とするような高難度タスクも生成できていることが確認されました。

5. 意義と結論 (Significance)

VSearcher は、マルチモーダル AI が「静的な知識」から「動的な情報収集・推論」へと進化するための重要なステップを示しています。

• 実用性の向上: 画像検索、テキスト検索、Web 閲覧を組み合わせることで、ユーザーの複雑な情報探索ニーズ（例：「画像に写っている特定の植物の名前と、その生息地に関する最新の研究論文」など）に対応可能になりました。
• 学習手法の革新: 単なる SFT だけでなく、拒否サンプリングによる高品質な軌道の抽出と、実環境での強化学習を組み合わせることで、エージェントの自律性と適応性を飛躍的に向上させました。
• 将来展望: 本手法は、科学調査、医療診断、複雑な市場分析など、多様な専門分野における自律的な情報探索エージェントの基盤技術として応用が期待されます。

要約すると、VSearcher は「見る（画像理解）」と「探す（検索・推論）」を統合し、リアルタイムのウェブ情報を用いて複雑な問題を解決する、真に自律的なマルチモーダルエージェントの実現に向けた画期的なアプローチです。