🤖 AI

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

SearchEyesは、データ、環境、および報酬信号をPerception-Knowledge Chains（知覚・知識連鎖）とHop-Anchored Policy Optimization（ホップ・アンカー型方策最適化）を通じて統合する型付きナレッジグラフ上に構築された統一的なシミュレーション検索世界を導入し、外部エンジンや個別の報酬モデルに依存することなく、マルチモーダル検索エージェントにおける最先端のマルチホップ推論性能を実現します。

原著者： Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu Ma, Yifan Zhang, Xiangyu Yue

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いロボットに複雑なミステリーを解く方法を教えようとしていると想像してください。ロボットは画像を見、文書を読み、点と点を結びつけて答えを見つけ出す必要があります。これが、この論文で「マルチモーダル・サーチエージェント（multimodal search agent）」と呼ばれているものです。

しかし、この論文の著者たちは、SearchEyesによれば、私たちが通常ロボットを教える方法は壊れていることを見出しました。それは、地図、車、運転テストを渡すものの、それらのどれもが一致しない状態で、人に運転を教えようとするようなものです。

地図（学習データ）： 「やり方」のステップを捨て去った状態で、質問と回答のリストを渡しています。
車（環境）： 信号が変わったり、道が消えたりする可能性がある、予測不能な実際の公道（実際のインターネット）で運転させています。
テスト（報酬）： 最後に一度だけ「よくできました」または「ダメでした」と伝えます。もしステップ1でミスをしたとしても、ステップ10で運良く正解に辿り着けば、それでも「よくできました」と言われてしまいます。彼らは、どこで間違えたのかを学ぶことができません。

SearchEyesは、地図、車、テストがすべて同じ設計図から作られた、完璧で自己完結したシミュレーションを構築することで、これを解決しました。

以下に、簡単な比喩を用いてその手法を説明します。

1. 設計図：「型付けされた」知識グラフ

乱雑な実際のインターネットの代わりに、チームは知識グラフと呼ばれる、整理された巨大な事実のライブラリを構築しました。これは、世界の情報の巨大な家系図のようなものですが、厳格なルールがあります。

すべての人物（エンティティ）には、写真、略歴、そして関係性のリストがあります。
彼らは、写真、略歴、つながりの3つすべてを備えている「有名な」人物のみを保持し、ロボットが画像とテキストの両方を見る練習ができるようにしています。

2. トレーニングコース：「知覚・知識チェーン」（PKC）

ロボットを訓練するために、彼らは単にランダムな質問を書いたのではありません。**知覚・知識チェーン（Perception-Knowledge Chains: PKC）**と呼ばれる特別なレシピを使用しました。

比喩： 写真を見ることと手がかりを読むことを交互に行わなければならないスカベンジャーハント（宝探し）を想像してください。
- ステップ1（知覚）： 「この男性の写真を見てください。彼は誰ですか？」（ロボットは画像から人物を特定しなければなりません）。
- ステップ2（知識）： 「次に、彼が所属していたチームを調べてください。」（ロボットはテキストを検索しなければなりません）。
- ステップ3（知覚）： 「そのチームの本拠地であるスタジアムの写真を検索してください。」
魔法： システムはこれらの質問を自動的に生成しますが、背景には「解答用紙（事実の正確な経路）」を隠し持っています。これにより、ロボットが答えをすぐに推測するのではなく、パズルを解くために必ず長く多段階のルートを辿らなければならないようになっています。

3. ドライビング・シミュレーター：「自己完結型検索ワールド」

現実の世界では、検索エンジンに何かを尋ねると、結果は明日変わってしまうかもしれません。SearchEyesの世界では、「検索エンジン」は実際には彼らが構築したライブラリーの巨大なプリロード済みデータベースです。

メリット： これは100%再現可能です。ロボットが「クリスティアーノ・ロナウド」を検索すれば、常に全く同じトップ5の結果が得られます。これにより、現実のインターネットの混沌を取り除き、ロボットが壊れたリンクや変化するウェブサイトに惑わされることなく、検索の論理を学べるようにしています。

4. コーチ：「ホップ・アンカー型」フィードバック（HaPO）

これが最も重要な革新です。通常の訓練では、コーチは最後に一度だけ「正解しました！」と言います。

問題点： ロボットがそこに到達するまでに10ステップを踏んだとしても、コーチはその中のどのステップが素晴らしく、どのステップが単なる運の良い推測だったのかを知ることができません。
Search-Eyesの解決策： 「解答用紙（事実の正確な経路）」を保持しているため、彼らは一歩一歩を見守るコーチのように振る舞うことができます。
- 「ステップ3でスタジアムの写真を見つけたのは素晴らしい！」
- 「おっと、ステップ2で間違ったチームを選んでしまいました。もう一度やってみましょう。」
メタファー： テスト全体に一つのスコアをつけるのではなく、テストのあらゆる設問に対して成績をつけるのです。これにより、ロボットはどこを改善すべきかを正確に把握できるため、より速く学習できます。

結果

彼らがこの新しい手法（SearchEyes）を、画像とテキストを含む6つの異なる難解なテストで試したところ：

画像とテキストを扱う他のすべてのオープンソースのロボットを打ち負かしました。
彼らの小さなロボット（270億の「脳細胞」）は、大手テック企業によるはるかに大規模で高価なロボットよりも優れたパフォーマンスを発揮しました。
構造化されたステップ・バイ・ステップの訓練世界と精密なフィードバックを与えることで、素晴らしい結果を得るために巨大なスーパーコンピュータは必要ないということを証明しました。

要約すると： SearchEyesは、ロボットを混沌とした現実のインターネットに放り込むことで教えようとするのをやめました。代わりに、ロボットが特定のスキルを練習し、あらゆる動きに対して成績を付けられ、複雑な視覚的ミステリーを驚異的な効率で解く方法を学ぶことができる、完璧に制御されたトレーニングジムを構築したのです。

技術要約: SearchEyes

問題提起

マルチモーダル検索エージェントに対し、長期的な（long-horizon）マルチホップ推論を可能にするトレーニングを行う際、現在のパイプラインには根本的な構造的断絶が存在する。既存のアプローチは、学習データ、検索環境、および報酬信号を独立して構築しており、これが以下の3つの決定的な問題を引き起こしている：

データと環境のデカップリング（分離）: 学習データの合成において、中間的な構造メタデータ（例：パス構造、エンティティID）が破棄されることが多く、一方で検索環境は非決定的なAPIを持つ再現性の低い外部エンジンに依存している。
報酬の希薄性: 強化学習（RL）の信号は、通常、軌跡レベル（最終的な回答に基づく）でのみ計算される。マルチホップ推論においては、ホップ数が増えるにつれて正しい最終回答を得られる確率が急激に低下するため、軌跡レベルの報酬では効果的な方策最適化を行うには希薄すぎる。
クレジット割り当て（貢献度評価）の失敗: ステップレベルの信号がないため、エージェントは、視覚的知覚とテキストベースの知識検索の両方を必要とする複雑なマルチモーダル・タスクにおいて、長い連鎖の中のどの特定の行動が成功または失敗に寄与したのかを学習することが困難である。

手法: SearchEyes

SearchEyesは、型付き知識グラフ（Wikidata5M）上に構築された**シミュレートされた検索世界（simulated search world）**を通じて、データ合成、環境シミュレーション、およびRLトレーニングを統合することで、これらのボトルネックに対処する。本フレームワークは、密接に結合された3つのコンポーネントで構成されている。

1. 統一された検索世界シミュレーション

本システムは、Wikidata5M、Wiki6M（テキスト）、およびWikipediaの画像から派生した型付き知識グラフ $G = (V, R, T, \phi)$ を用いて、自己完結型の検索環境を構築する。

自己完結型リトリーバル: 外部APIの代わりに、本環境は、事前インデックス化されたドキュメント・コレクションに対して相互ランク融合（RRF）を介して融合されたハイブリッド・リトリーバル・エンジン（密な埋め込み + BM25）を使用する。これにより、決定論的で、再現可能かつ監査可能なリトリーバルが保証される。
ツールセット: エージェントは、決定論的なツール（text_search、visual_search（画像クロッピング + 埋め込みリトリーバル）、lookup、summarize、python_interpreter）を介して相互作用する。

2. 知覚・知識連鎖（PKC）合成

高品質な学習データを生成するために、SearchEyesは、視覚的エンティティと知識エンティティの交差領域における制約付きマルチホップ・パスをサンプリングするパイプラインを導入する。

制約付きパス・サンプリング: 以下の厳格な制約を伴う制約付きランダムウォークによってパスをサンプリングする：
- P-K交互作用: 知覚ホップ（画像から視覚的エンティティを特定する）と知識ホップ（テキストベースの検索）の交互作用を強制する。
- 曖昧さ回避の制約: 「一対多」の述語や制約エッジを導入して、自明な単一パス解を防ぎ、推論グラフの木幅（treewidth）を増大させる。
- ドメインの多様性: パスが複数の意味ドメイン（人物、作品、組織、地理）を横断するように保証する。
- ショートカット防止フィルタリング: ハブとなるエンティティやメタレベルの述語を除外し、推測可能なパスを回避する。
情報の隠蔽: エンティティ名や完全な関係シーケンスが隠された状態で質問が生成される。アンカーとなるエンティティは画像としてのみ提示され、中間的な関係性はドメインレベルのヒントへと難読化される。これにより、エージェントに真のマルチステップ推論を強制する。
SFTデータの蒸留: リトリーバルのブーストと観測のデノイジングを備えた「特権的（privileged）」な環境を用いて、エキスパートの軌跡を合成する。これらの軌跡は、現実的なリトリーバル結果の上で推論することを教えるために、生のノイズを含む観測データと共にSFT用にエクスポートされる。

3. ホップ・アンカー型方策最適化（HaPO）

報酬の希発性問題を解決するために、SearchEyesは、別途プロセス報酬モデルを用意することなく、PKC合成で保持されたゴールド（正解）エンティティ・シーケンスをステップレベルのクレジット割り当てに再利用するポストトレーニング・アルゴリズムであるHaPOを提案する。

ホップ・アンカー・グループ: 軌跡を、それらが正常にリトリーバルした中間ゴールド・エンティティごとにグループ化する。これらのグループ内において、アドバンテージはグループの結果に対して計算され、特定の中間状態に到達した後のアクションの効果を分離する。
結合アドバンテージ: 最終的なアドバンテージ信号は、軌跡レベルのアドバンテージと、ホップ・アンカー型のステップレベルのアドバンテージを補間する。
致命的エラーへのマスキング: 連続したツールのエラーによって生じる退化した軌跡のサフィックス（接尾辞）を検出し、マスクすることで、勾配ノイズによる方策更新の汚染を防ぐ。
滑らかな非対称ゲーティング: ハードなクリッピングの代わりに、シグモイド関数ベースのゲートを採用して長期的な最適化を安定させ、負のアドバンテージに対してより強い減衰を適用する。

主な貢献

統一された検索世界シミュレーション: 型付き知識グラフを用いて、データ合成、環境シミュレーション、およびRLトレーニングを共同設計する新しいフレームワークであり、データ・環境・報酬の断絶を解消する。
知覚・知識連鎖（PKC）合成: 構造的な保証（P-K交互作用、曖昧さ回避）と情報の隠蔽を備えた、制約付きマルチホップ視覚言語質問を生成するKG駆動型パイプライン。
エージェンティック・ポストトレーニング・パイプライン（HaPO）: 保持された構造的メタデータ（ゴールド・エンティティID）を活用し、訓練済みのプロセス報酬モデルを必要とせずに、ホップ・アンカー型と軌跡レベルの信号を融合させてステップレベルのクレジット割り当てを可能にするトレーニングアルゴリズム。
VisSearch Bench: P-K交互作用構造を持つマルチホップ視覚検索を評価するために導入された新しいベンチマーク。

実験結果

SearchEyesは、6つのマルチモーダル知識集約型ベンチマーク（SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA）および新しいVisSearch Benchを用いて評価された。

パフォーマンス: SearchEyes-27Bは、オープンソースのマルチモーダル検索エージェントの中で最先端の性能を達成し、最強のオープンソース・ベースラインを平均で6.2ポイント上回った。
パラメータ効率: SearchEyes-9Bは、30B規模のベースライン（例：OpenSearch-VL-30B）と同等の性能を、3.3倍少ないパラメータ数で実現しており、優れたデータ効率を示した。
アブレーション研究:
- PKCの制約（P-K交互作用やショートカット防止フィルタリングなど）を取り除くと、大幅な性能低下（平均で最大-7.7ポイント）が見られ、真のマルチステップ推論を学習するためには構造的制約が必要であることが確認された。
- HaPOを標準的なGRPOに置き換えると、平均で-4.0ポイントの低下となり、ステップレベルのクレジット割り当てがマルチホップ検索における主要なボトルネックであることが検証された。

意義

本論文は、現在のマルチモーダル検索エージェントの主な限界は、モデルの容量ではなく、データ、環境、および報酬の間の構造的な断絶にあると主張している。知識グラフを統一されたバックボーンとして扱うことで、SearchEyesは、**データ・環境・アルゴリズムの共同設計（co-design）**が、効果的な長期的なエージェントを訓練するために不可欠であることを示している。結果は、トレーニング・パイプライン全体を通じて構造的メタデータを保持することが、精密なステップレベルのクレジット割り当てを可能にし、より小さなモデルがより大規模なプロプライエタリ・システムに匹敵する性能を達成できることを示唆している。本研究は、外部の非決定的なAPIに依存することなく、強力なマルチモーダル検索エージェントを構築するための、再現可能なオープンソースのレシピを提供するものである。