技術要約：検索する前に思考せよ：マルチモーダルRAGのためのエージェンティック・プランニング

問題提起

マルチモーダル検索拡張生成（mRAG）は、外部知識を活用して画像とテキストのクエリに回答することを目指している。しかし、既存のシステムは通常、平坦で弱構造化されたエビデンス空間に対して「検索してから生成する（retrieve-then-generate）」パイプラインを採用している。著者らは、この支配的な設計における2つの決定的な限界を特定している：

1. 検索意図の曖昧さ（Retrieval-Intent Ambiguity）： マルチモーダル設定では、テキストの質問が情報ニーズを定義し、画像が特定の視覚的参照対象を接地（グラウンディング）させる。既存のシステムは、クエリを正しい視覚的インスタンスに明示的に接地させることに失敗することが多く、その結果、画像と質問のペアに特有のエビデンスではなく、テキストの事前知識や一般的なキャプションのようなマッチングへと検索が逸脱してしまう。
2. 弱構造化された検索空間（Weakly Structured Search Space）： ほとんどのシステムは、多様なエビデンスを単一の表現空間に埋め込み、グローバルな類似度関数に依存している。これにより、意味的に異なるエビデンスが単一のランキングステップで競合することを強いてしまい、精密でドメイン固有のエビデンスよりも、一般的なコンテンツが優先されやすくなる。

本論文は、マルチモーダル検索を「検索する前に思考する（reason before you retrieve）」こととして再定義すべきだと主張しており、これは、構造化された知識フレームワークが注意とメモリへのアクセスをガイドするという、認知科学におけるスキーマ理論（Schema Theory）のアナロジーに基づいている。

メソドロジー：MM-R2 フレームワーク

著者らは、検索を実行する前に「何を」検索し「どこを」探索するかを明示的にモデル化する、エージェンティックな検索フレームワークである MM-R2（MultiModal Reason-to-Retrieve）を提案している。このフレームワークは、以下のコンポーネントを通じて動作する。

1. インテント・リファレント・バインディング・モジュール（Intent-Referent Binding Module）

検索の前に、システムは画像と質問のペア $(I, Q)$ から構造化された**検索状態（retrieval state）**を構築する。このモジュールは $\Phi$ と表記され、トリプレット $z = (i, r, c)$ を出力する：

• $i$ (Information Need / 情報ニーズ): 必要とされる特定の知識（例：分類学、場所、機能）。
• $r$ (Grounded Referent / 接地された参照対象): クエリが参照している画像内の特定のオブジェクト、エンティティ、または領域。
• $c$ (Constraints / 制約): 回答の型、粒度、または時間的範囲などのタスク固有の条件。

このステップは、検索を実行する前に検索意図を解決し、クエリの逸脱を抑制する。

2. 構造化知識マップ（Structured KnowledgeMap）

外部知識ベースは、平坦なコーパスではなく、意味的に一貫した検索ユニット $(u_1, \dots, u_N)$ で構成されるKnowledgeMap ($K$) にあらかじめ構造化されている。

• 構築: パッセージをエンコードし、HDDBSCAN（クラスタ数を事前に固定せずに密度の変化を扱うため）を用いてクラスタリングを行い、LLMを介して軽量なメタデータ（タイトルと説明）を割り当てる。
• 機能: これはルーティングの足場として機能する。エージェントはまず、関連するユニット ($a_t$) を選択し、その後、コーパス全体をグローバルに検索するのではなく、それらのユニットの内部で接地されたクエリ ($q_t$) を実行する。

3. エージェンティック・プランニング・ループ（Agentic Planning Loop）

エージェント $A$（マルチモーダル言語モデル）は、逐次的な意思決定プロセスを実行する：

1. ルーティング (Routing): 現在の状態（意図 $z$ と履歴 $h_t$）に基づき、KnowledgeMapから1つまたは複数の検索ユニットを選択する。
2. クエリ生成 (Query Generation): 選択されたユニットに特化した、接地されたクエリを策定する。
3. 検索と更新 (Retrieval & Update): エビデンス $e_t$ を取得し、履歴 $h_{t+1}$ を更新する。
4. 終了決定 (Termination Decision): 蓄積されたエビデンスに基づき、検索を継続するか、最終的な回答 $\hat{y}$ を生成するかを反復的に決定する。

4. 学習戦略

このマルチステップのプランニングを行うようエージェントを訓練するために、著者らは教師モデルを用いて合成された、90万件の大規模な接地型マルチステップ検索軌跡からなるデータセット MM-R2-Traj を導入している。学習は、2段階のポストトレーニング・パイプラインに従う：

• ステージ1 (教師あり微調整 - SFT): エージェントは、構造化された軌跡を模倣することで、検索行動の基本構造（ユニット選択、クエリ生成、要約、回答生成）を学習する。
• ステージ2 (グループ相対方策最適化 - GRPO): ロールアウトレベルの報酬関数 ($R_i$) を用いた強化学習により、エージェントをさらに最適化する。この報酬関数は、ルーティングの質 ($R_{route}$) と最終回答の正解性 ($R_{ans}$) を共同で評価する。これにより、タスクレベルのフィードバック下での複雑な検索パスのプランニング能力が強化される。

主な貢献

1. 新しいフレームワーク: MM-R2は、検索のターゲットと検索空間の両方について明示的に推論を行うマルチモーダル・エージェンティック・フレームワークであり、検索の「何を」と「どこを」を解釈可能にする。
2. アーキテクチャの革新: Intent-Referent Binding Module と KnowledgeMap の設計は、明示的な決定状態と構造化された検索空間を提供し、従来のmRAGシステムにおける曖昧さと平坦さを解消する。
3. データセットと学習: MM-R2-Traj の構築と、SFT+GRPOによる2段階の学習戦略の採用により、エージェントが複雑なマルチステップの検索プランニングを学習することを可能にする。
4. プロセスレベルの分析: このフレームワークは軽量なプロセスレベルの分析を可能にし、推論された意図、選択されたユニット、およびエビデンスを個別に検証することができる。

実験結果

著者らは、InfoSeek と Encyclopedic VQA の2つのベンチマークで MM-R2 を評価した。

• タスクレベルの有効性: MM-R2 は強力なベースラインを大幅に上回った。InfoSeek において、MM-R2 は 54.3% の精度（All）を達成し、最も強力な先行ベースラインである Wiki-R1-7B（46.5%）を 7.8 ポイント上回った。Encyclopedic VQA では 39.4% に達した。性能向上は異なる検索予算（Top-1 から Top-5）においても一貫しており、追加のエビデンスを効果的に活用できていることを示唆している。
• プロセスレベルの検証可能性:
  • ルーティング精度: Route Recall@1 がベースラインの 0.2339 から 0.7400 へと大幅に改善し、エージェントが正しい KnowledgeMap の領域を特定できていることを示した。
  • トレースの質: トレースと回答の一貫性、およびエビデンスの網羅性に関する LLM-as-a-Judge スコアが向上した。
  • 忠実度 (Fidelity): モデルは 0.9011 の忠実度スコアを達成した。これは、公開されたエビデンスの要約から最終的な予測が高度に再現可能であることを示しており、隠れたパラメトリック知識に依存しがちなベースラインとは対照的である。

意義と主張

本論文は、マルチモーダル検索を推論タスク（「検索する前に思考せよ」）として再定義することが、多大な利益をもたらすことを MM-R2 が実証していると主張している。検索の意図を明示的に接地し、検索空間を構造化することで、システムは以下を実現する：

1. 高い精度: より精密なエビデンス検索が、より優れた回答生成につながる。
2. 解釈可能性: 検索の軌跡は透明であり、ユーザーはエージェントの推論、ルーティングの決定、およびエビデンスの使用状況を検査できる。
3. 検証可能性: 公開されたエビデンスの要約は、最終的な回答を正当化するのに十分であり、「ブラックボックス」的なパラメトリック知識への依存を軽減する。

著者らは、MM-R2 が、静的で平坦な検索パイプラインと比較して、複雑なマルチモーダルクエリに対してより堅牢で信頼性の高いアプローチを提供すると結論づけている。