MCite-RL: Towards Reliable Multimodal RAG via Citation-enhanced Agentic Reinforcement Learning

技術要約: MCite-RL

問題提起
マルチモーダル検索拡張生成（RAG）システムは、生成された回答を視覚的な証拠に結びつけることで、マルチモーダル大規模言語モデル（MLLM）の追跡可能性と検証可能性を高めることを目的としています。しかし、現在のアプローチ、特に教師あり微調整（SFT）や静的なRAGパイプラインに依存する手法は、以下の2つの決定的な限界に直面しています：

1. 不正確な視覚的引用: モデルは証拠を適切な粒度でローカライズできず、バウンディングボックスが広すぎたり（無関係な領域まで含んでしまう）、逆に細かすぎたり（重要な詳細を見逃してしまう）して、空間的なドリフト（ずれ）が生じることがあります。
2. 回答と引用のデカップリング（乖離）: 生成された回答と引用された視覚領域の間に不一致が生じることが頻繁にあります。モデルは内部的な推論に基づいて正しい回答を生成しているものの、全く異なるコンテキストから視覚領域を引用してしまうことがあり、これがシステムの信頼性を損なわせます。

既存の手法は、視覚的なグラウンディングを静的な単一ステップのプロセス、あるいは暗黙的な中間信号として扱っており、複雑なマルチモーダル文書において信頼性が高く微細な引用を実現するために必要な、反復的な洗練や明示的な最適化を欠いています。

手法: MCite-RL
著者らは、回答の正確性とソースの追跡可能性を共同で最適化するように設計された、引用強化型エージェント強化学習フレームワークであるMCite-RLを提案しています。このフレームワークは、2つのコアコンポーネントで構成されています：

1. エージェントによる洗練ワークフロー:

   • 単一ステップの生成ではなく、モデルは逐次的な意思決定軌跡（$\tau$）を実行するエージェントとして動作します。
   • このプロセスには、反復的な検索と**漸進的な視覚的クロッピング（切り出し）**が含まれます。エージェントは、関連する画像を検索することと、無関係な視覚領域を削ぎ落として探索空間を狭めることを交互に行います。
   • この動的なプロセスにより、引用は静的なステップから証拠駆動型の推論ループへと変貌し、最終的な回答と引用を共同で生成する前に、最適な視覚領域（$\hat{v}_{cT}$）へと段階的に収束させることが可能になります。

2. 引用強化型報酬メカニズム:

   • 本フレームワークは、強化学習パラダイム（具体的にはGroup Relative Policy Optimization: GRPO）内で、プロセスレベルとアウトカムレベルのフィードバックを統合した複合報酬関数 $R(\tau)$ を採用しています。
   • プロセスレベル報酬 ($R^{proc}_{cit}$): 中間的なクロップ（切り出し）を評価するためにIntersection-over-Ground-truth (IoGT) を使用します。これにより、エージェントが探索中の情報損失を防ぎつつ、プロセス全体を通じて核となる証拠を保持するように促します。
   • アウトカムレベル報酬 ($R^{out}_{cit}$): 最終的な予測された引用を正解（Ground Truth）に対してIntersection-over-Union (IoU) で評価し、精密なローカライズを保証します。
   • 追加報酬: 関数には、有効なエージェントの軌跡を確保するための検索効率（nDCG）、回答の正確性（Exact Match）、およびフォーマット制約も含まれています。

トレーニングパイプライン
トレーニングは2段階のプロセスに従います：

1. SFTコールドスタート: モデルはまず、GPT-5によって生成されたステップごとのエージェントの軌跡（検索、クロッピング、回答）を含む合成データを用いて微調整されます。これにより、ベースラインとなる方策（ポリシー）を確立し、モデルに必要な構造的シーケンスを習得させます。
2. 引用強化型RL: SFT調整済みのモデルは、GRPOを用いたRLトレーニングを受けます。エージェントは複数のロールアウトを生成し、引用強化型報酬に基づいて方策が更新され、引用の精密さと回答の正確さの両方を直接最適化します。

主な貢献

• フレームワーク: マルチモーダルRAGにおける信頼性のギャップに対処するため、エージェントのワークフローと引用強化型RLを統合したMCite-RLを導入しました。
• ワークフロー設計: 共有された推論プロセス内で回答と引用を一致させるために、反復的な証拠の洗練を用いる、視覚的引用のための新しいエージェントによる洗練メカニズムを提案しました。
• 報酬関数: 引用を副産物としてではなく主要な目的として扱い、回答の正確性と並行して引用の精密さ（プロセスおよびアウトカムの両方）を明示的に最適化するマルチレベル報酬関数を開発しました。
• 実証的検証: 明示的な引用の監督が、引用の精度と回答の質の双方に改善をもたらすことを示す広範な評価を実施しました。

実験結果
著者らは、Qwen2.5-VL (3B および 7B) バックボーンを用い、Wiki-VISA、FinRAGBench-V、MMLongBench-Doc の3つのベンチマークでMCite-RLを評価しました。

• 引用の精度: MCite-RLはベースラインに対して大幅な改善を示しました。Qwen2.5-VL-7B バックボーンにおいて、MCite-RLはバニラRAGと比較してIntersection-over-Union (IoU) 指標を平均で 26.16% 向上させました。具体的には、Wiki-VISAで 36.05%、FinRAGBench-Vで 37.22% の引用精度に達し、VRAG-RLやプロプライエタリなモデル（例：GPT-4o, Gemini-2.0）といった強力なベースラインを上回りました。
• 回答の正確性: 引用報酬の統合により、回答の正確性も同時に向上しました。7Bモデルにおいて、MCite-RLはWiki-VISAで 60.00% の精度を達成し、従来の強力なベースラインよりも 4〜6% 向上しました。
• アブレーション研究: RLステージまたは引用報酬を除去すると、大幅な性能低下が見られました。これは、戦略的な報酬最適化が成功の主要な要因であることを裏付けています。また、アウトカムレベルの報酬は過度に広範なクロップを防ぐために重要であり、プロセスレベルの報酬は証拠の保持を保証することが確認されました。

意義と主張
本論文は、引用の精度を目的レベルで明示的に最適化することが極めて重要であることを示すことで、信頼できるマルチモーダルRAGの課題に対する体系的な解決策を提示しています。著者らは、引用強化型強化学習が、推論を精密で共有された視覚的証拠に根ざさせることで、出力の検証可能性を高めるだけでなく、回答の質をも向上させると主張しています。本研究は、信頼できるマルチモーダルRAGには単なる正確な回答以上のもの、すなわち精密な証拠のローカライズと、一貫した回答と引用の整合性が必要であり、それは反復的なエージェントによる洗練とマルチレベルの報酬監督を通じて達成できることを強調しています。

限界
著者らは、現在のトレーニングプロセスが計算コストの増大を招くこと、および、現在の定式化が単一画像上のバウンディングボックスによる引用に限定されており、より表現力豊かな引用構造を明示的にモデル化していないことを認めています。また、システムは追跡可能性を向上させるものの、検索されたコンテンツ自体の事実的正当性を保証するものではないことも述べています。