mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA

以下は、論文「mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA」の詳細な技術的サマリーです。

1. 問題定義

**知識集約型視覚質問応答（VQA）**は、訓練データや直近の視覚入力に存在しない外部の百科事典的知識や長尾事実に依存する質問にモデルが回答することを要求します。マルチモーダル大規模言語モデル（MLLM）は常識推論に優れていますが、特定の事実に関する問い合わせには苦戦し、しばしば幻覚（ハルシネーション）を発生させたり、回答を拒否したりします。

現在の**検索拡張生成（RAG）**アプローチは、外部ドキュメントを検索することでこの問題を解決しようとしています。しかし、既存の手法には 3 つの重要な限界があります：

1. 構造化されていないノイズ: 構造化されていないテキストチャンクや段落に依存しており、これが無関係な文脈や「ノイズ」をもたらします。その結果、MLLM が重要な事実を特定することが困難になります。
2. 構造的関係の欠如: 知識要素間の論理的つながりを軽視しており、モデルが多段推論を行う能力を制限しています。
3. モダリティの隔たり: ほとんどの RAG システムは単一モダリティの検索器（テキストのみまたはビジョンのみ）を使用するか、視覚的証拠とテキスト的証拠を効果的に整合させることに失敗しており、マルチモーダルなシナリオでは最適ではない検索結果をもたらします。

2. 手法：mKG-RAG

著者らは、マルチモーダル知識グラフ（KG）を RAG パイプラインに統合するフレームワークであるmKG-RAGを提案します。このフレームワークは、主に 2 つの段階で構成されます：

A. マルチモーダル知識グラフの構築

特定の知識や長尾知識が欠如している既存の KG を使用する代わりに、mKG-RAG は、テキストや画像を含む非構造化マルチモーダルドキュメント（例：Wikipedia ページ）から、動的で高品質な KG を構築します。

• テキストグラフ抽出: MLLM を用いてテキストセグメントからエンティティと関係性を抽出し、テキスト部分グラフ（$G_t$）を形成します。
• 視覚グラフ抽出: シーングラフ生成（SGG）技術を用いて、画像内のオブジェクトとその空間的・意味的関係を検出し、視覚部分グラフ（$G_v$）を形成します。
• マルチモーダルグラフ集約: 中核的な革新として、MLLM がビジョン - テキストマッチャとして機能します。これは、意味的一貫性に基づいて $G_t$ と $G_v$ のエンティティと関係性を整合させます。
  • メカニズム: MLLM は、画像、テキストグラフ（自然言語として）、視覚グラフ（オブジェクト ID、カテゴリ、バウンディングボックスとして）を受け取ります。そして、一致するペアを出力し、視覚的属性（バウンディングボックス、オブジェクトカテゴリ）をテキストエンティティに効果的に付与します。
  • 結果: ノードとエッジの両方がテキスト記述と視覚的グラウンディングを有する、統合されたマルチモーダル KG が生成されます。

B. 双段階マルチモーダル検索

大規模なグラフを検索する際の計算コストに対処するため、mKG-RAG は 2 段階の検索戦略を採用します：

1. 粗粒度ドキュメント検索:
   • **クエリ対応型マルチモーダル検索器（QM-Retriever）**を用いて、ドキュメントコーパス全体に対してベクトル検索を実行します。
   • QM-Retriever は、マルチモーダルクエリ（画像＋質問）を証拠（画像＋テキスト）に整合させるように訓練されています。これには、潜在空間内で疑問文を宣言文に変換する「質問変換器」が含まれており、証拠テキストとのマッチングを改善します。
   • この段階で、検索空間を上位 K 個の候補ドキュメントに絞り込みます。
2. 多粒度グラフ検索:
   • 候補ドキュメントのオフライン KG をマージして、クエリ固有の部分グラフを構築します。
   • エンティティ/関係性検索: クエリとの埋め込み類似度に基づいて、特定のノードとエッジを検索します。
   • 部分グラフ拡張: 検索された部分グラフ上で $l$-ホップの隣接ノード探索（幅優先探索）を実行して文脈的なつながりを捕捉しますが、ノイズを防ぐために類似度閾値を超える隣接ノードのみを含めます。

C. 回答生成

MLLM に供給される最終的なコンテキストには、元の画像、質問、検索された構造化グラフ要素（知識の概要を提供）、および関連するテキストチャンク（詳細を提供）が含まれます。

3. 主な貢献

1. マルチモーダル KG 拡張 RAG: 知識集約型 VQA 向けに、構築されたマルチモーダル KG を RAG に統合する初のフレームワークであり、構造的関係とクロスモーダルの手がかりを捉えます。
2. 新規構築パイプライン: MLLM 駆動の抽出とビジョン - テキストマッチングを用いて、非構造化マルチモーダルドキュメントを構造化 KG に蒸留する手法であり、モダリティ間での意味的一貫性を保証します。
3. 双段階検索と QM-Retriever: 2 段階の検索パラダイム（ドキュメント $\to$ グラフ）と、モダリティの隔たりを埋めるためにコントラスティブ学習と質問再定式化の目的で訓練された専用クエリ対応型マルチモーダル検索器です。
4. 最先端のパフォーマンス: 標準ベンチマークにおいて、既存のベースラインを大幅に上回る性能を達成しました。

4. 実験結果

この手法は、E-VQA（5.8K サンプル）とInfoSeek（73K 検証サンプル）の 2 つのベンチマークで評価されました。

• 性能:
  • E-VQA: **36.3%*の精度（All set）を達成し、以前の最高記録（ReflectiVA）を大幅に上回りました。
  • InfoSeek: **40.5%**の精度（All set）を達成し、新たな最先端を確立しました。
  • 改善: ゼロショット MLLM と比較して、mKG-RAG は E-VQA で 20% 以上、InfoSeek で 31% 以上の精度向上を達成しました。
• 検索効率: QM-Retriever は、CLIP などの最良の単一モダリティ/クロスモーダルベースラインに対して、E-VQA で平均 Recall を9.9%、InfoSeek で**7.0%**向上させました。
• アブレーション研究:
  • QM-Retriever を除去し（代わりに CLIP を使用）、精度は約 4-5% 低下しました。
  • グラフ検索をチャンクベースの検索に置き換えると、精度は約 8% 低下しました。
  • 部分グラフ拡張は、追加で約 1.3% の向上に寄与しました。
• 汎化性: このフレームワークは、パラメータサイズに関わらず、さまざまな MLLM アーキテクチャ（Phi3V、LLaMA-3.2、Qwen2.5-VL など）において一貫した性能向上（平均 +9.4%）を示しました。
• 効率性: 複雑なパイプラインにもかかわらず、重い KG 構築はオフラインで行われます。オンライン推論は、ゼロショット生成と比較して計算コストを1.14 倍に増やすだけであり、単純な RAG に対して1.37 倍の精度向上をもたらします。

5. 意義

この論文は、マルチモーダル AI における重要なボトルネック、すなわち視覚的およびテキスト的な手がかりが絡み合っている際に、構造化された外部知識に基づいて推論できないという現在のモデルの限界に対処しています。非構造化テキスト検索から構造化マルチモーダルグラフ検索へと移行することで、mKG-RAG は以下の点を実現します：

• 幻覚の低減: MLLM を導く正確で構造化された証拠を提供します。
• 推論の強化: グラフ構造は関係性を明示的にモデル化し、多段推論（例：画像内のオブジェクトをドキュメント内の特定の事実と結びつけること）を支援します。
• モダリティの統合: QM-Retriever とビジョン - テキストマッチングにより、視覚的証拠とテキスト的証拠が別々のサイロとして扱われるのではなく、一貫して検索・整合されることを保証します。

この研究は、構造化知識表現（KG）を生成モデルに統合することが、従来の RAG に比べて知識集約型タスクにとって優れたパラダイムであることを示しており、より信頼性が高く事実的なマルチモーダル AI システムへの道を開いています。