QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering

本論文は、テキストと画像の検索を動的に組み合わせることで複雑な推論を可能にする「QA-Dragon」という新しい RAG システムを提案し、KDD Cup 2025 のメタ CRAG-MM チャレンジにおいて既存手法を上回る精度を達成したことを報告しています。

要約

この論文は、**「QA-Dragon（クエリ・ドラゴン）」**という、非常に賢い「質問に答えるための新しいシステム」について紹介しています。

簡単に言うと、**「写真を見て、その写真に関する難しい質問に答えるとき、AI が嘘をついたり、勘違いしたりしないようにするための『超・優秀な図書館司書』」**のようなものです。

以下に、専門用語を排して、身近な例え話を使って説明します。

---

🐉 問題：AI はなぜ「嘘」をつくのか？

まず、今の AI（マルチモーダル大規模言語モデル）は、写真を見て「これは何ですか？」と聞かれると、すごい速さで答えます。でも、「知らないこと」を無理やり知っているふりをして、でたらめな答え（ハルシネーション）を言ってしまうことがあります。
特に、「この車のエンジンの排気量は？」や「このお店の創業年は？」といった、写真には書いていない**「詳しい知識」**が必要な質問になると、AI はついつい嘘をついてしまいます。

🛠️ 解決策：QA-Dragon（クエリ・ドラゴン）の登場

そこで登場するのがQA-Dragonです。これは、AI が「自分で知っていること」と「調べる必要があること」を瞬時に見極め、必要な情報を集めてから答えるようにする**「賢い調整役」**です。

このシステムは、まるで**「優秀な編集長が率いる調査チーム」**のように動きます。

1. 最初のチェック：「どんな質問？」（ドメイン・ルーター）

質問が来ると、まず**「編集長（ドメイン・ルーター）」**が「これは『車』の話？『食べ物』の話？それとも『数学』？」と分野を瞬時に判断します。

• 例え： 病院で患者が来たら、まず「内科か外科か」を判断して、専門の医師に回すようなものです。

2. 自己分析：「本当に答えられる？」（D-CoT）

次に、AI 自身に**「一応、考えてみて」**と言います。

• 例え： 学生に「この問題、解ける？」と聞きます。「はい、写真を見れば答えられます！」と自信があればそのまま答えます。でも、「うーん、写真には書いてないな…」と迷いが出たら、**「外部の専門家に助けを求めよう」**と判断します。

3. 戦略決定：「どう調べる？」（サーチ・ルーター & ツール・ルーター）

ここが QA-Dragon の一番のすごいところです。

• サーチ・ルーター（作戦会議）： 「本当に調べる必要がある？」と判断します。写真だけで答えられるなら、無駄な時間をかけずに即答します。
• ツール・ルーター（道具選び）： 調べる必要があるなら、「写真で探す」か「文字で（ネット検索で）探す」かを決めます。
  • 「この車は何という車？」→ 写真検索（似ている車を探す）
  • 「この車の値段は？」→ 文字検索（ネットの価格情報を調べる）
  • 例え： 料理の材料が足りないとき、「冷蔵庫（写真）にあるか確認」するか、「近所のスーパー（ネット）に行くか」を決めるようなものです。

4. 情報収集と整理（検索エージェント & リランキング）

集めた情報は、そのまま使うと「ゴミ」や「関係ない情報」が混じっています。

• 例え： 図書館で本を借りてきたとき、**「一番重要なページだけ抜き出して、読みやすくまとめる」**作業をします。
  • まず粗く選んで（Coarse-grained）、次に AI が「本当にこの情報が質問に合っているか」を厳しくチェックして（Fine-grained）、最高の情報だけを選び出します。

5. 最終確認：「嘘じゃないか？」（検証モジュール）

最後に、**「ダブルチェック」**を行います。

• 集めた情報と、AI が考えた答えが矛盾していないか、論理的におかしくないかをチェックします。
• もし自信が持てないなら、「わかりません」と正直に答えます。無理に答えようとしないのが、このシステムの最大の特徴です。

---

🏆 結果：どれくらいすごい？

このシステムは、2025 年の「KDD カップ」という AI 大会でテストされました。

• 単一の情報源（写真だけ）： 従来の方法より5% 以上正解率がアップ。
• 複数の情報源（写真＋ネット）： さらに6% 以上アップ。
• 複数回の会話（チャット形式）： 文脈を理解して5% 以上アップ。

**「嘘をつかずに、正確に答える」**という点で、既存の AI よりもはるかに優秀な結果を出しました。

📝 まとめ

QA-Dragonとは、

「写真を見て、必要な時に『写真検索』も『ネット検索』も使い分け、集めた情報を厳しくチェックしてから、自信を持って（あるいは『わからない』と正直に）答える、超・賢い AI 助手」

です。
これにより、AI が医療、法律、旅行など、「正確さが命」の分野でも、安心して使えるようになる未来が近づいています。

技術概要

以下は、提示された論文「QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering」の技術的サマリーです。

QA-Dragon: 知識集約型視覚的質問応答（VQA）のためのクエリ認識型動的 RAG システム

1. 背景と課題

マルチモーダル大規模言語モデル（MLLM）は、視覚的質問応答（VQA）タスクにおいて高い能力を示していますが、長尾知識や多段階推論（Multi-hop reasoning）を必要とするクエリに対しては、幻覚（Hallucination）や不正確な回答を生成する傾向があります。既存の検索拡張生成（RAG）手法は、テキストまたは画像のいずれか一方のみを単独で検索するケースが多く、複雑なクエリや最新事実を必要とするタスクに対応する能力に限界がありました。特に、リアルワールドのウェアラブルデバイス（スマートグラス等）の画像に基づく VQA において、どのようにして信頼性の高い回答を生成するかが課題となっています。

2. 提案手法：QA-Dragon

著者らは、KDD Cup 2025 の「Meta CRAG-MM Challenge」に対応するため、QA-Dragon（Query-Aware Dynamic RAG System）を提案しました。これは、ドメイン認識、適応的検索、信頼性検証を統合したフレームワークです。

主要なアーキテクチャとコンポーネント

QA-Dragon は、入力された画像とテキストクエリに対して、以下のモジュールを動的に連携させて動作します。

1. 事前回答モジュール（Pre-Answer Module）:

   • ドメインルーター（Domain Router）: 入力（画像＋クエリ）のセマンティックなドメイン（例：車両、食品、書籍など）を BLIP-2 を用いて分類し、ドメイン固有の推論戦略を適用します。
   • D-CoT（Domain-specific Chain-of-Thought）: 分類されたドメインに基づき、MLLM に段階的な推論と暫定的な回答を生成させます。この際、モデルが「わからない」と判断した場合や、不確実性を示す場合は、外部情報の検索が必要であると判断されます。

2. 検索ルーター（Search Router）:

   • D-CoT による推論トレースと暫定回答を分析し、以下の 3 つの実行パスのいずれかを動的に選択します。
     • Direct Output: 画像からのみ回答が可能と判断された場合（OCR や単純な計算など）。
     • Search Verify: 回答は可能だが、事実確認のために外部証拠が必要と判断された場合。
     • RAG-Augment: 画像に情報がなく、外部知識（テキストまたは画像）の検索が必須と判断された場合。

3. ツールルーター（Tool Router）:

   • 検索が必要な場合、画像検索エージェントかテキスト検索エージェントのどちら（あるいは両方）を呼び出すかを決定します。
     • 物体の特定が不明な場合は画像検索（視覚的類似性）。
     • 物体は特定できるが、仕様や価格などの事実情報が不足している場合はテキスト検索（Web 検索）。

4. 検索エージェントと再ランク付け:

   • 画像検索エージェント: 物体抽出（Segmentation/DINO）を行い、視覚的に類似する画像と構造化メタデータを取得します。
   • テキスト検索エージェント: 複雑なクエリを部分クエリに分割（Query Splitting）し、検索対象を明確化して Web 情報を取得します。
   • 粗密マルチモーダル再ランク付け（Coarse-to-Fine Multimodal Reranker）: 取得した画像・テキスト証拠を、Q-Former による粗粒度フィルタリングと、LLM ベースの微粒度再ランク付けの 2 段階で処理し、最も関連性の高い証拠のみを選択します。

5. 事後回答モジュール（Post-Answer Module）:

   • 再ランク付けされた証拠に基づき、CoT による最終回答を生成します。
   • 二重検証（Dual-Verification）: 生成された回答の信頼性を評価するため、トークン確率に基づくホワイトボックス検証と、論理的整合性を確認する MLLM ベースの検証を行い、幻覚を抑制します。

3. 主要な貢献

• クエリ認識型動的 RAG: 単一の検索戦略に依存せず、クエリの意図とドメインに応じて検索パス（直接出力、検証、RAG）と検索ツール（画像/テキスト）を動的に切り替えるシステムを構築しました。
• ハイブリッド検索の統合: 画像 KG（知識グラフ）と Web テキスト検索をシームレスに融合し、マルチモーダル・マルチターン・マルチホップ推論を可能にしました。
• 信頼性の高い生成: 事前推論、証拠の厳密な再ランク付け、および二重検証メカニズムを導入することで、MLLM の幻覚を大幅に低減しました。

4. 実験結果

Meta CRAG-MM Challenge（KDD Cup 2025）の 3 つのタスク（単一ソース、複数ソース、マルチターン）において評価を行いました。

• 性能向上: ベースライン（LLM のみ、CoT、単純な RAG）と比較して、QA-Dragon はすべてのタスクで顕著な性能向上を示しました。
  • 単一ソースタスク: 精度が 5.06% 向上（21.31%）。
  • 複数ソースタスク: 精度が 6.35% 向上（23.22%）。
  • マルチターンタスク: 精度が 5.03% 向上（24.78%）。
  • 知識重なりスコア（Overlap）: 正解の証拠との一致度も大幅に改善されました。
• アブレーション研究: ドメインルーター、ツールルーター、クエリ分割、再ランク付けの各コンポーネントを除去すると性能が低下することが確認され、各モジュールの有効性が証明されました。
• 分析結果: 「直接出力」が選択されたクエリでは最も高い精度を示しましたが、「多段階推論（Multi-hop）」や「集約（Aggregation）」を必要とするクエリ、および「植物」のような微細な視覚識別が難しいドメインでは依然として課題が残ることが示されました。

5. 意義と結論

QA-Dragon は、複雑で知識集約的な VQA タスクにおいて、MLLM の限界を克服し、信頼性の高い回答生成を実現する有効なアプローチを示しました。特に、ウェアラブルデバイスやリアルワールド環境における「幻覚のない」質問応答システムの構築に向けた重要なステップであり、動的な検索戦略の選択と厳密な証拠検証の重要性を浮き彫りにしました。この研究は、マルチモーダル RAG の将来の発展において、ドメイン適応性と推論の透明性を重視する方向性を示唆しています。