QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering

本文提出了 QA-Dragon，一种面向知识密集型视觉问答的查询感知动态检索增强生成系统，通过引入领域路由器和搜索路由器协同文本与图像检索代理，有效解决了现有方法在复杂多跳推理及多源知识融合方面的局限，并在 KDD Cup 2025 Meta CRAG-MM 挑战赛中显著提升了基座模型的推理性能与准确率。

要点

这篇论文介绍了一个名为 QA-Dragon（问答龙）的智能系统。你可以把它想象成一个拥有“超级大脑”和“全能助手团队”的视觉侦探，专门用来解决那些看图说话、但光靠看图还答不上来的复杂问题。

为了让你更容易理解，我们用几个生活中的比喻来拆解它的工作原理：

1. 核心痛点：为什么现在的 AI 会“胡编乱造”？

现在的多模态大模型（能看图也能说话的 AI）虽然很聪明，但就像是一个博学的学生，他脑子里装了很多知识，但有两个致命弱点：

• 记性不好：对于冷门知识或最新新闻，他可能记不清，容易瞎编（这叫“幻觉”）。
• 不会查书：遇到复杂的逻辑题，他习惯凭感觉猜，而不是去翻书找证据。

QA-Dragon 的出现，就是给这个学生配了一个“超级图书馆”和“专业顾问团”，让他学会“不懂就查，查完再答”。

---

2. QA-Dragon 的“超能力”工作流

想象一下，你戴着一副智能眼镜，拍了一张照片问：“这辆蓝色车的引擎有多大？”QA-Dragon 会按以下步骤处理：

第一步：分诊台（领域路由器）——“这是哪类问题？”

• 比喻：就像医院的分诊护士。
• 作用：当你问问题时，它先判断这个问题属于哪个领域（是“汽车”、“美食”还是“动物”？）。
• 为什么重要：问“这辆车多少钱”和问“这只猫叫什么品种”，需要的查资料方式完全不同。分诊台能确保把问题派给最懂行的专家去处理。

第二步：预思考（D-CoT）——“先自己想想，别急着查”

• 比喻：学生在查字典前，先自己在草稿纸上写写画画。
• 作用：系统会先尝试自己根据图片推理出一个初步答案。
• 关键点：它会诚实地自我反省：“我确定吗？还是我在瞎猜？”如果它觉得自己能确定（比如图片上直接写着字），它就直接回答；如果它觉得“我不确定”或者“图片里没写”，它就会触发下一步。

第三步：调度中心（搜索路由器）——“该不该查？查什么？”

• 比喻：这是整个系统的总指挥。它根据刚才的“预思考”结果，决定走哪条路：
  1. 直接输出：如果问题很简单（比如“伞上写了什么字”），直接回答，不用浪费时间查资料。
  2. 搜索验证：如果大概知道答案但不确定（比如“这辆车是哪年生产的”），就去查资料验证一下。
  3. 检索增强（RAG）：如果完全不知道（比如“这个品牌的创始人是谁”），那就必须去大搜特搜，把找到的资料拼凑成答案。

第四步：特工小队（工具路由器 + 搜索代理）——“派谁去查？”

• 比喻：总指挥决定派谁去执行任务。
  • 图片特工：如果问题是“这是什么车？”，就派图片搜索特工，去数据库里找长得像的车，比对细节。
  • 文字特工：如果问题是“这车多少钱？”，图片里肯定没有价格，就派文字搜索特工去网上搜新闻和参数。
  • 混合双打：有时候需要两个特工一起上，先找车，再搜价格。

第五步：精挑细选（重排序器）——“去伪存真”

• 比喻：就像你在网上搜了 100 条结果，但只有前 3 条是有用的。
• 作用：搜索回来的资料可能很杂（有广告、有无关信息）。这个模块像一位严厉的编辑，用“粗筛”和“细筛”两遍，把最相关、最靠谱的证据挑出来，把垃圾信息扔掉。

第六步：最终审核（后回答模块）——“双重保险”

• 比喻：考试前的最后检查。
• 作用：
  1. 生成答案：结合挑出来的证据，写出最终答案。
  2. 双重验证：
     • 白盒检查：检查 AI 自己“心里有没有底”（概率够不够高）。
     • 黑盒检查：让另一个 AI 专家来审查：“你的推理逻辑通顺吗？证据支持你的结论吗？”
  • 如果通不过，系统会老实说“我不知道”，而不是胡编乱造。

---

3. 它厉害在哪里？（比赛成绩）

这个系统在 KDD Cup 2025 的比赛中（一个专门考 AI 看图问答和查资料能力的比赛）表现非常出色：

• 单源任务（只查一种资料）：比第二名强了 5%。
• 多源任务（既要查图又要查网）：比第二名强了 6.35%。
• 多轮对话（像聊天一样连续问）：比第二名强了 5%。

简单来说：以前的 AI 像是“死记硬背的学生”，遇到不会的就瞎蒙；QA-Dragon 像是“会查资料、会分工、会自我纠错的学霸”，不仅答得准，而且知道什么时候该承认自己不知道。

总结

QA-Dragon 就是一个懂行、会查、爱思考的 AI 助手。它不再盲目自信，而是通过分诊、思考、调度、搜索、筛选、验证这一套严密的流程，确保给出的每一个答案都有据可依，极大地减少了“胡说八道”的情况。这对于医疗、法律、科研等需要高度准确性的领域来说，是一个巨大的进步。

技术摘要

以下是基于论文《QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering》的详细技术总结：

1. 研究背景与问题 (Problem)

背景：多模态大语言模型（MLLMs）在视觉问答（VQA）任务中表现出色，但在处理需要长尾知识、多跳推理（Multi-hop Reasoning）或最新事实信息的复杂查询时，容易产生幻觉（Hallucinations）或回答不准确。检索增强生成（RAG）虽被引入以缓解此问题，但现有的多模态 RAG 方法通常存在以下局限：

• 孤立检索：通常仅从纯文本或纯图像中单独检索，缺乏跨模态的协同。
• 策略僵化：难以根据查询的复杂度和领域动态选择最优的检索策略（如是否需要检索、检索文本还是图像）。
• 推理能力不足：在处理多轮对话、多跳推理及跨源信息融合时表现不佳。

核心挑战：如何在知识密集型 VQA 任务中，构建一个能够理解查询意图、动态选择检索工具、融合多源信息并进行可信验证的系统，以应对现实世界（如智能眼镜场景）中复杂、多变的问答需求。

2. 方法论 (Methodology)

作者提出了 QA-Dragon，一个面向知识密集型 VQA 的查询感知动态 RAG 系统。该系统通过模块化设计，将问题分解为三个主要分支（直接输出、搜索验证、RAG 增强），并包含以下核心组件：

2.1 预处理与路由模块 (Pre-Answer & Routing)

• 领域路由器 (Domain Router)：
  • 基于微调的 BLIP-2 模型，识别查询 - 图像对的语义领域（如车辆、食物、书籍等）。
  • 作用：根据特定领域调用定制化的思维链（D-CoT）提示模板，实现领域特定的推理。
• 预回答模块 (Pre-Answer Module / D-CoT)：
  • 利用领域特定的思维链（Domain-aware Chain-of-Thought），让 MLLM 先生成初步答案和推理轨迹。
  • 作用：明确模型已知与未知的边界，判断是否需要外部证据，并为后续路由提供依据。
• 搜索路由器 (Search Router)：
  • 基于 D-CoT 生成的推理轨迹和答案特征（如是否包含“不知道”、是否为 OCR 任务等），将查询动态分发到三个执行路径：
    1. Direct Output (直接输出)：图像本身包含足够信息（如 OCR、简单计算），直接输出。
    2. Search Verify (搜索验证)：初步答案存在不确定性，需检索外部证据进行验证。
    3. RAG-Augment (检索增强)：模型缺乏关键知识，需检索并融合新信息生成答案。
• 工具路由器 (Tool Router)：
  • 决定检索的具体模态：
    • 若物体未识别：调用图像搜索代理（检索相似图像以识别物体）。
    • 若物体已识别但缺乏属性（如价格、参数）：调用文本搜索代理（检索网页信息）。
    • 若为自包含任务：无需检索。

2.2 检索与重排序模块 (Retrieval & Reranking)

• 图像搜索代理 (Image Search Agent)：
  • 包含多模态对象提取、分割（使用 Grounding DINO 裁剪目标区域）、多图像搜索引擎（基于 CLIP 向量相似度）及实体选择（验证检索结果是否与原图一致）。
• 文本搜索代理 (Text Search Agent)：
  • 查询重写 (Query Rephrasing)：将复杂多跳查询拆解为子查询，消除指代歧义。
  • 融合搜索 (Fusion Search)：结合图像搜索中提取的实体名称，构建更精确的文本查询（例如将“这辆车的价格”转化为"BMW M4 的价格”）。
• 两阶段多模态重排序器 (Coarse-to-fine Multimodal Reranker)：
  • 粗粒度重排序：使用 Q-Former 计算查询 - 图像对与证据块（文本段落或图像属性）的相似度，过滤低相关证据。
  • 细粒度重排序：使用 LLM（Qwen3-Reranker）在单上下文内对候选证据进行点对点评分，结合粗粒度分数选出最终证据。

2.3 后处理与验证模块 (Post-Answer & Verification)

• 基于 CoT 的答案生成：利用检索到的证据，引导 MLLM 生成详细的推理过程和最终答案。
• 双重验证机制 (Dual-Verification)：
  • 白盒验证：基于生成 Token 的概率分布（最小概率和平均概率）量化不确定性，低于阈值则拒绝回答。
  • 黑盒验证：利用 MLLM 检查推理逻辑是否与检索证据一致，分类为“正确”或“错误”。

3. 关键贡献 (Key Contributions)

1. 查询感知的动态架构：首次提出结合领域路由和搜索路由的动态 RAG 框架，能够根据查询的复杂度和领域自适应地选择“直接回答”、“验证”或“增强”策略，平衡了效率与准确性。
2. 混合检索策略：创新性地设计了图像与文本搜索的协同机制。通过“融合搜索”将视觉实体信息注入文本查询，解决了多模态查询中实体指代不清和属性缺失的问题。
3. 细粒度的证据处理：提出了从对象分割、查询拆解到两阶段多模态重排序的完整证据处理流水线，显著提升了检索证据的相关性和质量。
4. 可信度保障：引入了双重验证机制（统计概率 + 逻辑一致性检查），有效抑制了 MLLM 的幻觉，确保回答基于事实证据。

4. 实验结果 (Results)

系统在 Meta CRAG-MM Challenge (KDD Cup 2025) 上进行了评估，该基准包含单源、多源和多轮对话任务。

• 整体性能：
  • 单源任务 (Single-source)：准确率 21.31%，知识重叠度 41.09%。
  • 多源任务 (Multi-source)：准确率 23.22%，知识重叠度 41.77%。
  • 多轮任务 (Multi-turn)：准确率 24.78%，知识重叠度 48.26%。
  • 对比提升：相比强基线（Direct RAG 等），在单源、多源和多轮任务上分别提升了 5.06%, 6.35% 和 5.03% 的准确率。
• 消融实验：
  • 移除领域路由器导致准确率下降约 2-3%。
  • 移除工具路由器导致单源任务准确率显著下降（从 21.31% 降至 18.32%），证明动态选择检索工具的重要性。
  • 移除查询拆分和重排序也均导致性能下降，验证了各组件的有效性。
• 案例分析：
  • “直接输出”分支在处理简单任务时准确率最高（>30%），证明了动态路由避免过度检索的价值。
  • 在“聚合类”（Aggregation）和“植物”（Plant）领域任务中表现较难，反映了多跳推理和细粒度视觉识别的挑战。

5. 意义与影响 (Significance)

• 解决现实场景痛点：QA-Dragon 专为智能眼镜等可穿戴设备的真实场景设计，能够有效处理低质量图像、复杂环境和多轮交互，为端侧或边缘侧的可靠多模态问答提供了新范式。
• 提升 RAG 的智能化水平：打破了传统 RAG“检索即生成”的线性流程，引入了“路由 - 检索 - 验证”的闭环动态决策机制，显著提升了系统在开放世界中的鲁棒性。
• 推动多模态推理发展：通过融合视觉识别、文本检索和逻辑验证，展示了如何构建一个既懂视觉又懂知识、且能自我纠错的 AI 系统，为未来知识密集型多模态应用奠定了技术基础。

该论文不仅提供了在 KDD Cup 2025 中获胜的解决方案，更提出了一套通用的、可解释的、动态适应的多模态 RAG 架构，对解决大模型幻觉和知识更新问题具有重要的参考价值。