💬 NLP

UniHEAR: Unified Heterogeneous-Source Attentive Retrieval for Knowledge-Based Visual Question Answering

UniHEAR 是一个统一且轻量级的框架，它通过采用粗粒度检索描述符、检索引导的注意力模态门控以及熵加权源融合，克服了基于知识的视觉问答中单源检索和盲源重排序的局限性，从而在 E-VQA 和 InfoSeek 基准测试上实现了最先进的性能。

原作者： Ganzhong Luo, Yang Ren, Hanyong Wang, Shuyu Zheng, Menglong Yang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ganzhong Luo, Yang Ren, Hanyong Wang, Shuyu Zheng, Menglong Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个棘手的谜题，但答案并不隐藏在你面前的图片中，而是隐藏在一个你看不见的、由书籍、网站和照片组成的庞大图书馆里。这就是**知识型视觉问答（Knowledge-Based Visual Question Answering, KB-VQA）**的世界。这是人工智能的一个分支，计算机通过观察一张图片，阅读一个关于它的问题，然后必须从外部世界中挖掘出正确的知识来给出聪明的回答。把它想象成一个侦探，他能看到犯罪现场，但需要查阅警察数据库才能知道嫌疑人到底是谁。

长期以来，这些 AI 侦探面临着一个主要问题：它们非常不擅长寻找正确的线索。它们通常只依赖一种搜索方式。有时，它们只寻找与原图看起来相似的图片（就像寻找双胞胎）；而有时，它们只寻找在语义上与问题听起来一致的文本（就像寻找同义词）。但如果答案是在一张看起来与原图并不完全相同的图片中，或者是在一段没有使用完全相同词汇的文本中呢？AI 就会错过它。此外，即使它们找到了一个可能的线索列表，它们也往往对这些线索的来源“视而不见”，将一个模糊的猜测与一个确凿的命中视为同等对待。这篇论文介绍了一个名为 UniHEAR 的新系统，它通过让 AI 同时进行两种不同的搜索，并使用一种巧妙的技巧来决定哪些线索是最优的，从而解决了这些错误。

侦探的新工具箱：UniHEAR

认识一下 UniHEAR，这是一个全新的、轻量级的 AI 框架，旨在成为视觉谜题的终极侦探。来自四川大学的研究团队意识到，现有的 AI 系统陷入了两个大陷阱。

陷阱 #1：单眼的搜索
想象你在寻找一只丢失的狗。如果你只询问那些见过一只和你家狗看起来一模一样的狗的人，你可能会错过那个见过一只叫声和你家狗完全一样的狗的人。现有的 AI 系统经常这样做。它们要么搜索视觉匹配（图像到图像），要么搜索文本匹配（图像到文本），但很少两者兼顾。这造成了“单一来源检索瓶颈”。如果真实的答案只存在于文本搜索中，视觉搜索就会失败，反之亦然。结果就是，AI 错过了回答问题所需的真相事实。

陷阱 #2：盲目的分类器
一旦 AI 找到了潜在的线索列表，它必须对它们进行排序以找到最好的一个。旧的方法就像一个图书管理员，无论书是来自“历史”部门还是“小说”部门，都把书架上的每一本书视为完全一样。论文称之为“检索源盲目重排序（Retrieval-Source-Blind Reranking）”。AI 忽略了某些线索是强视觉匹配，而另一些是强文本匹配这一事实，导致它在冗余信息上浪费时间，并将错误的答案排在前面。

UniHEAR 如何破解谜题

UniHEAR 改变了游戏规则，它像是一个同时使用两个不同搜索引擎，并使用智能过滤器挑选优胜者的侦探。

第一步：双重搜索
UniHEAR 不再只选择一种搜索方式，而是同时向两个不同的“图书馆”发送问题：

视觉图书馆： 它寻找与问题中的图像相似的图像。
文本图书馆： 它寻找与问题含义相匹配的文本摘要。
它将来自两者的结果合并为一个巨大的“候选池”。这确保了如果答案隐藏在图片或段落中，它都能被找到。

第二步：为每个线索制作“身份证”
这是聪明之处。对于在那个巨大候选池中找到的每一个线索（或“实体”），UniHEAR 都会创建一个特殊的粗粒度检索描述符（Coarse Retrieval Descriptor）。你可以把它看作是线索的“身份证”。这张卡片不仅记录“我找到了这个”，还记录了它是如何被找到的。它记录了：

它在列表中的排名有多高？
搜索引擎有多自信？
搜索引擎发现它时的“惊讶程度”（熵）是多少？
这张身份证告诉系统：“嘿，这个线索来自文本搜索且排名第一，而那个线索来自图像搜索且排名第五。”

第三步：智能过滤器（检索引导的门控）
现在到了排序阶段。旧系统对所有线索一视同。UniHEAR 使用了一个名为**检索引导的注意力模态门控（Retrieval-Guided Attentive Modality Gating）**的新模块。想象一个夜总会的保安，他会查看每个试图进入的人的身份证。

如果一个线索来自视觉搜索，保安知道视觉部分已经得到了“证实”，因此不需要再次过度关注视觉特征。它会将注意力转向文本。
如果一个线索来自文本搜索，它会将注意力转向视觉细节。
这防止了 AI 陷入两次观察同一事物的循环。它利用“身份证”来决定在图片与文字之间分配多少权重。

第四步：最终融合
最后，UniHEAR 增加了一个“无需训练”的加分项。它获取来自搜索引擎的原始分数，并使用一种称为**熵加权源融合（Entropy-Weighted Source Fusion）**的方法将其与新的智能排序分数混合在一起。这确保了如果一个搜索引擎非常自信（低熵），其线索会获得额外的提升。

结果：更快、更聪明

作者在两个主要数据集 E-VQA 和 InfoSeek 上测试了 UniHEAR，这两个数据集就像是这些 AI 侦探的“期末考试”。

更擅长寻找线索： 在 E-VQA 测试中，UniHEAR 比最强的现有方法在“Recall@1”（找到第一个正确答案的能力）上提高了 6.7 个点。在 InfoSeek 上，它提高了 1.2 个点。这意味着它比以前更频繁地找到正确答案。
更擅长回答问题： 在实际回答问题时，UniHEAR 达到了最先进的水平（state-of-the-art）。例如，在 E-VQA 数据集上，它得分 53.2%，击败了许多使用更大、更重模型的顶尖方法。
轻量化： 尽管做了更多工作（搜索两个来源并使用复杂的过滤器），UniHEAR 却出奇地轻量。它使用的模型仅有 1.97 亿个参数，而它的竞争对手通常使用 12 亿到 17 亿个参数的模型。这就像是在背包里装下了超级计算机的力量。

这意味着什么

该论文明确反对了我们必须依赖单一搜索类型或可以忽略信息来源的观点。作者证明，忽视信息的“来源”会导致错误。通过证明结合视觉和文本搜索，并使用智能的、感知来源的过滤器效果更好，UniHEAR 为 AI 指明了新的方向。它表明，你不需要一个庞大、沉重的“大脑”来变得聪明；你只需要知道如何去正确的地方寻找，以及如何倾听正确的线索。

简而言之，UniHEAR 是一个更轻、更快且更准确的侦探，它知道如何同时运用眼睛和眼镜来破解视觉谜题，并证明了有时，寻找真相最好的方法是同时从两个不同的角度去看待它。

技术摘要：UniHEAR

问题陈述

知识库视觉问答（KB-VQA）要求模型检索外部实体知识（例如来自维基百科）来回答基于视觉输入的问答。现有的检索增强系统面临两个关键局限性：

单源检索瓶颈： 当前的系统通常依赖于单一的检索模态，即图像到图像（I2I）或图像到文本（I2T）。这些模态存在显著差异：I2I 优先考虑形态相似性（颜色、形状），而 I2T 则强调语义一致性。因此，在有限的检索预算下，真值实体往往只能被其中一个来源捕获，使得单源检索本质上是不完整的，从而抑制了 VQA 准确率的上界。
检索源盲重排序： 现有的重排序器通常对所有候选对象分配统一的模态注意力，忽略了粗粒度检索阶段建立的检索来源和候选对象层级的先验信息。这导致了对已被大规模粗粒度检索器充分利用的模态的冗余依赖，降低了重排序过程的判别力，并导致真值实体的排序错误。

方法论：UniHEAR

作者提出了 UniHEAR（统一异构源注意力检索），这是一个旨在通过统一架构连接粗粒度检索与细粒度重排序的轻量级框架。该框架分为三个阶段运行：

1. 异构源粗粒度检索

系统同时将查询图像与两个互补的知识库来源进行匹配：实体图像（I2I）和文本摘要（I2T）。

候选池： 来自这两个来源的前 $k$ 个候选对象的并集构成了一个统一的候选池，确保了互补的覆盖范围。
粗检索描述符（CRD）： 每个候选实体由一个描述符 $D(e)$ $D (e)$ 进行表征，该描述符将检索证据编码为先验引导。该描述符包括：
- 每个来源内的归一化排名 ( $r_s$ )。
- 原始相似度得分 ( $sim_s$ ) 和 z-归一化相似度 ( $z_s$ )。
- 与排名第一实体的相似度差距 ( $\delta_s$ )。
- 用于衡量检索分布集中度和来源可靠性的池级熵 ( $H_s$ )。
  该描述符弥合了大规模粗粒度检索器与轻量级重排序器之间的鸿沟。

2. 检索引导的多模态实体重排序

此阶段采用基于 VISTA 架构构建的轻量级重排序器，并通过两个新颖模块进行了增强：

检索引导的注意力模态门控（RAMG）： RAMG 不再平等对待所有候选对象，而是根据粗检索描述符对模态注意力权重进行调节。它使用从描述符中导出的仿射变换参数 ( $\gamma, \beta$ ) 来调整注意力逻辑值（logits）。这使得模型能够抑制对在粗检索阶段已被充分利用的模态的依赖（例如，减少对通过 I2I 已确认候选对象的视觉注意力），并将模态特定表示（ $C_{it}, C_t, C_i$ ）聚合为统一的融合表示。
熵加权源融合（EWSF）： 该模块将粗检索先验作为无需训练的补充，重新引入到学习到的重排序得分中。它通过归一化排名和池熵对特定来源的得分进行加权，并通过池均值比例对其进行校准，然后将其与学习到的重排序得分进行融合。

3. 多实体章节增强生成

对于最终的答案生成，框架聚合了前 $k_e$ 个重排序实体的各章节内容。

章节选择： 它结合了细粒度的章节级 IT2T 相似度与实体级检索得分。
比例分配： 章节按实体的排名进行比例分配（例如，排名第一的实体比排名较低的实体获得更多的章节），从而将上下文预算集中在置信度最高的实体上。
生成： 多模态大语言模型（MLLM）在输入图像、问题以及聚合后的检索章节的条件下生成最终答案。

训练策略

UniHEAR 采用混合训练策略，将实体级和章节级检索统一在单个模型中：

对比损失 ( $L_{con}$ )： 优化融合表示，以区分正样本对与硬负样本对。
辅助模态保持损失 ( $L_{aux}$ )： 一种辅助损失，用于保留下游章节级检索所需的跨模态匹配能力（IT2T, I2T, I2I）。它包含一个二进制掩码，用于过滤掉不可靠的正监督信号（例如，当真值图像标签缺失或 URL 无法访问时），从而防止模态坍塌。

核心贡献

统一框架： 提出了 UniHEAR，这是一个轻量级框架，它统一了异构源实体检索与重排序，并通过构建粗检索描述符来编码多源证据。
新颖的门控机制： 引入了检索引导的注意力模态门控（RAMG），该机制根据检索描述符调节模态注意力，以减轻冗余的模态依赖。
无需训练的融合： 实现了熵加权源融合（EWSF），在无需额外训练开销的情况下重新引入校准后的粗检索先验。
统一训练目标： 设计了一种结合对比学习与辅助模态保持损失的训练策略，以实现单个模型内无缝的实体到章节检索。

实验结果

在 E-VQA 和 InfoSeek 数据集上进行了广泛的实验。

检索性能： UniHEAR 实现了最先进的检索性能。在 E-VQA 上，其 Recall@1 比最强基线（OMGM）提高了 6.7 个百分点，比基于 MLLM 的基线（ReflectiVA）提高了 33.9 个百分点。在 InfoSeek 上，其 Recall@1 比 OMGM 提高了 1.2 个百分点。
VQA 性能： 在不进行生成微调的情况下，搭载 Qwen2.5-VL-7B 的 UniHEAR 在 E-VQA 上达到了 53.2% 的准确率，超过了所有使用相同生成器的检索增强基线。在经过生成器微调后，它在 E-VQA 上达到 50.4%，在 InfoSeek 上达到 44.1%，优于所有基线。
效率： 尽管统一了异构来源并处理了更大的候选池，UniHEAR 仍保持了轻量级架构，仅有 197M 参数（相比之下，基于 BLIP-2 的竞争对手为 1.2B–1.7B）。RAMG 模块仅增加了 0.59M 参数（0.3% 的开销），证明了检索引导的门控机制能以极小的参数成本提升性能。

意义

论文声称，UniHEAR 将具有检索引导重排序的异构源检索确立为未来 KB-VQA 研究的一个极具前景的范式。通过明确解决单源检索瓶颈和检索源盲重排序问题，该框架证明了利用来自多个来源的互补信号，并在粗检索先验的引导下，可以在保持高效率的同时，显著提高检索准确性和下游 VQA 性能。结果表明，通过有效地利用粗检索阶段已经呈现的丰富证据，轻量级、统一的模型可以超越规模更大、但属于单源或多阶段的系统。