💬 NLP

Relevance-aware Multi-context Contrastive Decoding for Retrieval-augmented Visual Question Answering

本文提出了一种相关性感知多上下文对比解码（Relevance-aware Multi-context Contrastive Decoding, RMCD），这是一种无需训练的解码方法，通过根据检索到的多个上下文与问题之间的相关性进行自适应加权，来增强检索增强型视觉问答，从而有效地聚合有用信息并抑制来自无关来源的噪声。

原作者： Jongha Kim, Byungoh Ko, Jeehye Na, Jinsung Yoon, Hyunwoo J. Kim

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jongha Kim, Byungoh Ko, Jeehye Na, Jinsung Yoon, Hyunwoo J. Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《Relevance-aware Multi-context Contrastive Decoding for Retrieval-augmented Visual Question Answering》（RMCD）的解释，采用了通俗易懂的语言和富有创意的类比。

大局观：“信息过载的专家”问题

想象你有一位非常聪明、博学多才的专家（AI 模型），他能够观察图片并回答关于图片的问题。然而，这位专家有一个记忆盲点：他并不了解世界上每一个具体事物的细节（比如埃菲尔铁塔究竟是什么时候建成的）。

为了解决这个问题，你给了这位专家一叠参考书籍（知识库），并要求他在开口说话前先查阅资料。这个过程被称为检索增强生成（RAG）。

问题在于：
当你让专家去查找答案时，他得到的不仅仅是一个完美的页面，而是一叠共 5 页的内容。

第 1 页和第 2 页： 高度相关且正确。
第 3 页： 有点相关，但有些偏差。
第 4 页和第 5 页： 完全无关（可能是在讨论一个完全不同的主题）。

旧的方法（以往的方法）：

方法 A： 专家只读第一页。如果这一页内容很差，答案就会出错。
方法 B： 专家阅读全部 5 页并尝试总结它们。但由于最后两页既混乱又无关，导致他们搞砸了总结，专家也会因此感到困惑。

解决方案：RMCD（“聪明的编辑”）

作者提出了一种名为 RMCD 的新方法。你可以把 RMCD 想象成一位坐在专家和那一叠书页之间的聪明的编辑。

这位聪明的编辑不仅仅是阅读页面，它同时做两件事：

放大（反射/增强）： 它会高亮那些真正有用的页面，让专家更加关注它们。
偏转（抵消/消除）： 它会主动推开那些令人困惑、无关的页面，告诉专家：“忽略这些噪音，它们会让你出错。”

它是如何工作的（“音量旋钮”的类比）

想象专家的脑海里是一台收音机，而检索到的每一页内容都是一个正在播放声音的不同电台频道。

相关的页面 播放着清晰、有帮助的声音。
无关的页面 播放着静电噪音或完全不同的歌曲。

旧的方法要么：

只听声音最大的那个频道（忽略了其他有用的信息）。
同时调大所有频道的音量（结果被静电噪音淹没了）。

RMCD 就像一个智能调音台：

它为有帮助的频道调高音量（正权重）。
它为静电噪音和无关的频道调低甚至反转音量（负权重）。
它将这些调整后的声音混合在一起，创造出一个完美、清晰的答案。

RMCD 的核心特点

无需额外训练： 你不需要重新教导专家。你只需要更换“解码方法”（即专家处理书籍的方式）为这个新的“聪明的编辑”。它能立即生效。
处理糟糕的搜索结果： 即使搜索引擎给你的书很烂（无关信息），RMCD 依然非常鲁棒。它能比任何其他方法更好地找到有用信息并抵消掉错误信息。
速度快： 它很快。它不需要专家多次阅读书籍，也不需要运行复杂的模拟。它一次性即可完成。

论文的研究结果

作者在三个困难的“视觉问答”（即 AI 查看图像并回答基于事实的问题）测试中进行了测试：

InfoSeek
Encyclopedic VQA
OK-VQA

结果显示：

RMCD 在不同的 AI 模型上始终优于所有其他方法。
即使在搜索结果较弱或混乱的情况下，它的表现也最为出色。
在某些情况下，与正常阅读书籍的方法相比，它在准确率上有了巨大的提升（在某些测试中高达 24 个百分点）。
它也比一些试图做类似事情的复杂方法更快。

论文中的实际案例

想象一张植物的照片。问题是：“这个植物幼苗看起来像什么？”

真相： 它看起来像蒲公英。
搜索结果：
- 上下文 1： 说它看起来像蒲公英。（好）
- 上下文 2： 说它看起来像蒲公英。（好）
- 上下文 3： 说它是一种杂草。（还可以）
- 上下文 4： 说这个名字源于一个关于“凉鞋”的希腊词汇。（无关噪音）
- 上下文 5： 在讨论大象。（完全是噪音）

旧的方法：

如果他们只读上下文 1，可能会错过上下文 2 中的确认信息。
如果他们阅读全部内容，关于“凉鞋”或“大象”的提及会让他们感到困惑，导致他们可能会猜“凉鞋”或“花朵”，而不是“蒲公英”。

RMCD：

它增强了“蒲公英”的信号。
它主动抑制了“凉鞋”和“大象”的信号。
结果： 它自信地回答了“蒲公英”。

总结

这篇论文介绍了一种名为 RMCD 的巧妙方法，旨在帮助 AI 模型利用外部信息来回答问题。与其让 AI 被好坏参半的搜索结果搞混，RMCD 充当了一个过滤器，它能增强有用信息并抵消错误信息，从而在无需重新训练 AI 的情况下，提供更聪明、更准确的答案。

技术摘要：面向检索增强视觉问答的关联性感知多上下文对比解码

1. 问题陈述

大型视觉语言模型（LVLMs）在视觉-语言任务中展现出了卓越的能力，但往往缺乏关于特定实体的详细知识。检索增强生成（RAG）通过从知识库（KB）中提供外部上下文来解决这一问题。然而，目前的 RAG 解码方法在以下两个方面表现欠佳：

未能充分利用多个上下文： 依赖单个上下文（例如排名第一的检索结果）的方法在检索质量较差时性能会显著下降，因为它们无法聚合来自其他潜在相关上下文的信息。
对无关上下文的敏感性： 摄取多个上下文的方法在包含无关或噪声上下文时，往往会遭受性能退化的困扰，因为这些负面信号会干扰生成过程。

核心挑战在于开发一种解码策略，能够在不进行额外模型训练的情况下，有效地聚合来自多个相关上下文的有用信息，同时抵消无关上下文的负面影响。

2. 方法论：关联性感知多上下文对比解码 (RMCD)

作者提出了 RMCD，这是一种无需训练的解码方法，它扩展了对比解码（CD）的概念。RMCD 不仅仅是简单地拼接上下文或平均预测，而是根据每个检索上下文与问题的相关性，动态地调整每个上下文的影响力。

核心机制

RMCD 通过对比由多个上下文生成的 Logit 分布来运行。该过程包含三个主要步骤：

上下文权重分配（反射与偏转）：
- 对于一组按检索分数排序的检索上下文集 $C = \{c_1, ..., c_n\}$ ，模型为每个上下文生成一个 Logit 分布 $q(y_i|c_j)$ 。
- 上下文权重 $\alpha_j$ 根据检索分数 $s_{c_j}$ 进行自适应确定。
- 反射 (Reflection)： 具有高检索分数的上下文被分配高正权重，从而放大其影响力。
- 偏转 (Deflection)： 具有低检索分数的上下文被分配低权重或负权重。这通过主动减去无关上下文的影响力，而非仅仅忽略它们，来实现目标。
- 最终的 Logit 是加权和： $p(y_i) = \text{Softmax}(\sum \alpha_j q(y_i|c_j))$ 。
集成合理性约束：
- 为了防止从极不可能的词表中采样，RMCD 引入了一个约束机制。
- 根据相关性阈值选择一个“约束上下文”子集 ( $C_c$ )。
- 从这些约束上下文中计算集成概率，以定义一个合理的词表集合 $S_i$ 。
- 将 $S_i$ 之外的词表 Logit 设置为 $-\infty$ ，从而将采样空间限制在由高质量上下文衍生的合理 Token 中。
单上下文基准 (SCD)：
- 作者首先引入了一个基准方法——单上下文对比解码 (SCD)，它将输出与顶级上下文进行对比，并与无条件输出进行对比。虽然 SCD 在检索质量高时有效，但在检索质量下降时会失效，这促使了向多上下文扩展（RMCD）的演进。

3. 主要贡献

本文概述了三个主要贡献：

识别局限性： 作者观察到现有的 RAG 解码方法未能充分利用多个相关上下文，并且容易受到无关上下文的干扰。
提出 RMCD： 一种新颖的、无需训练的解码方法，它基于相关性对多个上下文进行对比。它通过自适应权重（包括负权重）有效地“反射”相关上下文并“偏转”无关上下文。
实证验证： RMCD 在多种 LVLMs 和基准测试中一致优于其他解码方法。它在不同检索质量（从弱到强检索器，甚至在保证正确上下文的 Oracle 设置下）下均表现出鲁棒性。

4. 实验结果

该方法在三个知识密集型视觉问答（VQA）基准测试上进行了评估：InfoSeek、Encyclopedic-VQA 和 OK-VQA。

性能： RMCD 在七种不同的 LVLMs（包括 InternVL、BLIP-2 和 LLaVA 变体）中，在解码方法中达到了最先进（SOTA）的结果。
- 在 InfoSeek 上，RMCD 比无条件生成提高了多达 13.1 个百分点，并优于标准的 RAG 基准。
- 在 Encyclopedic-VQA 上，它在单跳（one-hop）和全量（full）拆分集上均取得了最佳结果。
- 在 OK-VQA 上，将 RMCD 应用于具有竞争力的架构（RA-VQA 和 FLMR）后，获得了最高的准确率 (63.1)，优于依赖 GPT-3 进行检索或生成的模型。
效率： RMCD 的时间复杂度相对于上下文数量 $n$ 保持在 $O(n)$ 级别。当应用于使用束搜索（beam search）的 FLMR 时，它在提高准确率的同时降低了 33% 的延迟。
鲁棒性：
- 数量： 与基准方法出现平台期或性能下降不同，随着上下文数量 ( $n$ ) 的增加，RMCD 的性能呈单调递增趋势。
- 质量： 在 KB 规模从 1.7k 到 2M（检索难度增加）的过程中，RMCD 始终优于所有其他方法。即使在使用“Oracle”检索器（保证获得正确上下文）时，它仍然是表现最好的方法，证明了其价值与检索器的改进是正交的。

5. 重要性与主张

本文声称，RMCD 通过解决信息聚合和噪声抑制的双重挑战，为 LVLM 的 RAG 提供了显著的进步，且无需额外的模型重训成本。

无需训练的集成： RMCD 可以通过简单地替换现有 LVLM 的解码方法来应用，不需要额外的训练或参数更新。
对检索噪声的鲁棒性： 该方法对检索阶段的质量具有独特的鲁棒性。无论检索结果是最弱还是最强，它都能表现出色，这使其成为现实应用中可靠的组件，因为在现实中无法实现完美的检索。
偏转机制： 消融实验证实，“偏转”机制（为无关上下文分配负权重）至关重要。仅仅忽略无关上下文是不够的；主动抵消它们的影响能产生更优越的性能。

总之，作者将 RMCD 定位为 RAG 解码的一次必要演进，它使 LVLM 能够通过动态平衡多个检索上下文的影响力，从而有效地利用外部知识库。