💻 computer science

Spectral Query-Key Product Weight Steering for Training-Free VLM Hallucination Mitigation

本文介绍了 QK Product Steering，这是一种无需训练且无需数据的通过抑制查询-键（query-key）乘积中的主奇异模态并对查询权重应用闭式更新，从而减轻视觉语言模型中物体幻觉现象的方法，在不增加推理开销的情况下实现了显著的性能提升。

原作者： Karn Tiwari, Varnith Chordia, Prathosh A P

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Karn Tiwari, Varnith Chordia, Prathosh A P

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人助手，它可以通过看照片来向你描述画面。它很擅长交谈，但有时会表现得过于自信。如果你给它看一张猫坐在地毯上的照片，它可能会说：“一只可爱的猫正坐在红色的地毯上，旁边还有一瓶花。”但如果你仔细观察，那里并没有花。机器人只是在它的训练数据中“假设”了花的存在，因为在它的记忆里，猫和花经常出现在一起。这被称为幻觉（Hallucination）：凭空捏造并不存在的事物。

这篇论文介绍了一种巧妙的、“一次性修复”方案，叫做 QK Product Steering。它可以在不重新训练或减慢机器人速度的情况下，阻止它犯这类错误。

以下是它的工作原理，我们使用一些简单的类比：

1. 问题所在：机器人的“默认设置”

把机器人的大脑想象成一个巨大的、关于“什么东西通常与什么东西搭配”的图书馆。当它看一张图片时，它的脑子里有两个声音：

声音 A（眼睛）： “我看到了一只猫。我看到了一块地毯。”
声音 B（记忆）： “猫通常会和毛线球在一起，而毛线球又常和花出现在一起。”

当机器人生成描述时，声音 B 有时会变得太大声。它会盖过声音 A，开始描述那些并不存在的花。论文指出，机器人的内部“注意力”机制（即它决定关注什么的机制）拥有几个非常响亮、占主导地位的通道，这些通道承载了这些“默认假设”。

2. 解决方案：假设的“音量旋钮”

作者找到了一种方法，可以在不改变机器人整个大脑的前提下，调低这些特定响亮通道的音量。

“频谱”视角： 想象机器人的注意力机制就像一个复杂的调音台。大多数旋钮都设定在正常水平，但有几个特定的旋钮（称为“主导奇异模态”，dominant singular modes）被调到了最大。这些特定的旋钮就是让机器人在不该说“花”的时候说出“花”的原因。
编辑过程： 该方法识别出机器人大脑中间层中这些特定的“响亮”旋钮，并轻轻地将它们调小（或进行“阻尼”处理）。
结果： 机器人仍然能清晰地听到图像信息，但它不再会自动用自己的假设来填补空白。它变得对实际所见更加诚实。

3. 为什么它很特别：一种“外科手术式”的方法

其他大多数修复此类问题的方法，就像是试图通过拆解并重新制造一只手表来修理它（重新训练），或者是在机器人说话时不断对着它大喊指令（减慢处理过程）。

一次性修复： 这种方法就像外科医生做一次微小且精准的切割。你在使用机器人之前，只需对其权重进行一次编辑。之后，机器人运行的速度会和以前一样快，没有任何额外成本。
无需新数据： 你不需要向机器人展示成千上万张新图片来教它。你只需要微调它的内部数学逻辑。
对分组头（Grouped Heads）是安全的： 现代机器人通常拥有共享资源的脑部组件（称为“分组查询注意力”，Grouped-Query Attention）。修改其中一个共享部分通常会破坏整个系统。作者发明了一种特殊的数学技巧，可以在只改变连接中的“查询”（Query）部分的同时，保持共享的“键”（Key）部分不变。这就像是在调整汽车的驾驶座，而不去移动那个大家共用的方向盘。

4. 秘密成分：对称性 vs. 方向性

论文还发现了一些关于机器人为何产生幻觉的有趣现象。研究人员将机器人的注意力分为两种模式：

对称（互惠型）： “我看到了你，你也看到了我。”（这是幻觉产生的地方）。
反对称（方向型）： “我正在看着你。”

研究人员发现，“幻觉噪声”几乎全部存在于对称通道中。当他们调低对称通道的音量时，幻觉停止了。而当他们触碰反对称通道时，情况并没有变化。这证明他们并不是在随机破坏机器人的功能，而是在进行外科手术式的操作，精准地移除了导致其“撒谎”的那部分大脑。

5. 实验结果

当他们在三种不同的视觉语言模型（Vision-Language Models）上进行测试时：

幻觉减少了： 机器人凭空捏造物体的频率降低了约 4%（这是一个显著的进步）。
随机检查失败： 当他们尝试调低随机的旋钮而不是特定的“幻觉”旋钮时，机器人的表现并没有变好。这证明他们找到了正确的目标。
技能保持敏锐： 机器人在回答问题或识别物体方面的能力并没有下降。它们只是在描述图像时变得更加恪守事实。

总结

QK Product Steering 是一种“设置好就不用管”的修复方案。它找到了视觉语言模型中导致其“白日做梦”捏造不存在物体的特定内部设置，调低了这些设置的强度，并保持了机器人其他智能部分的完整。这是一种轻量级、免费且快速的方法，能让 AI 的描述更加可靠。

技术摘要：用于无训练视觉语言模型（VLM）幻觉缓解的谱查询-键乘积权重转向技术

问题陈述

视觉语言模型（VLMs）经常遭受物体幻觉问题，即模型会生成包含输入图像中并不存在的物体的流畅描述。这一问题源于视觉证据与预训练期间学习到的强大视觉-语言先验（例如物体共现模式）之间的竞争。当这些先验占据主导地位时，模型会产生看似合理但缺乏视觉支持的输出。现有的缓解策略通常分为两类：

基于训练的方法： 需要额外的训练数据、监督和显著的计算资源（例如指令微调、偏好优化）。
推理时干预方法： 修改解码过程（例如对比解码、对数几率调整、注意力重加权），这在每个生成步骤都会引入计算开销。

目前需要一种无需数据、无需训练且零推理成本的解决方案，能够在不改变标准解码路径或进行微调的情况下缓解幻觉。

方法论：QK 乘积转向（QK Product Steering）

作者提出了 QK 乘积转向，这是一种单次（one-shot）权重编辑方法，通过直接修改模型的内部注意力机制来抑制诱发幻觉的模式。

核心机制

该方法针对的是 查询-键（QK）乘积（ $M_h = W_{q,h}^\top W_{k,g}$ ），即负责生成 Softmax 前注意力对数几率（logits）的双线性算子。其假设是，该乘积的主导奇异模态（dominant singular modes）编码了“通用的视觉-语言先验”，这些先验压倒了视觉证据。

该过程包含三个主要步骤：

谱分析与抑制：
- 对于选定的中间层注意力头，计算 QK 乘积的精简奇异值分解（SVD）。
- 识别前 $k$ 个主导奇异模态（代表高能量注意力方向）。
- 通过因子 $\alpha$ 对这些模态进行抑制（阻尼处理），从而有效地减少这些特定先验驱动方向的影响。
- 编辑是在 QK 乘积的对称分量（ $S_h$ ）上进行的，该分量捕捉了相互的内容相似性模式，而反对称分量（ $\Omega_h$ ）则在很大程度上保持不变或被发现与幻觉的相关性较低。
GQA 安全的查询恢复：
- 现代 VLM 通常使用分组查询注意力（GQA），其中多个查询头共享一个键/值头。直接编辑共享的键权重是有风险的，因为这会影响多个头。
- 为了保留共享的键权重（ $W_k$ ），该方法通过求解一个约束优化问题，寻找对查询权重（ $W_q$ ）的最小更新，以实现编辑后的 QK 乘积（ $M_h^\star$ ）。
- 这是通过一个闭式、岭正则化稳定的更新实现的：
  $\Delta W_{q,h} = (W_{k,g}W_{k,g}^\top + \lambda I)^{-1} W_{k,g} \Delta M_h^\top$
- 这确保了编辑与 GQA 架构兼容，并且不会改变推理过程。
层选择：
- 该方法针对网络的中间层。实证分析表明，早期层过于集中于秩（rank-concentrated），编辑它们会导致生成崩溃；而后期层对幻觉的影响不足。中间层提供了一个“手术式”的干预点，在此处主导模态仅占总算子能量的一小部分。

对称与反对称分解

作者将 QK 乘积分解为对称（ $S_h$ ）和反对称（ $\Omega_h$ ）分量。

对称（ $S_h$ ）： 捕捉相互的内容相似性（互惠注意力）。
反对称（ $\Omega_h$ ）： 捕捉方向性注意力模式。
发现： 幻觉信号主要集中在对称通道中。阻尼对称模态可以减少幻觉，而阻尼反对称模态不仅不能减少幻觉，反而可能降低通用能力。

核心贡献

QK 乘积转向： 一种新型、无需数据、无需训练的权重编辑方法，通过对 QK 乘积进行单次编辑来缓解物体幻觉。
兼容 GQA 的投影： 一种闭式的仅查询更新机制，在保持共享键权重固定的同时实现编辑后的 QK 乘积，使其适用于现代基于 GQA 的 VLM。
机械解释性： 通过对称/反对称分解和消融研究，本文证明了幻觉是特定于主导 QK 模态的，并且主要由对称的互注意力通道驱动。

实验结果

该方法在三个基于 GQA 的 VLM 上进行了评估：Qwen2.5-VL-7B、InternVL3-8B 和 Pixtral-12B。

幻觉减少： 在所有三个模型中，QK 乘积转向实现了平均 4.0% 的 CHAIRs 降幅。
- 在 Qwen2.5-VL-7B 上，CHAIRs 从 31.44（基准）降至 28.56。
- 在 InternVL3-8B 上，CHAIRs 从 33.81 降至 33.23。
- 在 Pixtral-12B 上，CHAIRs 从 34.14 降至 33.81。
控制实验：
- 随机模态控制： 阻尼随机模态（匹配相同秩）导致的变化微乎其微，证实了该效应是针对主导模态而非任意低秩扰动的。
- 对称 vs. 反对称： 仅编辑对称通道捕捉到了大部分幻觉减少。仅编辑反对称通道则未能减少幻觉，并往往会降低在其他基准测试中的表现。
能力保持： 通用多模态能力（通过 MME 和 MMMU 衡量）在随机控制的噪声范围内基本得以保留。观察到的唯一系统性能力代价出现在 Pixtral-12B 的特定配置中，这表明存在一个可以通过超参数调节来管理的权衡。
消融实验：
- 层敏感度： 只有中间层编辑能在不导致生成崩溃（早期层）或无法影响幻觉（后期层）的情况下减少幻觉。
- 阻尼强度： 当 $\alpha=1$ （完全移除前 $k$ 个模态）且 $k=3$ 个模态时，在幻觉减少与能力保持之间达到了最佳平衡。

意义与主张

论文声称 QK 乘积转向提供了一种替代解码时干预的实用方案。其意义在于：

零推理成本： 与改变解码过程的方法（如对比解码）不同，此方法通过一次性修改模型权重，使标准的贪婪解码路径在推理过程中完全保持不变。
无训练开销： 它不需要额外的训练数据、微调或偏好优化。
机械见解： 它为幻觉提供了一个清晰的机械解释，将其识别为由编码通用先验的主导对称注意力模态所驱动的结果。通过手术式地阻尼这些模态，该方法在保留模型通用计算能力的同时，削弱了由先验驱动的行为。
可扩展性： 该方法轻量级，且与现代高效的 GQA 架构兼容。

作者总结道，虽然该方法并未提高模型的底层感知能力或增加新的视觉知识，但它通过引导注意力机制远离对学习到的先验的过度依赖，有效地缓解了特定的物体幻觉失效模式。