💻 computer science

Wiener Representation Filtering for VLM Hallucination Suppression

本文提出了维纳表示滤波（Wiener Representation Filtering），这是一种无需训练的后验技术，通过对语言骨干网络隐藏状态中与幻觉相关的分量应用闭式维纳型估计器来抑制视觉语言模型中的物体幻觉，从而在提高各种基准测试准确性的同时，保持推理速度和流畅度。

原作者： Ameen Ali, Tamim Zoabi, Lidor Brami, Lior Wolf

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ameen Ali, Tamim Zoabi, Lidor Brami, Lior Wolf

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在与一位非常聪明、博学多才的朋友交谈，他脑海中记住了数百万本书籍、电影和新闻文章。这位朋友非常擅长描述你展示给他的图片，但有一个古怪的习惯：有时，当他看到一张安静的海滩照片时，他会因为对“海滩”这个概念本身过于兴奋，而自信地告诉你那里有一个冲浪者正在冲浪，尽管水面其实平静如镜。他并不是在故意撒谎；只是他的大脑里装了太多关于“海滩的故事”，以至于他会不自觉地用那些本该存在但实际并不存在的东西来填补空白。这正是现代“视觉语言模型”（VLMs）会出现的情况。这些是结合了摄像头的“眼睛”与语言专家的“大脑”的强大计算机程序。它们在描述图像方面表现惊人，但也会遭受“物体幻觉”（object hallucinations）之苦——即它们会凭空捏造出图中并不存在的物体、颜色或动作。这是一个严重的问题，因为如果一个机器人医生或自动驾驶汽车开始“幻觉”出一个并不存在的停止标志，或者在 X 光片中看到一个虚假的肿瘤，其后果将是危险的。科学家们一直试图通过让模型思考得更深入或改变它们的表达方式来修复这个问题，但这些方法往往会让模型变慢，或者需要大规模的重新训练。

现在，认识一下特拉维夫大学的研究团队，他们决定尝试一种不同的方法。他们没有强迫模型重新学习所有知识，也没有放慢它的速度，而是将“幻觉”视为一种类似于无线电信号中的静态噪声。他们意识到，当模型产生“幻觉”时，它不仅仅是在犯随机错误；它是在其内部思维中添加了一种特定的、有结构的“噪声”。把模型的脑海想象成一个正在演奏交响乐的复杂管弦乐队。有时，其中几件乐器会开始演奏一个响亮且跑调的音符，从而淹没了真实的音乐。作者们的方法被称为“维纳表示滤波”（Wiener Representation Filtering），就像一位超级聪明的音频工程师，他倾听着管弦乐队，找出哪些乐器正在演奏跑调的音符，然后精准地调低这些特定频率的音量。他们并没有教乐队如何更好地演奏，而是通过一次性的、离线的调节，调整了混音台，使得那些跑调的音符在每次播放时都能被自然地抑制。

以下是他们是如何做的以及他们的发现。首先，他们需要理解这种“噪声”。他们向模型展示了一堆图片，并要求它进行描述。然后，他们将模型的“幻觉式”描述（即它编造内容的时候）与“真实”的描述（即它正确描述的时候）进行了对比。通过观察模型在大脑内部进行这些时刻时的数学逻辑，他们发现幻觉并不是随机的混乱。相反，它们形成了一种独特的模式，就像地图中一组特定的方向，模型很容易在那里迷失方向。他们使用了一种经典的信号处理技术——“维纳滤波器”（Wiener filter），这是一种通常用于清理陈旧电话通话或修复受损照片的工具——来计算如何精确地抑制这些特定的“幻觉方向”，同时保持“真实方向”的声音清晰响亮。

他们方法的魔力在于，这是一种“事后”（post-hoc）修复，这意味着他们不需要从头开始重新训练模型。他们进行了一次轻量级的单次计算，利用一小组配对的示例来确定“噪声模式”。然后，他们将这种修正直接融入到模型现有的权重中。这就像拿起一把音准略微偏差的吉他，拉紧那些过松的特定琴弦，然后让吉他保持原样。从那时起，这把吉他就能完美地演奏出准确的音准，而不需要演奏者付出额外的努力。

结果令人印象深刻。当他们在 LLaVA-1.5、MiniGPT-4 和 mPLUG-Owl2 等几种流行的 AI 模型上测试这种“维纳滤波器”时，这些模型的错误率开始大幅下降。在专门用于捕捉幻觉的测试（如 CHAIR 和 POPE 基准测试）中，它们捏造虚假物体的次数减少了。例如，在 CHAIR 测试中，句子层级的幻觉错误率显著下降（对于 LLaVA-1.5，从约 18.87 下降到了 14.93）。至关重要的是，模型并没有变得枯燥或缓慢；它们仍然能写出流畅、有创意的说明文字，只是不再凭空捏造不存在的事物。作者还展示了这种技巧在视频理解任务甚至不同类型的语言模型上也同样奏效，这表明这种“噪声模式”是这些 AI 大脑运作的一个常见特征，而不仅仅是某个特定模型的缺陷。

论文指出，通过将幻觉视为一种结构化的失真而非知识匮乏，我们可以用一种简单且在数学上优雅的滤波器来修复它。他们排除了这样一种观点，即幻觉仅仅是由可以通过减去一个平均值来修复的简单“偏差”引起的；相反，这种误差是复杂的且具有方向性的，需要一种细致的、基于频率的处理方法。虽然他们并未声称已经永久解决了 AI 幻觉问题，但他们的方法提供了一个强大的、无需训练的工具，使这些视觉 AI 系统在不牺牲速度或创造力的情况下变得更加可靠。这提醒我们，修复一个嘈闻信号的最佳方式有时不是大声喊叫，而是仔细聆听并调低静电噪声。

技术摘要：用于视觉语言模型（VLM）幻觉抑制的维纳表示滤波技术

问题陈述

视觉语言模型（VLM）在图像描述和视觉问答等任务中表现出色，但经常受到**物体幻觉（Object Hallucination, OH）**的影响。这种现象涉及生成看似合理但与事实不符的描述，例如凭空捏造输入图像中不存在的物体、属性或空间关系。现有的缓解策略通常分为以下三类：

解码时方法（Decoding-time methods）： 如受限束搜索（constrained beam search）或逻辑值去偏（logit debiasing），这些技术虽然可以调节生成过程，但往往会带来显著的推理开销（5–10倍的减速）。
后验优化方法（Post-hoc refinements）： 如 Woodpecker 或 HALC，这些方法需要针对特定任务进行适配或依赖外部资源。
基于训练的方法（Training-based methods）： 需要通过带有幻觉感知损失函数的重新训练或微调来完成，计算成本极高。

目前仍缺乏一种无需训练、推理高效的修正手段，既不需要修改模型架构，也不会增加运行时的成本。

方法论

作者提出了一种**维纳表示滤波（Wiener Representation Filtering）**框架，这是一种在语言骨干网络表示空间中进行的后验编辑技术。该方法将幻觉视为一种结构化的频谱失真，并通过线性最小均方误差（MMSE）估计问题来进行修正。

1. 理论公式化

其核心假设是：VLM 中的隐藏状态（ $h$ ）可以建模为真实分量（ $s$ ）与幻觉相关失真（ $n$ ）的叠加：
$h = s + n$
假设 $s$ 和 $n$ 是零均值的且相互不相关，则观测到的表示的协方差可以分解为真实协方差（ $\Sigma_T$ ）与幻觉协方差（ $\Sigma_H$ ）之和。

从 $h$ 中恢复 $s$ 的最优线性估计器是维纳算子（Wiener operator）：
$A^* = \Sigma_T (\Sigma_T + \Sigma_H)^{-1}$

2. 校准与估计

该方法需要在包含以下内容的适度配对数据集（例如 LURE）上进行一次性的、离线的校准：

$c^-$ ：经人工验证的真实描述。
$c^+$ ：模型针对同一图像生成的幻觉描述。

对于选定的深层网络层，作者提取序列平均表示（ $x^-$ 和 $x^+$ ）来估计：

$\Sigma_T$ ：真实表示的协方差。
$\Sigma_H$ ：失真（ $d = x^+ - x^-$ ）的协方差。

经验分析表明，幻觉表现为一种集中在低秩子空间（若干个主特征模态）中的各向异性失真，而非各向同性噪声。

3. 频谱滤波

为了确保稳定性和可解释性，该方法在 $\Sigma_H$ 的特征基下对维纳算子进行近似。令 $\{q_j\}$ 为 $\Sigma_H$ 对应的特征向量， $\lambda_j$ 为特征值。信号在模态 $j$ 中的方差为 $\tau_j^2 = q_j^\top \Sigma_T q_j$ 。
失真与信号比定义为 $\nu_j = \lambda_j / \tau_j^2$ 。
模态维纳增益为：
$\gamma_j = \frac{1}{1 + \nu_j}$
为了允许可调节的锐度并补偿估计误差，引入了锐度指数 $\alpha$ ：
$\tilde{\gamma}_j = (1 + \nu_j)^{-\alpha} = \left( \frac{\tau_j^2}{\tau_j^2 + \lambda_j} \right)^\alpha$
最终滤波器 $F_\alpha$ 构建为 $Q \text{diag}(\tilde{\gamma}_1, \dots, \tilde{\gamma}_d) Q^\top$ 。

4. 实现

该滤波器通过修改选定深层网络的前馈网络（FFN）输出投影（ $W_{out}$ ）来实现：
$\tilde{W}_{out} = F_\alpha W_{out}$
由于 $F_\alpha$ 是预先计算并直接吸收进现有权重中的，因此在部署时，架构、参数量和推理速度均保持不变。在部署期间不进行任何梯度更新或微调。

核心贡献

无需训练的修正： 一种后验方法，无需重新训练、微调或梯度更新。
推理高效： 滤波器被吸收进模型权重中，在推理时产生零额外的延迟或内存开销。
理论基础扎实： 将幻觉缓解建模为线性 MMSE 问题，推导出了符合稳定性标准（算子-利普希茨连续性）的闭式维纳估计器。
频谱分析： 证明了幻觉占据了表示空间中一个低维、各向异性的子空间，从而可以在不破坏语义信息的情况下进行有针对性的衰减。

实验结果

该方法在 LLaVA-1.5, MiniGPT-4, mPLUG-Owl2 以及 Gemma3 上通过多个基准测试进行了评估：

CHAIR（描述幻觉）： 该方法在所有模型中均一致实现了最低的幻觉率（CHAIRS 和 CHAIRI），优于基于解码的方法（OPERA, VCD, HALC）和表示编辑基准方法（Nullu）。例如，在 LLaVA-1.5 上，CHAIRS 从 18.87（贪婪搜索）降低到了 14.93。
POPE（物体存在性）： 在随机（Random）、热门（Popular）和对抗（Adversarial）设置下，提高了事实落地能力（准确率、精确率、F1），通常在对比方法中取得了最高分。
MME（多模态评估）： 与竞争策略相比，在 10 个视觉落地子集（如计数、艺术品、名人）上展示了卓越的性能。
泛化能力：
- 视频理解： 尽管是在静态图像上进行校准，但成功降低了 TempCompass（时间推理）基准测试中的幻觉。
- 离散扩散模型： 应用于 Dream-v0-Instruct-7B 进行落地对话（FaithDial），显著降低了幻觉率（例如通过 FaithCritic 从 92% 降至 74%），同时提升了落地指标。
- 跨领域迁移： 表明在某一数据集（如 LURE）上学习到的滤波器可以有效地在未见数据集（如 TruthfulQA, CHAIR）上减少幻觉，而无需重新调优。

重要性与声明

论文声称，通过将幻觉建模为结构化频谱失真而非随机噪声，可以推导出一种原则性的、稳定的修正方法，在抑制幻觉主导的模态的同时，保留语义落地的方向。

关于该方法影响的关键声明包括：

稳定性： 连续性公式确保了协方差估计的微小误差只会引起比例受限的变化，避免了硬秩截断（hard rank truncation）的不稳定性。
保持流畅性： 不同于激进剪枝表示的方法，维纳滤波器根据失真与信号的比率来衰减模态，从而维持了描述的流畅度和整体响应质量（BLEU 分数保持了竞争力）。
通用性： 该方法不限于特定的 VLM 架构或融合策略（早期、桥接或中期融合），并可扩展到时间视频推理和基于扩散的语言模型。
高效性： 它提供了一种“即插即用”的解决方案，消除了与解码时干预相关的推理减速以及基于训练方法的计算成本。

作者总结道，这项工作提供了一种原则性的机制，能够在不损害模型内部表示完整性或推理效率的前提下，使生成内容与视觉证据保持一致。