💻 computer science

VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models

该论文提出了 VADER，这是一个无需训练的框架，通过将注意力动态重新分配给视频证据并选择性地擦除视觉标记以构建一个鲁棒的对比解码分支，从而缓解视频大语言模型中的幻觉问题。

原作者： Dong Xing, Jiaxin Chen, Hang Yang, Peixun Liu, Qiushi Yang, Yuqing Wang

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Dong Xing, Jiaxin Chen, Hang Yang, Peixun Liu, Qiushi Yang, Yuqing Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在与一个超级聪明的机器人对话，它看过数百万部电影，并能用完美的句子来描述它们。这个机器人是一个“视频大语言模型”（VideoLLM）。它就像一个永不疲倦的讲故事的人，但它有一个棘手的习惯：有时，它会因为对自己的声音过于自信，而编造一些实际上并不存在的细节。它可能会告诉你一个角色“跳过了栅栏”，而视频中其实只显示他们在走路，仅仅是因为在电影中这是人们常做的事情。这被称为“幻觉”。

这个问题在视频领域尤其棘手。与单张照片不同，视频是一个长长的帧流。如果机器人错过了其中一帧的细节，它通常可以通过观察前后的帧来推断出来，因为前后的帧看起来通常非常相似。这就像如果你错过了一首歌里的一个词，你可以通过前后相似的词来猜出它。因此，过去用来阻止机器人撒谎的技巧——比如直接模糊掉图像的一部分——往往会失效。机器人会利用周围的帧来填补空白。科学家们希望解决这个问题，而不必重新从头教起机器人，因为那将耗费漫长的时间和巨额的成本。他们需要一种方法，让机器人在说话的瞬间，能更密切地关注它实际看到的内容。

于是有了 VADER，一种为这些视频机器人充当“聪明编辑”的新方法。VADER 并不强迫机器人学习新规则，而是在对话过程中介入，轻轻地引导机器人的注意力。它使用两个巧妙的技巧来阻止机器人凭空捏造。

首先，它使用了一个名为**视觉焦点重分配（VFR）*的工具。把机器人的大脑想象成一个繁忙的厨房，里面有很多厨师（层）在同时工作。有些厨师在观察视频，而另一些则在闲聊食谱（文本）。有时，那些闲聊的厨师会变得太大声，从而盖过了观察视频的厨师。VFR 就像是一个动态音量旋钮。它会倾听特定的视频和问题，弄清楚究竟哪些厨师在讨论视频，然后调高他们的音量，同时调低闲聊的声音。它不会对每个视频都使用固定的设置；相反，它会诊断情况并决定：“好吧，对于这个*特定的场景，我们需要多听取 20% 的视频证据。”

其次，VADER 使用了一个名为**选择性证据擦除（SEE）**的技巧。这变得非常有趣。想象一下，你正试图猜测一部电影的剧情，但你只能看背景布景，不能看主角。如果你仍然能正确猜出剧情，这意味着你只是根据电影中通常会发生的事情进行猜测（你的“先验偏差”）。如果你猜错了，这证明你确实依赖了演员。VADER 通过在机器人的大脑内部，逐帧地秘密“擦除”最重要的视觉线索（比如主角）。它创造了一个关于故事的“假设”版本，在这个版本中，机器人必须在没有关键证据的情况下进行猜测。如果机器人在这种“被擦除”的版本中仍然给出相同的答案，VADER 就知道机器人只是在根据习惯进行猜测，而不是基于实际的视频内容。

最后，VADER 会将机器人的“真实”答案与“被擦除”后的答案进行比较。如果机器人在两种情况下都很有信心，它就知道这个答案很可能是一个幻觉，并会抑制它。如果移除证据后答案发生了变化，VADER 就知道机器人实际上是在关注视频。

结果令人印象深刻。当研究人员在名为 LLaVA-Video-7B 的流行机器人上测试时，它在识别真实事件和保持时间线准确方面表现得更好。在名为 EventHallusion 的特定测试中，机器人的准确率跃升至 72.60%。这是一个了不起的成就，因为它击败了其他需要昂贵重新训练的方法。这篇论文表明，通过仅仅调整机器人注意力的分配方式，并在运行过程中测试其自身的偏差，我们可以让视频 AI 变得更加诚实，而无需教会它一门全新的语言。这提醒了我们，有时候，阻止一个骗子最好的办法，就是让他闭上眼睛讲故事。

技术摘要：VADER —— 用于缓解视频大语言模型幻觉的自适应去偏技术

1. 问题陈述

视频大语言模型（VideoLLMs）在开放式视频理解任务（如事件摘要和时序推理）中取得了显著成功。然而，这些模型仍然容易产生幻觉，即生成虽然语言流畅但缺乏实际视频证据支持的响应。这类错误在动作识别、事件排序、因果关系和时序一致性方面尤为普遍。

现有的幻觉缓解策略在应用于视频时面临两个主要局限性：

基于训练的方法需要高昂的重训练成本、额外的监督或奖励建模。
无需训练的方法通常依赖于全局固定的视觉干预或输入扰动（例如噪声、丢帧）。这些方法无法应对视频特有的挑战：
- 静态干预： 固定层范围和强度无法适应视频依赖的深度，因为在不同深度下，视觉证据与系统提示词及历史文本的竞争程度不同。
- 缺乏对比性证据： 粗粒度的输入扰动容易通过冗余的相邻帧进行恢复，或者会破坏用于一致性推理的依赖关系。

核心挑战在于：如何在不重新训练模型的情况下，提高解码过程中的视频接地能力（video grounding），同时处理视频数据特有的冗余性和时序依赖性。

2. 方法论

作者提出了 VADER（通过证据重加权实现的视频自适应去偏），这是一个通过双分支设计来校准证据接地并抑制先验偏差预测的无需训练的框架。该框架由两个互补模块和一个融合机制组成：

2.1 视觉焦点重分配 (VFR)

VFR 将视觉增强视为一种自动化的、以视频为条件的策略，而非固定配置。它动态地决定针对每个特定的“视频-问题”输入，在何处（哪些层）以及多大强度进行干预。

诊断： 在生成之前，VFR 使用“视频-问题”输入进行一次诊断性前向传播，根据模型的初始预测计算诊断损失 ( $L_{diag}$ )。它通过结合注意力质量及其对该损失的一阶敏感性来计算注意力显著性。
策略推导： 它测量跨解码器层的跨模态显著性流（视觉到文本的流）。选择具有最高归一化流的前 $K$ 层作为干预点 ( $L_{sel}$ )。
自适应重加权： 干预强度 ( $a$ $a$ ) 通过使用选定层的聚合显著性流进行对数映射得出。随后，VFR 对 pre-softmax 注意力分数应用乘性重加权：
- 系统 Token 被抑制因子 $\gamma_{sup} = 1 - a$ 。
- 视频 Token 被增强因子 $\gamma_{enh} = 1 + a$ 。
  这实现了将注意力重新分配到模型当前输入中真正依赖视觉证据的特定位置。

2.2 选择性证据擦除 (SEE)

为了构建一个鲁棒的“先验偏差”分支，且该分支不会轻易被时序冗余所补偿，SEE 在解码器内部按帧进行操作。

机制： SEE 不是丢弃帧或掩码输入 Token（这可能会从邻近帧中恢复），而是根据每个帧相对于当前解码位置的注意力分数，识别高重要性的视觉 Token。
擦除： 它仅保留低分 Token（背景/弱上下文），并通过在固定的插入层 ( $l^*$ ) 将高分（判别性）Token 的注意力分数设为 $-\infty$ 来进行掩码处理。
结果： 这创建了一个负向分支 ( $z_{prior}$ )，它反映了由语言先验驱动的预测和背景上下文，有效地移除了支持答案的具体视觉证据，同时保留了时序结构。

2.3 联合时序对比抑制

该框架融合两个分支的输出：

接地分支 ( $z_{gnd}$ )： 由 VFR 生成，最大化利用视频证据。
先验偏差分支 ( $z_{prior}$ )： 由 SEE 生成，反映由语言先验驱动的预测。
融合： 最终的 Logits ( $\bar{z}$ ) 计算方式为 $\bar{z} = (1 + \lambda)z_{gnd} - \lambda z_{prior}$ 。如果一个 Token 在两个分支中都具有高置信度，则它很可能是语言先验，会被抑制；如果它仅在接地分支中具有高置信度，则会被保留或增强。

3. 核心贡献

VFR 框架： 一个无需训练的双分支框架，用于缓解 VideoLLM 中的幻觉，能够在不更新参数的情况下校准证据接地。
VFR (视觉焦点重分配)： 一种新颖的机制，将视觉增强形式化为一种以视频为条件的干预策略，能够根据输入特定的视觉到文本流，自动选择干预层和响应强度。
SEE (选择性证据擦除)： 一种解码器内部的逐帧擦除技术，通过掩码高重要性视觉 Token 来构建一个能够抵抗跨帧补偿的先验偏差分支。
性能： 该方法在事件级幻觉基准测试中取得了显著提升，特别是在使用 LLaVA-Video-7B 时，在 EventHallusion 上达到了 72.60% 的准确率，超过了 TPO 和 RRPO 等基于训练的方法。

4. 实验结果

作者在三个视频幻觉基准测试（VidHalluc、VideoHallucer、EventHallusion）和三个通用视频理解基准测试（MVBench、VideoMME、TVBench）上，针对三个骨干网络（LLaVA-OneVision-7B、LLaVA-NeXT-Video-7B、Qwen3-VL-8B）对 VADER 进行了评估。

幻觉缓解： VADER 带来了实质性的增益，特别是在 EventHallusion（使 LLaVA-Video-7B 从 63.57% 提升至 72.60%）和 VideoHallucer 上。它优于代表性的无需训练基线（TCD、DINO-HEAL），甚至在 EventHallusion 上超过了基于训练的方法（TPO、RRPO）。
通用理解： 与某些会导致性能下降的干预措施不同，VADER 保持或略微提高了通用视频理解基准测试的分数（例如 LLaV-Video-7B 平均提升 1.5 分），表明它在提高忠实度的同时，并未牺牲广泛的感知或推理能力。
消融实验：
- 去除自适应策略（使用固定层）会导致增益降低，证实了视频条件选择的价值。
- 去除 SEE（仅保留 VFR）或去除 VFR（仅保留 SEE）会导致性能低于完整模型，证明了证据重分配与先验偏差分支构建之间的互补性。
- 敏感性分析显示，采用适中的保留比例（保留约 30% 的 Token）可获得最佳结果，从而在证据移除与上下文保留之间取得平衡。

5. 意义与主张

论文声称 VADER 解决了部署 VideoLLM 的一个关键差距：以即插即用的方式缓解幻觉，而无需承担重训练的成本。通过从静态、全局的干预转向自适应、输入特定的策略，VADER 有效地处理了视频数据的复杂性、冗余性和时序依赖性。

作者强调，他们的方法不仅仅是“修复”错误，而是从根本上改变了解码动力学，以区分基于证据的预测和由语言先验驱动的幻觉。结果表明，有效的视频幻觉缓解不仅需要更强的视觉注意力，还需要一种能够显式暴露并抑制在移除视觉证据后仍依赖先验进行预测的机制。

局限性： 作者承认 VADER 由于基于梯度的层选择和多轮前向传播，会带来额外的推理时间计算和内存开销，这表明高效的显著性估计是未来的研究方向。