🤖 AI

INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs

本文提出了名为 INFACT 的诊断基准，通过包含近万条细粒度问答实例及四种诱导模式（如视觉退化、证据篡改等），系统评估了视频大语言模型在忠实度与事实性幻觉方面的可靠性，揭示了高基础准确率并不等同于高鲁棒性，且许多开源模型在事实性时序问题上表现出显著的惯性缺陷。

原作者： Junqi Yang, Yuecong Min, Jie Zhang, Shiguang Shan, Xilin Chen

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junqi Yang, Yuecong Min, Jie Zhang, Shiguang Shan, Xilin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 INFACT 的新工具，它的任务就像是给现在的“视频大语言模型”（Video-LLMs）做一场全方位的“体检”和“压力测试”。

为了让你更容易理解，我们可以把现在的视频 AI 想象成一个刚毕业、记忆力超群但有点“想当然”的实习生。

1. 核心问题：这个实习生爱“瞎编”

虽然这些 AI 看视频的能力进步很快，但它们有个大毛病：幻觉（Hallucination）。

忠实度幻觉（Faithfulness）： 就像实习生看着视频说：“视频里那个穿红衣服的人手里拿的是苹果。”其实视频里明明是个梨。它没看清眼前的证据，却信口开河。
事实性幻觉（Factuality）： 就像实习生看着视频里有人在切蛋糕，然后说：“这肯定是在庆祝春节。”其实视频里明明是在过生日，或者根本和节日无关。它没搞懂常识，用脑子里的旧知识乱套。

以前的测试就像是在安静的图书馆里考这个实习生，题目很简单，视频也很清晰。实习生只要背背题库就能拿高分。但论文作者发现，一旦把环境变复杂（比如视频模糊了、字幕写错了、或者把视频顺序打乱了），这个实习生就立刻“露馅”了。

2. INFACT 是什么？一个“魔鬼训练营”

INFACT 就是一个包含 9,800 道考题 的超级题库，它不再只考“安静图书馆”里的题，而是设计了四种**“压力模式”**来测试实习生的真实水平：

模式一：基础模式（Base）
- 比喻： 在明亮的教室里考试。
- 目的： 看看实习生在正常情况下的基础分是多少。
模式二：视觉干扰（Visual Degradation）
- 比喻： 把教室的灯关掉一半，或者给实习生戴上模糊的墨镜，甚至把视频压缩得像马赛克一样。
- 目的： 测试当看不清的时候，实习生是还能坚持真理，还是开始瞎猜？
模式三：证据污染（Evidence Corruption）
- 比喻： 这是最狡猾的测试。视频里明明在“开门”，但旁边突然有人（或者字幕）大声喊：“他在关门！”或者给视频加了一些完全无关的噪音字幕。
- 目的： 测试实习生能不能分清真假。当视频证据和文字提示打架时，它敢不敢相信眼睛看到的，还是会被文字带偏？
模式四：时间干预（Temporal Intervention）
- 比喻： 把视频里的动作顺序打乱。比如把“先穿鞋再系鞋带”的视频，剪辑成“先系鞋带再穿鞋”。
- 目的： 测试实习生有没有时间观念。如果它不管顺序怎么变，都给出同一个答案，说明它根本没看懂动作的逻辑，只是在死记硬背。

3. 测试结果：高分不代表靠谱

作者用这个“魔鬼训练营”测试了 14 个最厉害的 AI 模型（包括 GPT-5.1、Gemini 等）。结果发现了一个惊人的现象：

平时分高，不代表抗压能力强： 很多模型在“基础模式”下考 90 分，但在“证据污染”或“时间打乱”的模式下，分数暴跌。
特别爱听“假话”： 当视频里出现错误的字幕（比如把“开门”写成“关门”）时，很多模型会立刻被带偏，放弃了视频里的真实画面。这说明它们太依赖文字提示，不够自信。
时间感极差（惯性大）： 这是最搞笑的发现。很多开源模型在遇到“打乱顺序”的视频时，完全没反应。哪怕视频里的人先倒立再走路，它们还是坚持说“这是正常的走路”。它们就像一辆没有刹车的车，一旦开起来（有了初始判断），就算路变了，它也停不下来，继续按原来的惯性跑。

4. 这个研究有什么用？

这就好比以前我们只关心汽车跑得快不快（准确率），现在 INFACT 告诉我们，我们更得关心汽车在暴雨、雪天、或者被坏人干扰时会不会失控（可靠性）。

对于开发者： 这是一个诊断工具，能精准指出模型是“看不清”、“记不住常识”还是“太固执”。
对于大众： 它提醒我们，现在的 AI 虽然看起来聪明，但在处理复杂、混乱或需要严格逻辑的视频时，千万别全信它，因为它可能会在关键时刻“掉链子”。

一句话总结：
INFACT 就像给视频 AI 装了一面哈哈镜和干扰器，专门用来照出它们“平时装得挺像，一遇事就露馅”的毛病，告诉我们要想真正信任 AI，光看它平时考多少分是不够的，还得看它在“混乱世界”里能不能稳住阵脚。

1. 研究背景与问题 (Problem)

尽管视频大语言模型（Video-LLMs）在视频理解任务上取得了显著进展，但其可靠性仍受限于**幻觉（Hallucinations）**问题。幻觉主要分为两类：

忠实性幻觉 (Faithfulness Hallucinations)： 模型输出与视频中的视觉证据相矛盾（例如，描述视频中未出现的物体或动作）。
事实性幻觉 (Factuality Hallucinations)： 模型输出与可验证的世界知识相矛盾（例如，违反物理定律、错误的历史事实或错误的操作步骤）。

现有研究的局限性：

覆盖范围不足： 现有的基准测试主要关注基于视频证据的忠实性幻觉，严重缺乏对事实性幻觉（需要外部世界知识验证）的评估。
评估环境单一： 大多数基准仅在“干净”（Clean）的输入环境下评估模型，忽略了现实部署中常见的视觉退化、证据干扰或时间顺序混乱等噪声场景。
指标缺失： 高准确率并不等同于高可靠性。模型可能利用语言先验或静态线索“走捷径”获得高分，但在面对证据扰动时表现脆弱。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 INFACT，这是一个细粒度的诊断基准，旨在评估 Video-LLMs 在干净和噪声场景下的忠实性和事实性。

2.1 数据集构建 (Data Construction)

规模： 包含 9,800 个问答（QA）实例。
来源： 结合了真实视频（来自 MVBench, Video-MME 等）和合成视频（使用 Sora, Wan2.5 等生成模型制作违反物理定律的视频）。
细粒度分类体系 (Taxonomy)：
- 忠实性 (Faithfulness)： 分为三个层级，复杂度递增：
  1. 静态实体与属性 (Static Entities & Attributes)：如物体识别、属性识别、场景文本识别。
  2. 动态动作与运动 (Dynamic Actions & Motions)：如动作识别、重复计数、运动属性。
  3. 时空关系 (Spatio-Temporal Relations)：如空间/时间关系推理、状态转换检测、时间定位。
- 事实性 (Factuality)： 分为三类知识：
  1. 领域知识 (Domain Knowledge, Know-WHAT)：文化事件、历史背景、地理定位等。
  2. 程序性知识 (Procedural Knowledge, Know-HOW)：电子、机械、家庭、临床操作步骤的逻辑性。
  3. 物理知识 (Physical Knowledge, Know-WHY)：牛顿力学、流体力学、材料属性、时空连续性。

2.2 四种评估模式 (Evaluation Modes)

INFACT 设计了四种模式来探测模型在不同条件下的表现：

Mode I (Base)： 原始干净的视频和问题，作为基准性能上限。
Mode II (Visual Degradation)： 保持标签不变，引入视觉扰动（高斯噪声、运动模糊、视频压缩），测试模型在感知模糊下的稳定性。
Mode III (Evidence Corruption)： 保持标签不变，引入误导性证据（字幕注入、字幕污染、对抗性噪声），测试模型是否能优先信任视觉证据而非误导性文本。
Mode IV (Temporal Intervention)： 针对对时间顺序敏感的问题，打乱或反转视频帧。由于原始正确答案依赖于时间顺序，此模式测试模型是否真正理解时间逻辑，还是依赖静态先验。

2.3 评估指标 (Metrics)

抵抗率 (Resist Rate, RR)： 用于 Mode II 和 III。衡量模型在视觉退化或证据污染下，是否仍能保持与 Base 模式相同的正确答案。
- $RR = \frac{\text{Base正确且扰动后仍正确}}{\text{Base正确}}$
时间敏感度分数 (Temporal Sensitivity Score, TSS)： 用于 Mode IV。衡量模型在时间结构被破坏后，是否改变了其预测（即不再输出原始正确答案）。
- $TSS = \frac{\text{Base正确但扰动后预测改变}}{\text{Base正确}}$
- 注：高 TSS 表示模型对时间敏感，低 TSS（接近 0）表示模型存在“时间惯性”，即无论时间顺序如何都输出相同答案。

3. 主要贡献 (Key Contributions)

INFACT 基准发布： 首个同时涵盖忠实性和事实性幻觉的细粒度诊断基准，包含 9,800 个样本，覆盖真实与合成视频。
创新评估协议： 提出了包含四种模式（Base, 视觉退化，证据腐蚀，时间干预）的评估框架，并引入了 RR 和 TSS 两个关键指标来量化模型在诱导模式下的可靠性。
系统性实证分析： 对 14 个代表性 Video-LLMs（包括开源和闭源模型）进行了全面评估，揭示了当前模型在抗干扰能力和时间逻辑理解上的显著缺陷。

4. 实验结果与发现 (Results & Analysis)

对 14 个模型（包括 GPT-5.1, Gemini3-flash, Qwen3-VL, InternVL3 等）的评估揭示了以下关键发现：

Base 准确率 $\neq$ 可靠性：
- Base 模式的高准确率并不能可靠地预测模型在诱导模式下的表现。虽然整体相关性较高，但在特定扰动下，排名会发生显著变化。
证据腐蚀比视觉退化更具破坏性：
- 在 Mode III 中，证据腐蚀（特别是误导性字幕注入）导致的性能下降比单纯的视觉退化（Mode II）更严重。这表明模型容易受到误导性文本线索的干扰，难以坚持视觉证据。
普遍存在的“时间惯性” (Temporal Inertia)：
- 在 Mode IV（时间干预）中，许多开源模型在事实性问题上的 TSS 接近于 0。这意味着即使打乱视频顺序，模型仍输出与原始顺序相同的答案，表明它们并未真正理解事件的时间逻辑，而是依赖静态先验或语言模式。
- 相比之下，闭源模型（如 Gemini3-flash）和部分先进开源模型（如 Qwen3-VL）表现出更高的 TSS，显示出更好的时间敏感性。
细粒度能力差异：
- 事实性方面：程序性判断（Procedural Judgement）和物理推理（Physical Reasoning）是主要短板。
- 忠实性方面：基于运动和结构的维度（如时间定位、运动属性）表现较弱。
帧采样率的影响：
- 增加采样帧数（从 8 到 32 帧）能提升 Base 准确率，但对提升诱导模式下的可靠性（RR 和 TSS）帮助有限，说明单纯增加数据量无法解决根本的幻觉问题。

5. 意义与影响 (Significance)

重新定义可靠性评估： INFACT 证明了仅靠干净场景的准确率无法衡量 Video-LLMs 的真实能力。通过引入受控的扰动（诱导模式），能够更敏锐地诊断模型的弱点（如过度依赖文本先验、缺乏时间逻辑）。
揭示事实性幻觉的严重性： 论文指出事实性幻觉（特别是涉及物理定律和程序步骤的）被现有研究严重低估，且模型往往以高置信度输出错误答案。
指导模型优化方向： 实验结果表明，未来的 Video-LLM 研发需要：
- 增强对多模态冲突的处理能力（在文本与视频冲突时坚持视觉证据）。
- 改进时间建模机制，减少时间惯性，使模型真正理解事件发生的因果和顺序。
- 在训练数据中引入更多事实性知识和物理常识的验证。

综上所述，INFACT 为 Video-LLMs 的幻觉研究提供了一个更严格、更全面且更具诊断性的评估工具，推动了从“追求准确率”向“追求可靠性与鲁棒性”的范式转变。