Distorted or Fabricated? A Survey on Hallucination in Video LLMs
这篇论文系统梳理了视频大语言模型中的幻觉问题，提出了包含动态扭曲和内容虚构的分类体系，深入分析了其成因并综述了评估与缓解方法，为构建可靠的视频语言系统指明了未来方向。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是一份给**视频大语言模型（Vid-LLMs）**做的“体检报告”和“纠错指南”。
想象一下，你请了一位超级聪明的视频解说员。他看过无数电影，能滔滔不绝地描述画面。但是，这位解说员有个毛病：他太爱“脑补”了，而且经常记不住时间顺序。
这篇论文就是专门研究这位解说员为什么会“胡说八道”（也就是幻觉），并给他分类、找原因、开药方。
以下是用大白话和生动比喻对这篇论文的解读：
1. 核心问题：解说员为什么会“瞎编”？
在静态图片里，解说员如果看错了，可能只是把猫说成狗。但在视频里，事情变复杂了，因为视频是流动的，还有声音。
论文把解说员的错误分成了两大类：
第一类：动态扭曲（Dynamic Distortion）——“记性不好，时间线乱套”
这就好比解说员真的看到了画面，但是把时间顺序搞混了，或者把不同的人/场景搞混了。
- 时间错乱（时空动态）：
- 顺序颠倒： 视频里是先“打鸡蛋”再“煎蛋”，解说员非说是先“煎蛋”再“打鸡蛋”。
- 时长幻觉： 视频里一个人跑了 10 秒，解说员说跑了 1 分钟。
- 数数困难： 视频里猫叫了 3 声，解说员说叫了 10 声。
- 指代混乱（指代不一致）：
- 张冠李戴： 视频前半段是“穿红衣服的小明”，后半段是“穿蓝衣服的小刚”，解说员却把他们的动作混在一起，说“小明穿着蓝衣服在跑步”。
- 场景穿越： 把厨房里的炒菜动作，硬安在客厅的沙发上。
第二类：内容伪造（Content Fabrication）——“凭空想象，过度脑补”
这就好比解说员根本没看清画面，或者被声音带偏了，直接用自己的“老经验”瞎编。
- 情境脑补（上下文驱动）：
- 刻板印象： 视频里有个“西瓜”，解说员没看到切西瓜的动作，就凭经验说：“这人肯定在切西瓜吃”。（其实西瓜是完整的）。
- 场景联想： 视频背景是“厨房”，解说员就说：“这里肯定有人在做饭”，哪怕画面里厨房是空的。
- 视听冲突（被声音带偏）：
- 听风就是雨： 视频里画面很安静，但背景里有鸟叫声。解说员就说：“看，一只鸟在唱歌！”（其实画面里根本没鸟）。
- 情绪误判： 画面里的人面无表情，但背景音乐很悲伤。解说员就说：“这个人哭得很伤心。”
2. 为什么会出现这些问题？（病因分析）
论文给这位“解说员”把脉，发现主要有两个病根：
- “慢镜头”能力差（缺乏时间感知）：
目前的模型很多是用看静态照片的脑子在看视频。就像用看照片的相机去拍电影，容易把动作的连贯性丢掉了，导致记不住谁先谁后，也记不住跑了多久。 - “先入为主”太严重（缺乏视觉 grounding）：
模型太依赖以前学过的“常识”（比如看到厨房就想到做饭），或者太相信耳朵听到的声音，而忽略了眼睛真正看到的画面。这就好比一个人戴着有色眼镜，只愿意相信自己想看到的，不愿意看事实。
3. 现在的“体检”和“药方”（评估与解决）
现在的“体检表”（Benchmark）
科学家们造了很多专门的测试题来考这位解说员：
- 考时间感： 给一段视频，问“先发生了什么？”、“动作持续了多久？”、“重复了几次？”。
- 考记忆力： 给一段长视频，问“穿红衣服的人后来去哪了？”（防止张冠李戴）。
- 考抗干扰： 给一段有鸟叫但没鸟的视频，看解说员会不会瞎编。
现状是： 现在的模型在短视频、简单任务上表现不错，但一遇到长视频、复杂的时间顺序或者声音干扰，就经常“翻车”。
开出的“药方”（Mitigation Strategies）
为了治好这些毛病，研究者们尝试了各种方法：
- 加强“时间感”训练： 让模型专门学习动作的连贯性，比如用“对比学习”，让它明白“先打蛋后煎蛋”和“先煎蛋后打蛋”的区别。
- 强迫“看图说话”： 在训练时，故意给模型看一些“反常识”的视频（比如西瓜没被切开），强迫它必须依据画面说话，而不是靠猜。
- 给耳朵“戴耳塞”： 针对视听冲突，训练模型在描述画面时，先忽略声音，确认视觉证据后再结合声音。
- 建立“记忆库”： 对于长视频，给模型加一个“记事本”，让它能记住前面出现过谁，防止后面搞混。
4. 未来的方向（给解说员的进修建议）
论文最后建议，未来的视频模型应该：
- 换上“电影摄像机”的大脑： 别再用看照片的算法了，要专门设计能理解运动和时间流的架构。
- 学会“反事实思考”： 多做一些“如果没发生这个动作会怎样”的训练，学会把“常识”和“眼前的事实”区分开。
- 建立长期记忆： 像人类看连续剧一样，能记住几十分钟前的人物和情节，而不是看几秒就忘。
总结
这就好比我们在教一个刚入职的实习生如何当视频解说员。
- 以前我们只教他认图片（静态）。
- 现在我们要教他看时间轴（动态）、记人物档案（指代）、分清真假（抗脑补）。
- 这篇论文就是告诉我们要怎么教他，才能让他不再“一本正经地胡说八道”，真正成为一个靠谱的视频理解助手。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。