LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models
本文介绍了 LongVQUBench，这是一个包含 1200 多个多样化长时长视频和 1500 个问题的综合基准测试，旨在通过三个层级的推理水平来评估视觉语言模型对长期视频质量的理解，并揭示了当前最先进模型在时间整合与感知归因方面的显著性能局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明的机器人，它能观看视频并谈论它所看到的内容。你问它：“那个视频看起来模糊吗？”或者“为什么画面会闪烁？”对于短片段，比如一段 10 秒钟的猫咪视频，这个机器人通常表现得很好。但如果你让它看一部长达两小时的电影，并告诉它视频质量是否随着时间推移而变差，会发生什么呢？
根据 LongVQUBench 这篇论文，目前的“超智能”视频机器人实际上在处理这种长期的质量检测方面表现得很差。以下是研究人员所做的工作和发现的简单拆解。
问题所在：具有“短时记忆”的机器人
把现有的视频机器人想象成一个注意力非常容易分散的人。如果指给他们看窗户上的污点（短片段），他们很擅长捕捉。但如果你要求他们观看一整天的监控录像，并告诉他们摄像机是从什么时候开始变得模糊的，他们就会迷失方向。当他们看到结尾时，已经忘记了开头；他们很难将细小的故障连接成一个关于“质量变差”的大局观。
解决方案：一个新的“压力测试”
研究人员构建了一个名为 LongVQUBench 的新测试。你可以把它想象成一场专门设计的、极其复杂的考试，旨在测试这些机器人处理长视频的能力。
- 内容： 他们收集了 1,200 多个视频。有些是电影，有些是新闻，有些是摇晃的家庭录像，还有些是动画片。
- 技巧： 他们不仅仅是展示视频，还在其中秘密地植入了“漏洞”（失真）。想象一下，一段视频中，颜色在几秒钟内发生了奇怪的变化，或者画面出现了卡顿，或者变得充满了噪点。
- 大海捞针： 他们称之为 “针尖失真”（Needle Distortion） 测试。这就像是在一个巨大的干草堆里寻找一根细小的针。机器人必须在一段可能长达两小时的视频中找到那个微小的故障。
三个等级的考试
该测试通过三个步骤变得越来越难，就像爬梯子一样：
等级 1：“发现故障”测试（局部事件）
- 任务： “看这段 20 秒的片段。这里有模糊吗？”
- 类比： 这就像问一个学生：“这一句话里有错别字吗？”大多数机器人在处理这类问题时表现尚可。
等级 2：“连点成线”测试（跨事件）
- 任务： “在第 5 分钟出现了一个故障，第 45 分钟又出现了一个。它们如何比较？它们是否共同导致整个视频质量变差了？”
- 类比： 现在你问那个学生：“比较一下第一句的错别字和第五句的错别字。哪一个对故事的影响更大？”机器人在这里开始挣扎，因为它们必须在观察第二部分时仍记得第一部分的内容。
等级 3：“整体氛围”测试（全局理解）
- 任务： “在看完整部两小时的电影后，画质是好的、坏的，还是随着时间推移变差了？为什么？”
- 类比： 这就像要求学生写一篇关于整本书的论文，解释写作质量是如何从第一章到最后一章发生变化的。这是机器人失败得最严重的地方。它们无法将整个体验综合成一个单一且聪明的观点。
他们的发现
研究人员测试了 14 个目前最先进的视频机器人（包括像 GPT-5 这样的大型模型以及各种开源模型）。
- 视频越长，表现越差： 随着视频变长以及问题变得更加复杂，机器人的得分显著下降。
- 帧数越多 效果越好： 你可能会想：“如果我给机器人展示视频中更多的画面，它就会做得更好。”研究人员发现，仅仅向机器人喂入更多的帧并不能解决问题。机器人仍然会对时间线感到困惑。
- “全局”差距： 机器人能够很好地识别单个故障（等级 1），但在判断长视频的整体质量（等级 3）方面表现得很糟糕。它们就像是一个能看到砖块上有裂缝，却无法告诉你整面墙是否即将倒塌的人。
核心结论
论文得出结论，虽然这些 AI 模型在理解视频中“正在发生什么”（故事、动作）方面非常出色，但在理解长时段内视频“呈现效果如何”方面仍然非常笨拙。它们缺乏建立关于长时间内质量变化的“心理地图”的能力。
研究人员创建了 LongVQUBench，将其作为衡量这一特定弱点的标准尺，希望这能帮助工程师构建出能够真正欣赏（或评价）整部电影，而不会丢掉思路的机器人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。