LoVR: A Benchmark for Long Video Retrieval in Multimodal Contexts
本文介绍了 LoVR，这是一个针对长视频-文本检索的大规模基准测试，其特点是拥有超过 40,000 个细粒度片段以及通过一种新型基于 VLM 的优化流水线生成的高质量描述，旨在克服现有数据集的局限性并严格评估先进的多模态检索模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图在一部三小时长的电影中寻找一个特定的、微小的瞬间。你知道那个场景：角色穿着一件蓝色衬衫，手里拿着咖啡杯，正在对着一个笑话大笑。但这部电影太长了，其中的场景也太多了，要在其中找到那一秒钟，就像是在一座城市规模的干草堆里寻找一根针。
这就是 LoVR 这篇论文试图解决的问题。
问题所在：“短视频”陷阱
目前，大多数旨在搜索视频的计算机程序就像是只学习过 15 秒短片的学生。它们擅长在 10 秒钟的视频里找到一只跳跃的猫，但如果你给它们一部 2 小时的纪录片，它们就会迷失方向。它们不知道如何驾驭漫长的故事，或者会被海量的信息搞糊涂。
现有的“测试”（基准测试）就像是用一张单间房间的地图来导航整个国家。它们太短了，描述也太模糊，而且无法测试计算机处理长篇复杂故事的能力。
解决方案：引入 LoVR
作者创建了 LoVR（长视频检索），它本质上是一个为视频搜索计算机准备的大规模、高难度的“期末考试”。
- 图书馆： LoVR 不再使用短片段，而是包含了 467 段长视频（有些甚至超过一小时）。
- 细节： 在这些长视频中，他们将其切割成了 40,804 个微小且具体的片段。
- 描述： 对于每一个片段以及整个视频，他们都撰写了非常详细、高质量的描述（标题）。
可以这样理解：如果其他的测试是在问“找一段有狗的视频”，那么 LoVR 则是在问“找到那段穿着红色毛衣的狗在下雨时对着松鼠吠叫的精确 10 秒片段”。
他们是如何构建它的：“机器人编辑”流水线
靠人工为 4 万个片段编写描述需要耗费人类数年的时间。而用一个简单的机器人来编写则会导致逻辑不通。因此，作者构建了一个聪明的 “机器人编辑”流水线：
- 初稿（机器人）： 他们使用了一个超级智能的 AI（视觉语言模型）来观看片段并撰写描述初稿。
- 质量检查（评分员）： 另一个 AI 扮演严格老师的角色，对描述进行评分。如果描述与视频匹配得不够好，就会被退回。
- 重写（编辑）： 如果分数太低，系统会尝试使用另一个更智能的 AI 模型再次进行尝试。
- 人工润色（最终校对员）： 只有当机器人尝试了三次都失败后，才会由人类介入编写描述。
这种机器人与人类的结合，使得他们能够创建一个既规模宏大又极其准确的数据集。
“完整故事”的挑战
长视频的一个棘手之处在于，如果你只是把所有微小的描述拼接在一起，读起来就像破碎的句子。为了解决这个问题，作者教会了 AI 像小说家一样思考。AI 不再仅仅是列举事件，而是学会了将片段的描述融合在一起，平滑过渡，使得整个视频的最终描述读起来像是一个连贯的故事，而不是一份要点清单。
结果：现实的检验
当研究人员用这个全新的 LoVR 考试测试目前最优秀的视频搜索计算机时，结果令人警醒：
- 挣扎： 即便是最智能的模型也会迷失。它们有时能找到大致的“视频”，但要找到特定的“片段”却非常困难。
- 局限性： 研究发现，仅仅向计算机喂入更多的帧（每秒更多的图片）并不会带来太大帮助。这不在于看得更多，而在于能否理解长篇故事。
- 差距： 最好的模型仍然远非完美，这表明我们距离拥有一个能真正像人类一样“观看”并“理解”长篇电影的计算机还有很长的路要走。
总结
LoVR 是一个新的、更严苛的标准。它就像是将驾驶测试从停车场升级到了高峰时段繁忙的高速公路。它向我们展示了当前技术在哪里失效，并为研究人员提供了一个明确的目标：构建能够真正理解长篇、复杂视频故事的系统，而不仅仅是处理短小的片段。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。