Meaningful Moments: A Corpus of VLM-Derived Temporal Importance Labels for Video Action Recognition
本文介绍了“Meanful Moments”，这是一个大规模的、由视觉语言模型（VLM）衍生的时序重要性标签语料库，涵盖了三大主流数据集中的近 50 万个视频，并证明了基于这些标签进行片段选择，相比于均匀采样或基于填充内容的筛选，能显著提升视频动作识别的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在视频分析领域，计算机在识别场景中正在发生什么方面已经变得非常出色。它们可以分辨出一个人是在跑步还是在游泳，或者区分出一只狗在追球还是在一块地毯上睡觉。然而，这些机器在面对一个更微妙的问题时往往会感到吃力：动作最重要的部分究竟发生在什么时候？一段视频可能包含数分钟的准备过程、重复的动作或无关的背景噪音，而用于识别该动作所需的实际证据仅集中在短短几秒钟的决定性时刻。为了让计算机进行高效学习，它需要知道哪些时刻值得关注，哪些时刻应该忽略，就像人类观众会本能地跳过电影中无聊的部分，转而专注于高潮情节一样。
这正是达特茅斯学院的研究人员致力于解决的挑战。他们想知道人工智能是否可以自动定位成千上万个视频中的这些关键时刻，而无需人类去观看每一秒钟。为此，他们转向了一种被称为“视觉-语言模型”的新型人工智能。这类系统经过训练，能够同时理解图像和文本，从而使它们能够对视频中正在发生的事情及其重要性进行推理。研究人员利用这项技术创建了一个庞大的新数据集，本质上是一个标签库，用以告诉计算机视频的哪些部分对于识别动作至关重要，而哪些部分仅仅是填充物。
由 Cameron Keith 和 SouYoung Jin 领导的研究小组构建了一个名为“意义时刻”（Meaningful Moments）的集合。他们处理了来自三个不同主要数据集的近 50 万个视频，涵盖了从复杂的竞技跳水到简单的手部动作（如将物体放在桌子上）等各种内容。总计，他们生成了约 458 万个评分，即每个视频中每个短片段都有一个评分。为了生成这些评分，他们要求一个强大的人工智能模型充当评委。该模型会被展示一段视频，并被告知其中包含的动作名称。然后，对于该视频中的每一个一秒钟切片，模型必须回答一个特定的问题：如果移除这个切片，识别该动作是否会变得更加困难？
模型根据这种推理为每个切片分配分数。如果移除一个切片会导致动作无法识别，该切片就会获得高分。如果该切片包含静态场景、无关物体或对识别动作没有帮助的动作后续过程，它就会获得低分。研究人员非常小心，以确保模型不仅仅是在瞎猜；他们通过已知答案来约束模型，要求它验证特定标签的证据，而不是去发现标签本身。这种方法使他们能够创建一个一致且大规模的映射，展示“意义时刻”存在于视频时间轴的什么位置。
一旦拥有了这个庞大的重要性评分库，研究人员测试了这些标签是否真的能帮助计算机更好地识别动作。他们使用了一种巧妙的实验设置，即保持视频识别软件处于冻结且不变的状态。唯一改变的是他们向系统输入视频的方式。在一种情景中，他们只向系统输入模型标记为重要的片段。在另一种对比情景中，他们只输入被标记为不重要的片段，实际上做了与模型建议相反的操作。这使得他们能够分离出：性能的提升究竟是来自于人工智能提供的特定建议，还是仅仅因为观察的帧数变少了。
结果揭示了一个迷人的事实：这些标签的价值完全取决于所观看视频的类型。对于竞技跳水视频，其关键动作是单一且集中的运动爆发，标签的效果非常完美。当系统只关注高分时刻时，它识别跳水的表现与观看完整视频时一样好，同时忽略了准备和着陆阶段。事实上，当系统忽略低分填充物时，其表现显著提升。
然而，对于日常人类活动（如烹餐或与物体互动）的视频，情况则大不相同。识别这些动作所需的证据往往分布较广，或者依赖于片段开头和结尾处物体的状态。人工智能模型倾向于将动作的中间部分标记为重要，但识别软件实际上需要开头和结尾才能做出判断。当研究人员强迫软件只看中间部分时，其性能下降了。这表明，虽然人工智能可以识别出它认为重要的部分，但它并不总是与识别软件取得成功所需的观察方式相一致。
该研究还将这种高科技方法与一种更简单的方法进行了比较：测量每一秒钟发生的运动量。虽然基于运动检测的方法是免费且快速的，但它无法理解动作的语境。研究人员发现，在某些情况下，基于运动的方法与复杂的 AI 方法一样好，但在其他情况下，人工智能提供了运动本身无法看到的关键信息。这表明，最佳方法取决于具体的任务。
最终，研究人员向公众发布了他们这个庞大的重要性标签集合，允许其他科学家测试并完善这些想法。他们发现，虽然人工智能可以生成有用的指南来进行视频分析，但它并不是人类理解的完美替代品。这些标签具有启发性，并且可以提高性能，但前提是人工智能看待视频的方式必须与识别软件看待视频的方式相匹配。这项工作表明，我们现在可以在大规模范围内衡量这种一致性，为构建更智能、更高效的视频分析系统提供新工具，使这些系统明确知道何时该观察，以及何时该移开视线。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。