🤖 machine learning

VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition

为应对视觉语言模型在行动识别评估方面的衰退，本文提出了 VideoNet，这是一个涵盖 1,000 个领域特定动作的大规模基准测试及相应的 50 万条视频问答训练数据集，结果表明，在此数据上进行微调可使较小模型在识别复杂且具领域特定性的动作方面超越更大的开源权重模型。

原作者： Tanush Yadav, Mohammadreza Salehi, Jae Sung Park, Vivek Ramanujan, Hannaneh Hajishirzi, Yejin Choi, Ali Farhadi, Rohun Tripathi, Ranjay Krishna

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tanush Yadav, Mohammadreza Salehi, Jae Sung Park, Vivek Ramanujan, Hannaneh Hajishirzi, Yejin Choi, Ali Farhadi, Rohun Tripathi, Ranjay Krishna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人，它能读书、写诗，还能就几乎任何话题与你交谈。你可能会想：“太棒了！它大概也能观看视频并准确告诉我发生了什么，对吧？”

论文《VideoNet》却说：“别急。”

虽然这些被称为“视觉 - 语言模型”的机器人在通用任务上表现出色，但它们在对需要专业知识的特定、现实世界动作的识别上，却令人惊讶地糟糕。为了证明这一点并加以解决，研究人员为机器人建造了一个名为VideoNet的新“健身房”。

以下是他们所做之事的简要说明：

1. 问题所在：机器人是通才，而非专才

可以将当前的 AI 模型想象成一位博览群书的高中生。他们对万事万物都略知一二。如果你给他们看一段某人打篮球的视频，他们能告诉你：“那是篮球。”

但如果你让他们区分“战斧式扣篮”和“空中接力扣篮”，或者在花样滑冰中分辨“三周阿克塞尔跳”和“三周卢茨跳”，他们就会感到困惑。他们可能会猜测，但往往猜错。

研究人员发现，由于缺乏展示这些特定、棘手动作的大规模多样化视频集合，机器人从未真正练习过这些动作。他们就像一位只会做基础煎蛋卷、却从未见过舒芙蕾的厨师。

2. 解决方案：构建"VideoNet"（终极常识问答）

为了测试机器人，团队构建了VideoNet。

规模：它是一个庞大的库，包含跨越37 个不同领域的1,000 种不同动作。
领域：这些领域从熟悉的（烹饪、运动、舞蹈）到非常具体的（转笔、神经学检查、钩针编织，甚至缝合）。
难度：他们并非随意抓取视频，而是创建了“困难负样本”。
- 类比：想象一个测验，问题是“这是什么？”，选项是“一只金毛寻回犬”和“一只戴着小帽子的金毛寻回犬”。这很难。VideoNet 就是如此。他们找到了那些在未经训练的眼中看起来几乎一模一样的动作视频，迫使 AI 去观察细微的差别。

3. 测试：机器人与人类

研究人员利用 VideoNet 对最先进的 AI 机器人（如 Gemini 和 GPT）进行了测试。

结果：机器人表现挣扎。即使是最高级的模型，在多项选择题中也仅获得了约**70%**的正确率。这听起来尚可，但对于超级智能的机器人来说，这却是不及格的成绩。
“少样本”测试：他们尝试通过先给机器人展示一些示例来提供帮助（就像在正式考试前给学生看一道练习题）。
- 转折：当看到示例后，人类的表现有了显著提升。而机器人呢？它们几乎没有进步，有些甚至表现得更差。这就好像机器人被示例搞糊涂了，而非从中学习。它们无法像人类那样“串联起线索”。

4. 修复：从零开始教导机器人

研究人员意识到，机器人的失败并非因为它们“愚蠢”，而是因为它们在这些特定领域缺乏训练。

训练数据：他们构建了一个包含近50 万个视频片段的大型训练数据集。他们使用了一个巧妙的技巧：与其雇佣数千名专家来标记每个视频（这太昂贵），不如利用 AI 在标题或口语转录（字幕）中提到该动作的视频。
结果：他们利用这些新数据训练了一个较小的机器人（一个 40 亿参数模型）。
- 神奇之处：经过这次训练后，这个较小的机器人在识别这些特定动作方面，表现得比那些更大但未受训练的机器人（80 亿参数模型）还要好。这就像一位专注的学徒，经过多年特定技艺的练习，击败了一位从未接触过工具的通才天才。

5. 核心启示

该论文得出结论：为了让 AI 真正理解现实世界，我们不能仅仅依赖它们在回答问题时“自行领悟”。我们需要为这些特定任务提供高质量的具体训练数据。

现状：AI 就像一位游客，能认出著名地标，却不知道如何修理漏水的龙头或完成特定的舞蹈动作。
VideoNet 的贡献：它提供了地图和练习 drills，将那位游客转变为熟练的本地专家。

简而言之：该论文构建了一个巨大且困难的测试，以证明 AI 在特定现实世界技能上的不足，随后又构建了一套训练手册，教会了一个较小的 AI 在这些特定技能上超越更大的 AI。

技术摘要：VideoNet

问题陈述

动作识别长期以来一直是计算机视觉的基石，然而，由于缺乏多样化、具有挑战性且特定于领域的数据，现代视觉 - 语言模型（VLMs）已 largely 不再在此任务上进行评估。现有的基准测试往往侧重于粗粒度标签（例如“攀岩”）或缺乏现实世界适用性的细粒度时间属性（例如物体旋转方向）。因此，VLMs 并未在其识别特定领域动作的能力上接受测试——例如花样滑冰中的“三周半跳”或神经学中的“跨阈步态”——这些动作不仅需要感知能力，还需要组合推理能力以区分细微的、专家级的差异。此类数据的缺失阻碍了研究人员评估 VLMs 在现实世界专家级任务中的泛化能力。

方法论

基准构建（VideoNet）

作者引入了 VideoNet，这是一个涵盖 37 个领域（如体育、医疗、工艺、舞蹈）中 1,000 种不同动作的基准测试，这些动作被组织成 7 个类别。构建过程包括：

分类法生成：采用自上而下的方法，利用专家编写的来源和大型语言模型（LLMs，辅以网络搜索）来定义动作及其视觉区分特征。
数据收集流程：一个三阶段的人工标注过程：
- 收集：标注者从不同的网络来源为每个动作找到 7 个视频片段。
- 验证：标注者验证片段是否包含该动作且剪辑得当。非专家将片段分类为“包含”或“不包含”该动作，以降低复杂性。
- 剪辑：由经过动作定义培训的标注者对剪辑不当的片段进行优化。
标签验证：专家对 620 个片段的子集进行验证，确认了 97.6% 的准确率，验证了该流程的稳健性。
硬负例生成：为了防止模型依赖场景级线索，作者利用 LLMs 和推理模型生成了“硬负例”（视觉上与目标相似但在技术或运动上截然不同的动作），以过滤掉共现或模糊的动作。
评估设置：
- 多项选择：每个片段提供 4 个选项（1 个真实标签，3 个硬负例）。
- 二元少样本：一个二元的“是/否”问题，包含 $k \in \{0, 1, 2, 3\}$ 个上下文视频示例。

训练数据集

认识到人工标注对于训练规模的数据而言成本过高，作者开发了一个完全自动化的流程来收集 约 50 万个视频问答（VQA）对（经筛选后约为 16 万个高质量片段）。

来源：针对 37 个领域的网络爬取视频。
定位：使用 Gemini 2.5 Flash 定位动作的时间戳。
标注策略：测试了三种过滤策略：
1. TranscriptLocalized：动作名称出现在片段附近的转录文本中。
2. TranscriptLocalizedTitleMatch：动作名称同时出现在转录文本和标题中。
3. SingleAction：如果标题提及一个动作且定位器仅找到一个片段，则该片段被标记为该动作。
微调：在这些数据集上对 Molmo2-4B 模型进行了微调。

关键结果

VLM 在 VideoNet 上的表现

多项选择：现有的开源 8B 模型表现挣扎，准确率仅为 45.0%（Qwen3-VL-8B），而最好的专有模型（Gemini 3.1 Pro）达到 69.9%。随机猜测概率约为 25%。
二元零样本：在宽松的二元设置下（随机猜测概率 50%），开源模型达到 59.2%（Qwen3-VL-8B），而专有模型在 72% 左右达到平台期。
少样本学习：VLMs 从视觉上下文示例中学习的能力有限。
- 非专家人类在使用 3 次示例后提升了 +13.6%。
- VLMs 平均仅提升了 +2.9%，部分模型（如 Gemini 3.1 Pro）的表现甚至出现下降。
- 这表明与人类相比，VLMs 缺乏用于高效视觉少样本学习的感知机制。

训练数据的影响

在 SingleAction 数据集（最小但质量最高的子集）上微调 Molmo2-4B 模型，在多项选择设置中带来了 11.5 个百分点 的提升，准确率达到 53.5%。
关键在于，这个 4B 微调模型超越了所有现有的开源 8B 模型，并接近专有 8B+ 模型的性能，这表明对于此任务，特定领域的训练数据比模型规模更为关键。
微调后的 4B 模型在二元零样本设置中也达到了 66.6%，优于 Qwen3-VL-8B 的 3 次样本表现（66.2%）。

意义与主张

该论文声称，VideoNet 通过专注于特定领域、细粒度的动作，使动作识别重新成为 VLM 时代的相关评估任务。作者认为：

当前 VLMs 存在缺陷：在识别特定领域动作方面表现不足，即使在宽松的二元设置中也举步维艰，且无法有效利用视觉少样本示例。
数据质量和领域特异性至关重要：一个更小、高质量的训练数据集（SingleAction）使 4B 模型能够超越更大的 8B 模型，挑战了仅靠规模即可解决这些任务的观念。
人类与模型的差距：人类与模型在少样本表现上的显著差距，凸显了当前 VLMs 从演示中学习视觉模式能力的根本局限性。
未来研究：该数据集可作为改进感知、视觉推理和现实世界动作理解的试验台，有望解锁医疗诊断或运动教练等专家辅助领域的应用。

作者强调，他们的工作提供了必要的基础设施（基准和训练数据），以推动研究超越粗粒度或合成时间推理任务，迈向真正的、专家级的视频理解。