💻 computer science

SLVMBench: Skill Learning from Video Memory

本文介绍了 SLVMBench，这是首个旨在评估视频大语言模型从包含嵌入式教程的长视频流中学习程序性技能，并将其应用于实时任务的能力的基准测试，研究揭示了由于长上下文记忆和技能迁移方面的局限性，当前模型在这一能力上表现得非常吃力。

原作者： Yudong Yang, Guangzhi Sun, Yixuan Li, Chao Zhang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yudong Yang, Guangzhi Sun, Yixuan Li, Chao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在学习如何修理漏水的水龙头。你在 YouTube 上找到了一个完美的、时长 10 分钟的教学视频。你看着视频，一边点头一边学习，感觉自己已经完全掌握了。然后，你关掉标签页，去做了两小时别的事情。也许你看了许多随机的猫咪视频、烹饪节目，还有一部关于深海鱼类的纪录片。

现在，你回到水槽旁。水龙头正在滴水。你拿起扳手，但突然间，大脑一片空白。等等，我是先松开螺母还是先拧螺丝？是用扳手还是钳子？ 你记不起那个教程了，因为那两小时的“猫咪视频噪音”淹没了它。

这正是 SLVMBench（基于视频记忆的技能学习）试图解决的问题。这也是第一次有人构建了一项测试，旨在观察 AI 是否能像人类一样：从视频中学习一项技能，在一段时间后忘记它，然后在真正需要使用时重新记起。

大考：“两小时干扰”挑战

研究人员为 AI 模型设计了一个超级困难的游戏。流程如下：

教程： AI 观看一段教它特定技能（如如何使用电动工具或修理小物件）的视频。
噪音： 紧接着，AI 被迫观看 2 小时 完全无关、枯燥或随机的视频。这就是“干扰”阶段。
测试： 然后，AI 会看到一段某人正在执行该任务的新视频，但视频会在一个关键步骤之前停止。AI 必须仅凭两小时前看到的那个教程来预测接下来会发生什么。

把它想象成一个记忆游戏：你需要记住一个秘密食谱，但在问你“第一个原料是什么？”之前，有人一直在你耳边大声喊着随机数字。

令人震惊的结果：AI 存在“记忆悬崖”

论文测试了目前最聪明的 AI 模型，包括 Gemini、GPT-4o 和 GPT-5.2 等知名模型。结果令人清醒。

当 AI 在看完教程后立即被要求解决问题（没有干扰）时，它的表现相当不错。这就像是在看完教程视频后立刻让你修理水龙头，你很可能会做对。

但一旦加入了两小时的干扰，AI 的表现便出现了断崖式下跌。

“悬崖”： 论文描述了一个“记忆悬崖”。对于一些顶尖模型来说，它们的记忆能力下降得如此厉害，以至于几乎无法与从未看过教程的情况相区分。
数据： 其中一个表现最好的模型 Gemini 3.1 Pro，其得分从（有即时帮助时的）稳健的 74.92% 下降到了（长时干扰后的）59.45%。这是一个巨大的差距。但对于其他模型如 GPT-5.2，跌幅甚至更严重：从 57.94% 降至 44.89%。事实上，对于某些模型来说，长时间的等待使得它们的表现几乎与完全没有任何帮助时的盲猜无异。

作者指出，虽然这些 AI 非常擅长在观看视频时进行观察并回答问题，但当这些信息被埋没在数小时的其他内容之下时，它们处理起来却非常糟糕。

论文排除了什么（以及没排除什么）

论文非常明确地说明了这项测试不是关于什么的。

它不是关于“常识”： 问题的设计确保了你无法仅靠聪明程度来猜出答案。你必须记住特定的教程。如果 AI 在没有教程的情况下也能答对，研究人员就会剔除该问题。
它不是关于“被动观看”： 之前的测试只是问“在这个 1 小时的视频里发生了什么？”而这个测试问的是：“根据你几小时前看过的视频，下一步你应该做什么？”它关注的是执行，而不仅仅是记住事实。
它不是“流式 AI”的胜利： 有些人认为专门设计用于观看长流媒体内容的模型（即“流式”模型）会表现得更好。论文显示，虽然它们表现得稍微好一点，但仍然面临巨大困难。一个名为 PEMF 的模型，在加入干扰后，准确率从 64.88% 骤降至 39.36%。这表明仅仅“看得更久”并不是灵丹妙药。

我们有多确定？

研究人员并非凭空猜测；他们构建了一个庞大且精心设计的数据库。

数据： 他们收集了 1,220 个视频 并创建了 2,261 个问题。
人工验证： 真人花费了超过 750 小时 来检查每一个视频和问题。他们确保教程确实教授了该技能，确保“干扰”视频确实无关，并且将问题的计时精确到了亚秒级。
置信度： 论文报告这些结果时使用了 95% 的置信区间，这意味着他们在统计学上确定这些性能下降是真实的，而非偶然现象。

核心启示

论文的结论是，目前的 AI 模型就像那些如果考试前临时抱佛脚就能考高分的学生，但如果他们必须在两小时前学习，然后还要坐在一场枯燥的讲座中，他们就会忘得一干二净。

作者指出，要让 AI 真正像现实世界中的得力机器人一样——即通过视频学习一项技能并在几天后仍能运用——我们需要找到阻止这些“记忆悬崖”的方法。在此之前，即使是最聪明的 AI 模型，在面对嘈杂环境时，也很难保持技能的敏锐。

技术摘要：SLVMBench —— 基于视频记忆的技能学习

问题陈述

近期音视频大语言模型（video-LLMs）的进展展示了其在理解短视频（数分钟）以执行描述和问答等任务方面的能力。然而，在评估这些模型是否能够胜任需要准确实时感知和有效长期记忆的现实世界具身智能（Embodied AI）应用方面，仍存在关键差距。

目前的评估范式是碎片化的：

实时基准测试（如 StreamingBench、OVOBench）侧重于短期感知（10–20 分钟），但不要求长期记忆留存。
长视频基准测试（如 VideoMME、LVBench）测试对数小时视频的被动理解和信息提取，但不要求实时处理或程序性知识的应用。
技能学习基准测试通常依赖于短期的即时演示，或缺乏保证的知识覆盖，无法测试从长期记忆中记忆、提取并向实时任务转移程序性知识的完整流程。

目前缺乏一个统一的基准测试，能够评估 video-LLMs 是否能从嵌入在大量无关内容中的教程中学习一项技能，并在显著的时间延迟后将其应用于实时任务。

方法论：SLVMBench 设计

作者提出了 SLVMBench（Skill Learning from Video Memory，基于视频记忆的技能学习），这是首个旨在共同评估从长视频记忆中获取技能并将其应用于实时任务的基准测试。

数据构建

该数据集包含由 1,220 个视频生成的 2,261 个人工生成的问答对，涵盖 11 个现实世界领域（从日常生活到专业技能）。构建流程包括：

视频策展： 从 YouTube 通过程序化查询抓取视频，并严格过滤为在 2025 年 1 月之后发布的视频，以防止预训练模型的知识污染。
任务结构： 每个样本是一个五元组 $T = (V_{tut}, D, V_{tar}, t_c, Q)$ $T = (V_{t u t}, D, V_{t a r}, t_{c}, Q)$ ：
- $V_{tut}$ ：演示特定技能的教程视频。
- $D$ ：插入在教程与目标任务之间的干扰视频序列。
- $V_{tar}$ ：展示现实世界任务执行过程的目标视频。
- $t_c$ ：目标视频内的精确时间切断点（决策点）。
- $Q$ ：在 $t_c$ 时提出的多选题（5 个选项）。
时间间隔： 教程被随机嵌入在长达 1 到 2 小时的干扰视频流中，随后才开始目标任务。相关知识与查询之间的时间间隔至少为 30 分钟，通常长达 2 小时。
标注严谨性： 一个由 99 名标注员组成的团队进行了亚秒级的时序校准，确保了教程与目标任务之间的逻辑一致性，并设计了“反猜测”问题，即仅凭常识或视觉线索无法得出正确答案，必须依赖教程。

任务分类

该基准测试将任务分为三个主题集群，以评估不同的认知维度：

程序掌握（Procedural Mastery）： 下一步预测、步骤排序和子目标预测。
约束与工具逻辑（Constraints & Tool Logic）： 参数召回、工具配置和安全检查。
诊断与适配（Diagnostics & Adaptation）： 错误检测和条件分支（适应“如果-那么”场景）。

评估范式

作者在三种不同的设置下评估模型，以隔离特定的能力：

无教程（w/o Tutorial）： 仅提供目标视频（在 $t_c$ 处截断）。这衡量了对常识先验的依赖。
有教程（w/ Tutorial）： 教程紧随截断的目标视频之后。这衡量了对学习到的知识的即时应用能力。
有教程（长时）（w/ Tutorial (Long)）： 教程后跟着一段长序列的干扰视频（长达 2 小时），然后才是目标任务。这测试了**情景记忆（Episodic Memory）**以及在高度噪声环境下的检索能力。

关键结果

该基端测试在多种专有模型（如 Gemini 3.1 Pro, GPT-5.2, GPT-4o）和开源模型（如 video-SALMONN, Qwen-Omni, VideoLLaMA3）上进行了评估。

性能观察

技能获取有效性： 与基准线相比，所有模型在“有教程”设置下都表现出显著的性能增益 ( $\Delta$ )，证实了这些任务需要特定的程序性知识，而非仅靠常识即可完成。
记忆衰减： 在“有教程（长时）”设置下，几乎所有模型的性能都出现了明显下降。
- 专有模型： 虽然 Gemini 3.1 Pro 保持了 14.00% 的增益，但像 GPT-5.2 和 GPT-4o 这样的模型，其增益分别缩减至 2.21% 和 2.48%，实际上退回到了基准水平。
- 开源模型： 许多开源模型（如 VideoLLaMA3, Qwen3-VL）在长时设置下的增益极小 ( $\Delta_L < 2\%$ )，表明它们无法在长时间的干扰下保留程序性知识。
架构影响：
- 音视频 vs. 纯视觉： 具备音频能力的模型（如 Gemini 3.1 Pro, Qwen2.5-Omni）明显优于纯视觉模型，凸显了教程中口头指令的重要性。
- 流式 vs. 非流式： 专门的流式架构（如 video-SALMONN-S）展现出更好的鲁棒性 ( $\Delta_L \approx 14.95\%$ )，尽管其性能与即时应用相比仍有显著下降。
细粒度分析： 流式模型在逻辑密集型任务（如条件分支和错误检测）中表现出色，而非流式模型在诊断推理方面表现挣扎，其性能往往降至接近随机水平。

意义与主张

论文将 SLVMBench 定位为识别当前 video-LLMs 在实时技能获取与应用方面局限性的关键工具。

揭示核心局限： 结果表明，虽然 video-LLMs 可以理解短上下文或被动理解长视频，但在从长期记忆中学习程序性知识并将其转移到实时任务方面仍面临巨大困难。观察到的“记忆悬崖”（当时间间隔增加时）揭示了当前情景记忆机制的一个根本瓶颈。
基准标准： SLVMBench 填补了被动长视频理解与实时流式感知之间的空白，提供了第一个针对多模态情景记忆在技能学习背景下的严谨测试。
未来方向： 作者指出，当前的限制（例如由于序列长度限制导致的 2 小时时序上限）反映了当前的技术水平。他们建议未来的工作应探索将视频演示作为代理 AI（Agentic AI）系统的记忆，从而超越问答，实现与模拟或真实环境的实际交互。

论文总结道，现有的 video-LLMs 尚未准备好应对需要长期程序性记忆的具身智能场景，而 SLVMBench 为推动该领域的进步提供了必要的评估框架。