AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?
本文介绍了 AgenticVBench，这是一个由行业专家参与构建的包含 100 个真实世界视频后期制作任务的基准测试，该测试揭示当前前沿多模态 AI 智能体的成功率显著低于人类专家，且对执行框架的选择高度敏感。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何成为一名电影剪辑师。你不仅希望它能回答关于电影的问题，更希望它能真正制作一部电影。它需要剪辑场景、修复糟糕的音频、重新排列打乱的片段，并将一部三小时的纪录片剪辑成一段精炼的 60 秒社交媒体视频。
这篇论文《AgenticVBench》就像是针对试图学习这项工作的 AI 机器人的一次期末考试。创作者们基于 20 位人类电影专家的实际工作成果，构建了一套测试。以下是他们所做的工作及发现，用简单的类比进行拆解：
1. 测试：“电影剪辑师的试炼”
研究人员创建了 100 项具体任务，分为四大类，就像电影剪辑工作坊中的四个不同工位：
- 组装（拼图）： 想象你有一本分镜脚本（电影的漫画草图）和一堆视频片段。你的任务是为草图中的每一幅画挑选完全正确的片段。AI 必须理解镜头角度和景别，而不仅仅是判断“这看起来像狗吗？”。
- 修复（医生）： 你拿到一段视频，其中隐藏着“病症”（如奇怪的回声、色彩故障或场景顺序错乱）。AI 必须找出病症、修复它，并撰写报告说明其操作。
- 排序（时间旅行者）： 你拿到一堆被打乱顺序的视频片段，以及一个简短的故事摘要。AI 必须将片段按正确的时间顺序重新排列，使故事连贯。
- 改编（瘦身师）： 你有一部长电影（可能长达 3 小时），以及制作短片预告或回顾的请求。AI 必须观看全部内容，决定保留什么、剪掉什么，并组装成符合特定规则（如“必须为 60 秒”或“必须有趣”）的新短视频。
2. 参赛者：AI 与人类
研究人员测试了当今最聪明的 7 个 AI“大脑”（视觉 - 语言模型）。他们让这些大脑通过两种类型的“身体”（框架）进行测试：
- 原生身体： AI 公司为其模型构建的官方工具（如同定制打造的汽车）。
- 开源身体： 由社区构建、任何人都可使用的工具（如同通用的汽车底盘）。
此外，他们还让 20 位人类专家完成相同的任务，以此设定人类表现应有的“黄金标准”。
3. 结果：AI 仍是个新手
结果对 AI 世界来说是一次现实的检验：
- 得分： 表现最佳的 AI 团队仅完成了约**31%**的任务。
- 差距： 人类专家的得分要高得多（根据任务不同，约为 70% 至 95%）。目前，AI 落后人类43 到 65 个百分点。
- “身体”很重要： 这不仅仅关乎 AI 大脑有多聪明。“身体”（包裹 AI 的软件工具）同样至关重要。有时，同一个 AI 大脑使用一套工具集得分为 38%，而使用另一套工具集时得分仅为 18%。这就像让一级方程式赛车手开着一辆小型货车；车手很出色，但车辆限制了他们的发挥。
4. AI 失足之处
论文深入分析了 AI 失败的原因，发现了四种主要的“坏习惯”：
- 在图书馆中迷路（长上下文丢失）： 对于“改编”任务（从长视频中制作短视频），AI 会忙于阅读整部电影的字幕，导致时间耗尽，最终未能制作出视频。这就像学生通读了整本百科全书，却没能写出论文。
- 时机错误（时间推理能力差）： 对于“修复”任务，AI 往往知道哪里出了问题，却无法判断何时发生。它可能会修复正确的音效，却将其应用到了错误的场景，导致时间偏移 15 到 100 秒。
- 工具误用（模态错位）： AI 会尝试用音频工具修复视觉问题，反之亦然。
- 幻觉： 有时 AI 会编造不存在的场景，或声称缺陷已被修复（实际上并未修复）。
5. 核心结论
论文得出结论：虽然 AI 在理解图像和文本方面正在进步，但它距离能够规划并执行像电影剪辑这样复杂、多步骤的创造性工作，仍然非常遥远。
这不仅仅是让 AI 变得更“聪明”的问题。论文认为，我们还需要构建更好的“工具箱”（框架），帮助 AI 管理时间、检查自身工作，并理解如何正确使用视频剪辑软件。在同时解决“大脑”和“工具箱”的问题之前，AI 电影剪辑师将仍然是需要大量人类监督的助手，而非导演本身。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。