VABench: A Comprehensive Benchmark for Audio-Video Generation
本文提出了 VABench，这是一个涵盖三种任务类型、两个评估模块及七大内容类别的综合基准框架，旨在通过多维度指标系统评估同步音视频生成模型的能力，从而填补现有视频生成基准在音视频同步评估方面的空白。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 VABench 的新工具，你可以把它想象成是给“会说话、会唱歌、有声音的电影”做体检的超级考官。
在以前，AI 生成的视频主要看画面漂不漂亮（比如人长得像不像，动作流不流畅），就像我们以前只评价一部默片。但现在，AI 不仅能生成视频，还能配上同步的声音（比如走路有脚步声，说话有口型）。这就好比从“默片时代”跨入了“有声电影时代”。
但是，怎么评价这些“有声电影”好不好呢？以前的尺子只能量画面，量不了声音和画面的配合。于是，作者们（来自北京大学等机构）造出了这把新尺子——VABench。
下面我用几个生动的比喻来解释它的核心内容：
1. 它是怎么“考试”的？（三大任务）
VABench 就像是一个有三个考场的学校，专门测试 AI 的三种不同能力：
- 文字变电影 (T2AV)： 你给 AI 写一句描述（比如“一只猫在雨中奔跑”），它要能直接变出一段既有画面又有猫叫声和雨声的视频。
- 图片变电影 (I2AV)： 你给 AI 一张静止的猫的照片，它要能想象出猫动起来的样子，并配上相应的声音。
- 立体声电影 (Stereo)： 这就像给视频加上“环绕立体声”。比如左边有海浪声，右边有海鸥叫，AI 得能分清左右，不能把声音都糊在中间。
2. 它考什么内容？（七大科目）
为了不让 AI 只会在简单的场景里“作弊”，VABench 设计了七种不同的“科目”，难度层层递进：
- 动物界： 鸟叫、兽吼，看 AI 能不能模仿得像。
- 人类声音： 说话、笑声、叹气。这是最难的一科，因为要配合口型（唇语同步）。
- 音乐： 节奏感、乐器音色。
- 环境音： 下雨、风声、城市噪音。
- 物理互动： 比如杯子掉地上碎了，声音必须和破碎的动作严丝合缝。
- 复杂场景： 比如“一个人很纠结”，声音要能体现出内心的矛盾。
- 虚拟世界： 像魔法或科幻场景，虽然现实中不存在，但逻辑要自洽。
3. 它怎么打分？（15 个维度的体检表）
VABench 不像以前那样只给个总分，它像医生一样，拿着 15 个维度的“体检表”来检查：
- 专家医生（AI 模型）： 用专门的 AI 工具去量。比如检查声音清不清晰（像测听力），检查画面和声音是不是“对得上号”（像测反应速度）。
- 全科医生（大语言模型）： 让更聪明的 AI 像人类评委一样，去读剧本、看视频，然后写评语。比如问它：“这个背景音乐是不是太吵了？”或者“这个人的表情和声音里的悲伤匹配吗？”
- 立体声专家： 专门检查声音是不是真的“立体”。比如，如果提示词说“左边有雷声”，AI 生成的声音是不是真的在左声道，而不是左右混在一起。
4. 考试结果说明了什么？（现状与未来）
作者用这个新尺子去测了市面上最火的几个 AI 模型（比如 Sora 2, Veo 3, Wan 2.5 等），发现了一些有趣的现象：
- “全能选手”难产： 目前还没有一个模型能在所有科目都得满分。有的模型画面很逼真，但声音像机器人；有的声音很自然，但画面有点假。
- “合体”更强大： 那些把“视频生成”和“声音生成”两个模型强行拼在一起（V+A）的方法，虽然能干活，但往往不如那些“从头到尾一起训练”的“原生”模型（AV 模型）配合得自然。就像两个陌生人搭档跳舞，不如从小一起长大的舞伴默契。
- 人类声音是短板： 所有模型在模仿人类说话、口型同步上，都还比较吃力，这是目前最大的技术瓶颈。
- 立体声还在“婴儿期”： 虽然有些模型能做出左右声道的区别，但大部分时候，它们生成的立体声其实还是“单声道”（左右声音一模一样），只是披了个立体声的外衣。
总结
VABench 就像是给 AI 视频生成领域立下的新规矩。它告诉开发者：以后不能光看画面美不美，还要看声音真不真、声画配不配、立体声有没有空间感。
它的目标很明确：推动 AI 从“会画画的哑巴”进化成真正的“全能艺术家”，让我们未来看到的 AI 视频，能像好莱坞大片一样，既有震撼的画面，又有身临其境的立体声音。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。