AVFakeBench: A Comprehensive Audio-Video Forgery Detection Benchmark for AV-LMMs
本文提出了首个涵盖人类与通用对象、包含 1.2 万条多粒度标注问题的综合音视频伪造检测基准 AVFakeBench，并通过评估 11 种音视频大语言模型揭示了其在细粒度感知与推理方面的潜力与不足。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 AVFakeBench 的全新“考试”，专门用来测试现在的 AI 能不能识破音视频造假。
想象一下，现在的 AI 不仅能写文章，还能像变魔术一样，把一段视频里的声音换成别人的，或者把视频里的背景、动作完全重新生成。这种技术如果用来制造假新闻（比如把某位领导人的脸换到另一个场景，或者把一段假新闻配上一段逼真的假声音），后果不堪设想。
为了解决这个问题，研究团队（来自北京邮电大学和加州大学圣塔芭芭拉分校）设计了这个“超级考场”。
1. 以前的考试 vs. 现在的“地狱级”考试
以前的考试（传统基准）：
就像是在考“找茬”游戏，但题目很简单：
- 对象单一：只考“人脸”（比如 Deepfake 换脸）。
- 题目简单：只问“这是真的还是假的？”（二选一）。
- 手段单一：要么只改声音，要么只改画面。
- 缺点：这就像只教学生识别“假钞”，但现在的坏人会制造“假电影”、“假新闻现场”，甚至把真人的声音配到假动物身上。以前的考试根本考不到这些。
现在的考试（AVFakeBench）：
这是一个全方位、高难度的“鉴伪大师”特训营：
- 对象广泛：不仅考人脸，还考万物。比如：一只在唱歌的猫、一场假火灾、一段假的车祸现场、甚至是一段假的工业流水线视频。涵盖了 11 种真实世界场景。
- 手段复杂：造假手段分成了7 种组合。
- 比如：真声音 + 假视频（像给真人配了个假背景）；
- 假声音 + 假视频（完全由 AI 生成的）；
- 真声音 + 假视频（比如把视频里的人 P 走了，但声音还在）。
- 题目分层：不再只问“是不是假的”，而是像侦探一样层层递进：
- L1 判断：这是真的还是假的？（是/否）
- L2 分类：如果是假的，是怎么造的？（是改动了声音，还是生成了视频，还是两者都有？）
- L3 找茬：具体哪里假？（是 00:05 秒的声音突然断了？还是 00:10 秒的猫尾巴动得不自然？）
- L4 推理：请像法医一样写出报告，解释为什么你觉得它是假的。
2. 他们是怎么造这些“假考题”的？
为了造出足够逼真的假视频来考 AI，他们发明了一套**“人机协作造假工厂”**：
- 策划（AI 出主意）：先用一个强大的 AI 模型当“导演”，根据一张真照片，构思一个合理的假剧情（比如：“想象一辆火车穿过村庄，然后突然消失”）。
- 执行（专家 AI 动手）：再让专门的生成式 AI（如 Kling、QingYing 等）根据导演的剧本，精准地生成或修改视频和声音。
- 质检（人类把关）：最后，人类专家会像“品酒师”一样，仔细检查这些假视频是否自然，有没有明显的破绽（比如声音和画面不同步），确保这些“假考题”难倒现在的 AI，而不是难倒人类。
3. 考试结果：AI 的表现如何？
研究团队找了 11 个目前最厉害的音视频大模型（AV-LMMs）（比如 GPT-4o, Gemini 等）来参加考试，结果非常有趣：
优点（潜力股）：
在**“判断真假”**（L1）这个简单问题上，这些大模型表现得比传统的专用检测器还要好！它们能比较稳定地看出“这视频不对劲”，无论是人脸还是风景。这说明它们有潜力成为通用的“鉴伪侦探”。缺点（硬伤明显）：
一旦题目变难，它们的“智商”就断崖式下跌：- 分不清“怎么假”（L2）：如果问它是“改动了声音”还是“生成了视频”，它们经常猜错。
- 找不到“具体哪里假”（L3）：就像医生能看出病人病了，但说不出是哪里发炎。它们很难精准定位到“第 5 秒的声音有杂音”或“第 10 秒的树叶纹理不对”。
- 讲不出“道理”（L4）：让它们写“鉴伪报告”时，它们经常胡言乱语，或者把真的说成假的，逻辑混乱。
- 偏科严重：它们**“眼强耳弱”**。看视频造假很在行，但听声音造假就完全抓瞎。比如，视频里鸟在飞，声音却是静止的，它们往往听不出来。
4. 总结与比喻
AVFakeBench 就像给现在的 AI 侦探们发了一张**“全科医师执照”的模拟考卷**。
- 现状：这些 AI 侦探现在还是“全科实习生”。它们能一眼看出“这人病了”（判断真假），但一旦要它“确诊是流感还是肺炎”（分类造假类型），或者“指出具体哪个细胞病变”（定位细节），甚至“写病历”（解释推理），它们就经常晕头转向。
- 意义：这个基准不仅告诉我们要警惕 AI 造假，更指出了未来 AI 发展的方向：不仅要能“看”，还要能“听”；不仅要能“猜”，还要能“推理”。只有通过了这个“地狱级”考试的 AI，才能真正成为保护我们免受假音视频侵害的可靠卫士。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。