🤖 AI

CoCoVideo: The High-Quality Commercial-Model-Based Contrastive Benchmark for AI-Generated Video Detection

本文介绍了 CoCoVideo-26K，这是一个包含来自 13 种商业生成器的语义对齐真假视频对的高质量数据集，并提出了 CoCoDetect，一种结合了对比学习与置信度门控多模态推理的新型检测框架，旨在实现识别高保真 AI 生成视频的最先进性能。

原作者： Huidong Feng, Wentao Chen, Jie Chen, Xinqi Cai, Ruolong Ma, Yinglin Zheng, Yuxin Lin, Ming Zeng

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Huidong Feng, Wentao Chen, Jie Chen, Xinqi Cai, Ruolong Ma, Yinglin Zheng, Yuxin Lin, Ming Zeng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一个巨大的图书馆。在很长一段时间里，这个图书馆里的“假书”很容易被识破，因为它们是用廉价、皱巴巴的纸张印刷的，而且图片模糊。检测它们就像是在手写便条中发现一个错别字一样简单。

但最近，新一代的“假书”来到了。这些书是用高质量、光泽感十足的纸张印刷的，图片极其清晰，故事逻辑也如此严密，甚至连人类图书管理员都可能被蒙蔽。这就是**AI生成视频（AIGC）**的世界。问题在于，旧的“错别字检测器”（现有的AI工具）是针对那些廉价、皱巴巴的纸张进行训练的。它们无法识别出这些高质量假货中细微的瑕疵。

以下是这篇论文如何解决这一问题的说明，用简单的语言解释如下：

1. 新的“训练场”：CoCoVideo

作者意识到，他们不能使用旧的、低质量的假视频来教导他们的新检测器。他们需要一个拥有高端设备的健身房。

旧数据的缺陷： 之前的数据库使用的是开源AI模型，这些模型生成的视频看起来有点“不对劲”（比如卡通角色眨眼的方式很奇怪）。而现实世界中的商业级AI（大公司使用的那种）制作出的视频看起来几乎完美。
解决方案 (CoCoVideo-26K)： 团队构建了一个庞大的新数据集，名为 CoCoVideo。
- “孪生”策略： 想象你有一张真实的森林照片。你请了13位不同的高端AI艺术家，让他们从完全相同的起始帧开始，为这片完全相同的森林绘制一个假的版本。
- 结果： 你现在拥有了“真实 vs 虚假”的配对，它们在故事和起始点上完全一致，但一个是真实的，另一个是AI生成的。这迫使检测器去寻找纹理和物理规律上的微小差异，而不是仅仅根据故事内容进行猜测。

2. 新的侦探：CoCoDetect

有了这个高质量的训练场，他们构建了一个名为 CoCoDetect 的新侦探系统。可以将这个侦探想象成一个协同工作的两人小组：

团队成员 A：“纹理侦察员”（对比学习）

职责： 这部分系统就像是一个观察纸张纹理的法医专家。它使用标准的视频AI（R3D-18）来扫描视频，寻找微小的、肉眼难以察觉的故障——比如阴影移动不对，或者皮肤纹理看起来过于光滑。
学习方式： 因为它是在 CoCoVideo 的那些“孪生”配对上进行训练的，所以它学会了识别商业级AI特有的“指纹”，而不仅仅是识别旧版AI那些明显的错误。

团队成员 B：“逻辑法官”（MLLM）

职责： 有时候，视频对“纹理侦察员”来说看起来很完美。也许阴影是对的，皮肤看起来也很真实。但是，这个故事逻辑通顺吗？
“置信度门控”： 这是最聪明的部分。侦察员会给出一个“置信度分数”。
- 高置信度： 如果侦察员95%确定它是假的（或真的），它会立即做出判断。既快速又高效。
- 低置信度（“可能区”）： 如果侦察员不确定（例如：“我觉得它是假的，但我只有60%的把握”），它不会盲目猜测。相反，它会将案件移交给逻辑法官。
逻辑法官的任务： 这是一个理解语言和物理规律的强大AI。它观察视频并询问自己：“等等。视频中，当风向前方吹时，一只鸟却在向后飞。这在物理学上是不可能的。这一定是假的。”

3. 他们如何协同工作

整个系统就像一个安检站：

扫描： 纹理侦察员检查视频。
门控： 如果视频明显是假的或明显的真的，门打开，做出决定。
推理： 如果视频很棘手，导致侦察员感到困惑，门会将它路由到逻辑法官。法官阅读场景，检查物理定律，并给出最终判决。
融合： 最终的决定结合了侦察员的“纹理直觉”和法官的“逻辑推理”。

为什么这很重要（根据论文所述）

作者使用他们的新高质量数据集，将他们的探测器与旧的探测器进行了对比测试。

结果： 旧的检测器（针对低质量假货训练的）在面对新的商业级质量视频时表现糟糕。它们就像是试图用一个只对铁有反应、对钢没反应的磁铁去大海捞针。
胜出者： 拥有“侦察员 + 法官”组合的 CoCoDetect 表现显著更好。它证明了要捕捉高质量的假货，你需要一个既看微观细节（纹理），又看宏观全局（逻辑/物理）的系统。

简而言之： 论文利用高端商业级AI假货建立了一个更好的“培训学校”，并创建了一个既有“直觉检查”（用于识别明显假货）又有“逻辑检查”（用于识别棘手假货）的侦探，这使得高质量的AI视频很难欺骗我们。

技术摘要：CoCoVideo 与 CoCoDetect

1. 问题陈述

人工智能生成内容（AIGC）的飞速发展导致了日益复杂的视频伪造技术，对公共话语和社會安全构成了重大挑战。尽管深度伪造检测已取得进展，但现有方法面临两个关键局限性：

数据集质量差距： 现有的基准测试（如 GenBuster、GenVidBench）过度依赖开源视频生成模型。这些模型生成的输出在视觉保真度和运动/场景一致性方面，与最先进的商业系统相比表现较弱。因此，在这些数据上训练的模型往往会过拟合低质量的生成模式，从而无法泛化到高保真的商业 AIGC 视频。
方法论局限性： 传统的检测方法通常侧重于特定的生成架构或底层操纵线索（例如视觉伪影、频率异常）。它们难以利用高层语义线索（如物理逻辑和场景连贯性），而这些线索对于区分缺乏明显底层伪影的高质量伪造视频至关重要。

2. 方法论

本文提出了一个双管齐下的解决方案：一个新的高质量数据集（CoCoVideo-26K）和一个新型检测框架（CoCoDetect）。

2.1. CoCoVideo-26K 数据集

CoCoVideo-26K 是一个基于商业模型的对比性基准测试，旨在弥合研究数据与现实世界威胁之间的质量差距。

数据构成： 该数据集包含 26,000 个视频剪辑，按语义对齐的“真实-伪造”对进行组织。
- 真实视频： 源自 OpenVid-1M，经过筛选以确保高保真度的现实场景（约 13,000 个剪辑）。
- 伪造视频： 使用 13 种不同的最先进商业视频生成模型（如 Sora、Kling、Runway Gen4、即梦 3.0、Midjourney v7）生成。每个模型贡献 1,000 个视频。
对比结构： 每个真实视频都与其通过相同首帧和完全相同的文本提示词生成的合成对应物配对。这确保了严格的语义对齐，从而能够对匹配内容条件下的纹理、运动和场景一致性的差异进行细粒度分析。
规模与多样性： 该数据集涵盖了包括人类交互、食物制作、植物生长和自然景观在内的多种类别，视频时长统一约为 5 秒，帧率为 24–30 FPS。

2.2. CoCoDetect 框架

CoCoDetect 是一个结合了对比学习与置信度门控多模态大语言模型（MLLM）推理机制的检测框架。

骨干网络： 系统利用 R3D-18 网络从输入的视频批次中提取时空表示。
双头架构：
1. 置信度头（Confidence Head）： 一个三层 MLP 后接 Sigmoid 激活函数，输出一个置信度分数（ $p \in [0, 1]$ ），指示视频为真实的概率。
2. 投影头（Projection Head）： 一个两层 MLP 将特征映射到 128 维的嵌入空间进行对比学习。
损失函数：
- 置信度损失（Confidence Loss）： 用于真实性分类的二元交叉熵（BCE）。
- 配对对比损失（Paired Contrastive Loss）： 不同于将同类样本聚类的传统监督对比学习，该损失专门强制执行语义对齐的真实-伪造对（共享相同首帧和提示词）之间的分离。它使用铰链惩罚（hinge penalty）来确保真实-伪造对之间的余弦相似度保持在特定阈值以下，而不约束非配对样本。
置信度门控 MLLM 推理：
- 路由机制： 在推理过程中，如果置信度分数 $p$ 处于不确定范围（由阈值 $\tau$ 定义），则将样本路由至 MLLM（LLaVA-NeXT-Video-7B）。高置信度样本由骨干网络直接进行分类。
- MLLM 推理： 对于不确定情况，MLLM 会分析关键帧和置信度分数，针对物理合理性和场景连贯性进行推理。它输出一个包含二进制判断、语义置信度和自然语言解释的结构化 JSON。
- 决策融合： MLLM 的输出被映射到与骨干网络相同的语义空间，并通过自适应加权策略进行融合，以产生最终分类。

3. 核心贡献

CoCoVideo-26K 基准测试： 建立了一个具有 13 种商业模型对比性真实-伪造对的高质量数据集，为评估高保真条件下的 AIGC 检测提供了新标准。
CoCoDetect 框架： 一种结合了双头对比学习（用于纹理级判别）与置信度门控 MLLM 机制（用于语义级推理）的新型架构，实现了跨特征层级的系统化判断。
实证验证： 通过综合实验证明了其在 CoCoVideo 测试集上的最先进性能，以及在多个公开开源基准测试上的强泛化能力。

4. 实验结果

4.1. 在 CoCoVideo-26K 上的表现

在提出的测试集上，CoCoDetect 在准确率 (90.69%)、F1 分数 (90.62%)、召回率 (89.95%) 和 AUC (95.93%) 方面均达到了最佳平均性能，超越了 DeMamba、VideoMAE 和 3D ResNeXt 等强力基准模型。

观察： 该方法表现出一种保守的决策策略，在某些模型中优先考虑精确率而非召回率，通过选择性地为不确定情况调用 MLLM，有效地减少了误报。
局限性： 在处理如即梦（Jimeng）和 Veo3 等模型时，由于真实与伪造对之间的分辨率不一致破坏了语义对齐，性能略有下降。

4.2. 跨数据集泛化能力

在五个公开基准测试（GVD、GVF、GenVideo、GenVidBench、GenBuster）上进行了评估，CoCoDetect 展示了鲁棒的泛化能力：

它在五个基准中的四个取得了最高准确率。
在使用相同商业模型旧版本的 GenBuster 上，CoCoDetect 保持了强劲的表现，这表明它较少依赖于特定的生成伪影，而更多地依赖于可泛化的语义和纹理线索。
在 GenVideo 上，由于该数据集普遍存在短小且近乎静态的剪辑，破坏了 MLLM 运动分析所需的时序连贯性，导致 F1 分数有所下降。

4.3. 消融实验

消融实验证实了这两个组件的必要性：

移除投影头（对比学习）使 AUC 从 95.93% 下降到 91.39%。
移除 MLLM（仅依赖置信度分数）使 AUC 下降到 95.46%。
完整模型达到了最高分，验证了底层对比特征与高层语义推理可以协同工作。

4.4. 案例研究

高置信度： 对比网络能够正确识别明显的纹理伪影，无需 MLLM 干预。
低置信度（获救）： 在模糊情况下，MLLM 成功识别了骨干网络错过的语义错误（例如，将悬索桥误认为烟囱），从而纠正了预测。
失败案例： 在具有微妙伪影且无明显语义不一致性的简单自然场景中，两个模块均失效，凸显了目前检测低复杂度环境下伪造内容的难度。

5. 意义与主张

本文声称 CoCoVideo-26K 解决了研究数据集与现实世界商业 AIGC 威胁之间的关键差距，提供了一个更可靠的训练和评估基准。CoCoDetect 被呈现为一个鲁棒的框架，通过整合用于不确定情况的语义推理，克服了纯基于纹理检测的局限性。

作者强调，他们的方法验证了结合细粒度对比学习与高层语义验证的有效性。他们总结道，虽然该方法展示了最先进的性能和强泛化能力，但未来的工作将侧重于扩展包含音频模态和更丰富语义标注的数据集，以进一步增强可信的 AIGC 内容检测。