UniVBench: Towards Unified Evaluation for Video Foundation Models

本文提出了专为评估视频基础模型而设计的 UniVBench 基准，通过引入包含 200 个高质量多镜头视频及 UniV-Eval 统一智能评估系统，首次实现了对视频理解、生成、编辑及新提出的重建任务这四大核心能力的综合、公平且可扩展的评估。

要点

这篇论文介绍了一个名为 UniVBench 的新工具，它的出现是为了解决当前人工智能（AI）视频模型领域的一个大麻烦：大家各说各话，缺乏统一的“考卷”。

为了让你轻松理解，我们可以把现在的 AI 视频模型比作刚毕业的电影学院学生，而 UniVBench 就是一套全新的、全面的“全能导演资格考试”。

以下是这篇论文的通俗解读：

1. 现在的困境：偏科生和“碎片化”的考试

以前的 AI 视频模型，就像是在学校里只修了一门课的学生：

• 有的只擅长“看懂”（理解视频）：能告诉你视频里发生了什么，但让它自己拍视频，它就抓瞎。
• 有的只擅长“瞎拍”（生成视频）：能根据文字生成很美的画面，但让它解释画面里的逻辑，它就胡言乱语。
• 有的只擅长“修图”（编辑视频）：能换衣服、换背景，但让它从头拍一部片子，它又不会。

更糟糕的是，以前的“考试”（评测基准）也是碎片化的：

• 考“理解”的试卷：用的是网上下载的版权视频，题目是“描述这个视频”，没法考它能不能“拍”视频。
• 考“生成”的试卷：只考“根据文字拍视频”，不管它拍得有没有逻辑，也不管能不能剪辑。
• 题目太简单：以前的视频大多只有几秒，像短视频一样，考不出真正的电影感（比如复杂的镜头切换、光影变化）。

结果就是：我们不知道哪个模型是真正的“全能导演”，因为没人能同时用一套标准去考它“看懂、拍片、剪辑”这三项能力。

2. UniVBench 是什么？一套“好莱坞级”的全能考卷

UniVBench 就是为了解决这个问题而生的。它不仅仅是一个数据集，更像是一个精心设计的“电影拍摄现场”。

• 200 个“剧本”和“样片”：
  研究人员找了 15 位真正的影视专家，人工编写了 200 个高质量的视频脚本。这些视频不是随便抓取的，而是完全原创、没有版权纠纷的。

  • 特点：它们像真正的电影一样，有多镜头切换（不是单一画面），有复杂的光影、色彩、运镜（推拉摇移）、人物动作和背景故事。
  • 比喻：以前的考试是让你“看一张照片写一句话”，现在的考试是给你“一个完整的电影剧本，让你去拍、去改、去解说”。

• 四大核心能力测试：
  UniVBench 把考试分成了四个部分，就像考导演的四个维度：

  1. 阅读理解 (Video Understanding)：给你视频，让你写解说词（能不能看懂？）。
  2. 无中生有 (Video Generation)：给你文字，让你拍视频（能不能创作？）。
  3. 移花接木 (Video Editing)：给你原视频和修改指令（比如“把主角的衣服换成红色的”），让你修改（能不能精准控制？）。
  4. 新发明：视频重构 (Video Reconstruction)：这是最狠的一招。
     • 流程：先让 AI 看视频并写出解说词（理解），然后让它只根据自己写出的解说词，重新把视频拍一遍（生成）。
     • 目的：如果 AI 理解错了，或者写词写得烂，它重拍的视频就会和原片大相径庭。这能直接测出 AI 的“理解”和“生成”是不是真正打通了。

3. UniV-Eval：一位“毒舌”且专业的 AI 影评人

有了考卷，还得有阅卷老师。以前的评分标准很乱：有的看单词重合度（像语文考试），有的看像素相似度（像数学考试），大家没法横向比较。

UniVBench 配备了一个叫 UniV-Eval 的智能代理评分系统。

• 它是怎么工作的？
  它不像以前的机器那样只给一个冷冰冰的分数（比如 85 分）。它更像一位懂电影的专业影评人。

  • 拆解镜头：它会把视频切成一个个小镜头（Shot），逐个分析。
  • 多维打分：它会从 8 个大维度（风格、主体、动作、背景、运镜、灯光、色彩、空间关系）和 21 个小细节去挑刺。
  • 给出建议：它不仅告诉你“这题错了”，还会告诉你“错在哪”（比如：主角的衣服颜色不对，或者镜头运动不流畅），甚至给出修改建议。

• 比喻：以前的评分是“总分 60 分，不及格”；现在的评分是“你的主角动作像机器人（动作维度扣分），但光影很美（灯光维度满分），建议加强动作连贯性训练”。

4. 实验结果：大家都还在“偏科”

作者用这套新标准去测了市面上最火的几个 AI 模型，结果很扎心：

• 没有“六边形战士”：目前没有任何一个模型能同时在理解、生成、编辑和重构上都拿高分。
• 偏科严重：
  • 擅长“理解”的模型（如 Gemini），让它去“拍视频”就一塌糊涂。
  • 擅长“拍视频”的模型（如 Seedance），让它去“写解说”就逻辑混乱。
  • 最难的点：所有模型在“动作（Action）”这个维度上都表现最差。这说明让 AI 理解并生成复杂的、连续的动作（比如一个人走路、转身、挥手），目前还是巨大的挑战。

总结

UniVBench 就像是为 AI 视频模型建立的一套**“高考”制度**。
它不再让 AI 只考“单科”，而是要求它成为真正的**“全能导演”**。通过这套标准，研究人员能更清楚地看到 AI 哪里强、哪里弱（比如动作生成还是弱项），从而指导未来的技术改进。

一句话概括：以前我们是用“尺子”量“体重”，用“秤”量“身高”，乱套了；现在 UniVBench 给 AI 发了一套“全能体检表”，逼着它们从“偏科生”进化成真正的“电影大师”。

技术摘要

UniVBench 论文技术总结

1. 研究背景与问题 (Problem)

视频基础模型（Video Foundation Models）旨在将视频理解、生成、编辑和指令遵循整合到单一框架中，是下一代多模态系统的核心方向。然而，现有的评估基准存在严重的碎片化和局限性，无法有效评估统一模型的综合能力：

• 任务单一性：现有基准通常只针对单一任务（如仅理解、仅生成或仅编辑），缺乏跨任务的统一评估框架。
• 数据局限性：
  • 理解类基准多使用网络爬取的版权视频，存在数据污染风险，且缺乏生成和编辑所需的指令。
  • 生成类基准专注于文本到视频（T2V），缺乏对参考图引导或编辑任务的支持。
  • 编辑类基准多局限于单镜头（Single-shot）场景，缺乏多镜头（Multi-shot）的叙事连贯性评估。
• 评估指标碎片化：不同任务使用不同的指标（如 BLEU、FVD、CLIPScore 等），缺乏统一标准。单一标量分数难以解释模型在感知与生成之间的权衡，无法提供细粒度的调试反馈。
• 缺乏新任务评估：缺乏对“视频重建”（Video Reconstruction）这一关键能力的评估，即模型能否先理解视频内容，再根据理解文本 faithful 地重建视频。

2. 方法论 (Methodology)

2.1 UniVBench 数据集构建

UniVBench 是一个专为评估视频基础模型统一能力而构建的基准，包含200 个高质量、多镜头的视频，所有视频均为人工创作且无版权，避免了数据污染问题。

• 维度设计：基于 8 个核心电影维度（风格、主体、动作、背景、镜头、光照、色彩、空间关系）细分为 21 个子维度。
• 数据构成：
  • 视频：100 个单镜头和 100 个多镜头视频（平均 3.72 个镜头），通过商业 API 生成并经过严格的人工筛选（去水印、IP 检查、多轮人工审核）。
  • 标注：每个视频配有详细的维度完整描述（Ground-truth Captions）、多格式编辑指令和参考图像。
  • 参考图像：构建了 864 张多样化的参考图像，涵盖主体、风格和场景。
• 六大统一任务：
  1. V2T (Video-to-Text): 视频描述。
  2. T2V (Text-to-Video): 文本生成视频。
  3. R2V (Reference-to-Video): 参考图生成视频。
  4. TV2V (Text-guided Video-to-Video): 文本指令视频编辑。
  5. RV2V (Reference-guided Video-to-Video): 参考图视频编辑。
  6. V2V (Video-to-Video Reconstruction, 新提出): 视频重建。模型需先理解视频生成描述，再根据描述重建视频，以此直接诊断“感知 - 生成”的耦合能力。

2.2 UniV-Eval 统一智能体评估系统

为了解决指标碎片化问题，作者提出了 UniV-Eval，一个基于智能体（Agentic）的统一评估系统。

• 工作流程：
  1. 分解与规划：将长视频分解为镜头（Shot-level）单元，将输入（源视频、参考图、指令）对齐到对应镜头。
  2. 细粒度评估：针对每个镜头，智能体根据 9 大类（主体、相对位置、动作、背景、色彩、光照、风格、氛围、镜头信息）进行对比分析。
  3. 动态检查清单：生成结构化的“弱点检查清单”（Weakness Checklist），提供可追溯的反馈（如：动作不一致、风格偏差），而非单一分数。
  4. 多维打分：基于诊断信号，在六个评估维度上输出量化分数，支持跨模型和跨任务的公平比较。
• 优势：支持细粒度归因（区分是感知错误还是生成错误），提供可解释的反馈，适应不同视频属性（如叙事连贯性 vs 实例保真度）。

3. 主要贡献 (Key Contributions)

1. 首个统一多任务基准：提出了 UniVBench，这是第一个专为统一评估设计的多镜头视频数据集，涵盖理解、生成、编辑和重建四大核心能力，且无版权争议。
2. 统一智能体评估系统：开发了 UniV-Eval，实现了跨任务的标准化提示、指令解析和多维度评分，解决了传统单一标量分数缺乏可解释性的问题。
3. 感知 - 生成归因框架：通过引入“视频重建”任务，建立了评估模型在感知与生成之间耦合能力的原则性框架，能够精准定位模型失效的环节。

4. 实验结果 (Results)

在 UniVBench 上对多种商业模型（如 Gemini 2.5 Pro, Seedance）和开源模型（如 CogVideoX, Wan2.1, Omni-Video）进行了评估：

• 任务特异性明显：目前尚无单一模型能在所有任务上均表现优异。
  • 理解任务 (V2T)：专用理解模型（如 Gemini 2.5 Pro）表现最佳（54.1%），而统一模型（如 Showo-2）得分较低（16.3%），显示其在感知推理上的不足。
  • 生成任务 (T2V)：专用生成模型（如 Seedance-1.0-Pro）表现最强（77.9%）。
  • 重建任务 (V2V)：Wan2.1-VACE-14B 表现最佳（62.7%），但整体分数仍显著低于直接生成任务，揭示了信息在“理解->生成”链条中的损耗。
• 维度洞察：
  • 动作 (Action) 是所有任务中最难的维度，特别是在视频理解中得分最低，表明模型在处理复杂时间动态方面存在重大挑战。
  • 生成模型在风格属性（色彩、光照、视频风格）上控制力较强，得分较高。
• 评估系统验证：人类研究（Human Study）显示，UniV-Eval 的评估结果与人类专家判断的一致性高达 85%，证明了其评估的可靠性。

5. 意义与影响 (Significance)

• 填补评估空白：UniVBench 首次提供了能够全面衡量视频基础模型“理解 - 生成 - 编辑 - 重建”全链路能力的统一框架，推动了从单一任务模型向通用视频智能的演进。
• 指导模型优化：通过细粒度的镜头级归因和弱点清单，为模型训练提供了可操作的反馈，帮助开发者精准识别是感知模块还是生成模块的缺陷。
• 确立新标准：提出的“视频重建”任务和基于智能体的多维度评估方法，为未来视频基础模型的发展设立了新的基准和评估范式，加速了鲁棒视频智能的实现。

总结：UniVBench 不仅是一个数据集，更是一套完整的评估生态，它通过解决任务碎片化、数据污染和指标不可比的问题，为下一代通用视频基础模型的研发提供了坚实的评估基础。