Q-Save: Towards Scoring and Attribution for Generated Video Evaluation

本文提出了 Q-Save，这是一个包含近 1 万条视频样本及细粒度归因标注的基准数据集，并基于此训练了采用 SlowFast 架构与三阶段训练策略的统一模型，实现了对生成视频在视觉质量、动态质量和文本对齐三个维度上的联合评分与可解释归因。

要点

这篇论文介绍了一个名为 Q-Save 的新系统，它的任务很简单：给 AI 生成的视频打分，并告诉我们要怎么改才能更好。

想象一下，现在的 AI 就像是一个刚学会拍电影的“天才新手导演”。它能瞬间生成成千上万个视频，但质量参差不齐：有的画面模糊，有的动作像鬼畜，有的甚至完全没听懂你在让它拍什么。

以前，我们要么靠人工一个个看（太慢太累），要么靠旧的评价工具（太笨，只能看出画面清不清晰，看不出动作自不自然）。

Q-Save 就是为了解决这个问题而生的“全能影评人 + 私人教练”。

以下是用大白话和比喻对这篇论文核心内容的解读：

1. 它是怎么“看”视频的？（三大评分维度）

以前的评价工具可能只盯着“画面美不美”。但 Q-Save 像是一个挑剔的资深影评人，它从三个角度给视频“体检”：

• 视觉质量 (Visual Quality)： 就像看照片的清晰度。画面糊不糊？有没有奇怪的噪点？色彩好不好看？
  • 比喻： 就像检查一道菜摆盘干不干净，食材新不新鲜。
• 动态质量 (Dynamic Quality)： 这是 Q-Save 的强项。它看动作流不流畅。人走路是不是像机器人？物体运动符合物理规律吗？
  • 比喻： 就像看杂技演员翻跟头，是行云流水，还是摔得七荤八素？
• 图文对齐 (Text-Video Alignment)： 它看 AI 有没有“听懂人话”。你让它拍“一只猫在喝咖啡”，它拍出来是“一只狗在吃草”吗？
  • 比喻： 就像你去餐厅点“宫保鸡丁”，端上来的是“鱼香肉丝”，那就是没对齐。

2. 它为什么比以前的工具更聪明？（两大创新）

A. 它不只是给个分数，还会“写评语” (Attribution)

以前的工具只会说：“这个视频 3 分（满分 5 分）”。
Q-Save 会说：“这个视频 3 分。扣分原因是：那个骑自行车的人，腿动得像在原地打滑，而且背景里的人群像被抹了浆糊一样模糊。”

• 比喻： 以前的老师只给试卷打"60 分”，现在的 Q-Save 会在旁边写：“这道题错在公式用错了，那道题是因为计算粗心。”有了这些具体的“归因解释”，AI 导演才知道具体哪里要改，而不是盲目瞎猜。

B. 它看视频的方式很“聪明” (SlowFast 策略)

现在的视频很长，如果 AI 把每一帧都仔细看，会累死（计算量太大）；如果只看几帧，又会漏掉关键动作（比如视频里只有一瞬间的鬼畜）。
Q-Save 采用了一种**“慢镜头 + 快进”**的策略：

• 慢镜头 (Slow)： 对画面变化大、细节多的关键帧，它看得很仔细（高分辨率）。

• 快进 (Fast)： 对画面静止或变化小的部分，它快速扫过（低分辨率）。

• 比喻： 就像你看一场球赛，进球瞬间你会全神贯注盯着看（慢），而球员在中场散步时，你只是余光扫一下（快）。这样既省精力，又不错过精彩瞬间。

3. 它是怎么练成的？（三阶段训练法）

Q-Save 模型不是直接扔进去就用的，它经历了一个**“实习 -> 特训 -> 稳定”**的过程：

1. 第一阶段 (SFT - 实习期)： 给它看大量带评语的视频，教它“怎么说话”、“怎么打分”。就像让实习生先背熟影评的格式。
2. 第二阶段 (RL - 特训期)： 让它自己试错，如果它打错了或者评语写偏了，就给它“惩罚”；如果打对了，就给它“奖励”。这就像教练在场上纠正它的直觉，让它学会抓重点。
3. 第三阶段 (SFT - 稳定期)： 最后再把它拉回来，巩固一下，防止它因为特训太嗨而“走火入魔”（变得不稳定）。

4. 这个系统有什么用？

• 给 AI 导演当“质检员”： 在视频发布前，自动挑出烂片，节省人工审核的成本。
• 给 AI 导演当“教练”： 论文里提到，他们把 Q-Save 当作“奖励模型”去训练 AI 生成器。结果发现，用 Q-Save 指导出来的 AI 视频，人类看着更舒服，动作更自然。
  • 比喻： 以前是 AI 自己瞎练，现在有了 Q-Save 这个“金牌教练”在旁边指导，AI 进步飞快。

总结

Q-Save 就是一个懂行、会说话、眼光毒辣的 AI 视频评价系统。它不仅告诉你视频好不好，还告诉你为什么不好，并且通过独特的“慢快结合”看片法和“三阶段”训练，让自己变得既准又快。

这就好比给 AI 视频产业装上了一套自动化的“体检 + 康复”系统，让未来的 AI 视频不再只是“能看”，而是真正变得“好看”且“合理”。

技术摘要

这是一份关于论文 Q-Save: Towards Scoring and Attribution for Generated Video Evaluation 的详细技术总结。该论文提出了一套针对 AI 生成视频（AIGV）质量评估的综合性基准数据集和统一评估模型。

1. 研究背景与问题 (Problem)

随着文本生成视频（Text-to-Video, T2V）模型的快速发展，生成内容数量激增，但现有的自动评估框架存在显著局限性：

• 评估维度定义缺失：缺乏对视觉质量、动态质量和文本 - 视频对齐这三个核心维度的系统性定义。
• 孤立评估：现有方法通常将这三个维度分开处理，缺乏统一模型。
• 数据质量与标注不足：
  • 提示词（Prompts）质量参差不齐，内容分布不平衡。
  • 标注质量控制不严，缺乏系统性的审核机制。
  • 大多数数据集仅提供标量分数（MOS），缺乏细粒度的归因解释（即“为什么好/坏”），难以训练可解释的评估器。
• 预处理与训练策略落后：
  • 许多基于视觉语言模型（VLM）的评估器采用稀疏的帧采样（如每秒 2 帧），丢失了人类判断所需的丰富时序证据。
  • 训练策略单一，通常仅使用单阶段监督微调（SFT），未能充分挖掘现代 VLM 的潜力。

2. 方法论 (Methodology)

Q-Save 通过构建高质量数据集和提出统一的训练管道来解决上述问题。

A. Q-Save 数据集构建

• 规模与来源：包含近 10,000 个视频样本，由 6 个最先进的专有 T2V 模型生成。
• 提示词设计：人工编写提示词，覆盖多类别、细粒度子类别，确保内容、动作、风格和场景复杂度的合理分布。
• 严格标注流程：
  • 评分：采用平均意见分数（MOS）体系，将视频分为五个等级（Bad, Poor, Fair, Good, Excellent）。
  • 归因（Attribution）：针对低质量视频，收集细粒度的自然语言归因解释，说明质量下降的具体原因（如运动失真、提示词不匹配等）。
  • 质量控制：经过多轮校准、严格筛选标注员，并采用“采样与审查”策略确保标注一致性。
• 核心评估维度：
  1. 视觉质量 (Visual Quality)：帧级感知质量（保真度、清晰度、伪影、美学）。
  2. 动态质量 (Dynamic Quality)：时序动态（平滑度、连贯性、物理合理性）。
  3. 文本 - 视频对齐 (Text-Video Alignment)：视频内容与输入提示词的语义一致性。

B. Q-Save 评估模型架构

• 骨干网络：基于 Qwen3-VL-8B-Instruct 进行微调。
• 视频预处理 (SlowFast 策略)：
  • 针对视频相邻帧相似但关键帧差异大的特点，采用 SlowFast 风格预处理。
  • Slow Pathway：处理快速变化的关键帧（高分辨率，较少帧数）。
  • Fast Pathway：处理相对静态的帧（低分辨率，较多帧数）。
  • 在固定 Token 预算下，平衡了时空特征的提取效率与准确性。
• 评分方法：
  • 模型输出离散的评分词（如 "Excellent"），通过 Softmax 计算概率分布。
  • 利用期望值计算连续评分：$\hat{r} = \sum p_j \cdot w_j$，其中权重 $w_j$ 对应不同等级。
• 三阶段训练策略：
  1. SFT Cold Start (监督微调)：学习基本指令遵循和格式，提供冷启动。
  2. RL Warm Up (强化学习)：使用 GRPO (Grouped Relative Policy Optimization) 算法，基于准确率奖励和格式奖励进行优化，提升评分对齐度和鲁棒性。
  3. SFT Cool Off (稳定化微调)：将 RL 阶段生成的正确推理路径（包含归因和评分）重新作为 SFT 数据，蒸馏稳定行为，减少方差，防止 RL 带来的不稳定性。
• 损失函数：结合交叉熵损失（CE Loss，保证格式正确）和均方误差损失（MSE Loss，优化连续分数的数值保真度）。

3. 关键贡献 (Key Contributions)

1. 高质量归因感知数据集：构建了包含严格质量控制和细粒度归因解释的 T2V 评估数据集，显著提升了评分精度和模型的可解释性。
2. 针对 VLM 的 SlowFast 预处理策略：提出了一种适应 VLM 的视频预处理方法，更好地利用时序证据，解决了传统稀疏采样导致的信息丢失问题。
3. 三阶段混合训练管道：提出了 SFT $\to$ RL $\to$ SFT 的训练范式，充分释放了 VLM 的潜力，实现了在 AIGV 评估任务上的 SOTA 性能。
4. 统一评估框架：首次在一个统一模型中同时实现了多维度的质量评分和归因生成。

4. 实验结果 (Results)

• 在域性能 (In-domain)：在 Q-Save 测试集上，Q-Save 在视觉质量、动态质量和文本对齐三个维度上均显著优于现有基线（如 FastVQA, SimpleVQA, Q-Align, VideoScore-v2 等）。
  • 例如，在动态质量的实例级 SRCC 上，Q-Save 达到了 0.679，远超次优模型的 0.428。
  • 在模型级（Model-level）评估中，Q-Save 展现了极强的稳定性（SRCC 达到 1.000）。
• 跨域验证 (Cross-dataset)：在 VideoGen-RewardBench, T2VQA-DB, VideoPhy2 等多个外部基准上，Q-Save 展现了优异的泛化能力，特别是在涉及物理常识和运动质量的评估中表现突出。
• 作为奖励模型的效果：将 Q-Save 作为奖励模型用于强化学习（RL）微调视频生成器（Wan2.2, Hunyuanvideo-1.5），相比使用 HPSv3 等开源奖励模型，Q-Save 引导生成的视频在人类评估中获得了更高的分数，证明了其作为优化信号的有效性。
• 消融实验：验证了 SlowFast 预处理、RL 阶段和最终 SFT 阶段对性能提升的互补作用。

5. 意义与影响 (Significance)

• 推动 AIGV 评估标准化：Q-Save 为 AI 生成视频的质量评估提供了一个统一、可解释且细粒度的标准，填补了现有基准在动态质量和归因解释方面的空白。
• 降低人工成本：通过自动化且可解释的评估，大幅降低了人工审核成本，提高了模型迭代效率。
• 指导模型优化：Q-Save 不仅是一个评估工具，更可直接作为奖励模型（Reward Model）用于 T2V 模型的强化学习训练，直接提升生成模型的质量。
• 可解释性：通过提供“评分 + 归因”的输出，帮助开发者和用户理解视频质量问题的具体来源（是画面模糊、动作不自然还是提示词不匹配），具有极高的诊断价值。

总结：Q-Save 通过数据、算法和训练策略的系统性创新，解决了当前 AIGV 评估中“评不准、看不透、泛化差”的痛点，为下一代视频生成模型的评估与优化奠定了坚实基础。代码和数据集将在论文发表后开源。