Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring

1. 研究背景与问题 (Problem)

核心痛点：
传统的视频质量评估（VQA）方法通常只输出一个单一的数值分数（如 MOS），虽然能反映整体质量，但无法解释视频质量的具体维度（如噪声、模糊、色彩等），限制了其在实际应用中的可解释性和指导价值。

现有方法的局限性：
随着大型多模态模型（LMMs）的发展，通过指令微调（Instruction Tuning）让模型生成自然语言的质量评估（Justification）成为可能。然而，现有的相关研究存在以下瓶颈：

1. 数据扩展性差： 现有的高质量指令数据生成严重依赖昂贵的人工专家标注（如 Q-Instruct）或私有 API（如 GPT-4），导致数据规模难以扩大，且成本高昂。
2. 维度覆盖不足： 大多数工作集中在图像领域，缺乏对视频特有因素（如时间动态、运动模糊）的深入理解。
3. 能力割裂： 现有方法难以让模型同时具备精准的质量打分能力和详细的质量归因/解释能力。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Score-based Instruction Generation (SIG) 流水线，并构建了 Score2Instruct (S2I) 数据集。

2.1 SIG 流水线 (核心创新)

SIG 旨在自动化生成大规模、以视频质量为中心的指令数据，无需人工标注或私有 API，包含三个关键步骤：

1. 视频源收集 (Video Source Collection)：

   • 策略： 突破传统 VQA 数据库的规模限制。
   • 来源： 结合了少量高质量标注视频（来自 Maxwell 等数据库，具有多维标注）和大量无标签通用视频（来自 Kinetics, YFCC 等）。
   • 筛选： 利用轻量级质量评估器对无标签视频进行初步打分，通过均匀采样确保质量分布的平衡性，最终收集了约 10 万 + 视频。

2. 自动化质量维度评分 (Automated Quality Dimension Scoring)：

   • 维度定义： 定义了 14 个 细粒度的质量维度（涵盖失真类如模糊、噪声、压缩伪影；美学类如色彩、构图、内容复杂度等），覆盖拍摄、编辑、压缩、传输全流程。
   • 评分机制： 利用部署在专业平台上的专家模型（Expert Models）对 14 个维度进行自动打分（0-1 连续值）。
   • 文本映射： 将连续分数映射为 ITU 标准的五级文本等级（Bad, Poor, Fair, Good, Excellent），并消除维度名称的歧义（例如将"Flicker"定义为“帧间变化的平滑度”）。

3. 分层思维链聚合 (Hierarchical CoT Aggregation)：

   • 模拟人类视觉系统 (HVS)： 设计分层 CoT 结构。首先评估 14 个维度，分组计算中间评分（失真组 vs 美学组），最后综合得出整体质量判断。
   • 内容增强： 引入视频描述（Caption）和高层语义信息，使质量评估不仅关注技术参数，还结合内容上下文。
   • 数据扩充： 利用开源 LLM（Vicuna）基于生成的质量理由，进一步扩展出 21.6 万对问答（QA）数据（包含 Yes/No 和 What/How 类型），最终形成 32 万+ 的指令 - 响应对。

2.2 渐进式微调策略 (Progressive Tuning Strategy)

为了充分释放 S2I 数据集的潜力，作者设计了两阶段微调策略：

• 阶段 I (Pretraining)： 使用 10 万条细粒度的维度描述数据，让模型学习预测文本定义的质量等级。此阶段冻结 LLM，仅训练视觉编码器和投影层，旨在建立基础的质量感知能力。
• 阶段 II (Instruction Tuning)： 使用剩余的 22 万条高质量理由和 QA 数据，采用 LoRA 对 LLM 进行微调。此阶段旨在提升模型的推理能力和自然语言生成能力，使其能输出综合的质量评估。

2.3 S2I-Bench 基准测试

为了更全面地评估模型，作者构建了包含 400 个开放性问题的高质量基准测试集 S2I-Bench，并引入了 VCG 分数（Correctness, Detail Orientation, Contextual Understanding, Temporal Understanding）作为评估指标，弥补了传统指标在视频时序理解上的不足。

3. 关键贡献 (Key Contributions)

1. 提出 SIG 流水线： 一种可扩展、高效的自动化视频质量指令生成方案，摆脱了对人工标注和私有 API 的依赖。
2. 构建 S2I 数据集： 包含 32 万 + 指令对，涵盖 14 个细粒度质量维度，是目前规模最大的视频质量指令数据集之一。
3. 构建 S2I-Bench： 一个包含 400 个开放性问题及 VCG 评估指标的基准，能够全面评估视频 LMM 的质量归因能力。
4. 验证渐进式策略： 证明了“先学习维度评分，再学习综合推理”的两阶段策略能显著提升模型在打分和解释两方面的性能。

4. 实验结果 (Results)

作者在 6 个开源和 3 个闭源视频 LMM 上进行了广泛实验：

• 质量归因能力 (Justification)：

  • 在 S2I-Bench 上，经过 S2I 微调的模型（如 LLaVA-OneVision）在 VCG 总分上平均提升了 1.39 分。
  • 特别是在 信息正确性 (CI) 和 时序理解 (TU) 方面提升显著，表明模型不仅能识别质量问题，还能理解视频的时间动态。
  • 相比其他 SOTA 方法（如 Q-Instruct, Depict-QA），S2I 微调模型在归因任务上表现更优。

• 质量打分能力 (Scoring)：

  • 在 5 个主流 VQA 数据集（Maxwell, LSVQ, KoNViD-1k, LIVE-VQC）上，S2I 微调模型的 SRCC（斯皮尔曼等级相关系数）和 PLCC（皮尔逊线性相关系数）均有显著提升。
  • 例如，在 Maxwell 数据集上，LLaVA-OneVision 的 SRCC 从 0.474 提升至 0.795，PLCC 从 0.428 提升至 0.812。
  • 跨数据集泛化性： 即使在训练集和测试集分布差异较大的情况下（Cross-dataset），模型依然表现出强大的泛化能力。

• 消融实验：

  • 证明了结合有标签和无标签数据的混合来源策略优于单一来源。
  • 证明了分层 CoT 设计和高层内容描述对提升归因质量至关重要。
  • 证明了渐进式微调策略（Stage I + Stage II）比直接微调效果更好。

5. 意义与影响 (Significance)

1. 打破数据瓶颈： 通过自动化评分和 CoT 聚合，解决了视频质量评估领域长期依赖昂贵人工标注的难题，为大规模数据生成提供了新范式。
2. 提升可解释性： 将黑盒的数值评分转化为人类可理解的详细文本报告，使视频质量评估更具实用价值（如用于视频增强、转码优化等）。
3. 推动视频 LMM 发展： 证明了在视频领域，通过精心设计的指令数据，可以让多模态大模型同时掌握“打分”和“解释”两项核心能力，为构建通用的视频质量评估助手奠定了基础。
4. 开源贡献： 论文开源了代码、S2I 数据集和 S2I-Bench 基准，将推动社区在视频质量理解方向的研究。

总结： 该论文通过创新的自动化数据生成流水线（SIG）和渐进式训练策略，成功解决了视频质量评估中数据稀缺和可解释性差的难题，显著提升了大型多模态模型在视频质量打分和归因方面的性能，是视频质量评估领域向“大模型 + 可解释性”方向迈进的重要一步。