💻 computer science

Comparison Drives Preference: Reference-Aware Modeling for AI-Generated Video Quality Assessment

该论文提出了一种名为 RefVQA 的参考感知视频质量评估方法，通过构建查询为中心的参考图来捕捉视频间的语义关联并聚合差异，从而在多个质量维度上超越了现有最先进方法，更贴合人类对 AI 生成视频的主观感知。

原作者： Minghao Zou, Gen Liu, Guanghui Yue, Baoquan Zhao, Zhihua Wang, Paul L. Rosin, Hantao Liu, Wei Zhou

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Minghao Zou, Gen Liu, Guanghui Yue, Baoquan Zhao, Zhihua Wang, Paul L. Rosin, Hantao Liu, Wei Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种评估 AI 生成视频质量的新方法，我们可以把它想象成**“从‘独自打分’变成了‘找朋友比一比’"**。

为了让你更容易理解，我们把这篇论文的核心内容拆解成几个生动的场景：

1. 以前的做法：像“盲人摸象”

现状：
以前，当我们想给一个 AI 生成的视频打分（比如判断它画得好不好、动作顺不顺）时，现有的方法通常是**“单打独斗”**。

比喻： 想象你是一个评委，面前只有一个视频。你只能盯着这个视频看，试图凭记忆判断它是否清晰、动作是否流畅。
问题： 这很难！因为如果没有参照物，你很难确定这个视频是“真的模糊”，还是只是“风格独特”。就像你手里拿着一张模糊的照片，如果没有一张清晰的照片做对比，你很难断定这照片是不是真的拍坏了。

2. 新方法的灵感：像“货比三家”

核心思想：
这篇论文的作者发现，人类在评价事物时，从来不是孤立的，而是**“比较”**出来的。

比喻： 当你想评价一辆新车的性能时，你不会只看它自己，你会下意识地和同价位的其他车比：“这车加速比那辆快吗？”“这车内饰比那辆豪华吗？”
论文观点： 评价 AI 视频也一样。要判断一个视频好不好，必须把它和**“长得像、内容像”**的其他视频放在一起比。

3. 他们是怎么做的？（RefVQA 模型）

作者设计了一个叫 RefVQA 的系统，它的运作流程就像是一个**“聪明的图书管理员”**：

第一步：找“书”（检索参考视频）
- 当你提交一个视频（比如提示词是“下雨天钓鱼”），系统不会瞎找。它会去数据库里找那些提示词相似的视频（比如“晴天钓鱼”、“河边钓鱼”）。
- 比喻： 就像你想评价“下雨天钓鱼”的视频，系统会立刻找出几个“钓鱼”主题的视频作为参照组。它不要求这些视频质量一样，但要求它们主题相似，这样才能公平地比。
第二步：建“关系网”（构建参考图）
- 系统把这些找到的视频和原视频连成一张网。
- 比喻： 就像把原视频放在桌子中间，周围围着一圈“参照视频”，它们之间用线连起来，形成一个**“比较圈”**。
第三步：找“不同点”（差异聚合）
- 这是最关键的一步。系统不是简单地把所有视频混在一起看，而是专门计算**“原视频”和“参照视频”之间的差异**。
- 比喻： 就像老师批改作业，不是只看学生 A 做得对不对，而是把学生 A 的作业和学生 B、C（做得好的）的作业放在一起，专门挑出 A 哪里写得不好、哪里比 B 差。
- 系统会分析：原视频的动作是不是比参照视频更卡顿？画面是不是更模糊？提示词和画面的匹配度是不是更差？
第四步：给出“最终分”
- 综合了这些“比出来的差异”，系统给出一个更准确的分数。

4. 为什么这个方法更厉害？

论文通过在三个大型数据集上的实验证明，这个方法比以前的“单打独斗”法强得多：

更懂人类： 人类本来就是靠比较来感知质量的，所以这个方法打分的结果和人类评委的打分更一致。
更抗干扰： 以前有些方法换个数据集就不灵了（比如从“风景视频”转到“人物视频”就不行了），但这个方法因为学会了“怎么比”，所以举一反三的能力很强，换什么类型的视频都能评得准。
发现细节： 它能更敏锐地发现那些细微的毛病，比如“动作抖动”或者“画面和文字对不上”。

5. 总结

简单来说，这篇论文就是告诉我们要**“换个角度看问题”**：

以前： 盯着一个视频，试图凭空想象它有多好。
现在： 找一个“朋友圈”，把视频放进去比一比，通过找出它和别人的差距，来精准地评价它的质量。

这就好比，你想知道自己跑得快不快，与其自己瞎猜，不如找几个同水平的跑友一起跑一圈，看看谁快谁慢，这样得出的结论才最真实、最靠谱。

这篇论文提出了一种名为 RefVQA（Reference-aware Video Quality Assessment，参考感知视频质量评估）的新框架，旨在解决 AI 生成视频（AIGV）质量评估中的关键问题。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：随着生成式模型的快速发展，AI 生成的视频数量激增。对这些视频进行自动质量评估（AIGC-VQA）对于确保内容可靠性和用户体验至关重要。
现有方法的局限性：
- 独立评估：现有的 AIGC-VQA 方法通常将每个视频作为独立样本进行分析，忽略了视频之间的潜在关系。
- 违背人类感知：人类在评估视频质量时，往往是比较性的（Comparative），即通过与其他具有相似物体、动作或风格的视频进行对比来判断清晰度、运动流畅度和语义一致性，而非绝对判断。
- 特征利用不足：现有方法难以捕捉这种相对感知差异，导致评估结果与人类主观评分（MOS）存在偏差。
核心问题：如何构建一种能够模拟人类“对比感知”机制的 AIGC-VQA 模型，利用相关视频作为参考来提升评估的准确性？

2. 方法论 (Methodology)

作者将 AIGC-VQA 重新定义为参考感知（Reference-aware）评估问题，并提出了 RefVQA 框架。该框架的核心思想是利用文本提示（Prompt）作为语义锚点，检索相似视频构建参考图，并通过图引导的差异聚合来学习质量特征。

2.1 核心流程

参考图构建 (Reference Graph Construction)：
- 利用 Sentence-BERT 编码查询视频（Query）的提示词和训练集中所有视频的提示词。
- 计算余弦相似度，检索与查询提示词语义相似的视频作为参考样本。
- 构建以查询视频为中心的参考图：节点为视频实例，边表示提示词之间的语义相似度。
- 创新点：利用提示词相似性而非视觉特征相似性来建立参考关系，因为提示词更稳定且跨模型共享，受生成质量影响较小。
双分支特征建模 (Dual-Branch Modeling)：
RefVQA 包含两个并行分支，均引入参考感知机制：
- 视觉分支 (Visual Branch)：
  - 使用 Swin Transformer 提取视频的时空特征（外观和运动）。
  - 计算查询视频与参考视频之间的特征差异（ $\Delta v = v_q - v_n$ ）。
  - 利用图结构进行差异聚合，将参考节点的信息加权聚合到查询节点，增强对视觉质量差异的感知。
- 对齐分支 (Alignment Branch)：
  - 使用 BLIP 模型评估生成视频与提示词之间的语义一致性。
  - 同样计算查询与参考样本的对齐特征差异，并进行图引导聚合。
差异聚合机制 (Graph-guided Difference Aggregation)：
- 不同于传统的特征直接聚合，RefVQA 显式地建模差异特征（Difference Features）。
- 通过门控机制（Gating Mechanism）自适应地调节参考信息对原始特征的贡献，将内在质量特征与相对质量差异特征融合，形成增强的质量表示。
质量预测 (Quality Prediction)：
- 融合视觉和对齐分支的增强特征，通过回归头预测最终的质量分数（MOS）。
- 训练损失结合了 PLCC 损失（线性相关性）和 Rank Loss（排序损失），以同时优化绝对分数预测和相对排序能力。

3. 主要贡献 (Key Contributions)

问题重构：首次将 AIGC-VQA 从独立的回归问题重构为参考感知评估问题，强调利用相关样本进行对比推理。
RefVQA 框架：提出了一个新颖的框架，在视觉和对齐空间中学习参考条件差异表示（Reference-conditioned discrepancy representations），捕捉超越单一视频内在特征的相对感知线索。
图引导差异聚合：引入轻量级的图引导差异聚合机制，在结构化拓扑下组织检索到的参考视频，有效编码查询与参考之间的差异。
SOTA 性能：在多个基准数据集上实现了最先进的性能，并证明了该方法具有强大的跨数据集泛化能力。

4. 实验结果 (Results)

数据集：在三个主流 AIGC-VQA 基准数据集上进行了广泛实验：T2VQA-DB、LGVQ 和 FETV。
性能表现：
- T2VQA-DB：RefVQA 在所有指标上均超越现有方法（SRCC: 0.826, PLCC: 0.835, RMSE: 8.429），优于之前的 SOTA 方法（如 T2VQA, CRAVE 等）。
- LGVQ：在空间质量、时间质量和对齐质量三个维度上均达到 SOTA，特别是在对齐维度提升显著，证明了参考视频对语义一致性评估的有效性。
- 跨数据集泛化：在 LGVQ 上训练并在 FETV 上测试，RefVQA 依然保持领先，证明了其基于语义对比的建模方式对域偏移（Domain Shift）不敏感。
消融实验：
- 证明了参考感知对比建模是性能提升的关键。
- 验证了基于提示词的检索优于基于特征或随机检索。
- 证明了差异特征聚合（Diff + Graph）优于直接聚合参考特征。
- 展示了双分支（视觉 + 对齐）的互补性。
效率：RefVQA 在保持最高精度的同时，推理时间（99.265ms）优于 T2VQA 和 AIGVEval，实现了精度与效率的最佳平衡。

5. 意义与启示 (Significance)

理论意义：打破了传统 VQA 独立评估样本的范式，证明了视频间的相对关系对于理解 AI 生成内容质量至关重要。
技术价值：提出的“图引导差异聚合”机制为处理具有复杂语义关系的视频评估任务提供了新的思路，不仅适用于 AIGC-VQA，也可能推广到其他需要对比推理的视觉任务。
实际应用：该方法能更准确地识别 AI 生成视频中的伪影（如运动模糊、语义不一致），为内容审核、生成模型优化提供了更可靠的自动评估工具。
未来方向：论文指出了当前基于提示词检索的局限性（提示词可能无法完全反映视觉质量），未来可探索结合质量感知的多模态检索或更复杂的图传播机制。

总结：RefVQA 通过引入“对比驱动偏好”的理念，利用语义相关的参考视频构建结构化上下文，显著提升了 AI 生成视频质量评估的准确性和泛化能力，是该领域的一个重要突破。