⚡ electrical engineering

Boosting Image Quality Assessment Performance: Unsupervised Score Fusion by Deep Maximum a Posteriori Estimation

本文提出了一种基于深度最大后验估计的通用无监督图像质量评估（IQA）分数融合框架，该框架通过执行细粒度不确定性估计并有效剔除劣质模型，从而提升预测精度并降低不确定性。

原作者： Zhongling Wang, Raymond Zhou, Shahrukh Athar, Wenbo Yang, Zhou Wang

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhongling Wang, Raymond Zhou, Shahrukh Athar, Wenbo Yang, Zhou Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试评估一张照片的质量。你没有相机专家随行，于是你请了一个由 16 位不同“评委”组成的评审团来查看照片并给出评分。

这里有个问题：有些评委擅长发现模糊的照片，但在察觉色彩问题时却一塌糊涂；另一些专家则精通颗粒感图像，却会被明亮的灯光搞糊涂。如果你只是简单取所有评委分数的平均值，仍可能得到错误的答案，因为“糟糕”的评委拉低了平均分，或者针对特定缺陷表现出色的“优秀”评委被其他人淹没。

本文提出了一种聪明的新方法，无需“监督者”来告知谁对谁错，即可融合这些评委的意见。

核心思想：智能“分数融合”系统

作者构建了一个充当超级评委的系统。该系统并非简单地对分数取平均，而是学习针对每一张具体照片，应信任每位评委多少。

其工作原理可分解为以下简单概念：

1. “无教师”方法（无监督）
大多数人工智能系统通过被展示“正确答案”（如同老师批改试卷）来学习。但在图像质量评估中，“正确答案”仅仅是人类的主观意见，且因人而异。

本文的巧妙之处：该系统不要求提供“正确”分数。相反，它观察这 16 位评委之间如何达成一致或产生分歧。它仅通过观察评委们的互动，就能推导出游戏规则。

2. “不确定性”检测器
想象你身处一间暗室。如果一位评委说“这张照片完美无缺”，但他却在黑暗中眯着眼睛看，你就知道他的意见不可靠。

本文的创新：系统为评委给出的每一个数值计算一个“置信度分数”（即不确定性）。
- 如果一位评委通常很可靠，但在面对特定类型的失真时感到困惑，系统会降低其在该张照片上的权重。
- 如果一位评委表现始终如一地出色，其声音就会被放大。
- 关键比喻：这就像在一个群聊中。如果某人在胡言乱语，系统会学会在特定对话中将其静音，而不是永远忽略他们。

3. “坏评委”剔除
本文测试了如果在评审团中悄悄混入两名“假冒”评委（即随机生成数字的评委）会发生什么。

结果：传统方法（如简单平均或排名）感到困惑，性能急剧下降。
新系统：它立即意识到这两名评委是“噪声”。它计算出他们的不确定性极高，从而有效地忽略了他们，保持了最终分数的准确性。这就像俱乐部的保镖，能瞬间识破试图持假证混入的人并将其拒之门外。

4. “解码器”与“编码器”

编码器：这是将全部 16 个分数混合在一起的部分。它就像乐团中的指挥，决定每位乐器（评委）应该演奏多大音量。
解码器：这部分试图理解评委分数与人类实际想法之间的关系。它学习到“如果评委 A 说 X，评委 B 说 Y，那么人类可能会认为 Z"。

为何这很重要

作者在 10 组不同的图像集上测试了该系统（有些图像只有一种缺陷，有些则有多种）。

获胜者：他们的新系统击败了所有其他方法，包括单个评委以及其他分数融合方式。
制胜秘诀：通过关注分数的“不确定性”而非分数本身，该系统能够选取每位评委意见中的最佳部分，并忽略混乱的部分。

一句话总结

本文介绍了一种智能的自学习系统，它通过不断询问“你对这个特定分数的置信度有多高？”，来融合多位图像质量评委的意见，从而能够忽略糟糕的评委，产生比任何单个评委或简单平均值所能达到的更准确的最终评级。

技术摘要：基于深度最大后验估计的无监督图像质量评估分数融合

问题陈述

图像质量评估（IQA）模型在预测感知质量方面已取得显著进展，但由于各自设计理念的差异，单个模型往往对特定图像内容或失真类型表现出偏差。虽然融合多个 IQA 模型是利用优势、弥补劣势的直观策略，但现有方法存在局限性：

经验方法依赖于具有预设权重的手工公式，限制了对新模型的适应性。
排序融合方法在离散空间中运行，导致信息丢失，并依赖于数据集的多样性。
基于监督学习的融合依赖平均意见得分（MOS）作为真值。作者认为，这从根本上削弱了泛化性的目标，因为 MOS 本质上与特定数据集和失真类型绑定，重新引入了融合旨在避免的偏差。

所解决的核心挑战是无监督 IQA 分数融合：如何在不使用 MOS 作为训练目标的情况下，将多个 IQA 分数结合为更优的预测，同时在细粒度水平上准确估计每个模型预测的不确定性。

方法论

本文提出了一种基于深度最大后验（MAP）估计的无监督分数融合通用框架。该方法对潜在感知质量（MOS，记为 $z$ ）与 $M$ 个不同 IQA 模型生成的分数（ $x^j$ ）之间的关系进行建模。

1. 观测模型

该框架假设图像 $i$ 的 IQA 分数 $x^j_i$ 是由潜在质量 $z_i$ 的确定性函数加上两个独立噪声分量生成的：
$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$

$f^j(z_i)$ ：一个参数化函数（实现为指数函数），模拟从潜在质量到特定模型分数的映射。
$\hat{n}^j$ ：模型相关噪声，服从零均值正态分布。
$n^j_i$ ：分数相关噪声，服从偏正态分布（$SN$）。这是一个关键创新，因为经验观察表明，IQA 模型在评估低质量图像时表现出更高的方差和不对称的误差分布（偏向低分）。该噪声的尺度参数由函数 $g^j(z_i)$ 估计，从而实现细粒度的、分数级别的不确定性估计。

2. MAP 公式化与优化

目标是找到最大化后验概率 $p(z|X)$ 的潜在质量 $z$ 和模型参数。似然函数 $p(x^j_i|z_i)$ 被推导为偏正态分布。优化问题表述为：
$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$

先验 $p(z)$ ：定义为均匀分布 $U(0,1)$ ，以正则化输出范围而不强加特定数据集的偏差，确保泛化性。
摊销推断：为了避免对每张新图像进行迭代优化（这既慢又耗数据），引入了一个编码器（全连接网络）。该编码器将输入分数直接映射到潜在质量 $z_i$ ，从而实现快速、端到端的推断。

3. 排序融合的集成

该框架通过将离散排名归一化到连续空间，无缝集成了排序融合。这使得基于排名的方法能够被视为通用 MAP 框架的一个特例，在连续空间而非计算密集的离散空间中进行优化。

主要贡献

首个基于无监督学习的融合：据作者所知，这是首个利用无监督学习融合 IQA 分数的方法，避免了训练对 MOS 的依赖。
形式化的观测模型：本文形式化了首个 IQA 融合的观测模型，利用带有偏正态分布的 MAP 估计来捕捉不对称和分数相关的噪声。
细粒度不确定性估计：与仅在模型级别估计不确定性的先前方法不同，该框架在分数级别估计不确定性。这使得模型能够根据预测质量动态权衡特定预测的可靠性。
对“劣质”模型的鲁棒性：该框架展示了在融合过程中无需先验知识即可识别并降低“劣质”或随机 IQA 模型权重的固有能力。
统一框架：它提供了一个通用结构，可以集成基于分数和基于排名的融合方法。

实验结果

所提出的模型在十个多样化的主观评分 IQA 数据集（包括单失真和多失真场景）上，使用16 个独立的 IQA 指标（包括全参考和无参考）进行了评估。

性能：所提出模型的三个变体（SF-ms、RF-ms、SF-m）在平均斯皮尔曼等级相关系数（SRCC）和皮尔逊线性相关系数（PLCC）方面，始终优于现有的经验融合方法、排序融合方法（RRF, RRFW）以及所有单个 IQA 模型。
消融研究：移除分数级别的不确定性估计（导致SF-m模型）导致性能下降，证实了细粒度不确定性建模的重要性。
鲁棒性测试：当在融合列表中添加两个“劣质”指标（随机噪声生成器）时：
- 现有的无监督方法（RRF, RRFW）遭受了显著的性能下降。
- 所提出的方法保持了有竞争力的性能。不确定性估计模块正确识别了“劣质”指标的高方差（尺度参数），导致编码器赋予它们可忽略的权重。

意义与主张

本文主张，通过摆脱受限于训练数据集 MOS 特定偏差的监督学习，并采用概率性的无监督 MAP 框架，实现了对未见数据更优越的泛化性。其关键意义在于能够：

融合多样化的 IQA 模型，而无需训练所需的真值主观评分。
在每个分数的基础上动态适应每个模型的可靠性，有效地“拒绝”糟糕的预测或模型。
提供一个统一、可解释的框架，其中可以检查编码器的权重，以了解不同模型如何贡献于最终预测。

作者将这项工作定位为迈向更稳健、通用 IQA 系统的基础性步骤，该系统利用现有模型的集体智慧，同时通过严格的不确定性量化来减轻其各自的弱点。