A Lightweight Ensemble-Based Face Image Quality Assessment Method with Correlation-Aware Loss

技术摘要：一种基于轻量级集成且具有相关性感知损失的面部图像质量评估方法

问题陈述
面部图像质量评估（FIQA）是面部识别和验证系统的关键门禁，特别是在不受控的真实世界（“in the wild”）环境中。虽然存在通用的无参考图像质量评估（IQA）指标（如 BRISQUE、NIQE），但它们往往无法捕捉面部特有的退化特征，如姿态、光照和遮挡，且与实际识别成功率的相关性较弱。相反，最先进（SOTA）的感知型 FIQA 模型通常依赖于沉重的深度学习架构（例如大型 Transformer 或迭代扩散循环），其计算成本极高。这种高推理成本（达到 multi-GFLOP 级别）为在移动设备或嵌入式系统等资源受限环境中的部署制造了瓶颈，尽管这些模型具有高精度，但其实际应用受到限制。

方法论
作者提出了一种轻量级、高效的 FIQA 框架，旨在平衡高精度与低计算成本。该方法由三个核心部分组成：

1. 轻量级集成架构：
   该模型集成了一个由两个紧凑型卷积神经网络（CNN）组成的集成系统：MobileNetV3-Small 和 ShuffleNetV2。这两个网络均在 ImageNet 上进行了预训练，并通过将最终分类层替换为多层感知器（MLP）以输出单个标量质量得分，从而针对 FIQA 任务进行了微调。

   • MobileNetV3-Small： 使用维度为 576 的全局平均池化特征向量，通过一个两层 MLP 进行处理。
   • ShuffleNetV2： 使用维度为 1024 的全局平均池化特征向量，通过一个三层 MLP 进行处理。
   • 融合策略： 最终预测通过双层平均方案生成。首先，在输入图像的多个增强视图（测试时增强）之间进行平均。其次，对两个不同模型的输出进行平均。这种方法利用了两种架构互补的表征能力，同时保持总参数量约为 200 万个。

2. 相关性感知损失函数 (MSECorrLoss)：
   为了使模型预测与人类的感知判断保持一致，作者引入了一个结合了均方误差（MSE）与皮尔逊相关正则项的联合损失函数。

   • 损失函数定义为 $\mathcal{L} = \mathcal{L}_{MSE} + \alpha \mathcal{L}_{Corr}$。
   • $\mathcal{L}_{MSE}$ 最小化直接预测误差。
   • $\mathcal{L}_{Corr}$ 定义为 $1 - \text{Pearson}(q, \hat{q})$，旨在鼓励模型相对于地面真值（ground truth）保持质量得分的单调排序。这对于感知类任务至关重要，因为在这些任务中，相对排序往往比绝对得分的精确度更为重要。

3. 测试时增强 (TTA)：
   在推理过程中，输入图像会被转换为多个增强视图（具体为随机水平和垂直翻转）。集成系统会对这些视图进行处理，最终的质量得分通过对增强视图和模型的预测结果进行平均获得。这一策略在不需要额外训练数据的情况下，增强了模型的鲁棒性和稳定性。

核心贡献
本文概述了三个主要贡献：

• 紧凑的集成设计： 一个融合了 MobileNetV3-Small 和 ShuffleNetV2 的双分支集成模型，在实现高精度的同时，达到了亚百万参数规模（总计约 200 万参数）和低推理成本（约 0.5 GFLOPs）。
• MSECorrLoss： 一种新型目标函数，能够同时最小化 MSE 并最大化与人类评分的皮尔逊相关性，从而加强了与感知地面真值的对齐。
• 鲁棒的 TTA 集成： 一种有效的推理时策略，通过对增强视图的预测进行平均，提高了预测的稳定性和减少了方差。

实验结果
该方法在 VQualA FIQA 基准测试上进行了评估，这是一个包含约 30,000 张训练图像和 1,000 张验证图像的大规模真实世界数据集。评估采用了斯皮尔曼等级相关系数（SRCC）和皮尔逊线性相关系数（PLCC）。

• 性能： 所提方法实现了 SRCC 为 0.9829，PLCC 为 0.9894，最终得分为 0.9862。
• 对比： 这些结果显著优于现有的 SOTA 方法。例如，此前表现最好的面部特定方法 TOPIQ Swin Face 的最终得分为 0.9286（SRCC 0.9156，PLCC 0.9416）。所提方法比其高出了 0.058 的最终得分。
• 效率： 尽管取得了性能提升，该模型仍保持轻量化，适用于计算资源有限的实际部署场景。

消融研究
作者通过消融研究验证了各组件的贡献：

• 集成： 将 MobileNet 与 ShuffleNet 结合，使最终得分从单个模型的 ~0.97 提升至 0.9792，证明了集成学习可以降低预测方差。
• 损失函数： 将标准 MSE 切换为 MSECorrLoss 后，得分进一步提升至 0.9821，证实了优化相关性的益处。
• TTA： 加入测试时增强后获得了最终的最优性能（0.9862），突显了其在减少预测方差和提高等级一致性方面的作用。

意义与主张
本文声称其方法成功解决了 FIQA 中准确性与计算效率之间的权衡问题。通过使用轻量级集成和相关性感知损失，该方法在保持满足移动端和嵌入式部署效率约束的同时，在 VQualA 基准测试上达到了最先进的性能。作者将这项工作定位为一种实用的解决方案，适用于需要可靠、自动且具备面部感知能力的质量判断的“真实世界”场景，例如身份验证、访问控制和取证分析。该工作表明，简单且精心编排的架构与训练策略，可以在不依赖于计算昂贵的主干网络的情况下，推动稳健 FIQA 系统的发展。