DEFNet: Multitasks-based Deep Evidential Fusion Network for Blind Image Quality Assessment

本文提出了一种名为 DEFNet 的多任务深度证据融合网络，通过结合场景与失真类型分类任务、设计新颖的可信信息融合策略以及利用基于证据学习的混合分布进行不确定性估计，显著提升了盲图像质量评估的鲁棒性、泛化能力及对未见场景的适应性。

要点

这篇文章介绍了一种名为 DEFNet 的新方法，用来解决一个非常实际的问题：如何在不看“标准答案”的情况下，自动判断一张照片拍得好不好？

在摄影和图像处理领域，这被称为“盲图像质量评估”（BIQA）。以前，电脑判断照片好坏往往像是一个“死脑筋”的考官，只盯着像素看，或者只能处理一种类型的错误。这篇论文提出了一种更聪明、更灵活的“全能考官”系统。

我们可以用三个生动的比喻来理解 DEFNet 是如何工作的：

1. 组建一个“专家顾问团”（多任务学习）

以前的方法通常是“单兵作战”，只盯着照片的画质打分。但 DEFNet 觉得这样太片面了，于是它组建了一个三人专家顾问团，一起给照片打分：

• 主考官（BIQA 任务）： 专门负责给照片的最终质量打分（比如：这张照片是“烂片”还是“大片”？）。
• 场景分析师（场景分类任务）： 负责看照片里是什么地方。是“城市夜景”？还是“自然风光”？因为夜景拍得暗可能是正常的，但白天拍得暗就是问题。
• 故障诊断师（失真类型分类任务）： 负责找茬，看照片哪里出了问题。是“模糊了”？“噪点太多了”？还是“压缩过度了”？

比喻： 就像你去医院看病，以前可能只有一个医生看你的症状。现在 DEFNet 是让你同时挂三个号：一个看整体健康（主考官），一个看你是哪个科室的（场景分析），一个看具体是什么病（故障诊断）。三个医生互相交流，最后给出的诊断（质量评分）肯定比一个医生更准。

2. 玩“拼图游戏”与“宏观微观结合”（可信信息融合）

有了专家团，怎么把他们的意见整合起来呢？DEFNet 用了两种聪明的策略：

• 跨区域拼图（子区域融合）：
  它不会只看照片的一小块，而是把照片切成很多小块（像拼图一样）。它发现，照片的左上角可能很清晰，但右下角可能模糊了。它把这些不同区域的信息像拼图一样拼起来，确保没有漏掉任何细节。

  • 比喻： 就像评价一顿大餐，不能只尝一口汤，得把前菜、主菜、甜点都尝一遍，综合起来才能知道这顿饭好不好吃。

• 远近结合（局部 - 全局融合）：
  它既会拿放大镜看细节（局部），也会拿望远镜看整体（全局）。

  • 比喻： 看一幅画，既要看笔触是否细腻（局部细节），也要看整体构图是否和谐（全局氛围）。DEFNet 把这两种视角结合起来，既不会因为太关注细节而忽略了整体，也不会因为只看整体而忽略了瑕疵。

3. 学会“承认自己不知道”（不确定性估计）

这是 DEFNet 最厉害的地方。以前的 AI 模型有时候很“自信”，哪怕它猜错了，它也敢拍着胸脯说“我确定”。但 DEFNet 引入了证据理论，让它学会“谦虚”。

• 比喻： 想象一个老练的侦探。
  • 旧模型： 看到一点线索就敢断定凶手是谁，哪怕证据不足，它也敢下结论（过度自信）。
  • DEFNet： 看到线索后，它会说：“我有 80% 的把握是这个人，但还有 20% 的可能是别人，因为证据还不够完美。”
  • 它通过一种叫“正态 - 逆伽马分布”的数学工具，不仅给出一个分数，还会给出一个置信区间（比如：我觉得这照片质量是 8 分，误差范围是 ±0.5 分）。如果照片很模糊或者很怪，它给出的误差范围就会变大，告诉用户：“这个结果我不太确定，你要小心参考。”

总结：为什么它很牛？

1. 更准： 在大量的测试中（包括电脑生成的假照片和真实拍摄的照片），DEFNet 的打分和人类专家的打分最接近，比以前的各种方法都强。
2. 更稳： 它不仅能处理常见的模糊、噪点，还能适应各种奇怪的、以前没见过的照片场景。
3. 更诚实： 它知道自己什么时候“心里没底”，这种“自知之明”让它在实际应用（比如医疗影像分析、自动驾驶）中更安全、更可靠。

一句话总结：
DEFNet 就像是一个既懂行、又细心、还懂得谦虚的超级摄影评论家。它通过召集专家团、拼凑细节、远近结合，并且诚实地告诉用户“我有多大的把握”，从而给出了目前最靠谱的照片质量评分。

技术摘要

1. 研究背景与问题定义 (Problem)

背景：
盲图像质量评估（Blind Image Quality Assessment, BIQA）旨在无需参考图像的情况下，客观地评估图像质量。现有的方法通常引入辅助任务（如场景分类、失真类型分类）来提升性能，但面临以下主要挑战：

1. 信息融合不足： 现有方法往往将辅助任务视为独立模块，导致任务间信息碎片化，缺乏深度的跨任务关联挖掘；同时，缺乏多粒度（细粒度细节与粗粒度上下文）及跨子区域的特征融合机制。
2. 不确定性估计僵化： 现有的不确定性估计方法难以同时建模偶然不确定性（Aleatoric uncertainty，数据噪声引起）和认知不确定性（Epistemic uncertainty，模型知识不足引起），导致模型在预测错误时仍表现出过度自信。

目标：
提出一种能够深度融合多任务信息、具备灵活且鲁棒的不确定性估计能力的 BIQA 框架。

---

2. 方法论 (Methodology)

作者提出了 DEFNet（基于多任务的深度证据融合网络），其核心架构包含三个主要部分：

2.1 基于 CLIP 的多任务特征提取

• 骨干网络： 利用冻结参数的 CLIP (Contrastive Language-Image Pre-training) 模型作为特征提取器。
• 输入策略： 将图像分为局部子图像（Local sub-images）和全局下采样图像（Global image）。
• 文本提示： 使用文本模板 "a photo of a(n) {s} with {d} artifacts, which is of {c} quality."（其中 s 为场景，d 为失真类型，c 为质量等级）来引导模型学习。
• 输出： 同时输出 BIQA（质量评分）、场景分类（Scene Classification）和失真类型分类（Distortion Type Classification）的概率分数。

2.2 两层可信信息融合策略 (Trustworthy Information Fusion)

为了克服信息碎片化，DEFNet 设计了两个层面的融合机制：

1. 跨子区域融合 (Cross Sub-region Fusion)：
   • 将图像划分为多个子区域，提取不同区域的特征。
   • 利用正态 - 逆伽马分布 (Normal-Inverse Gamma, NIG) 的混合模型，将不同子区域的证据（Evidence）进行聚合。
   • 作用： 增强信息的丰富度，准确捕捉图像不同区域的质量差异，减少偶然不确定性。
2. 局部 - 全局融合 (Local-Global Fusion)：
   • 将局部子图像的细节特征与全局图像的上下文特征进行融合。
   • 同样基于 NIG 分布混合策略，平衡细粒度细节与粗粒度上下文。
   • 作用： 提供对图像质量的整体性理解，避免过度关注微观细节或忽略宏观视角。

2.3 基于证据理论的不确定性估计

• 核心机制： 引入证据深度学习（Evidential Learning），假设质量分数服从正态分布，其后验分布遵循 NIG 分布。
• 损失函数设计：
  • NLL Loss： 最大化模型拟合度。
  • Regression Loss： 基于总证据（Total Evidence）对偏离预期值的预测进行惩罚，重新校准置信度。
  • 总损失： 结合多任务损失（BIQA + 场景 + 失真）与两层融合产生的证据损失（Cross-region loss & Cross-grained loss）。
• 优势： 能够同时量化偶然不确定性和认知不确定性，使模型在遇到未见过的场景或高难度失真时，能识别出预测的不确定性波动。

---

3. 主要贡献 (Key Contributions)

1. 新颖的多任务深度证据融合网络： 首次将场景分类和失真类型分类任务与 BIQA 任务深度整合，利用证据理论实现任务间信息的深度融合。
2. 两层可信信息融合策略： 提出了“跨子区域”和“局部 - 全局”的双重融合机制，有效整合了跨区域和跨粒度的特征，解决了信息碎片化问题。
3. 鲁棒的不确定性估计机制： 基于证据学习和 NIG 分布混合，实现了同时建模两种不确定性的能力，显著提升了模型在复杂场景下的适应性和泛化能力。
4. SOTA 性能表现： 在合成失真（如 LIVE, CSIQ）和真实失真（如 BID, KonIQ-10k）数据集上均取得了最先进的性能，并展示了极强的零样本（Zero-shot）泛化能力。

---

4. 实验结果 (Results)

• 数据集： 在 6 个主流数据集（LIVE, CSIQ, KADID-10k, BID, LIVE-C, KonIQ-10k）及其他扩展数据集（TID2013, SPAQ, PIPAL, WED）上进行了广泛测试。
• 性能指标： 使用斯皮尔曼等级相关系数 (SRCC) 和皮尔逊线性相关系数 (PLCC) 评估。
  • 合成失真： 在 LIVE 数据集上 SRCC 达到 0.978，CSIQ 上达到 0.967，优于 LIQE, CDINet, HyperIQA 等 SOTA 方法。
  • 真实失真： 在 KonIQ-10k 上 SRCC 达到 0.920，BID 上达到 0.910，表现卓越。
• 泛化能力 (Cross-Dataset)： 在零样本设置下（例如在 KADID-10k 上训练，在 TID2013 和 SPAQ 上测试），DEFNet 取得了 0.828 和 0.868 的 SRCC，显著优于其他方法，证明了其强大的泛化性。
• 消融实验： 验证了辅助任务（场景/失真分类）和两层融合损失（跨区域/跨粒度）对最终性能的显著提升作用。
• 不确定性分析： 与 LIQE 相比，DEFNet 的预测置信区间宽度更窄（Mean CI width: 0.251 vs 0.286），且 gMAD 竞争显示其在高低质量图像排序上更加一致和可靠。

---

5. 意义与价值 (Significance)

• 理论创新： 将证据理论（Evidence Theory）成功引入 BIQA 领域，解决了传统深度学习模型“过度自信”的痛点，为图像质量评估提供了可解释的不确定性度量。
• 技术突破： 提出的多粒度、跨区域的证据融合策略，为处理复杂图像内容（如混合失真、不同场景）提供了新的解决思路，打破了单一任务优化的局限。
• 应用潜力： 该框架不仅适用于传统的图像质量评估，其处理不确定性和多任务融合的能力也可推广至医疗影像分析、自动驾驶感知等对可靠性要求极高的领域。
• 局限性： 模型参数量相对较大（约 84M），在极端新颖的失真类型上仍有提升空间，未来可探索轻量化优化。

总结： DEFNet 通过引入多任务辅助和基于证据理论的双层融合机制，成功解决了现有 BIQA 方法在信息融合深度和不确定性估计方面的瓶颈，实现了高精度、高鲁棒性和强泛化能力的图像质量评估。