技术摘要：FuScore——将多模态大语言模型引入红外 - 可见光图像融合质量评估

1. 问题陈述

红外 - 可见光图像融合（IVIF）旨在将热成像信息与详细的空间结构整合到单张融合图像中。然而，评估这些融合图像的质量仍然是一个重大挑战。现有的评估方法存在两个主要局限性：

1. 与人类感知不一致：传统的手工设计无参考指标（如熵、互信息、VIF）和全参考指标（将源图像对视为伪真值，如 SSIM、PSNR）往往无法反映人类感知偏好。它们甚至可能给视觉上较差的融合图像赋予更高的分数。
2. 当前基于多模态大语言模型（MLLM）方法的局限性：近期利用多模态大语言模型进行 IVIF 质量评估的尝试，通常依赖于离散的单热监督（预测单一质量等级）或基于聚合分数的标量回归。
   • 离散监督：迫使质量相似的融合图像落入截然不同且僵硬的评级等级（例如，4 级与 3 级），从而抹杀了细微的感知差异。
   • 标量回归：虽然从人类评分中学习，但未能利用 MLLM 的推理能力，也无法编码针对特定图像的人类判断“共识”（或歧义）。
     本文解决的核心问题是：在编码单图像标注共识的监督下，MLLM 如何生成连续的 IVIF 质量分数？

2. 方法论：FuScore

作者提出了FuScore，这是一种基于 MLLM 的评分器，能够生成连续的质量分数而非离散的等级。该框架包含三个主要组成部分：

A. 通过分布输出实现连续分数生成

FuScore 不训练 MLLM 输出单一的质量标记，而是利用五个预定义质量等级标记（$L = \{1, 2, 3, 4, 5\}$）上的解码概率。

• 模型输出这些标记上的分类分布 $q_i(l)$。
• 最终的连续分数 $\hat{y}_i$ 计算为该分布的期望值：$\hat{y}_i = \sum l \cdot q_i(l)$。
• 这使得模型能够在 $[1, 5]$ 范围内分配细粒度的实数值分数，捕捉离散监督会遗漏的细微质量差异。

B. 子维度感知的软标签构建

为了监督预测分布，FuScore 为每张图像构建了一个“软标签”$p_i$。该标签的中心是整体人类评分，但其**锐度（宽度）**由四个 IVIF 特定子维度之间的一致性动态调节：

1. 热保留
2. 纹理保持
3. 伪影
4. 清晰度

作者将共识信号 $\delta_i$ 定义为这四个子维度评分的标准差。

• 高共识（低 $\delta_i$）：当子维度达成一致时，软标签紧密集中在整体评分周围。
• 低共识（高 $\delta_i$）：当子维度存在分歧时，标签被拓宽，以反映整体判断的共识度较低。
  这种方法确保监督目标真实地反映了特定图像中人类标注固有的歧义性。

C. 三分训练目标

FuScore 采用复合损失函数来解决不同范围的排序问题：

1. 单图像分布监督（$\mathcal{L}_{KL}$）：使用 Kullback–Leibler 散度将预测分布与软高斯标签对齐。
2. 源对内部保真度（$\mathcal{L}_{fid}$）：对来自同一源对（同一场景）的图像强制执行 Thurstone 风格的成对保真度。这捕捉了方法层面的排序。成对边界源自软标签宽度，使比较具有不确定性感知能力。
3. 跨源对保真度（$\mathcal{L}_{xfid}$）：在不同源对（不同场景）之间强制执行 Thurstone 风格保真度。这捕捉了场景层面的难度变化，并确保模型在不同场景间具有泛化能力。

总损失为加权总和：$\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$。

3. 主要贡献

1. FuScore：首个基于分布级监督训练的 MLLM 基 IVIF 质量评分器，能够为融合图像生成连续分数。
2. 子维度感知的软标签：一种新颖的标签构建方法，根据四个 IVIF 特定子维度之间的一致性调节标签锐度，使监督能够反映人类判断的共识。
3. 三分训练目标：一种联合优化策略，结合了单图像分布匹配、源对内部保真度和跨源对保真度，利用源自子维度一致性的不确定性感知边界。

4. 实验结果

实验在EVAFusion基准（9,350 张融合图像，850 个源对）和一个新的SemanticRT 5 专家试点数据集上进行。

• 最先进的相关性：FuScore 在所有报告的排名指标（SRCC、PLCC、KRCC、PairAcc、Per-SP $\tau$）中均取得了与人类视觉偏好最高的相关性。
  • 在 EVAFusion 上，3 个种子的集成模型实现了 0.648 的 SRCC，比最强的外部基线（ViT-L+MLP）高出 +0.094。
  • 它显著优于零样本自然图像 IQA 模型（如 Q-Align、DeQA-Score）和手工设计指标，表明自然图像预训练在没有域内监督的情况下无法很好地迁移到 IVIF 任务。
• 泛化能力：
  • 跨方法：在留 K 法评估中，FuScore 保持了高相关性（SRCC 0.628），仅比其分布内性能低 0.020。
  • 跨数据集：在 SemanticRT 试点（未见数据）上，FuScore 实现了 0.561 的 SRCC，比 ViT-L+MLP 基线（0.471）高出 0.090。
• 消融研究：
  • 三分目标（特别是跨源对保真度）被证明是排名提升的主要驱动力。
  • 子维度感知的软标签成功建模了标注歧义。作者证明，预测的不确定性（$\hat{\sigma}$）与 SemanticRT 试点上的人类评分者间分歧呈正相关（$\rho = 0.42$），证实了高维冲突（$\delta_i$）反映的是真正的人类歧义，而不仅仅是多属性权衡。
  • 观察到了“数据侧下限”：在子维度分歧较大（高-$\delta$）的图像上，所有 11 种评估方法（包括 FuScore）均在低 SRCC 区间趋于平稳，表明这些特定图像中人类标注固有的不一致性设定了性能上限。

5. 意义与主张

本文主张，FuScore 代表了 IVIF 质量评估的重大进步，具体体现在：

• 弥合人类对齐差距：超越僵硬的离散等级和标量回归，捕捉人类感知的细微差别和专家判断的共识。
• 利用 MLLM 推理能力：利用 MLLM（特别是 Qwen3-VL）的语言和视觉推理能力，并通过子维度感知监督专门针对 IVIF 领域进行定制。
• 解决标注歧义：显式建模人类评分中的不确定性，使模型能够从嘈杂或冲突的专家数据中更稳健地学习。

作者指出，虽然 FuScore 取得了最先进的结果，但在高歧义图像上的性能上限表明，未来的改进可能依赖于更丰富的多评分者标注，以区分聚合伪影与固有的人类歧义。论文还承认使用大型 MLLM 的推理成本，指出实时部署需要更小的骨干网络。