技術概要：FuScore – 赤外線可視画像融合の品質評価へのマルチモーダル大規模言語モデルの導入

1. 問題定義

赤外線可視画像融合（IVIF）は、熱情報と詳細な空間構造を単一の融合画像に統合することを目的としています。しかし、これらの融合画像の品質を評価することは依然として大きな課題です。既存の評価手法には、主に以下の 2 つの限界があります：

1. 人間の知覚との不一致： 従来の手作りノリファレンスメトリクス（エントロピー、相互情報量、VIF など）や、ソースペアを疑似正解として扱うフルリファレンスメトリクス（SSIM、PSNR など）は、人間の知覚的嗜好を反映できないことが多く、視覚的に劣る融合画像に高いスコアを割り当てることさえあります。
2. 現在の MLLM ベース手法の限界： 最近、IVIF 品質評価にマルチモーダル大規模言語モデル（MLLM）を活用する試みは、離散的なワンホット教師信号（単一の品質レベルの予測）または集約スコアに対するスカラー回帰に依存する傾向があります。
   • 離散教師信号： 類似した品質の融合画像を、レベル 4 とレベル 3 のように、明確で硬直的な評価レベルに強制し、微妙な知覚的差異を縮小してしまいます。
   • スカラー回帰： 人間の評価から学習しますが、MLLM の推論能力を活用したり、特定の画像に対する人間の判断の「合意」（または曖昧さ）を符号化したりすることができません。

ここで扱われる核心的な問いは、「MLLM が、画像ごとの注釈合意を符号化する教師信号の下で、連続的な IVIF 品質スコアを生成することは可能か？」というものです。

2. 手法：FuScore

著者は、離散レベルではなく連続的な品質スコアを生成する MLLM ベースのスコアラー「FuScore」を提案します。このフレームワークは、以下の 3 つの主要なコンポーネントで構成されます。

A. 分布出力による連続スコア生成

MLLM に単一の品質トークンを出力させるのではなく、FuScore は 5 つの事前定義された品質レベルトークン（$L = \{1, 2, 3, 4, 5\}$）に対するデコーディング確率を利用します。

• モデルは、これらのトークンに対するカテゴリカル分布 $q_i(l)$ を出力します。
• 最終的な連続スコア $\hat{y}_i$ は、この分布の期待値として計算されます：$\hat{y}_i = \sum l \cdot q_i(l)$。
• これにより、モデルは $[1, 5]$ の範囲内で微細な実数値スコアを割り当てることが可能となり、離散教師信号では見逃される微妙な品質差異を捉えることができます。

B. サブディメンション認識型ソフトラベル構築

予測された分布を教師信号とするため、FuScore は各画像に対して「ソフトラベル」$p_i$ を構築します。このラベルの中心は総合的な人間によるスコアですが、その**鋭さ（幅）**は、4 つの IVIF 固有のサブディメンション間の合意によって動的に調整されます：

1. 熱情報の保持
2. テクスチャの保存
3. アーティファクト
4. 鮮明度

著者は、これら 4 つのサブディメンションスコアの標準偏差を合意信号 $\delta_i$ として定義します。

• 高い合意（低い $\delta_i$）： サブディメンション間が一致する場合、ソフトラベルは総合スコアの周りに鋭く集中します。
• 低い合意（高い $\delta_i$）： サブディメンション間が不一致の場合、総合判断の合意度が低いことを反映してラベルは広げられます。
  このアプローチにより、教師ターゲットは、特定の画像における人間による注釈に内在する曖昧さを忠実に反映することが保証されます。

C. 三項訓練目的

FuScore は、異なるスコープでのランキングに対処するために、複合損失関数を採用します：

1. 画像ごとの分布教師信号（$\mathcal{L}_{KL}$）： カルバック・ライブラー発散を用いて、予測分布をソフトガウスラベルに整合させます。
2. ソースペア内忠実度（$\mathcal{L}_{fid}$）： 同じソースペア（同じシーン）からの画像に対して、スチュアトンスタイルのペアワイズ忠実度を強制します。これは手法レベルの順序付けを捉えます。ペアワイズマージンはソフトラベルの幅から導出され、比較を不確実性認識型にします。
3. ソースペア間忠実度（$\mathcal{L}_{xfid}$）： 異なるソースペア（異なるシーン）間でもスチュアトンスタイルの忠実度を強制します。これはシーンレベルの難易度の変動を捉え、モデルがシーン間で一般化することを保証します。

総損失は重み付き和となります：$\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$。

3. 主な貢献

1. FuScore： 分布レベルの教師信号で訓練された初の MLLM ベース IVIF 品質スコアラーであり、融合画像に対して連続スコアを生成可能です。
2. サブディメンション認識型ソフトラベル： 4 つの IVIF 固有のサブディメンション間の合意に基づいてラベルの鋭さを調整する新しいラベル構築手法であり、教師信号が人間の判断の合意を反映することを可能にします。
3. 三項訓練目的： 画像ごとの分布マッチング、ソースペア内忠実度、ソースペア間忠実度を組み合わせた共同最適化戦略であり、サブディメンション合意から導出された不確実性認識型マージンを利用します。

4. 実験結果

実験は、EVAFusionベンチマーク（9,350 枚の融合画像、850 のソースペア）と、新しいSemanticRT 5 専門家パイロットデータセットで行われました。

• 最先端の相関： FuScore は、報告されたすべてのランクメトリクス（SRCC、PLCC、KRCC、PairAcc、Per-SP $\tau$）において、人間の視覚的嗜好との最も高い相関を達成しました。
  • EVAFusion において、3 つのシードアンサンブルは SRCC 0.648を達成し、最も強力な外部ベースライン（ViT-L+MLP）を**+0.094**上回りました。
  • ゼロショット自然画像 IQA モデル（Q-Align、DeQA-Score など）や手作りメトリクスを大幅に上回り、ドメイン内教師信号なしでは自然画像の事前学習が IVIF にうまく転移しないことを示しています。
• 一般化性能：
  • 手法間： K 手法除外評価において、FuScore は高い相関（SRCC 0.628）を維持し、ドメイン内性能からわずか 0.020 低いのみでした。
  • データセット間： 未見データである SemanticRT パイロットにおいて、FuScore は SRCC 0.561を達成し、ViT-L+MLP ベースライン（0.471）を +0.090 上回りました。
• アブレーション研究：
  • 三項目的（特にソースペア間忠実度）がランキング向上の主要な駆動力であることが示されました。
  • サブディメンション認識型ソフトラベルは注釈の曖昧さを成功裡にモデル化しました。著者は、予測された不確実性（$\hat{\sigma}$）が SemanticRT パイロットにおける人間間評価者不一致と正の相関（$\rho = 0.42$）を持つことを実証し、高次元の不一致（$\delta_i$）が単なる多属性間のトレードオフではなく、真の人間の曖昧さを反映していることを確認しました。
  • 「データ側のフロア」が観測されました：サブディメンション間の不一致が高い（高-$\delta$）画像において、評価された 11 手法すべて（FuScore を含む）が低い SRCC 帯で頭打ちとなり、これらの特定の画像における人間注釈の内在的不整合によって課せられる限界を示唆しています。

5. 意義と主張

本論文は、FuScore が以下の点で IVIF 品質評価において重要な前進を表すと主張しています：

• 人間整合ギャップの埋め合わせ： 硬直的な離散レベルやスカラー回帰を超えて、人間の知覚のニュアンスと専門家判断の合意を捉えること。
• MLLM 推論の活用： 特定のサブディメンション認識型教師信号を通じて IVIF ドメインに特化した形で、MLLM（特に Qwen3-VL）の言語的および視覚的推論能力を活用すること。
• 注釈曖昧さへの対応： 人間評価の不確実性を明示的にモデル化することで、ノイズの多いまたは矛盾する専門家データからより頑健に学習することを可能にすること。

著者は、FuScore が最先端の結果を達成している一方で、高曖昧さ画像における性能の天井は、集約アーティファクトと人間の内在的曖昧さを分離できる、より豊富なマルチ評価者注釈に依存する可能性があると指摘しています。また、大規模 MLLM の使用に伴う推論コストにも言及し、リアルタイム展開にはより小型のバックボーンが必要であると述べています。