技術的概要：深層 MAP 推定による教師なし IQA スコア融合

問題定義

画像品質評価（IQA）モデルは、知覚的品質の予測において著しく進歩しましたが、個々のモデルは、その固有の設計思想により、特定の画像内容や歪みタイプに対してバイアスを示す傾向があります。複数の IQA モデルを融合することは、長所を活かし短所を軽減するための直感的な戦略ですが、既存のアプローチには限界があります。

• 経験的手法は、事前に決定された重みを持つ手作りの式に依存しており、新しいモデルへの適応性が制限されます。
• ランク融合手法は離散空間で動作するため、情報の損失とデータセットの多様性への依存を招きます。
• 教師あり学習に基づく融合は、真値として平均意見スコア（MOS）に依存します。著者らは、MOS が本質的に特定のデータセットや歪みタイプに結びついているため、これは融合が回避しようとするバイアスを再導入し、汎化可能性の目標を根本的に損なうと主張します。

ここで扱われる中核的な課題は、教師なし IQA スコア融合です。すなわち、MOS を学習目標として使用することなく、複数の IQA スコアを優れた予測に組み合わせると同時に、各モデルの予測の不確実性を微細なレベルで正確に推定する方法です。

手法

本論文は、深層最大事後確率（MAP）推定に基づく教師なしスコア融合の一般枠組みを提案します。このアプローチは、潜在知覚品質（MOS、$z$ と表記）と、$M$ 個の異なる IQA モデルによって生成されるスコア（$x^j$）との関係をモデル化します。

1. 観測モデル

この枠組みは、画像 $i$ に対する IQA スコア $x^j_i$ が、潜在品質 $z_i$ の決定論的関数に、2 つの独立したノイズ成分を加えたものとして生成されると仮定します。
$$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$$

• $f^j(z_i)$: 潜在品質から特定モデルのスコアへのマッピングをシミュレートするパラメトリック関数（指数関数として実装）。
• $\hat{n}^j$: 平均 0 の正規分布に従うモデル依存ノイズ。
• $n^j_i$: **歪み正規分布（Skew Normal distribution, $SN$）**に従うスコア依存ノイズ。これは重要な革新です。経験的観察により、IQA モデルは低品質な画像を評価する際、より高い分散と非対称な誤差分布（低スコア側に歪む）を示すことが示されています。このノイズのスケールパラメータは関数 $g^j(z_i)$ によって推定され、微細な、スコアレベルの不確実性推定を可能にします。

2. MAP 定式化と最適化

目的は、事後確率 $p(z|X)$ を最大化する潜在品質 $z$ とモデルパラメータを見つけることです。尤度関数 $p(x^j_i|z_i)$ は歪み正規分布として導出されます。最適化問題は以下のように定式化されます。
$$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$$

• 事前分布 $p(z)$: 汎化可能性を確保しつつ、データセット固有のバイアスを課さずに出力範囲を正則化するため、一様分布 $U(0,1)$ として定義されます。
• 償却推論（Amortized Inference）: 新しい画像ごとに反復最適化を行うこと（低速でデータ要求が大きい）を避けるため、エンコーダ（全結合ネットワーク）が導入されます。このエンコーダは入力スコアを直接潜在品質 $z_i$ にマッピングし、高速なエンドツーエンド推論を可能にします。

3. ランク融合の統合

この枠組みは、離散的なランクを連続空間に正規化することで、ランク融合をシームレスに統合します。これにより、ランクベースの手法を一般 MAP 枠組みの特殊な事例として扱い、計算集約的な離散空間ではなく、連続空間で最適化することが可能になります。

主要な貢献

1. 最初の教師なし学習に基づく融合: 著者の知る限り、MOS に依存せずに教師なし学習を用いて IQA スコアを融合する最初の手法です。
2. 定式化された観測モデル: 非対称かつスコア依存のノイズを捉えるために、歪み正規分布を用いた MAP 推定により、IQA 融合のための最初の観測モデルを定式化しました。
3. 微細な不確実性推定: 従来はモデルレベルでのみ不確実性を推定していたのに対し、本枠組みはスコアレベルで不確実性を推定します。これにより、モデルは予測された品質に基づいて特定の予測の信頼性を動的に重み付けすることが可能になります。
4. 「不良」モデルに対する頑健性: この枠組みは、融合プロセス中に事前知識なしに「不良」またはランダムな IQA モデルを特定し、その重みを低下させる内在的な能力を示しています。
5. 統合された枠組み: スコアベースおよびランクベースの融合手法の両方を統合できる一般構造を提供します。

実験結果

提案モデルは、単一および複数の歪みシナリオを含む10 の多様な主観的評価 IQA データセットを用いて、16 の個別 IQA メトリック（フルリファレンスおよびノーリファレンスの両方）で評価されました。

• 性能: 提案モデルの 3 つの変種（SF-ms、RF-ms、SF-m）は、平均スピアマン順位相関係数（SRCC）およびピアソン線形相関係数（PLCC）の点で、既存の経験的融合手法、ランク融合手法（RRF、RRFW）、およびすべての個別 IQA モデルを一貫して上回りました。
• アブレーション研究: スコアレベルの不確実性推定を除去した結果（SF-m モデルとなる）、性能が低下し、微細な不確実性モデル化の重要性が確認されました。
• 頑健性テスト: 2 つの「不良」メトリック（ランダムノイズ生成器）を融合リストに追加した場合：
  • 既存の教師なし手法（RRF、RRFW）は、性能が著しく低下しました。
  • 提案手法は競争力のある性能を維持しました。不確実性推定モジュールは、「不良」メトリックの高い分散（スケールパラメータ）を正しく特定し、エンコーダがそれらに無視できる重みを割り当てるようにしました。

意義と主張

本論文は、教師あり学習（トレーニングデータセットの MOS の特定のバイアスに制限される）から離れ、確率的な教師なし MAP 枠組みを採用することで、未見データに対する優れた汎化可能性を達成すると主張しています。主な意義は、以下の点にあります。

• 学習に真値となる主観的評価を必要とせずに、多様な IQA モデルを融合できること。
• スコアごとに各モデルの信頼性に動的に適応し、不良な予測やモデルを実質的に「拒絶」できること。
• エンコーダの重みを検査することで、異なるモデルが最終予測にどのように寄与するかを理解できる、統一された説明可能な枠組みを提供すること。

著者らは、この研究を、既存モデルの集合知を活用しつつ、厳密な不確実性定量化を通じて個々の弱点を軽減する、より頑健で普遍的な IQA システムへの基礎的な一歩として位置付けています。