論文要約：Prominence-Aware Artifact Detection and Dataset for Image Super-Resolution

この論文は、単一画像超解像（SISR）において生成される視覚的アーティファクト（不自然なパターンやテクスチャの歪みなど）を検出・定量化するための新たなアプローチを提案しています。既存の手法がアーティファクトを「有/無」の二値として一律に扱うのに対し、人間がそれをどの程度「目立つ（prominent）」と感じるかという**顕著性（Prominence）**に焦点を当て、より人間知覚に近い評価と検出を実現するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

• SISR の課題: 生成モデル（GAN、Diffusion、Transformer など）を用いた超解像技術は視覚的な質感を大幅に向上させましたが、同時に「不自然なパターン」や「テクスチャの歪み」といったアーティファクトを生成する問題を抱えています。
• 既存手法の限界: 従来のアーティファクト検出手法（LDL, DeSRA など）は、アーティファクトを二値マスク（ある/ない）として扱っています。しかし、実際にはアーティファクトの「目立ちやすさ」は大きく異なります。
  • 例: 顔や建物などの構造的な部分の歪みは目立ち、視聴者に不快感を与えます。一方、水面や草などの有機的な部分の歪みは、人間にはほとんど気づかれないことが多いです。
  • 問題点: 目立たないアーティファクトと目立つアーティファクトを同等に扱うことは、検出モデルが重要度の低いノイズに過学習し、本当に問題となるアーティファクトを見逃すリスクがあります。

2. 提案手法と主要な貢献

2.1. 顕著性アノテーション付きの新規データセット

• データセットの構築: 11 種類の最新の SISR モデルによって生成された 1,302 個のアーティファクト例を含むデータセットを構築しました。
• クラウドソーシングによる評価: 各アーティファクトに対して、多数の参加者（1 画像あたり 30 人）に「その領域に歪みがあるか」を評価させ、その割合を**顕著性スコア（0%〜100%）**として付与しました。
• DeSRA データセットの再評価: 既存の DeSRA データセット（593 例）に対しても同様の顕著性評価を行いました。その結果、約 48% のアーティファクトは大多数の視聴者には気づかれない（顕著性が低い）ことが判明しました。これは、二値マスクだけでは不十分であることを示しています。
• マスクのポストプロセッシング: 検出アルゴリズムが出力する狭いマスク（tight mask）では視認性が低いため、形態学的操作（開き、膨張、閉じ）を施して文脈を含んだマスクに変換し、人間の評価精度を向上させました。

2.2. 顕著性予測モデル（Prominence Heatmap）

• 特徴量の統合: 既存の画質評価指標とアーティファクト検出指標から得られる 3 つの特徴量を統合し、軽量な回帰モデル（MLP）を訓練しました。
  1. DISTS: テクスチャ歪みと知覚的影響を考慮した画質指標（ブロック単位で計算）。
  2. ssm_jup: LDL に基づく小規模な色・テクスチャ歪み検出器（RGB 全チャネルを使用）。
  3. bd_jup: LPIPS（知覚的画質）と ERQA（エッジ復元品質）のブロック単位での重み付き和。
• 擬似正解データ（Pseudo-GT）: 高解像度の正解画像（Ground Truth）が存在しない実環境でも利用できるよう、軽量な超解像モデル（RLFN）の出力を擬似正解として使用し、フルリファレンス指標を適用可能にしました。
• 出力: 入力画像から、アーティファクトの「目立ちやすさ」を示す空間的なヒートマップを生成します。

3. 実験結果

3.1. 検出精度の向上

• 客観的評価: 提案手法は、既存の手法（LDL, DeSRA, DISTS など）と比較して、顕著性を考慮した評価指標（Prominence-weighted Precision/Recall, PR-AUC）において最も高い性能を示しました。
• 汎化性: CNN、Transformer、Diffusion モデルなど、異なるアーキテクチャを持つ SR モデルに対して訓練・検証を行うクロスバリデーション実験でも、高い汎化性能を確認しました。

3.2. SR モデルのアーティファクト傾向分析

• 11 種類の SR モデルについて、生成するアーティファクトの「平均顕著性」と「自信のある（目立つ）アーティファクト数」を分析しました。
• 結果: Transformer ベースのモデル（DRCT, HAT-L）はアーティファクトが極めて少ないのに対し、Diffusion ベースのモデル（StableSR, SUPIR など）や従来の GAN ベースモデルは、目立つアーティファクトを生成する傾向が高いことが示されました。特に最新の高品質モデルである SUPIR でさえ、顕著なアーティファクトを生成することが確認されました。

3.3. 微調整（Fine-tuning）への応用

• 提案された顕著性ヒートマップを用いて、SR モデルをアーティファクト抑制のために微調整する実験を行いました。
• 既存の手法（DeSRA など）と比較して、提案手法を用いた微調整の方が、アーティファクトの除去率が高く、かつ新しいアーティファクトの追加が少ないという結果になりました。

4. 意義と結論

• パラダイムシフト: 超解像のアーティファクト評価を「有無」から「人間の知覚に基づく顕著性」へと転換させました。これにより、実用的な品質評価やモデル改善がより現実的に行えるようになります。
• 実用性: 高解像度の正解画像が不要な環境（Pseudo-GT 手法）でも高精度に動作するため、実際のアップスケーリング応用や、JPEG AI などの他の画像処理タスクへの転用（JPEG AI エッジアーティファクト検出での有効性も確認済み）が期待されます。
• 将来展望: 動画超解像への拡張や、物体の置き換えなどの「意味的アーティファクト」への対応、そしてより大規模なモデルの分析への応用が今後の課題として挙げられています。

この研究は、単にアーティファクトを見つけるだけでなく、「どのアーティファクトが人間にとって問題なのか」を定量化し、それに基づいて超解像モデルを最適化する新しい指針を提供するものです。