技術的サマリー：HDRFace

問題定義

複雑な劣化（例：ぼかし、ノイズ、ダウンサンプリング、JPEG 圧縮）下での顔復元は、深刻な情報損失により未解決の逆問題として残っています。拡散モデルは強力な生成事前知識を活用することでこのタスクにおける支配的なパラダイムとなっていますが、既存の手法は通常、低品質（LQ）入力のみを条件として生成を行います。LQ 画像のみに依存することは、多くの顔の特徴が入力において不可逆的に損傷したり、重度にぼやけたりしているため、アイデンティティに不可欠な詳細や微細なテクスチャを回復することを困難にします。その結果、再構成された画像は、しばしば最適でないアイデンティティの一貫性と知覚的なリアリズムに苦しみます。

手法

著者は、高次元表現を条件とした顔復元フレームワークであるHDRFaceを提案します。その中核となる哲学は、生成の背骨を変更することなく、意味的に豊かで微細な事前知識を条件生成フローに注入することです。パイプラインは 3 つの主要な段階で構成されます。

1. 中間復元と特徴抽出

LQ 入力を直接ガイダンスとして利用する代わりに、このフレームワークはまず市販の復元器を用いて、構造的に信頼性の高い中間復元結果（$I_{mid}$）を生成します。

• 二重特徴抽出: 事前学習された高次元特徴エンコーダであるDINOv3を用いて、2 つのソースから微細な顔表現を抽出します。
  • 元の LQ 入力（$I_{LR}$）から抽出されたものを$\mathbf{F}_{lr}$と表記します。
  • 中間復元結果（$I_{mid}$）から抽出されたものを$\mathbf{F}_{face}$と表記します。
• 相補的な役割: LQ 特徴は構造的な制約を提供することが期待され、中間特徴は洗練された意味的に豊かな詳細を提供します。

2. 構造・詳細認識適応融合メカニズム（SDFM）

これらのマルチソース特徴を効果的に統合するために、著者は$\mathbf{F}_{lr}$と$\mathbf{F}_{face}$を適応的に融合するアーキテクチャ非依存モジュールであるSDFMを導入します。

• 不一致モデリング: このモジュールは、正規化された特徴シーケンス間の絶対差を計算し、構造的な手がかりと微細な詳細の間のギャップを明示的に特徴づけます。
• 適応的ゲーティング: SDFM は 2 つの観点から融合重みを学習します。
  • チャネル単位ゲーティング（$\alpha_c$）: 顔特徴、LR 特徴、およびそれらの不一致のグローバルプール統計から導出されます。
  • トークン単位ゲーティング（$\alpha_t$）: 局所的な重要性を捉えるために、トークンレベルで連結された特徴から導出されます。
• 融合: 最終的な融合表現（$\mathbf{F}_{fused}$）は、構造モデリング中にグローバル制約を強調し、詳細合成中に表現ガイダンスを強化する重み付き組み合わせであり、構造的な一貫性と詳細の忠実度のバランスを取ります。

3. 条件生成

融合された高次元表現は、従来のテキスト埋め込みを置換または拡張するために、生成モデルの条件分枝に注入されます。

• バックボーン非依存: このフレームワークは、2 つの異なる生成アーキテクチャで検証されています。
  • SD V2.1-base: 拡散デノイジング U-Net アーキテクチャ。
  • Qwen-Image: Rectified Flow に基づく DiT（Diffusion Transformer）アーキテクチャ。
• トレーニング戦略: モデルは 1 ステップ復元システムとしてトレーニングされます。トレーニング目的関数は、再構成、知覚、アイデンティティ（ArcFace）、および GAN 損失を組み合わせています。SD V2.1-base の場合、LQ 潜在変数は固定タイムステップにおけるノイズ入力として機能します。Qwen-Image の場合、線形ノイズ摂動プロセス（Rectified Flow）が採用されます。

主要な貢献

1. 高次元表現条件付け: 本論文は、生成モデルの条件分枝に DINOv3 意味特徴を注入するフレームワークを提案します。これにより、LQ 入力に含まれる限られた情報を超えた事前知識が提供され、復元タスクの未解決性が緩和されます。
2. SDFM モジュール: 生成の背骨を変更することなく、LQ 入力からの構造的な一貫性と中間結果からの詳細の忠実度を適応的にバランスさせる、アーキテクチャ非依存の融合メカニズムの設計。
3. 汎化性と頑健性: この手法は、異なる生成アーキテクチャ（U-Net と DiT）および生成メカニズム全体で安定した一貫した性能向上を示し、強力なアーキテクチャ間汎化を浮き彫りにしています。

実験結果

実験は、合成データセット（CelebA-Test）および実世界データセット（LFW-Test, CelebChild）で行われ、HDRFace を非拡散、マルチステップ拡散、および 1 ステップ拡散のベースライン（例：CodeFormer, OSDFace, PGDiff）と比較しました。

• 定量的性能: HDRFace は、複数の指標において最先端の手法を一貫して上回ります。
  • 知覚的品質: LPIPS、DISTS、および TOPIQ において優れたスコアを達成します。
  • アイデンティティ一貫性: 顔のアイデンティティの保持が優れていることを示す、より低い ArcFace 埋め込み角度（Deg.）およびランドマーク距離（LMD）を示します。
  • 画像品質: Q-Align や LIQE などの参照不要 IQA メトリックにおいて改善を示します。
• 定性的結果: 視覚的比較により、HDRFace は競合する手法よりも微細な詳細（例：メイクの光沢、瞳孔の形状、髪のテクスチャ、イヤリング）をより正確に復元し、結果がグランドトゥルースに近づいていることが示されました。
• アブレーション研究:
  • SDFM: SDFM を除去するか、テキスト/DINO 特徴のみを使用すると性能が低下し、適応的融合の必要性が確認されました。
  • 入力構成: SR（中間）と LR 入力の両方を使用することは、いずれかのみを使用するよりも良い結果をもたらし、特徴の相補性を検証しました。
  • モデル選択: DINOv3-L（Large）と Qwen-Image を中間復元器として使用することは、より小さなバリアントや CodeFormer などの他のガイダンスモデルと比較して、最高の性能を提供しました。

意義と主張

本論文は、HDRFace が低品質入力から高次元視覚表現への条件付けパラダイムの転換により、重度の劣化下での顔復元に対する堅牢な解決策を提供すると主張しています。

• テキストプロンプトを超えて: 著者は、アイデンティティ固有の詳細や微細な詳細は言語的に記述することが難しく、LQ 入力から信頼性高く推論できないため、テキストプロンプトは顔復元には不適切であると論じます。高次元視覚表現は、これらの詳細をより直接的に符号化します。
• トレードオフ: この手法は中間復元器と特徴抽出により計算オーバーヘッドを導入しますが、著者は、アイデンティティに不可欠なタスクにとっては、このトレードオフ（速度よりも品質）が価値があると主張しています。1 ステップ推論メカニズムは、マルチステップ拡散モデルと比較しても依然として競争力のある遅延を維持しています。
• 限界: 著者は控えめに、この手法が中間復元の信頼性に依存していることを認めています。アイデンティティに不可欠な手がかりが完全に失われるような極端に重度の劣化の場合、問題は本質的に未解決であるため、この手法は依然として幻覚的な詳細や構造的な逸脱を生成する可能性があります。彼らは、将来の研究として、頑健性を向上させるために複数の候補中間結果から選択することを提案しています。