技術概要：アイデンティティを保持する潜在拡散モデルを用いた顔部分修復

問題定義

顔部分修復は、欠損または遮蔽された顔領域を視覚的なリアリズムと意味的な整合性をもって再構築することを目的とする。写真修復やデジタルフォレンジックなどの応用において不可欠である一方、再構築された出力において被写体の固有のアイデンティティを保持するという重要な課題が残されている。標準的な拡散モデルは生成の忠実度が高いものの、被写体固有のアイデンティティを明示的に符号化するメカニズムが欠如しており、再構築された領域が「平均的な」顔の姿へと偏ってしまう傾向がある。既存のアイデンティティ認識型ソリューションは、通常、計算コストの高い被写体ごとの微調整（例：MyStyle、Custom Diffusion）に依存するか、多様な遮蔽や姿勢に対して頑健性が限られている。さらに、アイデンティティ保持の評価は、既存のデータセット（例：CelebA-HQ、FFHQ）がしばしばランダムまたは広範囲の遮蔽を採用しているため、妥当な顔の生成と真のアイデンティティ回復との区別が困難であるという点で複雑化している。

手法：ID-ControlNet

著者らは、潜在拡散モデル（LDMs）を基盤としたアイデンティティ保持型顔部分修復フレームワーク「ID-ControlNet」を提案する。本アプローチは、被写体ごとの微調整を必要とせず、顔のアイデンティティの手がかりを拡散プロセスに直接統合する。

アーキテクチャ

• ベースモデル: 本フレームワークは、画像生成のために凍結された Stable Diffusion（SD1.5）の潜在拡散バックボーンを利用する。
• ControlNet 拡張: ControlNet に着想を得て、著者らは外部の条件付け信号を注入する学習可能な補助ブランチを導入する。標準的な ControlNet が空間的手がかり（エッジ、深度）を使用するのに対し、ID-ControlNet はアイデンティティ埋め込みを注入する。
• アイデンティティ抽出: 事前学習された顔認識ネットワーク（ArcFace）が、マスクされていない参照画像からアイデンティティ埋め込みを抽出する。
• 潜在統合: アイデンティティ埋め込みは制御ブランチによって処理され、$8 \times 8$ から $64 \times 64$ へアップサンプリングされて U-Net デコーダ経路と整合する。ゼロ初期化された畳み込み層が、これらのアイデンティティ誘導特徴を凍結された拡散バックボーンに注入し、グローバルな整合性を維持しつつ、ターゲットのアイデンティティに向けたノイズ除去軌道を誘導する。

学習戦略

本モデルは、標準的なノイズ除去損失と明示的なアイデンティティ監督を組み合わせた複合目的関数を用いて学習される：

1. ノイズ除去損失（$\mathcal{L}_{denoise}$）: 潜在空間におけるノイズを予測するための標準的な LDM 損失。
2. アイデンティティ整合性損失（$\mathcal{L}_{id}$）: 生成された画像の埋め込みが条件付けされたアイデンティティ埋め込みと一致することを保証するコサイン距離損失。
3. トリプレット損失（$\mathcal{L}_{trip}$）: バッチ内のターゲットアイデンティティと負のサンプル間の分離性を最大化するためのバッチレベルの損失。
4. 効率性: 完全な $T$ ステップのノイズ除去チェーンを通じた逆伝播の計算コストを回避するため、著者らは単一ステップノイズ除去近似を採用する。潜在変数を小さなタイムステップまで攪乱し、1 ステップのノイズ除去を適用した後、得られた画像をデコードして埋め込み損失を計算する。

主要な貢献

1. ID-ControlNet フレームワーク: 事前学習された顔認識ネットワークから抽出されたアイデンティティ埋め込みを条件付けとして潜在拡散に適用する新規アーキテクチャ。被写体ごとの微調整なしにアイデンティティ保持型部分修復を可能にする。
2. 学習戦略: 自己教師あり方式で生成された顔とターゲットアイデンティティ表現との整合性を強制する、アイデンティティ整合性損失とトリプレット損失の戦略。
3. E-Mask データセット: 遮蔽を厳密に眼領域に限定した新しいベンチマークデータセットの導入。既存のデータセットの限界を克服し、アイデンティティに最も情報量の多い顔領域に焦点を当てることで、アイデンティティ回復能力の評価をより精密に行えるようにする。
4. ゼロショット能力: 本手法は、ゼロショット設定において最先端のアイデンティティ保持を達成し、従来の拡散ベースのパーソナライゼーション手法に必要な高コストな適応や微調整を不要にする。

実験結果

著者らは、CelebA-HQ、FFHQ、および提案した E-Mask データセット上で ID-ControlNet を評価し、標準的な拡散ベースライン（SD1.5、SD2）およびアイデンティティ認識型手法（PVA、MyStyle、Custom Diffusion）と比較した。

• 知覚的品質: ID-ControlNet は、FID、mFID、LPIPS において標準的な拡散ベースラインと同等の知覚的品質を達成しており、アイデンティティ条件付けが視覚的なリアリズムを著しく劣化させないことを示している。
• アイデンティティ保持:
  • CelebA-HQ-IDI-5 ベンチマークにおいて、ID-ControlNet は通常微調整を必要とする PVA（最先端手法）と同等のアイデンティティ忠実度を、ゼロショット設定で達成している。
  • E-Mask データセット（眼固有の遮蔽）において、ID-ControlNet はアイデンティティ類似度スコア（PVA No-Tune の 0.63 に対し 0.78）でベースラインおよび PVA（No-Tune）を大幅に上回り、アイデンティティを定義する特徴の回復において優れていることを実証している。
• 汎化性: CelebA-HQ-IDI で学習されたモデルは、追加の微調整なしに未見の FFHQ データセットへ効果的に汎化する。

意義と主張

本論文は、ID-ControlNet が顔部分修復において視覚的リアリズムとアイデンティティ忠実性のバランスを取る上で重要な進歩であると主張している。ControlNet に着想を得たアーキテクチャを介してアイデンティティ埋め込みを拡散プロセスに直接統合することで、本手法は標準モデルの「平均的な顔」への偏り、および微調整ベースのアプローチのスケーラビリティの限界を克服する。

著者らは、自らのアプローチが、アイデンティティのわずかな歪みがシステムの性能や信頼を致命的に損なう可能性のある顔認識、デジタルフォレンジック、ヒューマン・コンピュータ・インタラクションなどの下流アプリケーションに特に価値のある、軽量かつ効率的なアイデンティティ整合性生成ソリューションを提供することを強調している。E-Mask データセットの導入は、アイデンティティ認識にとって最も重要な顔領域を分離するため、厳密な評価に不可欠なステップとして強調されている。

著者らは、現在の結果は有望であるものの、将来の研究ではバックボーンモデルのアップグレードと、画像の品質およびアイデンティティ保持の頑健性をさらに検証するためのユーザー調査に焦点を当てるべきであると結論づけている。