💻 computer science

DiffSwap++: 3D Latent-Controlled Diffusion for Identity-Preserving Face Swapping

DiffSwap++は、3D顔構造を利用してアイデンティティをポーズや表情から分離することで、顔の入れ替えにおけるアイデンティティ保持と幾何学的整合性を向上させる新しい3D潜在制御型拡散フレームワークであり、複数のベンチマークにおいて既存の手法を凌駕しています。

原著者： Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

公開日 2026-08-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

デジタルイメージングの領域において、ある人の顔を別の人の体に置き換える能力は、芸術と複雑な数学を融合させたものとして、長らく人々を魅了してきました。長年、これらの画像を作成するために使用されてきたツールは、敵対的生成ネットワーク（GAN）として知られる一種の人工知能に依存してきました。これらのシステムは、一方が偽の画像を生成しようとし、もう一方がその偽造品を見破ろうとする、二人の競い合う芸術家のように機能します。時間の経過とともに、この競争が、作成者を驚異的な熟練へと駆り立てるのです。しかし、このプロセスは極めて不安定であることで知られており、しばしば、人間の目でも容易に判別できるような、特徴のぼやけや奇妙な歪みを伴う、わずかに違和感のある画像を生み出します。より最近では、拡散（ディフュージョン）と呼ばれる異なるアプローチが登場しました。競争ゲームではなく、拡散モデルは、石の塊をゆっくりと精緻化していく彫刻家のように、ノイズを徐々に取り除いて鮮明な絵を浮かび上がらせます。これらの新しいモデルは、よりシャープな画像を生成しますが、依然として特定の課題に直面しています。それは、新しいポーズや表情の中に配置された際に、その人の真のアイデンティティを維持することです。顔の三次元構造に対する深い理解がなければ、コンピュータは、その人の独特な特徴を、頭の角度や笑顔の形と混同してしまうことがあり、その結果、リアルではあるものの、別人に見えてしまうという結果を招きます。

ノースカロライナ大学シャーロット校の研究チームは、この特定のパズルを解くために、「DiffSwap++」と呼ばれる新しい手法を開発しました。彼らの研究は、最終的に作成される画像は平坦な二次元であるにもかかわらず、コンピュータに顔の目に見えない三次元の骨格を理解させることに焦点を当てています。研究者たちは、顔を完璧にスワップするためには、システムが顔が正面からどのように見えるかだけでなく、特徴が空間の中でどのように配置されているかを知る必要があることに気づきました。これを達成するために、彼らは顔の奥行きと容積を捉える特殊なデジタルマップを用いてモデルを訓練しました。訓練フェーズにおいて、コンピュータは平坦な写真をこの三次元空間へと投影する方法を学び、標準的な画像へと戻す前に、その基礎となる構造を分析します。このプロセスにより、モデルは、その人のアイデンティティ（独特の骨格や肌の質感）を、ポーズや表情（それらの構造の一時的な位置）から分離することができるのです。

この革新性は、この三次元的な知識がどのように使用されるかにあります。研究者たちは、顔をスワップするたびにコンピュータに完全な3Dモデルを構築させることは要求しません。代わりに、学習している間のみ、この3D情報を使用します。一度訓練されれば、モデルは標準的な2D画像のみを使用してスワップを実行できるため、プロセスは高速かつ実用的です。システムは、ある人物のソース画像と、異なるポーズをとっている別の人物のターゲット画像を取り込みます。そして、三次元的な学習から得られた教訓を用いてターゲットの顔を再構成し、ターゲットの頭の角度と表情を厳格に維持しながら、その特徴をソースとなる人物の特徴へと置き換えます。これにより、最終的な画像が、単に異なる顔の上にステッカーを貼り付けたようなものではなく、ソースの人物が自然にそのシーンに存在しているかのように見えるようになります。

彼らの手法が実際に機能するかどうかをテストするために、研究者たちは、実在の人物の高画質なポートレートを含む公開データセットから数千枚の画像を用いて、広範な実験を行いました。彼らは、古いGANベースのツールや新しい拡散モデルを含む、既存の最良の手法と比較しました。結果は、DiffSwap++に明確な優位性があることを示しました。スワップされた顔が元の人物のアイデンティティをどの程度保持しているかを測定した際、彼らの手法は以前のどのアプローチよりも一貫して高いスコアを記録しました。スワップされた顔が生体認証システムを欺けるかどうかを検証するテストにおいて、DiffSwap++は、競合する手法よりもソースのアイデンティティを保持することにおいて著しく成功しました。同時に、ターゲットのポーズや表情の自然さも損ないませんでした。他の手法はしばしば、顔がわずかに歪んで見えたり、アイデンティティの転送に失敗したりすることがありましたが、DiffSwap++は、非常に写実的でありながら、元の人物に忠実な画像を生み出しました。

チームはまた、人間の目にとって画像がいかに説得力があるかを確認するために、ボランティアを対象とした調査も行いました。参加者は、スワップされた顔のセットを見せられ、アイデンティティ、表情、およびポーズがどの程度保持されているかを評価するよう求められました。結果は、コンピュータによる測定が示した内容を裏付けるものでした。人々は、DiffSwap++によって作成された画像が最も写実的で説得力があると感じました。顔は自然で、デジタル操作を露呈させるような奇妙なアーティファクトや不自然な混ざり合いは見られませんでした。対照的に、他の手法では、虚ろな目や口の周りの不規則な質感など、偽造を示す兆候が残されることがありました。三次元的な構造への意識を学習プロセスに統合することで、研究者たちは、視覚的に素晴らしいだけでなく、アイデンティティの保持において科学的に堅牢なレベルの細部と正確性を達成することが可能であることを証明しました。

技術要約: DiffSwap++: アイデンティティ保持型フェイススワップのための3D潜在制御型拡散モデル

1. 問題提起

フェイススワップ（顔の入れ替え）は、ソース（提供元）の顔のアイデンティティをターゲット（対象）の顔に転送しつつ、ターゲットのポーズ、表情、および背景を保持するプロセスである。生成敵対ネットワーク（GAN）は広く用いられてきたが、学習の不安定さに悩み、目立つアーティファクトや不十分なアイデンティティの一貫性を生じることが多い。近年の拡散ベースのアプローチは忠実度を向上させているが、微細なアーティファクトや弱いアイデンティティ保持能力に依然として課題を残している。既存の拡散手法における主要な制限として、基礎となる3D顔構造の明示的なモデリングの欠如が特定されている。3Dへの意識（3D-awareness）がないと、モデルはアイデンティティをポーズや表情から効果的に分離することが困難になり、結果としてソースのアイデンティティの転送に失敗するか、ターゲットの属性を歪めてしまう。さらに、既存の3D認識型拡散手法（例：DiffSwap）は、3D特徴量を推論時のランドマーク生成に限定しており、学習プロセスを直接ガイドするために使用していない。

2. 手法: DiffSwap++

著者らは、3D認識型の潜在表現を利用して拡散生成プロセスをガイドする新しいパイプラインである DiffSwap++ を提案する。本手法は、効率性のためにデノイジング拡散潜在モデル（DDIM）を用い、学習済み潜在拡散モデル（LDM）のセマンティック潜在空間内で完全に動作する。

コアコンポーネント

3D認識型学習、2D推論: 主要な革新性は、DiffSwap++が学習時には3D顔情報を取り入れるが、推論時には3D特徴量なしで動作することである。これにより、デプロイ時に3D再構成能力を必要とすることなく、堅牢な幾何学的分離を学習できる。
3D潜在抽出: 本システムは、学習済みの3D顔再構成モデル（EG3Dに基づく）を利用して、2D顔画像を3D潜在埋め込みへと投影する。これらの埋め込みは、以下の3つの粒度のレベルに階層的に整理されている：
- 粗粒度（レイヤー1-4）: 低周波の構造的幾何学（頭部の形状、ポーズ）を制御。
- 中粒度（レイヤー5-9）: 局所的な特徴（目の形状、口の構造）を制御。
- 細粒度（レイヤー10-14）: 高周波の詳細（肌の質感、照明）を表現。
  これらの特徴量は集約され、構造的アイデンティティを捉える包括的な3D潜在ベクトル（ $f_{3D}$ ）を形成する。
コンディショニング・パイプライン: 拡散モデルは、以下の3つの異なる特徴セットによって条件付けられる：
1. アイデンティティ特徴 ( $f_{ID}$ ): 学習済みの顔認識モデル（例：ArcFace）を用いてソース画像から抽出し、MLPを介して投影される。
2. ランドマーク特徴 ( $f_{LM}$ ): ターゲット画像の2D顔ランドマークから派生し、ポーズと表情を保持する。
3. 3D潜在特徴 ( $f_{3D}$ ): ソースとターゲットの両方の画像の集約された3D表現であり、アイデンティティとポーズ/表情の分離をガイドする。
  これらの特徴量は、重み付き集約を介して結合され、クロスアテンションメカニズムを通じてUNetに注入される。

学習目的関数

学習プロセスは条件付きインペインティング・タスクとして定式化され、2段階の目的関数を用いて最適化される：

再構成損失 ( $L_{Recon}$ ): ノイズからターゲットの顔を再構成できることを保証する、標準的なデノイジング拡散損失。
アイデンティティ保持損失 ( $L_{ID}$ ): スワップされた顔とソースのアイデンティティとの間のコサイン類似度（ArcFace経由）を用いて計算され、ソースのアイデンティティが保持されることを保証する。
知覚的類似性損失 ( $L_{PS}$ ): 生成された顔がターゲットの背景とシームレスに融合し、視覚的な一貫性を維持することを保証するためにLPIPSを使用する。

総損失は、以下の重み付き和である： $L_{Total} = L_{Recon} + w_{ID}L_{ID} + w_{PS}L_{PS}$ 。

3. 主な貢献

本論文は、3つの主要な貢献を述べている：

初の3Dガイド型拡散フレームワーク: DiffSwap++は、3D顔潜在特徴を利用して拡散ベースの生成パイプラインをガイドする最初のフェイススワップ・フレームワークである。これは、推論時には完全に2Dでありながら、学習時には3D幾何学的手がかりを統合している。
優れた性能と堅牢性: CelebA-HQ、FFHQ、CelebV-Textを用いた広範な実験により、本手法がアイデンティティ保持と知覚的リアリズムにおいて最先端のベースラインを上回ることが示された。ユーザー調査により、生成されたスワップが従来の手法よりも視覚的に説得力があることが確認された。
新しい生体認証評価: 著者らは、なりすまし攻撃提示受け入れ率（IAPAR）と誤拒絶率（FRR）のトレードオフを分析することにより、厳格な評価の観点を導入した。これにより、生体認証システムに対するソース・アイデンティティの保持能力を定量的に測定できる。

4. 実験結果

本手法は、DiffFace、DiffSwap、REFace、HiFiFace、SimSwapを含むベースラインに対し、3つの公開データセット（CelebA-HQ、FFHQ、CelebV-Text）で評価された。

アイデンティティ保持: DiffSwap++は、CelebA-HQにおいて最高のTop-1（94.7%）およびTop-5（98.2%）アイデンティティ検索精度を達成し、FFHQでも95.1%/98.4%を達成した。これは、DiffSwap（Top-1 16.9%）のような拡散ベースの手法や、HiFiFace（Top-1 86.4%）のようなGANベースの手法を大幅に上回っている。
視覚的品質: 本手法は、CelebA-HQで6.42、FFHQで6.57という最も低いフレシェ距離（FID）を達成し、高いフォトリアリズムを示した。
ポーズと表情: 一部の手法は、ターゲットの顔への変更を最小限に抑えることで（それゆえにアイデンティティの転送に失敗する）わずかに優れたポーズ/表情スコアを達成したが、DiffSwap++は、ターゲットの属性を最小限の劣化で保持しながら、バランスの取れた妥協点を見出した（ポーズ $\ell_2$ 距離: 3.29、表情: 1.00）。
生体認証分析: IAPAR vs. FRRの分析において、DiffSwap++は高忠実度なスワップを実現し、ソースのアイデンティティを効果的に保持することで、生体認証システムによる受け入れ閾値を高く維持した。
効率性: DiffSwap++の推論には画像あたり3.35秒を要し、これはDiffSwapより約1.5倍速く、DiffFaceより11倍速い。使用VRAMは18.69 GBである。
アブレーション研究: 実験により、3D特徴量集約のための「Avg. Pool」戦略（粗・中・細粒度レイヤーの組み合わせ）が、特定のレイヤーのみを使用する場合と比較して、最高のアイデンティティ検索（79.30%）をもたらすことが確認された。また、アイデンティティ特徴とランドマーク特徴の両方が学習に不可欠であること、および4ステップのDDIMが学習における最適なバランスを提供することが検証された。

5. 意義と主張

本論文は、DiffSwap++が拡散ベースのフェイススワップにおける決定的な制限である「3Dへの意識の欠如」に対処すると主張している。学習時に3D潜在特徴を組み込むことで、モデルはアイデンティティをポーズや表情から効果的に分離でき、その結果、フォトリアルかつソースのアイデンティティ転送が極めて効果的なスワップを実現している。

著者らは、本手法が推論時には3D特徴を必要としないため、実用的なデプロイが可能であることを強調している。本研究の意義は、真正な画像と区別が困難なスワップ（高いIAPAR）を生成しながら、ターゲットの顔の構造的完全性を維持できる能力にある。結論として、DiffSwap++は、定量的な指標と人間のユーザー調査の両方によって検証された通り、高い平均忠実度と一貫した生成品質の最も効果的なバランスを提供すると述べている。さらなる研究を促進するため、コードは公開されている。