🤖 AI

Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model

本論文は、明示的な画像・姿勢融合モジュールと対照学習を用いてソース姿勢埋め込みをターゲット画像に整合させることで、多様な姿勢や外見におけるテクスチャ忠実度と生成の一貫性を大幅に向上させる、姿勢誘導型人物画像合成のための新規拡散ベースフレームワークであるFPDMを提案する。

原著者： Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

友人が特定の服装を着た写真（ソース画像）と、異なるポーズの棒人形の描画（ターゲットポーズ）を持っていると想像してください。あなたの目標は、その友人がその正確な服装を着たまま、新しいポーズで立っている新しい写真を作成することです。これをポーズ誘導型人物画像合成と呼びます。

長い間、コンピュータはこの課題に苦慮していました。ポーズは正しくても服を崩したり、服は正しくても人物の同一性を失ったりするのです。

ここで、この論文の著者であるFPDMが、AI 画像生成のための新しい「レシピ」を用いてこの問題を解決した方法をご紹介します。

1. 問題：「混乱したシェフ」

従来の手法は、2 つの別々の指示、「ピザを作れ」（服装）と「それを丸くしろ」（ポーズ）を受け取ったシェフのようでした。シェフは調理中にこれらの指示を混ぜ合わせようとします。指示が鍋の中で混ざり合っているため、結果はしばしば乱雑になります。ピザが四角く見えたり、トッピングが失われたりすることがあります。

技術的な用語で言えば、古い AI モデルは、生成の最後の瞬間に人物の「外観」とポーズの「形状」をブレンドしようとしました。これにより結果が一貫しませんでした。わずかに異なるソース画像で同じポーズを要求すると、AI は混乱し、人物の同一性や服の質感を変えてしまうのです。

2. 解決策：「マスター設計図」（融合埋め込み）

著者たちは、調理中に指示を混ぜるのではなく、調理が始まる前にマスター設計図を作成する新しい手法FPDMを提案します。

次のように考えてみてください。

古い方法: シェフにシャツの写真とポーズのスケッチを渡し、「調理しながら考えてくれ」と言う。
FPDM の方法: まずシャツの写真とポーズのスケッチを取り、特別な翻訳者を使ってそれらを単一の完璧な設計図に結合する。この設計図は正確にこう言う。「これがシャツであり、これが人物がこのポーズをとったときの見た目だ」と。

3. 設計図の作り方：「仲人」

この完璧な設計図はどのように作られるのでしょうか？彼らはコントラスト学習と呼ばれる技術を使用し、それは厳格な仲人として機能します。

AI は「ソース写真」と「ポーズスケッチ」を混ぜて設計図を作成します。
仲人は次に、この設計図を実際のターゲット写真（正解）と比較します。
設計図が実際の写真と完全に一致しない場合、仲人は「いいえ、それは間違っている！」と言い、それらを遠ざけます。
似ている場合、仲人はそれらを近づけます。

重要なのは、著者たちが特別なトリックを加えたことです。彼らは仲人にソース写真も示し、「これはターゲットではない。混同するな」と言います。これにより、AI は「人物がどのように見えるか」と「どのようにポーズをとっているか」の違いを学ぶよう強制され、設計図が両者の単なるぼやけた混合ではなく、両者の間の関係性を捉えることが保証されます。

4. 調理プロセス：「ノイズ除去ネットワーク」

AI がこの完璧な融合設計図を得ると、拡散モデルと呼ばれる強力なエンジンを使用します。

拡散モデルを、ノイズと静電気で満たされた粘土の塊から始める彫刻家だと想像してください。設計図は彫刻家へのガイドとして機能します。

彫刻家はゆっくりとノイズを取り除きます（「ノイズ除去」部分）。
設計図が非常に精密で事前に整合が取れているため、彫刻家はシャツのしわや布の折り目がどこにあるべきかを正確に知っています。
その結果、人物の同一性が保たれ、服がリアルに見え、ポーズが要求通り正確に再現された高品質な画像が生まれます。

5. 機能するか？（結果）

著者たちはこれを主に 2 つのことでテストしました。

ファッション写真: 彼らは衣服写真の巨大なデータセット（DeepFashion）を使用しました。彼らの手法は、人物が振り返ったりポーズを変えたりしても、衣服の質感（ストライプや模様など）を一貫して保つのに優れていました。
手話: 彼らは手話をする人の動画（RWTH-PHOENIX データセット）でテストしました。これは指の細部が小さく複雑であるため難しい課題です。彼らの手法は、従来の AI モデルよりも明確な手とより正確な動きを生み出しました。

要約の比喩

古い AI: 誰かが同時にポーズと服装について指示を叫んでいる間に、肖像画を描こうとするようなもの。結果はぼやけた混乱物になります。
FPDM: 建設が始まる前に、マスター建築家がクライアントのスタイルと建物の形状を組み合わせた完璧で詳細な設計図を描くようなもの。建設チーム（拡散モデル）は単に設計図に従うだけで、毎回完璧な建物が完成します。

この論文は、まずこの明示的な「融合設計図」を作成することによって、AI は人物の同一性と新しいポーズの両方を尊重する一貫性のある高品質な画像を生成でき、コンピュータビジョンにおける大きな頭痛の種を解決できると結論付けています。

技術的サマリー：拡散モデルを用いたポーズ誘導型人物画像合成のための融合埋め込み（FPDM）

問題定義
ポーズ誘導型人物画像合成（PGPIS）は、ソース画像のアイデンティティ、衣服、テクスチャを保持しつつ、指定されたターゲットポーズを持つフォトリアリスティックな人物画像を生成することを目的としています。最近の拡散ベースのアプローチは画像品質を向上させていますが、通常はノイズ除去プロセス内での暗黙的な特徴集約に依存しています。これらの既存手法では、ソース外観とターゲットポーズの埋め込みが、明示的な事前アライメントなしに直接ノイズ除去ネットワーク（例：UNet）に注入されます。その結果、外観とポーズの間の相互作用は暗黙的に学習され、しばしば「絡み合い」を引き起こし、関係性が特定のノイズ除去軌道に依存するようになります。これにより、ソース外観またはターゲットポーズが変化した場合に同一のアイデンティティに対して一貫性のない生成結果が生じ、歪んだテクスチャ、ぼやけた輪郭、またはアイデンティティのドリフトとして現れます。

手法
著者は、拡散プロセスに先立って融合されたソース - ポーズ埋め込みをターゲット画像埋め込みと明示的にアライメントするフレームワークである**FPDM（Pose-Guided Person Image Synthesis with Diffusion Model のための Fusion Embedding）**を提案します。このアーキテクチャは、主に 2 つの段階で構成されます：

画像 - ポーズ融合（IPF）モジュール（拡散前段階）：
- このモジュールは、ソース画像埋め込みとターゲットポーズ埋め込みを融合させることで、統一された表現を学習します。
- CLIP ベースの画像エンコーダと CLIP ベースのポーズエンコーダからの特徴を統合するために、Combiner Network（CLIP4CIR から適応されたもの）を採用しています。
- コントラスト学習戦略： 中核的な革新は、ソース強化型ポーズ融合アプローチです。ターゲット画像との融合埋め込みを単にアライメントするベースラインのコントラスト学習とは異なり、このアプローチではトレーニング中にソース画像埋め込みを明示的に負のサンプルとして扱います。
- 融合埋め込みがターゲット画像に近くなる一方で、ターゲットポーズ条件の下ではソース画像から明示的に遠ざかるようにする、バッチ拡張された InfoNCE 損失を構築することで、モデルはポーズを認識した分離を強制します。これにより、融合埋め込みがソース外観にのみ支配された表現に収束することを防ぎ、ポーズ条件付きの区別を捉えることを保証します。
条件付き拡散モデル（生成段階）：
- Stable Diffusion（SD）フレームワークに基づいて構築された生成モデルは、3 つの異なる入力によって導かれます：
  - ソース外観： DINOv2 エンコーダを通じて抽出され、キー/バリュー特徴として UNet トランスフォーマーブロックに注入されます。
  - ターゲットポーズ： CNN ベースのエンコーダ（ControlNet 風）を通じて抽出され、ノイズ付き潜在変数と連結されます。
  - 融合埋め込み（ $e_f$ ）： 事前学習済みの IPF モジュールの出力であり、タイムステップ埋め込みとともに ResNet ブロックに注入されます。
- 推論中、モデルは拡張された Classifier-Free Guidance（CFG）スキームを利用して、ソース - ポーズ条件付けと融合埋め込みの寄与を独立して重み付けします。

主な貢献

コントラスト学習による明示的アライメント： FPDM は、コントラスト学習を用いて融合されたソース - ポーズ埋め込みをターゲット画像埋め込みと明示的にアライメントする、初の拡散ベースの PGPIS フレームワークであり、暗黙的条件付けの限界に対処します。
ソース強化型ポーズ融合： 著者は、ソース埋め込みを負のサンプルとして扱うことで、ソースとターゲットの表現を明示的に区別する新しいコントラスト学習目的を導入しました。これにより、融合埋め込みがソース外観の変化に対して不変でありながら、ポーズに対して敏感であることを保証します。
ロバストな条件付け信号： 学習された融合埋め込みは、ノイズ除去プロセス全体を通じて安定した条件付け信号として機能し、変化するポーズやソース画像にわたって一貫したアイデンティティ保持を可能にします。

実験結果
この手法は、DeepFashion（ファッション画像合成）とRWTH-PHOENIX-Weather 2014T（手話動画生成）の 2 つのベンチマークで評価されました。

定量的性能： DeepFashion において、FPDM は最先端の手法（MCLD、PCDM、XMDPT など）と競合する性能を達成しました。優れたLPIPSスコア（より良い知覚的類似性とテクスチャ保持を示す）と強力なFIDt（テストセット上の Frechet Inception Distance）を示し、より良い汎化性を示唆しました。Phoenix データセットでは、FPDM は手話忠実度にとって重要な最高レベルのHand SSIM（0.682）と競争力のあるHand Pose Errorを達成しました。
定性的性能： 視覚的比較により、FPDM が微細な詳細（特定の衣服の模様、ロゴなど）を再構築し、ソース画像が部分的なビューしか提供しない場合（正面ビューから背面ビューを推測するなど）でも構造的な一貫性を維持する能力が示されました。
アブレーション研究：
- ソース強化型ポーズ融合戦略（A3）は、検索精度（Recall@1 がベースラインの 5.0% に対して 99.7%）において、ベースライン融合（A2）やソースのみの埋め込み（A1）を大幅に上回りました。
- 完全なモデル（B6）は、テクスチャ忠実度とポーズの一貫性の点で、IPF モジュールがない変種や異なる融合戦略を持つ変種を一貫して上回りました。
- 収束分析は、IPF モジュールが初期の最適化複雑性を追加する一方で、知覚的品質において優れた最終性能をもたらすことを示しました。

意義と主張
この論文は、FPDM が現在の拡散ベースの PGPIS における根本的な限界、すなわち異種条件付け信号（外観とポーズ）間の明示的アライメントの欠如に対処していると主張しています。事前学習された融合埋め込みを通じてアライメントプロセスを生成プロセスから分離することで、この手法はアイデンティティ保持がポーズとソース外観の変化に対してロバストであることを保証します。

著者は FPDM を汎用動画生成モデルではなく、ポーズ誘導型人物画像合成のためのタスク固有のソリューションとして位置付けています。その実用的な適用可能性を以下の分野で強調しています：

バーチャル試着とデジタルアバター： 高忠実度なテクスチャとアイデンティティ保持により。
手話生成： 異なるポーズ間で手の構造とアイデンティティを維持することが不可欠な、一貫した話者の動画フレームを生成する際に特に有効です。論文は、FPDM が画像合成レベルで動作する一方で、手中心の指標における強力な性能により、手話動画パイプラインの実用的な中核コンポーネントとなり得ると指摘しています。

著者は、微細なテキストやロゴの再現の難しさや、単一パスの GAN に比べた反復的拡散サンプリングの固有的な計算コストを含む限界を認めています。彼らは、今後の研究は、この明示的アライメント戦略を時間的に構造化された動画生成タスクに拡張することに焦点を当てるべきだと結論付けています。