💻 computer science

Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation

本論文は、パーソナライズされた人物画像生成における顔の忠実度と全体的な外観の一貫性の間のトレードオフを解決するために、動的バランシング・スケーリング（DBS）戦略によって強化されたデュアルブランチ・フレームワークを導入するとともに、包括的なアイデンティティ評価のためのPexels-100ベンチマークを公開するものである。

原著者： Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは映画スタジオの監督だと想像してください。ただし、俳優を雇う代わりに、あなたが描写した通りのキャラクターを呼び出すことができる魔法のカメラを持っています。あなたは、親友と全く同じ笑顔、同じ瞳、同じ癖のある鼻を持つヒーローが、火星で宇宙服を着ている姿や、中世の森でドラゴンに乗っている姿を見たいと考えています。これが「パーソナライズされた画像生成」という夢です。長い間、AIアーティストは、二つのもどかしい選択肢のどちらかを選ばなければなりませんでした。親友の顔にはそっくりだが、服装や体つきがどうなっているかを忘れてしまうか、あるいは、完璧な衣装とポーズを実現したが、結局見知らぬ人の顔になってしまうかです。それは、ケーキを焼く際に、デコレーションのクリームを完璧にするか、スポンジを完璧にするかのどちらかしか選べず、両方を同時に完璧にすることができないようなものでした。この論文は、人工知能のこの特定の領域を掘り下げ、人物の「全身のアイデンティティ（顔、そして服装や雰囲気のすべて）」を一貫させるという難しい問題に取り組んでいます。

ユシュアン・シャオ（Yuxuan Xiao）氏らの研究チームによるこの研究は、どちらか一方の側につくことをやめることにしました。彼らはまず、「ネイティブ・デュアル・ブランチ（Naive Dual-Branch）」システムを構築しました。これは本質的に、AIのための二車線の高速道路のようなものです。一方のレーンは全体像（服、体型、ヘアスタイル）に焦点を当て、もう一方のレーンは顔の細部にズームインします。彼らは、この二車線のアプローチは良い出発点ではあるものの、少し混沌としていることを見出しました。「顔のレーン」はスピードを出しすぎて車全体を支配してしまい、「外見のレーン」はバックミラーの中で見失われてしまっていたのです。その結果はどうでしょう？顔は素晴らしいのですが、服が時々奇妙なものに変形したり、体型が押しつぶされたりしてしまうのです。

この交通渋滞を解消するために、チームは**ダイナミック・バランシング・スケーリング（DBS）という賢い交通管制システムを発明しました。これは、オーケストラのスマートな指揮者のようなものです。指揮者は主に二つのテクニックを使います。第一に、彼らは適応型テンポラル・ゲーティング（Adaptive Temporal Goring）を使用します。これは、曲のさまざまな瞬間において、顔と体の演奏者の音量を調節するディマー・スイッチのようなものです。プロセスの初期段階では、指揮者はアイデンティティを確立するために顔に安定した信頼できる旋律を奏でさせますが、曲が進むにつれて、顔に埋もれないように体や服のボリュームを緩やかに上げていきます。第二に、彼らはリージョン・アウェア・オプティマイゼーション（Region-Aware Optimization）**を導入しました。AIが絵を描いている場面を想像してください。通常、AIはキャンバス全体に同じ筆圧で描いてしまいます。この新しいテクニックは、AIにこう伝えます。「おい、顔を描くときは非常に慎重かつ精密に描きなさい。でも、服や背景にも同じくらい注意を払うのを忘れないように。」これにより、AIが目だけに執着してシャツを無視してしまうことがなくなります。

チームは、人物のアイデンティティがさまざまなシーンでどれほど維持されているかを確認するために、Pexels-100と名付けた独自のベンチマークを用いて、新しい手法をテストしました。これには、全身画像100枚が含まれています。結果は有望でした。彼らの手法は、他のオープンソースのツールよりもはるかに優れたバランスを実現し、顔の認識性を保ちつつ、服や体も正しく見えるようにすることに成功しました。実際、彼らのアプローチは非常に優れた性能を発揮し、一部の高価なクローズドソースの商用システムにも匹つきました。しかし、著者らは、これがまだあらゆる問題に対する魔法の杖ではないことも注意深く述べています。もしAIに、複雑な体操の宙返りや手の細かな動きを描かせようとすると、基礎となるAIモデルがいまだにそれらのトリッキーな物理的構造に苦戦しているため、画像が少しぐにゃぐにゃしたり歪んだりすることがあります。しかし、ほとんどの日常的なシナリオにおいては、この新しい「指揮者」がAIを調和させ、顔だけでなく人物全体がその人らしく見えるように助けてくれるのです。

技術要約：顔の整合性を超えて：包括的なアイデンティティ保持によるパーソナライズされた人物画像生成

問題提起
パーソナライズされた人物画像生成は、参照画像とテキストプロンプトに基づいて、ユーザーのアイデンティティに一致する画像を合成することを目的としている。現在の手法は、根本的なトレードオフに直面している。すなわち、通常、被写体の整合性（グローバルな外観、衣服、体型を保持すること）か、顔の整合性（局所的な顔の構造や詳細を保持すること）のいずれかを強調するが、両方を同時に実現することは稀である。既存のアプローチは、これらを組み合わせようとすると不安定になることが多く、顔のアイデンティティは保持されるものの全体的な外観が損なわれたり、あるいはその逆が生じたりするシナリオを招く。この不均衡は、異なるアイデンティティ・ブランチの異種表現空間と注入メカニズムに起因しており、デノイジング過程における不協調な相互作用や、顔ブランチによる持続的な過剰支配を引き起こしている。

手法
著者らは、FLUX.1-dev 拡散トランスフォーマー・バックボーン上に構築された統一フレームワークを提案し、Naive Dual-Branch (NDB) ベースラインを導入し、それを Dynamic Balancing Scaling (DBS) ファインチューニング戦略によって洗練させている。

Naive Dual-Branch (NDB) ベースライン:
本フレームワークは、2つの異なる条件付けパスを統合している：
- Appearance Branch（外観ブランチ）: InstantCharacter [23] に基づくこのブランチは、Q-Formerを介して投影された融合済みのDINOv2およびSigLIPの特徴量を使用し、クロスアテンションを介して注入されることで、グローバルなアイデンティティの手がかり（髪型、体のプロポーション、衣服）を捉える。
- Face Branch（顔ブランチ）: InfiniteYou [10] に基づくこのブランチは、事前学習済みの顔エンコーダーを使用して微細な顔の幾何学的構造とテクスチャに焦点を当て、ControlNetスタイルの残留パスウェイを介して注入される。
  この組み合わせは有望な結果をもたらすが、顔ブランチが生成を支配してしまい、外観の一貫性が失われるという不安定性を示す。
Dynamic Balancing Scaling (DBS):
2つのブランチを調整し、顔ブランチの支配を軽減するために、DBSは2つの補完的なコンポーネントを導入する：
- Adaptive Temporal Gating (ATG): デノイジングの軌跡全体を通じて、外観ブランチと顔ブランチの寄与強度を動的に調整する時間依存型のメカニズム。顔ブランチは安定した参照アンカーとして機能し、外観ブランチの寄与はこのアンカーに対して段階的に緩和される。これにより、初期トレーニングにおける不安定な最適化を防ぎ、異なるタイムステップにわたってバランスの取れたガイダンスを確保する。
- Region-Aware Optimization (RAO): 空間的な不均衡に対処するために設計された損失関数。顔領域は小さく、外観領域は大きいため、標準的なグローバル平均二乗誤差（MSE）では一様な教師あり学習しか提供できず、特定の領域を効果的に最適化できない。RAOは、デノイジング誤差を顔（ $L_f$ ）、外観（ $L_a$ ）、およびグローバル（ $L_g$ ）の3つの領域目標に分解する。これは、指数移動平均（EMA）リファレンスに対してパフォーマンスが低下した場合にのみ顔および外観の損失が活性化される、リファレンス誘導型のパレート型集約を採用しており、グローバル損失は持続的な背景目標として機能する。これにより、単一のブランチが最適化の軌跡を支配することを許すことなく、領域固有のアイデンティティの手がかりを保護する。

主な貢献

Naive Dual-Branch (NDB) 手法: 包括的なアイデンティティの一貫性に対処するため、共有生成フレームワーク内で外観と局所的な顔の特徴を明示的に個別にモデリングすることを提案。
Dynamic Balancing Scaling (DBS): Adaptive Temporal GatingとRegion-Aware Optimizationからなるファインチューニング戦略。この戦略は、NDBベースラインにおける強力な信号の支配によって引き起こされる不十分な包括的一貫性の維持を緩和し、顔の忠実度と外観の一貫性の間のより良いトレードオフを実現する。
Pexels-100 ベンチマーク: パーソナライズされた人物画像生成における包括的なアイデンティティの一貫性を評価するために特別に構築された最初のテストベンチマーク。全身画像とテキストプロンプトを利用して、顔と外観の両方の次元にわたるパフォーマンスを評価する。

実験結果
本手法は、Face Similarity (ArcFace)、Person Re-identification (ReID)、DINOv2スコア、およびCLIP-Tを含む指標を用いて、Pexels-100 ベンチマークで評価された。

定量的パフォーマンス: 提案手法は、包括的なアイデンティティの一貫性において、既存のオープンソースベースライン（例：InstantCharacter, InfiniteYou, UNO, Kontext）を凌駕している。具体的には、Face Score 0.7875 および DINOv2 スコア 0.3202 を達成し、ほとんどのオープンソースモデルを上回り、クローズドソースの商用システム（例：GPT-Image-2）とも競争力のある水準にある。
定性的パフォーマンス: 視覚的な比較により、一部の手法は顔の類似性または衣服の一貫性のいずれかに優れている一方で、提案手法はより良好なバランスを維持し、多様なシナリオにおいて顔のアイデンティティと全体的な外観のコヒーレンスの両方を保持していることが示されている。
アブレーション研究: 実験により、ATGとRAOの両方がパフォーマンスの向上に寄与することが確認された。完全なDBSモデルは最高の包括的一貫性を達成しており、これらのコンポーネントが冗長ではなく補完的であることを検証している。

意義と主張
本論文は、包括的なアイデンティティモデリングのための制御可能な基本フレームワークを提供することを主張している。顔の忠実度と外観の一貫性の間の固有のトレードオフに対処することで、提案手法は、既存のオープンソースソリューションと比較して、より安定し解釈可能なパーソナライズされた人物生成のアプローチを提供する。著者らは、本手法が単に顔の類似性を最大化することを目指すのではなく、アイデンティティ表現全体の*コヒーレンス（一貫性）*を向上させることを目的としていることを強調している。本手法は、バックボーンの基礎となる特徴学習を変更しないゲーティングベースの変調に依存しているため（複雑なポーズや手などの微細な構造に対する性能に制限がある）、拡散ベースの画像生成におけるグローバルおよびローカルのアイデンティティ制約を統合する上で重要な一歩を築いている。

関連論文