技術的サマリー：生成パーソナライゼーションのための適応部分空間射影

問題定義

生成パーソナライゼーションは、事前学習されたテキストから画像への（T2I）拡散モデルを、少数の参照画像を用いて特定のユーザー定義概念（例：特定の人物や物体）を表現するように適応させつつ、自然言語プロンプトを通じてこれらの概念を新しい文脈に配置する能力を維持することを目的としています。しかし、これらの手法は頻繁に**意味的崩壊（SCP）**に悩まされます。この失敗モードにおいて、学習されたパーソナライズされた概念トークンはテキストプロンプトの残りを圧倒し、モデルが重要な文脈の詳細、関係性、および他のエンティティを無視させる原因となります。

著者らは、SCP が単なるランダムノイズや単純な過学習ではないことを特定しました。むしろ、パーソナライズされたトークンがプロンプト表現を支配し、周囲の文脈トークンの影響を実質的に抑制する意味的ドリフトとして現れます。この問題は、ベースクラストークンの埋め込みが変更されない場合でも発生し、対象クラスだけでなく関連するクラスにも影響を及ぼします（例：パーソナライズされた「男性」トークンが「子供」の生成に影響を与える）。既存のテスト時調整手法は、グローバルな補正（例：球面線形補間）を通じてこれを緩和しようと試みますが、これらはしばしばバイアスのかかったパーソナライズ後のクラス埋め込みに依存し、構造化された文脈一貫性の残差ドリフトに対処できない粗い調整を適用します。

手法：AdaptSP

本論文は、推論時に被写体のアイデンティティを文脈から分離することを目的とした、トレーニング不要な手法であるAdaptSP（適応部分空間射影によるテスト時埋め込み調整）を提案します。この手法は、2 つの重要な分析的洞察に基づいています：

1. 文脈安定なアイデンティティ残差：パーソナライズされたプロンプト埋め込みと対応するクラスベースのプロンプト埋め込みとの差（残差）は、多様な文脈において非常に一貫しています。この残差は主に文脈不変な被写体のアイデンティティを符号化し、クラスベースのプロンプトは文脈を符号化します。
2. 低次元部分空間構造：これらのアイデンティティ残差は、高次元の埋め込み空間にランダムに分布しているのではなく、特定の低次元部分空間内に集中しています。主成分分析（PCA）は、少数の主成分がこれらの残差の分散の大部分を捉えていることを明らかにします。

AdaptSP アルゴリズム：
AdaptSP は、埋め込み全体にグローバルな補正を適用するのではなく、ターゲットを絞った調整を行います：

• 安定したアンカー：クラスベースのプロンプト埋め込みを計算するために、元の事前学習されたテキストエンコーダ（$\tau_{\phi_0}$）を使用します。これにより、ベースクラスのセマンティクスを歪める可能性のあるファインチューニングされたエンコーダが導入するバイアスを回避します。
• 残差抽出：パーソナライズされたプロンプトとクラスプロンプトとの間の残差埋め込みを計算します。
• 適応部分空間射影：多様な文脈プロンプトのセットから PCA によって構築された低次元部分空間に、この残差を射影します。これにより、「構造化されたドリフト」（アイデンティティ）をノイズから分離します。
• 再構築：生成に使用される最終的な埋め込みは、安定したクラスベースのアンカーと射影された残差の和です。

このアプローチにより、モデルは被写体のアイデンティティを注入しつつ、プロンプトの文脈のセマンティック構造を厳密に維持し、アイデンティティトークンが無関係なエンティティや属性を支配するのを防ぎます。

主要な貢献

1. 残差埋め込みの分析：著者らは、パーソナライズされたプロンプトとクラスプロンプトとの差である残差埋め込みが多様なプロンプトにおいて非常に一貫しており、文脈不変な被写体のアイデンティティを符号化していることを実証しました。
2. 部分空間の特性評価：パーソナライゼーションに起因するドリフトが低次元部分空間に集中していることを示し、グローバルな調整ではなく射影ベースの補正を動機づけました。
3. AdaptSP フレームワーク：安定したクラスプロンプトに条件付け、射影された残差のみを注入することで、アイデンティティを文脈から分離するトレーニング不要なテスト時手法を導入しました。これにより、SCP におけるプロンプトの支配を緩和しつつ、被写体の忠実性を維持します。
4. 実証的検証：広範な実験により、AdaptSP が被写体のアイデンティティを損なうことなく、標準的なパーソナライゼーション手法（DreamBooth、Custom Diffusion、Class Diffusion）全体でプロンプト忠実性（テキスト - 画像整合性）を一貫して向上させることが示されました。

実験結果

この手法は、Stable Diffusion v1.5 および FLUX.1-dev のバックボーンを使用して、CelebA（人間の顔）およびCustomConcept101 (CC101)（物体）データセットで評価されました。

• プロンプト忠実性：AdaptSP は、CLIP-T スコア（テキスト - 画像整合性）を大幅に向上させました。特に、ベースライン手法が完全なプロンプトに従うのに失敗することが多い複雑な多エンティティプロンプトにおいて顕著でした。例えば、CelebA データセットで DreamBooth を使用した場合、AdaptSP（PR）は CLIP-Tf スコアを 24.56 から 25.44 に増加させ、CC101 では 14.49 から 17.31 に向上させました。
• 被写体忠実性：いくつかの画像 - 画像メトリック（CLIP-I、DINO）は、特定の設定でわずかな減少を示しましたが（これは、トレーニング固有の背景やテクスチャへの過学習を軽減する手法に起因すると考えられます）、人間の評価により被写体のアイデンティティが適切に保持されていることが確認されました。
• アブレーション研究：
  • 部分空間の次元：少数の主成分（2〜5）を使用することが、アイデンティティの保持と過剰なドリフトのフィルタリングの間の最適なトレードオフを提供しました。
  • エンコーダの選択：元の事前学習されたエンコーダ（$\tau_{\phi_0}$）をアンカーとして使用することが不可欠でした。ファインチューニングされたエンコーダを使用するとバイアスが導入され、プロンプト忠実性が低下しました。

意義と主張

本論文は、生成パーソナライゼーションにおける意味的崩壊が、ランダムノイズではなく、構造化された低次元ドリフトによって駆動されていると主張しています。このドリフトを特定し、特定の部分空間に射影することで、AdaptSP は複雑なシーンにおける構成的忠実性を向上させる軽量でトレーニング不要なソリューションを提供します。

著者らは、AdaptSP を既存のパーソナライゼーションパイプラインにプラグイン可能な汎用化可能なメカニズムとして位置づけています。この手法はプロンプト埋め込みの調整に焦点を当てていますが、構造化された残差ドリフトをモデル化する概念は、概念編集や制御可能な生成など、他の埋め込みベースの適応設定にも拡張可能であると強調しています。この研究は、パーソナライゼーション中の文脈の歪みを防ぐために、安定した事前学習されたセマンティックアンカーを使用することの重要性を浮き彫りにしています。