技術要約：単一ドメイン汎化のための敵対的ドメインプロンプト・チューニングと生成

1. 問題定義

本論文は、**単一ドメイン汎化（Single Domain Generalization: SDG）**という、極めて困難な学習パラダイムに取り組んでいる。これは、モデルが単一のラベル付きソースドメイン（$\mathcal{D}_S$）から学習し、未知の複数のターゲットドメイン（$\mathcal{D}_T$）に対して頑健に機能しなければならないという課題である。複数のソースドメインを利用する標準的なドメイン汎化（DG）や、ターゲットデータにアクセスするドメイン適応（DA）とは異なり、SDGは、ターゲットドメインが利用不可であり、かつ（スタイル、背景、視点などの）顕著な分布シフトが存在する場合でも動作しなければならないという厳しい制約下にある。

既存のSDG手法は、通常、データ拡張や適応的正規化に依存している。しかし、これらの手法は、あらゆるスタイルのギャップをカバーするのに十分な多様性を備えたドメインを構築することには苦慮しており、特にドメインの特性が手動で記述するにはあまりに抽象的である場合にその傾向が強い。Text-to-Image（T2I）基盤モデルは強力な生成能力を備えているが、あらゆる可能なドメインスタイルに対して手動でテキストプロンプトを設計することは非現実的であり、抽象的なスタイルのニュアンスを捉えることもできない。

2. 手法：漸進的敵対的プロンプト・チューニング (PAPT)

著者らは、事前学習済みの潜在拡散モデル（Latent Diffusion Models: LDMs）を活用して、多様な分布外（Out-of-Distribution: OOD）学習データを自動生成するフレームワークである漸進的敵対的プロンプト・チューニング（Progressive Adversarial Prompt Tuning: PAPT）を提案している。静的なテキスト記述に頼るのではなく、この手法は2組の抽象的で学習可能なプロンプトを学習する。

2.1. コアコンポーネント

1. カテゴリ・プロンプト・チューニング (CPT):

   • 目的: ドメイン不変なカテゴリ情報を捉えること。
   • メカニズム: 各クラス $k$ に対して、学習可能なプロンプトベクトル $\mathbf{E}^c_k$ が固定されたテキストテンプレート（例：「a photo of a [class]」）内に挿入される。このプロンプトは、生成された画像がドメインのスタイルに関わらず正しい意味的クラスの特徴を保持するように、ソースドメインのデータを用いて最適化される。

2. 敵対的ドメイン・プロンプト・チューニング (AD):

   • 目的: 言語では記述困難な抽象的なものを含む、ドメイン固有のスタイルをモデル化すること。
   • メカニズム: 学習可能なドメインプロンプトベクトル $\mathbf{E}^d_i$ のセットが、**ドメイン特化メモリバンク（$\mathcal{P}$）**内に保持される。
   • 敵対的目的関数: 新しいドメインプロンプト $\mathbf{E}^d_o$ を生成するために、モデルは生成された画像の潜在表現と、$\mathcal{P}$ 内の既存のすべてのプロンプトとの間の類似度を最小化する。これは、新しいスタイルを以前に学習されたスタイルから遠ざけるコントラスト損失（$\mathcal{L}_{domain}$）を通じて達成される。
   • 一貫性目的関数: 同時に、カテゴリ一貫性損失（$\mathcal{L}_{class}$）が、生成された画像がカテゴリプロンプトの意味的な整合性を維持することを保証する。
   • 最適化: 全体の損失は $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$ である。バックプロパゲーションを可能にするため、著者らはデノイジング過程の一ステップ近似を採用している。

3. 漸進的学習スキーム (PTS):

   • 目的: 生成されるドメインの継続的な多様性を確保すること。
   • メカニズム: メモリバンク $\mathcal{P}$ は反復的に更新される。一定数のイテレーションの後、新たに学習されたドメインプロンプト $\mathbf{E}^d_o$ が $\mathcal{P}$ に追加される。これにより、後続の学習は、拡大していく学習済みスタイルの集合とは異なるスタイルを生成するように強制され、結果として生成される学習データの分布が実質的に拡大する。

2.2. ワークフロー

1. 初期化: 数個のテキストドメイン埋め込みを用いて $\mathcal{P}$ を手動でシードする。
2. 学習:
   • ソースデータ上でカテゴリプロンプト $\mathbf{E}^c_k$ を最適化する。
   • $\mathcal{P}$ に対する敵対的チューニングを通じて、新しいドメインプロンプト $\mathbf{E}^d_o$ を反復的に学習する。
   • 新しいプロンプトを $\mathcal{P}$ に追加することで $\mathcal{P}$ を更新する。
3. 生成: 学習されたプロンプトを使用して、T2Iモデルを用いて多様な画像セット（$\mathcal{D}_G$）を生成する。
4. 最終モデル: 元のソースドメインと生成されたドメイン画像の結合体を用いて、ダウンストリーム分類器を学習する。

3. 主な貢献

本論文は以下の貢献を主張している：

• SDGへのT2Iの初適用: 手動のプロンプトエンジニアリングを超えて、学習可能な抽象プロンプトへと移行し、単一ドメイン汎化のために事前学習済みのText-to-Image基盤モデルを活用した最初の研究である。
• 抽象プロンプト学習: 硬直的なテキストドメインを、言葉では記述が困難な抽象的なスタイル（例：特定の芸術的スタイルや背景の変化）を表現できる学習可能なベクトルに置き換える。
• 漸進的敵対的フレームワーク: 提案されたPAPTフレームワークは、敵対的学習メカニズムと漸進的なメモリバンク更新戦略を通じて、多様なドメインスタイルの生成とカテゴリ意味論の保持の間のトレードオフをバランスさせる。
• 最先端の性能: 複数のベンチマークにおいて、既存のSDG手法と比較して優れた性能を達成している。

4. 実験結果

本手法は、5つの標準的なDGベンチマーク（PACS, VLCS, Office-Home, DomainNet, TerraIncognita）で評価された。

• 単一ドメイン汎化 (SDG):

  • PACSにおいて、PAPTは平均精度**72.72%**を達成し、従来の最高精度（Prompt-Driven）を1.60%上回った。
  • VLCSにおいては**73.37%**を達成し、ドメインラベルが意味を持たない背景や視点の変化に対して、ベースラインを9.55%大幅に改善した。
  • Office-Homeでは**62.03%**に達し、最先端の手法を3.73%上回った。
  • ソースドメインが「困難な」スタイル（例：SketchやClipart）である場合に特に強い改善を示し、特定の条件下では最大21.62%の向上を見せた。

• マルチソースドメイン汎化:

  • マルチソース設定に拡張した場合、PAPTは全データセットにおいて平均でSMOSを1.34%上回った。
  • 特に、スタイルの差異が大きい困難なDomainNetデータセットにおいて、PAPTはSMOSを**4.88%**上回った。

• アブレーション研究:

  • 敵対的ドメイン・チューニング (AD): PACSで3.88%、VLCSで3.42%の利得をもたらし、抽象的なスタイルに対しては学習可能なプロンプトが手動のテキスト記述よりも優れていることを証明した。
  • 漸進的学習スキーム (PTS): さらに性能を向上させ（PACSで2.50%、VLCSで0.83%）、スタイルの多様性を反復的に拡大することが分布の乖離を減少させることを確認した。
  • パラメータ感度: メモリバンクの初期化およびハイパーパラメータ $\lambda$（10に設定）に関する安定性を示した。

5. 意義と主張

本論文は、ソースドメインとターゲットドメインの間の広大な分布ギャップをカバーできないことが多い現在のデータ拡張技術の限界に対する解決策として、自らの研究を位置づけている。学習可能な抽象プロンプトを通じてT2Iモデルの生成能力を利用することで、著者らは以下のことを実現したと主張している：

1. 抽象的なドメイン特性を記述できない手動テキストの限界を克服する。
2. ターゲットデータや複数のソースドメインにアクセスすることなく、十分に多様な範囲の学習画像を自動生成する。
3. 敵対的学習を通じて、生成されたドメインとターゲットドメインの間の分布の乖離を明示的に最小化することにより、証明可能な汎化性能を達成する。

著者らは、提案されたフレームワークが、特に複雑な背景や視点の変化を伴うシナリオにおいてドメインシフトの問題を効果的に緩和し、既存のSDG手法に代わる堅牢な選択肢を提供すると結論付けている。