Technisches Resümee: Adversarial Domain Prompt Tuning und Generierung für Single Domain Generalization

1. Problemdefinition

Die Arbeit befasst sich mit der Single Domain Generalization (SDG), einem anspruchsvollen Lernparadigma, bei dem ein Modell auf einem einzigen gelabelten Quellbereich ($\mathcal{D}_S$) trainiert werden muss, um robust auf mehreren ungesehenen Zielbereichen ($\mathcal{D}_T$) zu performen. Im Gegensatz zur Standard-Domain-Generalization (DG), die mehrere Quellbereiche nutzt, oder der Domain Adaptation (DA), die Zugriff auf Zieldaten hat, operiert SDG unter strengen Einschränkungen, bei denen Zielbereiche während des Trainings nicht verfügbar sind und oft signifikante Verteilungsverschiebungen (z. B. Änderungen in Stil, Hintergrund oder Perspektive) aufweisen.

Bestehende SDG-Ansätze verlassen sich typischerweise auf Datenaugmentation oder adaptive Normalisierung. Diese Methoden haben jedoch Schwierigkeiten, ausreichend diverse Domänen zu konstruieren, um beliebige Stil-Lücken abzudecken, insbesondere wenn die Domänencharakteristika zu abstrakt sind, um sie manuell zu beschreiben. Obwohl Text-zu-Bild (T2I) Foundation-Modelle über leistungsstarke generative Fähigkeiten verfügen, ist das manuelle Entwerfen von textuellen Prompts für jeden möglichen Domänenstil unpraktikabel und scheitert daran, abstrakte stilistische Nuancen zu erfassen.

2. Methodik: Progressive Adversarial Prompt Tuning (PAPT)

Die Autoren schlagen Progressive Adversarial Prompt Tuning (PAPT) vor, ein Framework, das vortrainierte Latent Diffusion Models (LDMs) nutzt, um automatisch diverse Out-of-Distribution (OOD) Trainingsdaten zu generieren. Anstatt sich auf statische textuelle Beschreibungen zu verlassen, lernt die Methode zwei Sätze von abstrakten, lernbaren Prompts:

2.1. Kernkomponenten

1. Category Prompt Tuning (CPT):

   • Ziel: Erfassung domäneninvarianter Kategorieninformationen.
   • Mechanismus: Für jede Klasse $k$ wird ein lernbarer Prompt-Vektor $\mathbf{E}^c_k$ in ein festes Texttemplate (z. B. „a photo of a [class]“) eingefügt. Dieser Prompt wird unter Verwendung der Quelldomänendaten optimiert, um sicherzustellen, dass die generierten Bilder die korrekten semantischen Klassenfunktionen beibehalten, unabhängig vom Domänenstil.

2. Adversarial Domain Prompt Tuning (AD):

   • Ziel: Modellierung domänenspezifischer Stile, einschließlich solcher, die zu abstrakt für Sprache sind.
   • Mechanismus: Ein Satz lernbarer Domänen-Prompt-Vektoren $\mathbf{E}^d_i$ wird in einer domänenspezifischen Memory Bank ($\mathcal{P}$) vorgehalten.
   • Adversarielles Ziel: Um einen neuen Domänen-Prompt $\mathbf{E}^d_o$ zu generieren, minimiert das Modell die Ähnlichkeit zwischen der latenten Repräsentation des generierten Bildes und allen existierenden Prompts in $\mathcal{P}$. Dies wird durch einen kontrastiven Verlust ($\mathcal{L}_{domain}$) erreicht, der den neuen Stil von den zuvor gelernten Stilen wegdrängt.
   • Konsistenzziel: Gleichzeitig stellt ein Kategorien-Konsistenzverlust ($\mathcal{L}_{class}$) sicher, dass das generierte Bild semantisch mit dem Kategorien-Prompt übereinstimmt.
   • Optimierung: Der Gesamtverlust ist $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$. Um die Backpropagation praktikabel zu machen, verwenden die Autoren eine One-Step-Approximation des Denoising-Prozesses.

3. Progressives Trainingsschema (PTS):

   • Ziel: Sicherstellung kontinuierlicher Diversität in den generierten Domänen.
   • Mechanismus: Die Memory Bank $\mathcal{P}$ wird iterativ aktualisiert. Nach einer festgelegten Anzahl von Iterationen wird der neu gelernte Domänen-Prompt $\mathbf{E}^d_o$ zu $\mathcal{P}$ hinzugefügt. Dies zwingt nachfolgende Trainingsschritte dazu, Stile zu generieren, die sich von der expandierenden Menge der gelernten Stile unterscheiden, wodurch die Verteilung der generierten Trainingsdaten effektiv verbreitert wird.

2.2. Workflow

1. Initialisierung: Manuelles Besäen von $\mathcal{P}$ mit einigen textuellen Domänen-Embeddings.
2. Training:
   • Optimierung der Kategorien-Prompts $\mathbf{E}^c_k$ auf Quelldaten.
   • Iteratives Lernen neuer Domänen-Prompts $\mathbf{E}^d_o$ via adversariellem Tuning gegen $\mathcal{P}$.
   • Aktualisierung von $\mathcal{P}$ durch Hinzufügen erfolgreicher neuer Prompts.
3. Generierung: Verwendung der gelernten Prompts, um ein diverses Set an Bildern ($\mathcal{D}_G$) mittels des T2I-Modells zu generieren.
4. Finales Modell: Training des Downstream-Klassifikators auf der Vereinigung der ursprünglichen Quelldomäne und der generierten Domänenbilder.

3. Wichtigste Beiträge

Die Arbeit beansprucht die folgenden Beiträge:

• Erste Anwendung von T2I für SDG: Es ist die erste Arbeit, die vortrainierte Text-zu-Bild-Foundation-Modelle spezifisch für Single Domain Generalization nutzt und dabei über manuelles Prompt-Engineering hinaus zu lernbaren abstrakten Prompts geht.
• Abstraktes Prompt-Lernen: Die Methode ersetzt starre textuelle Domänen durch lernbare Vektoren, die abstrakte Stile repräsentieren können, die mit Worten schwer zu beschreiben sind (z. B. spezifische künstlerische Stile oder Hintergrundverschiebungen).
• Progressives Adversarielles Framework: Das vorgeschlagene PAPT-Framework balanciert den Trade-off zwischen der Generierung diverser Domänenstile und der Bewahrung der kategorischen Semantik durch einen adversariellen Lernmechanismus und eine progressive Strategie zur Aktualisierung der Memory Bank.
• State-of-the-Art Performance: Die Methode erzielt eine überlegene Leistung im Vergleich zu bestehenden SDG-Ansätzen über mehrere Benchmarks hinweg.

4. Experimentelle Ergebnisse

Die Methode wurde auf fünf Standard-DG-Benchmarks evaluiert: PACS, VLCS, Office-Home, DomainNet und TerraIncognita.

• Single Domain Generalization (SDG):

  • Auf PACS erreichte PAPT eine durchschnittliche Genauigkeit von 72,72 % und übertraf damit den bisherigen Bestwert (Prompt-Driven) um 1,60 %.
  • Auf VLCS erreichte es 73,37 %, eine signifikante Verbesserung von 9,55 % gegenüber der Baseline, was die Robustheit gegenüber Hintergrund- und Perspektivwechseln demonstriert, bei denen Domänenlabels keine semantische Bedeutung tragen.
  • Auf Office-Home erreichte es 62,03 % und übertraf den Stand der Technik um 3,73 %.
  • Die Methode zeigte besonders starke Gewinne, wenn die Quelldomäne ein „schwieriger“ Stil war (z. B. Sketch oder Clipart), mit Verbesserungen von bis zu 21,62 % in spezifischen Settings.

• Multi-Source Domain Generalization:

  • Beim Transfer auf Multi-Source-Settings übertraf PAPT den State-of-the-Art SMOS im Durchschnitt über alle Datensätze hinweg um 1,34 %.
  • Bemerkenswerterweise übertraf PAPT auf dem anspruchsvollen DomainNet-Datensatz (große Stilunterschiede) SMOS um 4,88 %.

• Ablationsstudien:

  • Adversarial Domain Tuning (AD): Lieferte Gewinne von 3,88 % auf PACS und 3,42 % auf VLCS, was beweist, dass lernbare Prompts manuelle Textbeschreibungen für abstrakte Stile übertreffen.
  • Progressives Trainingsschema (PTS): Verbesserte die Leistung weiter um 2,50 % (PACS) und 0,83 % (VLCS), was bestätigt, dass die iterative Erweiterung der Stil-Diversität die Verteilungsdiskrepanz reduziert.
  • Parameter-Sensitivität: Die Methode zeigte Stabilität hinsichtlich der Initialisierung der Memory Bank und des Hyperparameters $\lambda$ (gesetzt auf 10).

5. Bedeutung und Ansprüche

Die Arbeit positioniert ihre Arbeit als Lösung für die Einschränkungen aktueller Datenaugmentations-Techniken, die oft daran scheitern, die enorme Verteilungsdifferenz zwischen Quell- und Zielbereichen abzudecken. Durch die Nutzung der generativen Kraft von T2I-Modellen mittels lernbarer abstrakter Prompts behaupten die Autoren, dass sie:

1. Die Unfähigkeit von manuellem Text, abstrakte Domänencharakteristika zu beschreiben, überwinden.
2. Automatisch ein ausreichend diverses Spektrum an Trainingsbildern generieren können, ohne Zugriff auf Zieldaten oder mehrere Quellbereiche zu benötigen.
3. Eine nachweisbare Generalisierungsleistung erzielen, indem sie die Verteilungsdiskrepanz zwischen generierten und Zielbereichen durch adversarielles Lernen explizit minimieren.

Die Autoren schließen, dass ihr Framework die Probleme der Domänenverschiebung effektiv mildert, insbesondere in Szenarien mit komplexen Hintergrund- und Perspektivwechseln, und somit eine robuste Alternative zu bestehenden SDG-Methoden bietet.