Technische Samenvatting: Adversarial Domain Prompt Tuning en Generatie voor Single Domain Generalization

1. Probleemdefinitie

Het artikel behandelt Single Domain Generalization (SDG), een uitdagend leerparadigma waarbij een model getraind moet worden op één enkel gelabeld brondomein ($\mathcal{D}_S$) en robuust moet presteren op meerdere ongeziene doeldomeinen ($\mathcal{D}_T$). In tegenstelling tot standaard Domain Generalization (DG), die gebruikmaakt van meerdere brondomeinen, of Domain Adaptation (DA), die toegang heeft tot doelgegevens, opereert SDG onder strikte beperkingen waarbij de doeldomeinen tijdens de training niet beschikbaar zijn en vaak aanzienlijke distributieverschuivingen vertonen (bijv. veranderingen in stijl, achtergrond of gezichtspunt).

Bestaande SDG-benaderingen vertrouwen doorgaans op data-augmentatie of adaptieve normalisatie. Deze methoden hebben echter moeite met het construeren van voldoende diverse domeinen om willekeurige stijlverschillen te dekken, vooral wanneer domeinkarakteristieken te abstract zijn om handmatig te beschrijven. Hoewel Text-to-Image (T2I) fundamentele modellen krachtige generatieve capaciteiten bieden, is het handmatig ontwerpen van tekstuele prompts voor elke mogelijke domeinstijl onpraktisch en slaagt het er niet in om abstracte stilistische nuances te vangen.

2. Methodologie: Progressive Adversarial Prompt Tuning (PAPT)

De auteurs stellen Progressive Adversarial Prompt Tuning (PAPT) voor, een framework dat gebruikmaakt van pre-trained Latent Diffusion Models (LDMs) om automatisch diverse out-of-distribution (OOD) trainingsdata te genereren. In plaats van te vertrouwen op statische tekstuele beschrijvingen, leert de methode twee sets van abstracte, leerbare prompts:

2.1. Kerncomponenten

1. Category Prompt Tuning (CPT):

   • Doel: Het vastleggen van domein-invariante categorische informatie.
   • Mechanisme: Voor elke klasse $k$ wordt een leerbare prompt-vector $\mathbf{E}^c_k$ ingevoegd in een vaste teksttemplate (bijv. "a photo of a [class]"). Deze prompt wordt geoptimaliseerd met behulp van de bron-domeindata om ervoor te zorgen dat de gegenereerde afbeeldingen de correcte semantische klassekenmerken behouden, ongeacht de domeinstijl.

2. Adversarial Domain Prompt Tuning (AD):

   • Doel: Domeinspecifieke stijlen modelleren, inclusief diegene die te abstract zijn voor taal.
   • Mechanisme: Een set leerbare domein-promptvectoren $\mathbf{E}^d_i$ wordt bijgehouden in een Domain-specific Memory Bank ($\mathcal{P}$).
   • Adversarial Objective: Om een nieuwe domeinprompt $\mathbf{E}^d_o$ te genereren, minimaliseert het model de gelijkenis tussen de latente representatie van de gegenereerde afbeelding en alle bestaande prompts in $\mathcal{P}$. Dit wordt bereikt via een contrastieve loss ($\mathcal{L}_{domain}$) die de nieuwe stijl wegduwt van eerder geleerde stijlen.
   • Consistency Objective: Tegelijkertijd zorgt een categorie-consistentie-loss ($\mathcal{L}_{class}$) ervoor dat de gegenereerde afbeelding semantisch in lijn blijft met de categorieprompt.
   • Optimalisatie: De totale loss is $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$. Om backpropagation haalbaar te maken, gebruiken de auteurs een één-stap benadering van het denoising-proces.

3. Progressive Training Scheme (PTS):

   • Doel: Zorgen voor continue diversiteit in gegenereerde domeinen.
   • Mechanisme: De memory bank $\mathcal{P}$ wordt iteratief bijgewerkt. Na een bepaald aantal iteraties wordt de nieuw geleerde domeinprompt $\mathbf{E}^d_o$ toegevoegd aan $\mathcal{P}$. Dit dwingt de daaropvolgende training om stijlen te genereren die verschillend zijn van de uitbreidende set van geleerde stijlen, wat de distributie van de gegenereerde trainingsdata effectief verbbreedt.

2.2. Workflow

1. Initialisatie: Initialiseer $\mathcal{P}$ handmatig met enkele tekstuele domein-embeddings.
2. Training:
   • Optimaliseer categorie-prompts $\mathbf{E}^c_k$ op brongegevens.
   • Leer iteratief nieuwe domeinprompts $\mathbf{E}^d_o$ via adversarial tuning tegenover $\mathcal{P}$.
   • Update $\mathcal{P}$ door succesvolle nieuwe prompts toe te voegen.
3. Generatie: Gebruik de geleerde prompts om een diverse set afbeeldingen ($\mathcal{D}_G$) te genereren met behulp van het T2I-model.
4. Eindmodel: Train de downstream classifier op de unie van de originele bron-domeindata en de gegenereerde domeinafbeeldingen.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

• Eerste toepassing van T2I voor SDG: Het is het eerste werk dat pre-trained text-to-image fundamentele modellen specifiek inzet voor single-domain generalization, waarbij de focus verschuift van handmatige prompt engineering naar leerbare abstracte prompts.
• Abstract Prompt Learning: De methode vervangt rigide tekstuele domeinen door leerbare vectoren die abstracte stijlen kunnen vertegenwoordigen die moeilijk met woorden te beschrijven zijn (bijv. specifieke artistieke stijlen of achtergrondverschuivingen).
• Progressive Adversarial Framework: Het voorgestelde PAPT-framework balanceert de afweging tussen het genereren van diverse domeinstijlen en het behouden van categorische semantiek door middel van een adversarial leermechanisme en een progressieve memory bank update-strategie.
• State-of-the-Art Prestaties: De methode behaalt superieure prestaties vergeleken met bestaande SDG-benaderingen over meerdere benchmarks.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf standaard DG-benchmarks: PACS, VLCS, Office-Home, DomainNet en TerraIncognita.

• Single Domain Generalization (SDG):

  • Op PACS behaalde PAPT een gemiddelde nauwkeurigheid van 72,72%, waarmee het de vorige beste (Prompt-Driven) met 1,60% versloeg.
  • Op VLCS behaalde het 73,37%, een significante verbetering van 9,55% ten opzichte van de baseline, wat de robuustheid aantoont tegen achtergrond- en gezichtspuntverschuivingen waarbij domeinlabels geen semantische betekenis dragen.
  • Op Office-Home bereikte het 62,03%, waarmee het de state-of-the-art met 3,73% versloeg.
  • De methode toonde bijzonder sterke winsten wanneer het brondomein een "moeilijke" stijl was (bijv. Sketch of Clipart), met verbeteringen tot 21,62% in specifieke settings.

• Multi-Source Domain Generalization:

  • Wanneer uitgebreid naar multi-source settings, presteerde PAPT gemiddeld 1,34% beter dan de state-of-the-art SMOS over alle datasets.
  • Met name op de uitdagende DomainNet dataset (grote stijlverschillen), versloeg PAPT SMOS met 4,88%.

• Ablatie-studies:

  • Adversarial Domain Tuning (AD): Leverde winsten op van 3,88% op PACS en 3,42% op VLCS, wat bewijst dat leerbare prompts beter presteren dan handmatige tekstbeschrijvingen voor abstracte stijlen.
  • Progressive Training Scheme (PTS): Verbeterde de prestaties verder met 2,50% (PACS) en 0,83% (VLCS), wat bevestigt dat het iteratief uitbreiden van de stijldiversiteit de distributieverschil verkleint.
  • Parametergevoeligheid: De methode toonde stabiliteit met betrekking tot de initialisatie van de memory bank en de hyperparameter $\lambda$ (gesteld op 10).

5. Betekenis en Claims

Het artikel positioneert het werk als een oplossing voor de beperkingen van huidige data-augmentatietechnieken, die vaak niet in staat zijn om de enorme distributiekloof tussen bron- en doeldomeinen te overbruggen. Door gebruik te maken van het generatieve vermogen van T2I-modellen via leerbare abstracte prompts, claimen de auteurs:

1. Het onvermogen van handmatige tekst om abstracte domeinkarakteristieken te beschrijven te overwinnen.
2. Automatisch een voldoende diverse reeks trainingsafbeeldingen te genereren zonder toegang te vereisen tot doelgegevens of meerdere brondomeinen.
3. Een bewezen generalisatieprestatie te leveren door de distributieverschil tussen gegenereerde en doeldomeinen expliciet te minimaliseren via adversarial learning.

De auteurs concluderen dat hun framework de problemen met domeinverschuiving effectief mitigeert, met name in scenario's met complexe achtergrond- en gezichtspuntveranderingen, en biedt daarmee een robuust alternatief voor bestaande SDG-methoden.