Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization

Technische Samenvatting: Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization (PADG)

Probleemdefinitie
Domain Generalization (DG) streeft naar het trainen van modellen die robuust presteren op ongeziene doelgebieden (target domains) met behulp van enkel brongegevens (source data). Een primaire uitdaging in DG is de "domeinverschuiving" (domain shift), waarbij trainings- en testdata verschillende distributies volgen, wat de standaard i.i.d.-aanname schendt. Hoewel recente Visual Foundation Models (VFM's) zoals CLIP veelbelovend zijn, richten bestaande prompt-tuning methoden zich vaak op taakspecifieke adaptatie in plaats van op het ontwarren (disentanglement) van domein-invariante kenmerken van domein-specifieke kenmerken. Bijgevolg hebben deze methoden moeite om representaties te genereren die effectief generaliseren over diverse, ongeziene domeinen. Bovendien slaagt zuivere tekstuele sturing vaak niet in het vastleggen van complexe domein-specifieke variaties (bijv. standpunten of achtergrondveranderingen) die moeilijk linguïstisch te beschrijven zijn, wat leidt tot onvolledige ontwarring.

Methodologie
De auteurs stellen PADG voor (Prompt Disentanglement via Language Guidance and Representation Alignment), een verenigd framework dat de flexibiliteit van VFM's en Large Language Models (LLM's) benut om robuuste domain generalization te bereiken. Het framework werkt via twee trainingsfasen en één inferentiestrategie:

1. Cross-Modal Prompt Disentanglement (CMD): Deze fase richt zich op de scheiding van kenmerken over modaliteiten heen.

   • GPT-Assist Text Disentanglement (GAT): De auteurs maken gebruik van een LLM (GPT-3) om fijnmazige beschrijvingen te genereren voor elke klasse binnen specifieke domeinen. Via latente semantische analyse synthetiseert de LLM deze tot domein-invariante beschrijvingen (bijv. structurele vorm) en domein-specifieke beschrijvingen (bijv. kleur of achtergrond). Deze beschrijvingen worden gebruikt om het leren van ontwarre de tekstuele prompts te sturen via distillatie- en contrastieve leerverliezen (losses).
   • Image Disentanglement Guided by Text (IMT): De ontwarre de tekstuele embeddings dienen als semantische gidsen voor de visuele encoder. De visuele encoder wordt gefinetuned met leerbare prompts om overeenkomstige domein-invariante en domein-specifieke visuele kenmerken te produceren. Dit proces wordt geregulariseerd door de afstand tussen de geleerde visuele kenmerken en de originele CLIP-embeddings te minimaliseren, terwijl er domeinverwarring (domain confusion) wordt afgedwongen voor de invariante kenmerken.

2. Worst Explicit Representation Alignment (WERA): Om de beperkingen van tekst-alleen sturing bij het vastleggen van visuele variaties te compenseren, verbetert deze module de visuele invariantie door middel van distributionele robuustheid.

   • De methode modelleert een worst-case distributie binnen een Wasserstein-bal gecentreerd rond het bron-domein.
   • In plaats van de beeldsemantiek te vervormen, hanteert het een stilisatie-strategie die het gemiddelde en de variantie (statistieken) van intermediaire visuele kenmerken aanpast met behulp van leerbare prompts.
   • Een iteratief optimalisatieproces zoekt naar de worst-case gestileerde samples die het empirische risico maximaliseren. Het model brengt vervolgens de representaties van de originele en de gestileerde samples in overeenstemming (alignment), om er zeker van te zijn dat de geleerde visuele kenmerken stabiel blijven onder begrensde distributionele verschuivingen.

3. Domain-Specific Prototype Learning (DSPL): Tijdens de inferentie beargumenteren de auteurs dat het uitsluitend vertrouwen op domein-invariante kenmerken suboptimaal is. Ze introduceren een ensemble-strategie die domein-invariante voorspellingen combineert met domein-specifieke voorspellingen.

   • Prototypes worden geconstrueerd voor elke klasse binnen elk bron-domein met behulp van de domein-specifieke visuele encoder.
   • Voor een test-sample berekent het model de gelijkenis tussen de query en deze prototypes om een domein-specifieke voorspelling te genereren.
   • De uiteindelijke output is een gewogen combinatie van de domein-invariante voorspelling en de domein-specifieke prototype-gebaseerde voorspelling, waarbij kennis van vergelijkbare geziene domeinen wordt ingezet om de classificatie van ongeziene doelgebieden te ondersteunen.

Belangrijkste Bijdragen

• PADG Framework: Een nieuw prompt-tuning framework dat de tekstuele modaliteit volledig benut om cross-modale ontwarring te bereiken, waarbij zowel invariante als specifieke componenten in zowel tekstuele als visuele ruimtes worden gescheiden.
• WERA Module: Een nieuwe module die visuele kenmerken adversarieel stileert binnen een Wasserstein-bal en alignment afdwingt tussen de originele en de geperturbeerde distributies. De auteurs bieden een theoretische analyse die generalisatiegrenzen garandeert onder deze optimalisatie.
• DSPL Strategie: Een prototype-gebaseerd ensemble-mechanisme dat domein-specifieke statistieken integreert met domein-invariante voorspellingen om de betrouwbaarheid van de inferentie te verbeteren.
• Uitgebreide Evaluatie: Uitgebreide experimenten die de effectiviteit van de methode over meerdere benchmarks aantonen.

Experimentele Resultaten
De auteurs hebben PADG geëvalueerd op vijf mainstream DG-benchmarks: PACS, VLCS, OfficeHome, DomainNet en TerraIncognita.

• Multi-Source DG: PADG bereikte state-of-the-art (SOTA) prestaties over alle datasets, met een gemiddelde nauwkeurigheid van 78,73%, waarmee het voorgaande SOTA-methoden zoals SIMPLE+ (78,10%) en SMOS (68,30%) overtreft. Met name op de uitdagende TerraIncognita dataset verbeterde PADG de ERM-baseline met 6,71% en overtrof het CLIP-LoRA met 3,31%.
• Single-Source DG: In de moeilijkere single-domain generalization setting (trainen op één bron, testen op meerdere doelgebieden), presteerde PADG significant beter dan bestaande methoden, inclusief UDIM en CLIP-gebaseerde benaderingen, met verbeteringen tot 16,79% op OfficeHome.
• Ablatie-studies: De auteurs bevestigden de statistische significantie van elk onderdeel (GAT, IMT, WERA, DSPL). De resultaten gaven aan dat tekstuele ontwarring rijke semantische aanwijzingen biedt, terwijl WERA de bron-doel divergentie effectief vermindert, en DSPL de inferentie verder verfijnt door gebruik te maken van domein-specifieke kennis.

Betekenis en Claims
Het artikel beweert dat PADG succesvol prompt tuning herformuleert als een ontwarringsprobleem (disentanglement problem), en daarmee effectief de beperkingen van bestaande methoden aanpakt die taakspecifieke en domein-invariante kenmerken vermengen. Door de semantische rijkdom van LLM's te combineren met de distributionele robuustheid van Wasserstein-gebaseerd leren, bereikt de methode robuuste prestaties, zelfs onder aanzienlijke stijlverschuivingen en beperkte brongegevens. De auteurs stellen dat hun aanpak een lichtgewicht maar effectief fine-tuning framework biedt dat de hypothese valideert dat expliciete ontwarring van invariante en specifieke factoren cruciaal is voor generalisatie. De theoretische analyse ondersteunt verder de claim dat de voorgestelde optimalisatie robuustheid garandeert tegen distributionele verschuivingen binnen een gedefinieerde straal.