Sintesi Tecnica: Tuning Adversariale di Prompt di Dominio e Generazione per la Generalizzazione a Dominio Singolo

1. Definizione del Problema

Il documento affronta la Generalizzazione a Dominio Singolo (SDG), un paradigma di apprendimento impegnativo in cui un modello deve essere addestrato su un singolo dominio etichettato ($\mathcal{D}_S$) per operare in modo robusto su molteplici domini target non visti ($\mathcal{D}_T$). A differenza della standard Generalizzazione di Dominio (DG), che utilizza più domini sorgente, o dell'Adattamento di Dominio (DA), che ha accesso ai dati target, la SDG opera sotto vincoli stretti in cui i domini target non sono disponibili durante l'addestramento e spesso presentano significativi shift di distribuzione (ad esempio, cambiamenti di stile, sfondo o punto di vista).

Gli approcci SDG esistenti si affidano tipicamente all'augmentation dei dati o alla normalizzazione adattiva. Tuttavia, questi metodi faticano a costruire domini sufficientemente diversificati per coprire arbitrarie lacune di stile, specialmente quando le caratteristiche del dominio sono troppo astratte per essere descritte manualmente. Sebbene i modelli fondativi Text-to-Image (T2I) offrano potenti capacità generative, progettare manualmente prompt testuali per ogni possibile stile di dominio è impraticabile e non riesce a catturare le sfumature stilistiche astratte.

2. Metodologia: Progressive Adversarial Prompt Tuning (PAPT)

Gli autori propongono il Progressive Adversarial Prompt Tuning (PAPT), un framework che sfrutta i modelli di Diffusione Latente (LDM) pre-addestrati per generare automaticamente dati di addestramento out-of-distribution (OOD) diversificati. Invece di fare affidamento su descrizioni testuali statiche, il metodo apprende due set di prompt astratti e apprendibili:

2.1. Componenti Core

1. Category Prompt Tuning (CPT):

   • Obiettivo: Catturare informazioni di categoria invarianti al dominio.
   • Meccanismo: Per ogni classe $k$, un vettore di prompt apprendibile $\mathbf{E}^c_k$ viene inserito in un template di testo fisso (ad esempio, "una foto di un [classe]"). Questo prompt viene ottimizzato utilizzando i dati del dominio sorgente per garantire che le immagini generate mantengano le corrette caratteristiche semantiche della classe indipendentemente dallo stile del dominio.

2. Adversarial Domain Prompt Tuning (AD):

   • Obiettivo: Modellare stili specifici del dominio, inclusi quelli troppo astratti per il linguaggio.
   • Meccanismo: Un set di vettori di prompt di dominio apprendibili $\mathbf{E}^d_i$ è mantenuto in un Domain-specific Memory Bank ($\mathcal{P}$).
   • Obiettivo Adversariale: Per generare un nuovo prompt di dominio $\mathbf{E}^d_o$, il modello minimizza la similarità tra la rappresentazione latente dell'immagine generata e tutti i prompt esistenti in $\mathcal{P}$. Ciò è ottenuto tramite una perdita contrastiva ($\mathcal{L}_{domain}$) che spinge il nuovo stile lontano dagli stili precedentemente appresi.
   • Obiettivo di Consistenza: Contemporaneamente, una perdita di consistenza della categoria ($\mathcal{L}_{class}$) assicura che l'immagine generata rimanga semanticamente allineata con il prompt della categoria.
   • Ottimizzazione: La perdita totale è $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$. Per rendere fattibile la backpropagation, gli autori impiegano un'approssimazione a un solo step del processo di denoising.

3. Schema di Addestramento Progressivo (PTS):

   • Obiettivo: Garantire una diversità continua nei domini generati.
   • Meccanismo: Il memory bank $\mathcal{P}$ viene aggiornato iterativamente. Dopo un numero prestabilito di iterazioni, il nuovo prompt di dominio appena appreso $\mathbf{E}^d_o$ viene aggiunto a $\mathcal{P}$. Questo costringe l'addestramento successivo a generare stili che siano distinti dall'insieme in espansione di stili appresi, ampliando efficacemente la distribuzione dei dati di addestramento generati.

2.2. Workflow

1. Inizializzazione: Seminare manualmente $\mathcal{P}$ con alcuni embedding di dominio testuali.
2. Addestramento:
   • Ottimizzare i prompt di categoria $\mathbf{E}^c_k$ sui dati sorgente.
   • Apprendere iterativamente nuovi prompt di dominio $\mathbf{E}^d_o$ tramite tuning adversariale contro $\mathcal{P}$.
   • Aggiornare $\mathcal{P}$ aggiungendo i nuovi prompt di successo.
3. Generazione: Utilizzare i prompt appresi per generare un set diversificato di immagini ($\mathcal{D}_G$) utilizzando il modello T2I.
4. Modello Finale: Addestrare il classificatore downstream sull'unione del dominio sorgente originale e delle immagini di dominio generate.

3. Contributi Chiave

Il documento dichiara i seguenti contributi:

• Prima Applicazione di T2I per la SDG: È il primo lavoro a sfruttare i modelli fondativi text-to-image specificamente per la generalizzazione a dominio singolo, andando oltre l'ingegneria dei prompt manuale verso prompt astratti apprendibili.
• Apprendimento di Prompt Astratti: Il metodo sostituisce i rigidi domini testuali con vettori apprendibili che possono rappresentare stili astratti difficili da descrivere con le parole (ad esempio, specifici stili artistici o cambiamenti di sfondo).
• Framework Adversariale Progressivo: Il framework PAPT proposto bilancia il compromesso tra la generazione di stili di dominio diversificati e la preservazione della semantica categoriale attraverso un meccanismo di apprendimento adversariale e una strategia di aggiornamento progressivo del memory bank.
• Prestazioni State-of-the-Art: Il metodo raggiunge prestazioni superiori rispetto agli approcci SDG esistenti su molteplici benchmark.

4. Risultati Sperimentali

Il metodo è stato valutato su cinque benchmark standard di DG: PACS, VLCS, Office-Home, DomainNet e TerraIncognita.

• Single Domain Generalization (SDG):

  • Su PACS, PAPT ha raggiunto un'accuratezza media del 72,72%, superando il precedente migliore (Prompt-Driven) dell'1,60%.
  • Su VLCS, ha raggiunto il 73,37%, un miglioramento significativo del 9,55% rispetto al baseline, dimostrando robustezza agli shift di sfondo e di punto di vista dove le etichette di dominio non portano significato semantico.
  • Su Office-Home, ha raggiunto il 62,03%, superando lo stato dell'arte del 3,73%.
  • Il metodo ha mostrato guadagni particolarmente forti quando il dominio sorgente era uno stile "difficile" (ad esempio, Sketch o Clipart), con miglioramenti fino al 21,62% in setting specifici.

• Multi-Source Domain Generalization:

  • Quando esteso a setting multi-sorgente, PAPT ha superato lo stato dell'arte SMOS in media dell'1,34% su tutti i dataset.
  • In particolare, sul challenging dataset DomainNet (grandi discrepanze di stile), PAPT ha superato SMOS del 4,88%.

• Studi di Ablazione:

  • Adversarial Domain Tuning (AD): Ha fornito guadagni del 3,88% su PACS e del 3,42% su VLCS, provando che i prompt apprendibili superano le descrizioni testuali manuali per gli stili astratti.
  • Progressive Training Scheme (PTS): Ha ulteriormente migliorato le prestazioni del 2,50% (PACS) e dello 0,83% (VLCS), confermando che l'espansione iterativa della diversità di stile riduce la discrepanza di distribuzione.
  • Sensibilità dei Parametri: Il metodo ha mostrato stabilità riguardo all'inizializzazione del memory bank e all'iperparametro $\lambda$ (impostato a 10).

5. Significato e Rivendicazioni

Il documento posiziona il proprio lavoro come una soluzione ai limiti delle attuali tecniche di data augmentation, che spesso non riescono a coprire l'ampia lacuna di distribuzione tra il dominio sorgente e quello target. Utilizzando il potere generativo dei modelli T2I attraverso prompt astratti apprendibili, gli autori affermano di poter:

1. Superare l'incapacità del testo manuale di descrivere le caratteristiche astratte del dominio.
2. Generare automaticamente un intervallo sufficientemente diversificato di immagini di addestramento senza richiedere l'accesso ai dati target o a molteplici domini sorgente.
3. Raggiungere una performance di generalizzazione dimostrabile minimizzando esplicitamente la discrepanza di distribuzione tra i dati generati e quelli target attraverso l'apprendimento adversariale.

Gli autori concludono che il loro framework mitiga efficacemente i problemi di domain shift, in particolare in scenari che coinvolgono complessi cambiamenti di sfondo e di punto di vista, offrendo un'alternativa robusta agli esistenti metodi di SDG.