Sintesi Tecnica: VT-DUDA

Problematica

L'Unsupervised Domain Adaptation (UDA) mira a apprendere un classificatore per un dominio target non etichettato utilizzando dati sorgente etichettati sotto variazioni di distribuzione. Mentre i metodi classici operano nello spazio delle caratteristiche tramite la minimizzazione della discrepanza o l'allineamento avversario, i recenti approcci basati sulla diffusione adottano una prospettiva centrata sui dati: sintetizzano immagini etichettate in stile target per addestrare un classificatore a valle.

Tuttavia, gli esistenti metodi di UDA guidati dalla diffusione soffrono di una scarsa specificità del condizionamento. Gli approcci attuali si affidano tipicamente a prompt testuali grossolani a livello di classe (ad esempio, "un letto") o a indicatori di dominio generici. Ciò risulta in una perdita di dettagli visivi a livello di istanza durante la sintesi, poiché molteplici immagini sorgente distinte della stessa classe vengono mappate su identiche condizioni testuali. Di conseguenza, i dati generati in stile target possono mancare delle specifiche sfumature visive necessarie per massimizzare le prestazioni di classificazione a valle, particolarmente sotto budget di generazione limitati.

Metodologia: VT-DUDA

Gli autori propongono VT-DUDA (Visual Token conditioning for Diffusion-guided Unsupervised Domain Adaptation), un framework che aumenta il condizionamento standard basato sul testo con token visivi a livello di istanza. Il metodo opera all'interno di un modello di diffusione latente (LDM) basato su adapter senza modificare il backbone, il VAE o l'obiettivo di denoising.

Componenti Core

1. Encoder Image-to-Token ($G_\psi$):
   Un encoder apprendibile mappa un'immagine di input $v$ in una sequenza compatta di $M$ token visivi $U = [u_1, \dots, u_M]$. Questa sequenza cattura il contesto visivo specifico dell'istanza. L'encoder è addestrato congiuntamente con il modello di diffusione utilizzando solo lo standard obiettivo di denoising, senza supervisione ausiliaria a livello di token.

2. Contesto di Cross-Attention Ibrido:
   VT-DUDA modifica l'input di condizionamento al meccanismo di cross-attention del modello di diffusione. Invece di utilizzare solo embedding testuali, il modello concatena i token testuali con i token visivi lungo la dimensione della sequenza:

   • Branch Sorgente: Il contesto di condizionamento combina un prompt testuale specifico della classe (ad esempio, "Un [classe]") con i token visivi estratti dalla specifica immagine sorgente.
   • Branch Target: Il contesto di condizionamento combina un prompt generico (ad esempio, "Un'immagine") con i token visivi estratti dall'immagine target non etichettata.
   • Controllo della Forza: Coefficienti apprendibili ($\kappa_s, \kappa_t$) controllano la forza relativa del condizionamento tramite token visivi.

3. Addestramento Congiunto:
   Il framework ottimizza congiuntamente i parametri dell'adapter specifico del dominio ($\Delta\theta$) e i parametri dell'encoder dei token ($\psi$). L'obiettivo di addestramento minimizza la perdita di denoising per entrambi i rami sorgente e target, dove il ramo target apprende a denoisare sotto un contesto aumentato dai token senza accesso alle etichette target.

4. Sintesi e Generazione:
   Per generare dati etichettati in stile target, il modello campiona dal rumore gaussiano (o utilizza l'inversione DDIM per la traduzione) sotto il ramo target. Fondamentalmente, il contesto di condizionamento è popolato dal prompt della classe sorgente e dai token visivi dell'immagine sorgente. Ciò consente al modello di sintetizzare un'immagine in stile target che mantiene i dettagli specifici a livello di istanza di un campione sorgente pur aderendo all'aspetto del dominio target.

5. Manipolazione al Tempo di Inferenza:
   Poiché la guida visiva è esplicita come sequenza di token, il framework supporta la manipolazione al tempo di inferenza. Gli utenti possono selezionare sottoinsiemi di token o regolare la scala della forza del token ($\eta$) per controllare la sintesi senza riaddestramento.

Contributi Chiave

• Framework di Condizionamento Visual-Token: Il documento introduce un metodo per arricchire le interfacce di cross-attention standard con token visivi dipendenti dall'istanza, affrontando la mancanza di guida fine nei processi di UDA basati sulla diffusione.
• Protocolli di Generazione Unificati: Il framework supporta due percorsi per la costruzione di dati sintetici:
  1. Sintesi da puro rumore: Generazione di immagini in stile target da rumore gaussiano condizionato sui token sorgente.
  2. Traduzione basata su inversione DDIM: Traduzione di immagini sorgente nel dominio target utilizzando la stessa interfaccia condizionata dai token.
• Compatibilità con il Backbone: Il metodo si integra in esistenti framework di diffusione basati su adapter (ad esempio, LoRA) senza alterare il backbone di diffusione o l'obiettivo fondamentale di denoising.
• Flessibilità di Inferenza: Il design a token consente la manipolazione diretta del segnale di condizionamento (selezione del sottoinsieme, scaling della forza) al tempo di inferenza.

Risultati Sperimentali

Il metodo è stato valutato su tre benchmark standard: Office-31, Office-Home e VisDA-2017.

• Guadagni di Prestazione: VT-DUDA ha superato costantemente i forti baseline discriminativi (MCC, ELS) e gli esistenti metodi basati sulla diffusione (Terra, DCDM).
  • Su Office-Home, VT-DUDA (istanziato su ELS) ha raggiunto il 76,74% di accuratezza media, superando il miglior baseline di diffusione (ELS+Terra al 76,26%) e il baseline discriminativo (ELS al 71,84%).
  • Su VisDA-2017, ha raggiunto l'88,42%, migliorando rispetto a ELS+Terra (86,86%) ed ELS (83,40%).
• Efficienza dei Dati: Un risultato significativo è che VT-DUDA raggiunge prestazioni superiori anche con un budget di generazione più leggero.
  • In un setting "inversion-free" (utilizzando solo 50 immagini per classe per Office-31/Office-Home e 1000 per VisDA-2017), VT-DUDA ha superato l'intera pipeline Terra (che include la traduzione basata su inversione) e il metodo DCDM (che utilizza 200/2000 immagini per classe).
  • Ciò suggerisce che l'interfaccia condizionata dai token migliora l'utilità di ogni campione generato, rendendo i dati sintetici più efficaci per l'addestramento a valle.
• Studi di Ablazione: Gli esperimenti hanno indicato che un set di token compatto ($M=5$ o $10$) è sufficiente per prestazioni elevate, mentre sequenze troppo lunghe ($M=20, 50$) degradano l'accuratezza.

Significato e Rivendicazioni

Il paper sostiene che il contributo primario di VT-DUDA sia dimostrare che il design del condizionamento è un fattore critico nella UDA basata sulla generazione. Gli autori argomentano che aumentare semplicemente il volume dei dati sintetici non è sufficiente; piuttosto, la specificità del segnale di condizionamento determina l'utilità a valle dei dati generati.

Fornendo un contesto visivo a livello di istanza insieme ai prompt di classe, VT-DUDA costruisce dati sintetici in stile target che sono più rappresentativi delle istanze sorgente, portando a migliori prestazioni del classificatore. Il documento posiziona questo come un miglioramento pratico agli esistenti framework di diffusione basati su adapter, offrendo un'interfaccia unificata sia per la sintesi pura che per la traduzione basata su inversione, consentendo al contempo un controllo flessibile sul processo di generazione al tempo di inferenza. Gli autori notano modestamente che i token visivi non sono garantiti essere semanticamente disgiunti o interpretabili dall'uomo, e che il metodo è valutato strettamente nel contesto della UDA per la classificazione delle immagini.