Sintesi Tecnica: Divide-and-Denoise

Definizione del Problema

La proliferazione di modelli di diffusione pre-addestrati offre significative opportunità di composizione, permettendo agli utenti di combinare l'esperienza di molteplici modelli specializzati (ad esempio, un modello addestrato su cani e un altro su gatti) per generare dati complessi che nessun singolo modello potrebbe produrre da solo. Tuttavia, combinare ingenuamente questi modelli presenta due sfide primarie:

1. Dominanza: Un modello può sovrastare gli altri, portando alla trascuratezza di specifici concetti.
2. Disaccordo: I modelli possono entrare in conflitto, risultando in output incoerenti, oggetti sovrapposti o attributi errati (ad esempio, un "cane" e un "gatto" che si fondono in un unico ammasso incoerente).

Gli approcci esistenti, come la definizione di distribuzioni composite tramite densità di prodotto o partizioni spaziali definite dall'utente (ad esempio, MultiDiffusion), spesso non riescono a preservare le caratteristiche distinte di ciascun modello quando sorgono conflitti. Le partizioni definite dall'utente sono macchinose, spesso impraticabili per domini complessi (come le strutture proteiche) e non si adattano alle forze e alle debolezze specifiche dei modelli nelle diverse fasi della generazione.

Metodologia: Divide-and-Denoise

Gli autori propongono Divide-and-Denoise, un framework basato sulla teoria dei giochi che coordina molteplici modelli di diffusione pre-addestrati durante il processo di campionamento. Il metodo opera tramite due processi accoppiati che evolvono in tandem ad ogni timestep $t$:

1. Il Processo di Divisione (Allocazione Equa)

Invece di partizioni fisse, il metodo inferisce una "divisione del lavoro" ottimale online. L'immagine latente è trattata come un insieme di $m$ caratteristiche (beni) da allocare tra $n$ modelli (giocatori).

• Utilità: A ciascun modello $i$ viene assegnata un'utilità $u_{ij}(x, t)$ per ogni caratteristica $j$ del latente $x$. Il documento definisce due tipi di utilità:
  • Basata sullo score (Score-based): Derivata dall'entità della differenza di score tra la guida condizionata e quella incondizionata (applicabile a qualsiasi modello di diffusione condizionato).
  • Basata sull'attenzione (Attention-based): Derivata dalle mappe di cross-attention (specifica per i modelli con condizionamento tramite cross-attention).
• Gioco di Divisione Equa: Ad ogni step, il metodo risolve un gioco di divisione equa per determinare una matrice di allocazione $Q$. L'obiettivo è massimizzare l'utilità totale attesa (efficienza) soggetta a vincoli di equità (ad esempio, proporzionalità, assenza di invidia).
• Ottimizzazione: L'allocazione $Q_t$ viene aggiornata risolvendo un problema di ottimizzazione vincolata regolarizzato dalla divergenza di Kullback-Leibler (KL) rispetto all'allocazione del timestep precedente per garantire la fluidità temporale. La soluzione è derivata tramite un problema duale, producendo un'allocazione decomponibile in cui ogni caratteristica è assegnata a un peso frazionario per ogni modello.

2. Il Processo di Denoising Composito

Una volta determinata l'allocazione $Q_t$, il metodo costruisce un kernel di denoising composito $p^c_t$ che si allinea con questa divisione.

• Allineamento: L'aggiornamento composito è formulato per mantenere il passo di denoising per le caratteristiche allocate al modello $i$ vicino alla proposta del modello $i$, massimizzando al contempo l'utilità totale.
• Regola di Aggiornamento: Sotto ipotesi semplificative (distribuzioni fattorizzate e utilità lineare), la media composita ottimale $\mu^c_t$ è derivata come una somma pesata delle medie dei singoli modelli più un termine di guida:
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  Qui, $\odot$ denota il prodotto elemento per elemento, e il secondo termine agisce come un aggiornamento di guida basato sul gradiente dell'utilità totale.
• Giocatore Fittizio: Per gestire le regioni a bassa utilità dove i modelli potrebbero entrare in conflitto o mancare di preferenze, viene introdotto un "giocatore fittizio" con un'utilità uniforme. La sua proposta è la media di tutti i modelli, incoraggiando la collaborazione nelle regioni ambigue senza imporre vincoli di equità su di esso.

Contributi Chiave

1. Algoritmo di Coordinamento in Fase di Inferenza: Un metodo per coordinare molteplici modelli di diffusione pre-addestrati con diverse competenze senza richiedere pesi condivisi, architetture o dati di addestramento.
2. Processi Accoppiati: L'integrazione di un processo di divisione dinamica (risoluzione di un gioco di divisione equa) con un processo di denoising composito (allineamento dei modelli alle loro regioni assegnate).
3. Formulazioni di Utilità: Definizioni generali per le utilità dei modelli applicabili a qualsiasi modello di diffusione condizionato (basato sullo score) e una specifica istanza per i modelli di cross-attention (basata sull'attenzione).
4. Validazione Empirica: Dimostrazione che un team di modelli a concetto singolo, coordinati tramite questo metodo, supera le tecniche di composizione esistenti e persino i modelli a più concetti su benchmark standard.

Risultati Sperimentali

Il metodo è stato valutato sulla generazione di immagini condizionate utilizzando i modelli Stable Diffusion 2.0 e Diffusion Transformer (DiT).

• Benchmark: La valutazione è stata condotta utilizzando il benchmark GenEval (focalizzato sulla presenza di oggetti e sul legame degli attributi), CLIP-Score, VQAScore e ImageReward.
• Performance:
  • Generazione di Oggetti: Nell'impostazione "Concepts as Objects" (ad esempio, generare un'immagine con una borsa a mano e una palla da gioco), Divide-and-Denoise ha superato significativamente i baseline come Averaging, Composable Diffusion e MultiDiffusion. Per la generazione di 3 oggetti, ha raggiunto il 59,5% sulla metrica GenEval "%images" rispetto al 14,75% di Multi-Concept Diffusion e al 14,00% di MultiDiffusion.
  • Legame degli Attributi (Attribute Binding): Quando si generano oggetti con colori specifici (ad esempio, "cavallo arancione"), il metodo ha legato con successo gli attributi agli oggetti corretti, superando i baseline che spesso soffrivano di fuga di attributi o oggetti mancanti.
  • Risoluzione dei Conflitti: In scenari con concetti contrastanti (ad esempio, "deserto" vs "montagna innevata"), il metodo ha prodotto layout spaziali diversificati e immagini di qualità superiore rispetto ai baseline, evitando la fusione di concetti incompatibili.
  • Equità: L'inclusione di vincoli di equità (proporzionalità) ha ulteriormente migliorato le metriche, in particolare all'aumentare del numero di modelli, impedendo che un singolo modello dominasse la generazione.

Significato e Rivendicazioni

L'articolo sostiene che Divide-and-Denoise fornisca una ricetta generale per la modellazione generativa controllabile e riutilizzabile. La sua importanza risiede nel:

• Risolvere i Conflitti: Risolve efficacementmente i conflitti tra modelli senza richiedere interventi manuali o partizioni di ground-truth.
• Agnosticismo rispetto al Modello: La formulazione non è legata a specifiche architetture di modelli o meccanismi di condizionamento, funzionando sia con modelli di diffusione latente (Stable Diffusion) che con modelli basati su transformer (DiT).
• Interazione Cooperativa: Evidenzia come l'interazione cooperativa tra modelli pre-addestrati, mediata dall'equità della teoria dei giochi, possa produrre risultati superiori all'addestramento di un singolo grande modello a più concetti.
• Scalabilità: Il metodo scala a molteplici modelli (testato fino a 4) e domini, con potenziali estensioni a text-to-graph, text-to-audio e audio-to-image generation.

Gli autori osservano che, sebbene il metodo introduca un overhead computazionale (principalmente nella fase di divisione), le ottimizzazioni del tempo di esecuzione (come la restrizione dei passaggi di divisione e di guida ai primi timestep) possono ridurre significativamente i costi mantenendo i guadagni di performance.