Sintesi Tecnica: Decoupled Guidance (DeGu)

1. Problema

La personalizzazione text-to-image mira a generare immagini di un soggetto specifico fornito dall'utente (ad esempio, un particolare animale domestico o un prodotto) in nuove scene descritte dal testo. Tuttavia, i metodi esistenti soffrono di un limite strutturale fondamentale denominato entanglement del condizionamento (conditioning entanglement). Nei paradigmi attuali — che si tratti di ottimizzazione degli embedding (es. Textual Inversion), fine-tuning (es. DreamBooth) o approcci basati su encoder — l'identità del soggetto e il contesto della scena vengono instradati attraverso un unico percorso di condizionamento.

Questa struttura unificata costringe il token del soggetto e i token del contesto a competere per le stesse risorse di cross-attention. Gli autori identificano un fenomeno chiamato collasso dell'attenzione (attention collapse), in cui il token del soggetto appreso assorbe la maggior parte del budget di attenzione, sopprimendo sistematicamente i token del contesto (ad esempio, "foresta", "tappeto viola"). Ciò crea un rigido compromesso tra fedeltà ed editabilità (fidelity–editability trade-off): aumentare la fedeltà del soggetto degrada inevitabilmente la capacità del modello di aderire alle istruzioni compositive del prompt testuale, e viceversa.

2. Metodologia: Decoupled Guidance (DeGu)

Per risolvere questo entanglement, gli autori propongono Decoupled Guidance (DeGu), un framework plug-and-play che instrada l'identità del soggetto e il contesto della scena attraverso due flussi di guida indipendenti. Il framework opera a tre livelli:

A. Context-Agnostic Embeddings (CAE)

I metodi standard addestrano i token del soggetto all'interno di prompt carichi di contesto (ad esempio, "un sks nella neve"), causando il fatto che l'embedding codifichi le co-occorrenze linguistiche. DeGu introduce i CAE, che addestrano il token apprendibile $[S^*]$ in completa isolazione utilizzando una sequenza contenente solo il token e il padding (ad esempio, [SOT] [S*] [EOT]...).

• Meccanismo: Il text encoder mappa questa sequenza isolata in una condizione di fedeltà ($c_f$) che cattura solo l'identità visiva del soggetto, libera dal contesto linguistico.
• Contrasto: La condizione di contesto ($c_e$) è derivata da prompt testuali standard che non contengono token apprendibili.

B. Decoupled Guidance Mixer (DGM)

DeGu riformula la Classifier-Free Guidance (CFG) per combinare le predizioni dai due flussi indipendenti. Inveve di una singola predizione condizionale, la predizione del rumore $\tilde{\epsilon}(z_t)$ è calcolata come:
$$\tilde{\epsilon}(z_t) = \epsilon(z_t) + \gamma_e(\epsilon(z_t, t, c_e) - \epsilon(z_t)) + \gamma_f(\epsilon(z_t, t, c_f) - \epsilon(z_t))$$

• Meccanismo: $c_f$ e $c_e$ sono elaborati in passaggi forward separati, generando coppie chiave-valore disgiunte per il meccanismo di cross-attention. Ciò elimina l'interferenza a livello di percorso.
• Base Teorica: Questa formulazione corrisponde allo score di una distribuzione Product-of-Experts (PoE), assumendo l'indipendenza condizionale tra le condizioni di fedeltà ed editabilità dato lo stato latente.

C. Test-time Cross-Attention Masking (TCAM)

Anche con i flussi separati, il flusso di fedeltà ($c_f$) può far trapelare informazioni di sfondo di riferimento nella scena generata. TCAM affronta questo problema partizionando spazialmente la guida ad ogni step di denoising senza ricorrere a modelli di segmentazione esterni.

• Meccanismo: TCAM deriva una maschera del soggetto $M_t$ invertendo e binarizzando la mappa di attenzione di un token designato non appartenente al soggetto (ad esempio, [SOT] o [EOT]) all'interno del flusso di fedeltà.
• Applicazione: La guida finale è spazialmente vincolata: $c_f$ è applicato solo alla regione del soggetto ($M_t$), mentre $c_e$ è applicato allo sfondo ($1 - M_t$). Ciò sfrutta le mappe di attenzione nello spazio latente, evitando l'instabilità della decodifica di latenti rumorosi per la segmentazione esterna.

3. Contributi Chiave

1. Diagnosi dell'Entanglement del Condizionamento: Il paper fornisce prove causali che il compromesso fedeltà-editabilità è una conseguenza strutturale dei prompt unificati, caratterizzata dal "collasso dell'attenzione" dove i token del soggetto sopprimono i token del contesto.
2. Framework Decoupled: DeGu è il primo framework che instrada esplicitamente soggetto e contesto attraverso flussi di guida indipendenti, permettendo la regolazione indipendente di fedeltà ($\gamma_f$) ed editabilità ($\gamma_e$) durante l'inferenza.
3. Integrazione Plug-and-Play: Il metodo non richiede la modifica dei pesi del backbone sottostante. Può essere applicato a metodi di personalizzazione esistenti (ottimizzazione degli embedding, fine-tuning, approcci basati su encoder) e a diversi backbone (U-Net, Diffusion Transformers) con un overhead di memoria minimo (centinaia di kilobyte per i token CAE).
4. Partizionamento Spaziale: L'introduzione di TCAM consente un controllo spaziale preciso utilizzando mappe di attenzione interne, eliminando la necessità di modelli di segmentazione esterni e il relativo overhead computazionale.

4. Risultati Sperimentali

Gli autori hanno valutato DeGu su tre backbone (SD v2.1, SDXL, SD v3.5) e molteplici paradigmi:

• Performance Quantitative: DeGu sposta costantemente la frontiera di Pareto della personalizzazione. Su SD v2.1, ha migliorato il punteggio complessivo per Textual Inversion (TI) da 0.4953 a 0.5236 e per DreamBooth da 0.5127 a 0.5254. Ha migliorato significativamente le metriche di fedeltà mascherata (MDINO) fino a +0.0786 mantenendo un'editabilità competitiva.
• Generalizzazione: Il metodo ha migliorato le prestazioni attraverso l'ottimizzazione degli embedding, il fine-tuning e i metodi basati su encoder. È stato inoltre efficace su SD v3.5, che utilizza un'architettura Diffusion Transformer (DiT).
• Studi di Ablazione:
  • CAE da solo: Ricrea il collasso dell'attenzione se posizionato in un flusso unificato.
  • DGM da solo: Decouple la guida ma permette la fuga dello sfondo (background leakage).
  • Full DeGu: La combinazione di tutti i componenti raggiunge un'alta fedeltà e un controllo compositivo.
• Controllo dell'Inferenza: Il framework consente il controllo dinamico del bilanciamento fedeltà-editabilità durante l'inferenza regolando $\gamma_f$ e $\gamma_e$, una capacità assente nei metodi entangled.

5. Significato e Rivendicazioni

Il paper sostiene che l'entanglement del condizionamento sia un collo di bottiglia strutturale nella personalizzazione text-to-image che limita il controllo compositivo. Decoupling i percorsi di guida, DeGu sposta il bilanciamento fedeltà-editabilità da una decisione fissa durante l'addestramento a una scelta flessibile durante l'inferenza.

Gli autori sottolineano che il loro approccio:

• Non si affida all'aumento della capacità del modello (ad esempio, aggiungendo più token) per risolvere il compromesso, ma ristruttura il modo in cui le condizioni vengono applicate.
• È agnostico rispetto all'architettura, funzionando efficacementamente sia con backbone U-Net che Diffusion Transformer.
• Fornisce un meccanismo principato per regolare indipendentemente l'identità del soggetto e l'aderenza alla scena, risolvendo il "collasso dell'attenzione" osservato nei metodi esistenti.

Il lavoro è presentato come un potenziamento modulare che migliora i metodi di personalizzazione esistenti senza richiedere il ri-addestramento dei modelli base, offrendo una soluzione scalabile per la generazione di immagini ad alta fedeltà ed editabile.