Riassunto Tecnico: Generazione di Immagini da Testo Guidata dalla Rappresentazione Testuale Intermedia per Migliorare l'Allineamento One-and-Only

1. Definizione del Problema

I modelli di diffusione text-to-image (T2I) spesso falliscono nel rendere fedelmente le descrizioni testuali esplicite, in particolare quando tali descrizioni contraddicono i forti priori visivi appresi dal modello. Questo fenomeno è denominato bias di associazione concettuale (concept association bias). Il bias è più severo per le entità One-and-Only (OAO) — oggetti che esistono in una singola forma canonica (ad esempio, la Terra, la Gioconda, la Torre Eiffel). Per queste entità, l'identità visiva radicata nel modello spesso sovrasta le istruzioni testuali esplicite (ad esempio, fallendo nel generare una "Terra grigia" o una "Gioconda di maglia").

Gli autori ipotizzano che questo fallimento derivi dalle proprietà informazione-teoretiche degli encoder di testo. Mentre concetti semplici emergono nei primi strati dell'encoder, l'embedding testuale finale (utilizzato per il conditioning) scarta le informazioni specifiche a livello di concetto attraverso un'eccessiva astrazione. Di conseguenza, l'informazione mutua tra il testo di input e l'embedding finale è inferiore rispetto agli stati latenti intermedi, portando alla soppressione degli attributi specifici durante il processo di denoising.

2. Metodologia: Diffusione Guidata da IR

Il paper propone la diffusione guidata dalla Rappresentazione Testuale Intermedia (IR), un metodo senza training e senza ottimizzazione che recupera i concetti soppressi iniettando gli stati latenti intermedi dell'encoder di testo nel segnale di conditioning.

2.1 Fondamento Teorico

Utilizzando una prospettiva informazione-teoretica, gli autori formalizzano il problema dell'omissione dei concetti. Dimostrano che per un prompt testuale $Y$ che descrive un oggetto $A$ con un attributo $b$, il latente generato $x_t$ spesso contiene informazioni trascurabili su $b$ una volta che $A$ è stato considerato ($I(b; x_t | A) \approx 0$).
Analizzando l'encoder di testo come una catena di Markov $Y \rightarrow c_h \rightarrow c_f$ (dove $c_h$ è una rappresentazione intermedia e $c_f$ è l'embedding finale), applicano la Disuguaglianza del Processamento dei Dati (DPI). Ciò dimostra che l'informazione mutua tra il testo di input e la rappresentazione intermedia è maggiore o uguale a quella dell'embedding finale:
$$I(Y; c_h) \ge I(Y; c_f)$$
Gli autori postulano che il condizionamento del processo di denoising su $c_h$ (o su una combinazione di $c_h$ e $c_f$) preservi l'informazione specifica dell'attributo persa in $c_f$.

2.2 Meccanismo di Iniezione

Il metodo costruisce un embedding guidato da IR $\tilde{c}$ aggiungendo la rappresentazione intermedia all'embedding finale:
$$\tilde{c} = c_f + \lambda c_h$$
dove $\lambda \in [0, 1]$ controlla la forza dell'iniezione. Per garantire la compatibilità, la rappresentazione intermedia $c_h$ viene sottoposta alla normalizzazione finale dello strato dell'encoder di testo per allineare la sua distribuzione con $c_f$. Questo embedding modificato $\tilde{c}$ viene utilizzato per calcolare la funzione di score $\nabla_{x_t} \log p_\theta(x_t | \tilde{c})$.

L'approccio supporta sia architetture a singolo encoder (es. Stable Diffusion 2.1) che ad encoder multipli (es. Stable Diffusion 3.0) estraendo gli stati intermedi da tutti gli encoder, concatenandoli e aggiungendo il risultato agli embedding finali concatenati.

2.3 Programmazione Adattiva (Adaptive Scheduling)

Iniettare rappresentazioni intermedie durante l'intero processo di denoising può introdurre artefatti. Gli autori osservano che i modelli di diffusione stabiliscono la struttura globale nei primi step e raffinano i dettagli in quelli successivi. Pertanto, utilizzano uno Scheduler Adattivo per determinare il punto di transizione ottimale $t^*$:

1. Step Iniziali ($t > t^*$): Il modello è condizionato su $\tilde{c}$ (guidato dall'intermedio) per stabilire la struttura globale e incorporare gli attributi soppressi.
2. Step Successivi ($t \le t^*$): Il modello ritorna all'embedding finale standard $c_f$ per il raffinamento dei dettagli.

Il punto di transizione $t^*$ è determinato dinamicamente monitorando l'accelerazione strutturale $\Delta D_t$ dell'immagine pulita stimata $\hat{x}_{0|t}$. Lo scheduler interrompe l'iniezione quando i cambiamenti strutturali si stabilizzano ($\Delta D_t \le 0$).

3. Contributi Chiave

1. Analisi Informazione-Teoretica: Il paper identifica che gli embedding testuali finali scartano informazioni a livello di concetto presenti negli strati intermedi, riducendo l'informazione mutua disponibile per il processo di denoising.
2. Diffusione Guidata da IR: Un nuovo metodo, senza training, che inietta le rappresentazioni testuali intermedie nel segnale di conditioning durante le fasi iniziali di denoising. Recupera i concetti soppressi senza richiedere modelli esterni, set di concetti predefiniti o ottimizzazione aggiuntiva.
3. OAO-AttackBench: Un nuovo benchmark composto da 504 prompt controfattuali progettati per attaccare l'identità visiva centrale delle entità OAO attraverso tre categorie: oggetti celesti, monumenti e opere d'arte. Questo benchmark valuta sistematicamente il bias di associazione concettuale.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro benchmark: OAO-AttackBench, Whoops (prompt che violano il senso comune), Gecko(R) e Gecko(S), utilizzando Stable Diffusion 2.1 e 3.0.

• Allineamento Text-to-Image: La diffusione guidata da IR ha ottenuto un miglioramento fino a 19,1 punti percentuali in VQAScore su OAO-AttackBench rispetto al baseline. Ha superato costantemente il baseline e le strategie di post-processing alternative (es. normalizzazione Mean-Std, proiezione ortogonale) nel catturare attributi fini.
• Fedeltà e Preferenza Umana: Il metodo ha preservato la fedeltà della generazione, con punteggi Kernel Inception Distance (KID) comparabili o migliori del baseline. Anche i punteggi di preferenza umana (HPSv2 e HPSv2.1) sono migliorati, indicando che le immagini generate non solo erano più fedeli al prompt ma anche visivamente plausibili.
• Generalizzazione: Su dataset generali come Gecko, il metodo ha mantenuto prestazioni comparabili al baseline, dimostrando di non degradare la qualità per i prompt standard.
• Miglioramenti Qualitativi: Il metodo ha avuto successo nel sovrascrivere i forti priori (es. generando un "Saturno di vetro" o una "Terra a forma di ottagono") pur preservando l'identità dell'oggetto, mentre i baseline spesso ignoravano l'attributo o non lo associavano correttamente all'oggetto.

5. Significato e Rivendicazioni

Il paper afferma che la diffusione guidata da IR affronta un limite fondamentale negli attuali modelli T2I: l'incapacità di sovrascrivere i priori visivi profondamente radicati per le entità OAO senza riaddestramento. Sfruttando la "risorsa interna inespressa" degli stati intermedi dell'encoder di testo, il metodo offre una soluzione pratica al tempo di inferenza che non richiede ulteriore addestramento o modelli esterni.

Gli autori sottolineano che il loro approccio è distinto dai lavori precedenti che mirano a rimuovere feature o introdurre diversità; invece, risolve il problema complementare di generare concetti esplicitamente specificati che il modello tipicamente sopprime. L'introduzione di OAO-AttackBench fornisce un protocollo rigoroso per valutare e affrontare il bias di associazione concettuale nella ricerca futura. Il metodo è presentato come una strategia robusta e adattiva che migliora l'allineamento mantenendo gli elevati standard di generazione qualitativa dei modelli di diffusione allo stato dell'arte.