Riepilogo Tecnico: Diagnosi e Correzione dell'Omissione di Concetti nei Trasformatori di Diffusione Multimodali

Enunciato del Problema

I Trasformatori di Diffusione Multimodali (MM-DiT), come FLUX e Stable Diffusion 3.5, hanno raggiunto progressi significativi nella generazione da testo a immagine (T2I). Tuttavia, soffrono frequentemente di omissione di concetti, una modalità di fallimento in cui oggetti specifici richiesti nel prompt sono completamente assenti dall'immagine generata (omissione di oggetti) o le loro proprietà visive vengono ignorate (negligenza degli attributi). Le soluzioni esistenti spesso richiedono un'ulteriore addestramento del modello o comportano costi computazionali elevati durante l'inferenza. Inoltre, le ricerche precedenti sull'interpretabilità si sono concentrate prevalentemente sugli embedding visivi, lasciando sottoposto all'esplorazione il ruolo degli embedding testuali nel rilevare e correggere queste omissioni.

Metodologia

1. Diagnosi tramite Linear Probing

Gli autori ipotizzano che gli embedding dei token testuali all'interno degli MM-DiT contengano informazioni riguardanti la presenza o l'assenza del concetto corrispondente durante il processo di generazione. Per verificare ciò, impiegano il linear probing:

• Costruzione del Dataset: Generano immagini utilizzando prompt contenenti due oggetti (basati su GenEval). Etichettano le rappresentazioni interne in base alla comparsa riuscita degli oggetti nell'immagine finale.
• Selezione della Rappresentazione: Si concentrano sui vettori chiave ($k$) dei token testuali, poiché è noto che questi influenzano pesantemente la generazione di immagini nelle architetture MM-DiT.
• Filtraggio Temporale: Osservano che l'allineamento tra le rappresentazioni interne e i risultati finali della generazione è scarso nei passi temporali iniziali e finali. Di conseguenza, limitano la loro analisi ai passi temporali intermedi, dove l'accordo tra le immagini pulite previste ($\hat{x}_0$) e le etichette finali è massimo (0,965).
• Risultati: I classificatori lineari addestrati su queste rappresentazioni intermedie raggiungono un'accuratezza elevata (fino al 91,0%) in specifiche teste di attenzione, in particolare negli strati intermedi del modello. Ciò conferma che teste specifiche codificano un distinto "segnale di omissione" che distingue tra la presenza e l'assenza di un concetto.

2. Intervento sul Segnale di Omissione (OSI)

Sfruttando il segnale di omissione identificato, gli autori propongono l'Intervento sul Segnale di Omissione (OSI), un metodo privo di addestramento da applicare durante l'inferenza per correggere l'omissione di concetti:

• Estrazione della Direzione: Calcolano un vettore di direzione di guida ($\delta$) che rappresenta la differenza tra i vettori chiave medi dei concetti omessi ($y=0$) e dei concetti presenti ($y=1$).
• Meccanismo di Intervento: Durante l'inferenza, intervengono sui vettori chiave di specifici token concettuali aggiungendo una versione scalata di questo vettore di direzione:
  $$k^{(t,l,h)}_c \leftarrow k^{(t,l,h)}_c + \alpha \sigma^{(l,h)} \theta^{(l,h)}$$
  Dove $\theta$ è la direzione normalizzata, $\sigma$ è la deviazione standard delle proiezioni e $\alpha$ è un iperparametro che controlla l'intensità.
• Strategia di Targeting: Per minimizzare le perturbazioni non intenzionali, l'intervento viene applicato solo a:
  1. Le top-K teste di attenzione con la massima accuratezza nel probing.
  2. Specifici intervalli temporali (i passi iniziali del processo di generazione, $t \in [t_{stop}, 1]$), dove avviene principalmente la formazione del concetto.

Contributi Chiave

1. Verifica Empirica: Il documento dimostra che i token testuali negli MM-DiT catturano informazioni relative all'omissione attraverso l'interazione congiunta con i token immagine, specificamente all'interno di certe teste di attenzione nei passi temporali intermedi.
2. Metodo OSI: L'introduzione dell'Intervento sul Segnale di Omissione, che amplifica il "segnale di omissione" interno per rendere il modello consapevole dei concetti mancanti, catalizzando così la loro generazione senza riaddestramento.
3. Validazione Completa: Il metodo è validato su due categorie di benchmark (omissione di oggetti e negligenza degli attributi) su due modelli all'avanguardia (FLUX.1-Dev e SD3.5-Medium), mostrando miglioramenti significativi rispetto a baseline solide come TACA e PLADIS.

Risultati Sperimentali

• Omissione di Oggetti: Sul dataset GenEval (2–6 oggetti) e su T2I-CompBench, OSI supera significativamente le baseline. Ad esempio, su FLUX con prompt a 6 oggetti, OSI raggiunge un'accuratezza di 0,40, rispetto a 0,18 per il modello base e 0,20 per TACA/PLADIS.
• Negligenza degli Attributi: OSI migliora le prestazioni nei compiti di associazione degli attributi (colore, forma, texture) su entrambi i modelli. In modo notevole, applicare l'intervento ai token degli attributi (oltre che ai token degli oggetti) produce ulteriori guadagni, suggerendo che il segnale si generalizza oltre i token degli oggetti.
• Studi di Ablazione:
  • Direzione: Invertire la direzione o utilizzare vettori casuali degrada le prestazioni o produce guadagni marginali, confermando l'allineamento semantico della direzione appresa.
  • Selezione delle Teste: Intervenire su teste a bassa accuratezza o su teste casuali non riesce a eguagliare le prestazioni della selezione delle top-K teste.
  • Specificità dei Token: Intervenire solo sui token omessi aumenta significativamente la loro probabilità e accuratezza di generazione, mentre intervenire su token già presenti ha un effetto trascurabile.
  • Iperparametri: Il metodo è robusto su un intervallo di coefficienti di scalatura ($\alpha$) e conteggi di teste ($K$), con impostazioni ottimali che bilanciano l'allineamento e la qualità dell'immagine (misurata tramite MANIQA).

Significato e Affermazioni

Il documento afferma che OSI offre una nuova prospettiva sul meccanismo della generazione da testo a immagine, identificando che il modello possiede una consapevolezza interna, rilevabile, dei concetti mancanti. Amplificando questo segnale, il modello può essere guidato a "allucinare" intenzionalmente gli elementi mancanti.

Gli autori posizionano OSI come una soluzione priva di addestramento ed efficiente dal punto di vista computazionale che allevia l'omissione di concetti senza la necessità di fine-tuning o ottimizzazione complessa dei vincoli. Sottolineano che, sebbene il metodo migliori la controllabilità, non introduce nuove conoscenze nel modello, ma piuttosto guida le rappresentazioni esistenti. Il lavoro suggerisce che comprendere e manipolare i "segnali di omissione" interni è una via percorribile per migliorare la fedeltà dei modelli di diffusione multimodali.