DOS: Directional Object Separation in Text Embeddings for Multi-Object Image Generation

1. Il Problema

I recenti modelli generativi da testo a immagine (T2I), come Stable Diffusion XL (SDXL) e SD 3.5, hanno raggiunto livelli eccezionali nella qualità delle immagini. Tuttavia, faticano notevolmente quando devono generare immagini contenenti multipli oggetti distinti. I fallimenti si manifestano principalmente in due modi:

• Negligenza degli oggetti (Object Neglect): Uno o più oggetti richiesti nel prompt non appaiono nell'immagine.
• Miscelazione degli oggetti (Object Mixing): Gli oggetti vengono fusi insieme, perdendo la loro identità individuale (es. un "gatto e un cane" che diventano un ibrido).

Gli autori identificano quattro scenari critici in cui questi fallimenti sono più frequenti a causa delle relazioni inter-oggettive:

1. Forme Simili: Oggetti con silhouette o geometrie simili (es. un pallone da basket e un'arancia).
2. Texture Simili: Oggetti con pattern superficiali simili (es. una zebra e una camicia a righe).
3. Bias di Sfondo Dissimili: Oggetti associati naturalmente a background molto diversi (es. un "cervo" che richiede un bosco e una "tartaruga marina" che richiede il mare), che confondono il modello.
4. Molti Oggetti: La complessità cumulativa di gestire tre o più oggetti contemporaneamente.

La ricerca attuale si è concentrata spesso sull'associazione tra sostantivi e attributi, trascurando le interazioni dirette tra entità nominali multiple.

2. Metodologia: DOS (Directional Object Separation)

Il metodo proposto, DOS, agisce modificando le embedding testuali CLIP prima che vengano passate al modello di generazione, senza alterare il processo di diffusione latente o richiedere aggiornamenti iterativi dei gradienti.

Motivazione Teorica

Il metodo si basa su due osservazioni chiave riguardanti le embedding CLIP:

1. Mix-up delle informazioni: A causa del meccanismo di mascheramento causale di CLIP, le informazioni dei token precedenti si mescolano in quelli successivi, creando confusione nelle embedding dei token tardivi.
2. Informazione Direzionale: La differenza tra due embedding CLIP codifica un'informazione direzionale (es. $embedding(A) - embedding(B)$ definisce una direzione nello spazio vettoriale).

Procedura Tecnica

DOS costruisce vettori di separazione (separation vectors) per ogni coppia di oggetti nel prompt e li aggiunge alle embedding originali. Il processo avviene in tre fasi:

1. Calcolo dei Vettori di Separazione:

   • Per le embedding dei token semantici (corrispondenti ai nomi degli oggetti): Si utilizzano prompt "puri" (es. "un {oggetto A}" vs "un {oggetto B}") per calcolare la differenza $s = c_{pure,A} - c_{pure,B}$. Questo evita il mix-up di informazioni.
   • Per le embedding EOT (End-of-Text) e Pooled: Si sfruttano intenzionalmente i mix-up attraverso prompt contrastivi (es. "un {A} separato da un {B}" vs "un {A} mescolato con un {B}"). La differenza tra queste embedding definisce la direzione di separazione.

2. Adattamento della Forza (Adaptive Strengths):
   Non tutte le coppie di oggetti sono ugualmente difficili da separare. DOS calcola un peso adattivo ($\alpha$) per ogni coppia basato su:

   • Similarità Visiva: Confronto delle embedding con parole che descrivono forme e texture.
   • Dissimilarità del Background: Confronto con frasi che descrivono contesti ambientali.
     Se due oggetti sono molto simili o hanno background opposti, il peso di separazione viene aumentato.

3. Aggiornamento delle Embedding:
   I vettori di separazione vengono aggregati in un vettore DOS finale (media pesata) e aggiunti alle embedding originali:

   • Alle embedding dei token semantici degli oggetti.
   • Alle embedding EOT e Pooled (sommando i contributi di tutte le coppie).
     Questo "spinge" le rappresentazioni degli oggetti nello spazio latente verso direzioni che favoriscono la loro distinzione.

3. Contributi Chiave

• Identificazione degli Scenari Critici: Mappatura sistematica di quattro categorie di fallimento (Forme, Texture, Background, Molti Oggetti) legate alle relazioni inter-oggettive.
• Approccio Efficientemente Direzionale: Proposta di un metodo che non modifica il modello di diffusione né richiede ottimizzazione iterativa durante l'inferenza, ma agisce esclusivamente sulle embedding di testo.
• Sfruttamento delle Proprietà CLIP: Dimostrazione che le differenze tra embedding CLIP (sia token che pooled) contengono informazioni direzionali utilizzabili per separare semanticamente gli oggetti.
• Meccanismo Adattivo: Introduzione di un sistema di pesatura basato sulla similarità visiva e contestuale per modulare l'intensità della separazione solo dove necessario.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su SDXL e SD 3.5, confrontando DOS con metodi basati su modifiche latenti (Attend-and-Excite, CONFORM) e modifiche di embedding (TEBOpt).

• Metriche Quantitative:
  • Success Rate (SR): DOS ha ottenuto il tasso di successo più alto su tutti i benchmark (es. +10.5% - 24% rispetto a TEBOpt su SDXL).
  • Mixture Rate (MR): DOS ha ridotto significativamente la miscelazione degli oggetti (es. MR sceso dal 27.5% al 15.5% nel benchmark "Many Objects" su SDXL).
• Valutazione Umana:
  • In studi di preferenza umana su MTurk, DOS ha ricevuto il 26.24% - 43.04% in più di voti rispetto al secondo metodo migliore su tutti i benchmark.
• Efficienza Computazionale:
  • Il tempo di inferenza di DOS è quasi identico al modello base (circa 13.87s vs 12.97s per SDXL), rendendolo 4-5 volte più veloce dei metodi basati su modifiche latenti (come Attend-and-Excite che richiedono ~58s) che necessitano di aggiornamenti iterativi dei gradienti.
• Generalizzazione:
  • I risultati sono stati confermati su SD 3.5 e su benchmark estesi che includono elettronica, veicoli e frutta, dimostrando robustezza oltre la categoria animale.

5. Significato e Impatto

DOS rappresenta una soluzione pratica ed efficiente per uno dei problemi più persistenti nella generazione di immagini multi-oggetto.

• Efficienza: Elimina il collo di bottiglia computazionale dei metodi iterativi, rendendo la generazione di alta qualità accessibile in tempo reale.
• Semplicità: Non richiede il riaddestramento del modello di diffusione (training-free) e si integra facilmente con qualsiasi modello T2I che utilizzi CLIP.
• Versatilità: Migliora non solo la separazione degli oggetti, ma preserva anche il binding degli attributi (colore-oggetto), rendendolo utile per prompt complessi.

In sintesi, DOS dimostra che manipolare strategicamente le embedding testuali, sfruttando le proprietà direzionali di CLIP, può risolvere efficacemente i fallimenti strutturali dei modelli generativi moderni senza compromettere la velocità di inferenza.