DOS: Directional Object Separation in Text Embeddings for Multi-Object Image Generation

Titel

DOS: Directional Object Separation in Text Embeddings voor Multi-Object Image Generation

1. Het Probleem

Recente doorbraken in tekst-naar-beeld (T2I) generatieve modellen (zoals Stable Diffusion, SDXL, SD3.5) hebben de kwaliteit van gegenereerde afbeeldingen aanzienlijk verbeterd. Echter, deze modellen worstelen nog steeds met prompts die meerdere objecten bevatten. Dit leidt vaak tot twee specifieke fouten:

• Objectverwaarlozing (Object Neglect): Een van de gevraagde objecten verschijnt niet in de gegenereerde afbeelding.
• Objectmixing (Object Mixing): Objecten worden met elkaar verward of samengevoegd tot één onherkenbaar geheel.

De auteurs identificeren vier specifieke scenario's waar deze fouten frequent optreden als gevolg van inter-object relaties:

1. Vergelijkbare Vormen: Objecten met een gelijke silhouet (bijv. een donut en een ring).
2. Vergelijkbare Texturen: Objecten met eenzelfde oppervlakte-structuur (bijv. een bontjas en een mossige plek).
3. Verschillende Achtergrondvoorkeuren (Dissimilar Background Biases): Objecten die normaal gesproken in totaal verschillende omgevingen voorkomen (bijv. een kameel in de woestijn en een pinguïn op het ijs), wat de model tot verwarring leidt.
4. Veel Objecten: De cumulatieve effecten van bovenstaande relaties wanneer drie of meer objecten in één prompt worden gevraagd.

Bestaande oplossingen focussen vaak op het aanpassen van de latente beeldruimte (zoals Attend-and-Excite), wat rekentijdintensief is en soms visuele artefacten introduceert. Andere methoden die tekst-embeddings aanpassen, zijn vaak beperkt tot semantische tokens en lossen niet alle problemen op.

2. Methodologie: DOS (Directional Object Separation)

De kern van de methode is het modificeren van de CLIP tekst-embeddings voordat deze het T2I-model ingaan, zonder de interne generatieprocessen van het beeldmodel zelf te veranderen.

Fundamentele Observaties:
De methode is gebaseerd op twee observaties over CLIP-embeddings:

1. CLIP gebruikt een causale masking-mechanisme, waardoor informatie van eerdere tokens in latere tokens "lekt", wat leidt tot informatie-mixing.
2. Het verschil tussen twee CLIP-embeddings encodeert richtingsinformatie (vectoriële richting) die kan worden gebruikt om objecten te scheiden.

Het DOS-proces:
De methode werkt in drie stappen:

1. Berekening van Scheidingsvectoren (Separation Vectors):
   Voor elk paar objecten $(obj_n, obj_m)$ wordt een vector berekend die de richting definieert om $obj_n$ te scheiden van $obj_m$. Dit gebeurt voor drie types embeddings:

   • Semantische Token Embeddings: Het verschil tussen de embeddings van een "pure" prompt voor object A en een "pure" prompt voor object B (bijv. "een {A}" minus "een {B}"). Dit voorkomt informatie-mixing.
   • EOT (End-of-Text) en Pooled Embeddings: Hier wordt bewust gebruik gemaakt van informatie-mixing door contrastieve prompts te gebruiken: "een {A} gescheiden van een {B}" versus "een {A} gemengd met een {B}". Het verschil tussen deze embeddings vormt de scheidingsvector.

2. Adaptieve Sterkte (Adaptive Strengths):
   Niet alle objectparen zijn even moeilijk te scheiden. De auteurs berekenen een gewichtsfactor ($\alpha$) voor elk paar, gebaseerd op:

   • Visuele gelijkenis (vorm en textuur).
   • Verschil in achtergrondvoorkeuren.
   • Dit wordt gedaan door de embeddings van de objecten te vergelijken met een lijst van 42 representatieve vorm/tekstuurwoorden en 36 achtergrondzinnen. Een verschoven temperatuur-sigmoid-functie bepaalt hoe sterk de scheidingsvector moet worden toegepast; moeilijker te scheiden paren krijgen een hogere weging.

3. Update van Tekst-Embeddings:
   De DOS-vectoren worden berekend als een gewogen gemiddelde van alle scheidingsvectoren voor een bepaald object. Deze vectoren worden vervolgens opgeteld bij de originele CLIP-embeddings (zowel voor de specifieke object-tokens als voor de globale EOT/pooled embeddings) voordat ze naar het T2I-model worden gestuurd.

3. Belangrijkste Bijdragen

• Identificatie van Foutpatronen: Systematische analyse van vier specifieke scenario's (vorm, textuur, achtergrondbias, veel objecten) die leiden tot multi-object failures.
• Efficiënte Methode: DOS modificeert alleen de tekst-embeddings, wat betekent dat het geen iteratieve gradiëntupdates vereist tijdens de inferentie. Dit maakt het aanzienlijk sneller dan latente modificatiemethoden.
• Uitgebreide Toepassing: In tegenstelling tot eerdere werken die alleen semantische tokens aanpasten, past DOS vectoren toe op alle drie de relevante CLIP-embeddings (tokens, EOT, en pooled), wat leidt tot een holle verbetering.
• Richtingsinformatie: Het bewijst dat richtingsinformatie in CLIP-embeddings effectief kan worden gebruikt om objecten te scheiden, zelfs in complexe prompts.

4. Resultaten

De methode is getest op SDXL en SD3.5 tegenover de baselines (Base), TEBOpt, Attend-and-Excite (A&E) en CONFORM.

• Kwantitatieve Prestaties:

  • Success Rate (SR): DOS behaalde de hoogste success rate op alle vier de benchmarks. Bijvoorbeeld, op SDXL steeg de SR voor "Similar Shapes" van 48% (Base) naar 64% (DOS).
  • Mixing Rate (MR): DOS verlaagde de mate van objectmixing significant. Voor "Many Objects" op SDXL daalde de MR van 27.5% naar 15.5%.
  • SD3.5: Ook op het nieuwere SD3.5-model verbeterde DOS de prestaties ten opzichte van de baseline (SR van 70% naar 76.5% voor "Many Objects").

• Menselijke Evaluatie:

  • In een studie via Amazon Mechanical Turk (MTurk) koos de meerderheid van de deelnemers voor de door DOS gegenereerde afbeeldingen. DOS kreeg 26,24% tot 43,04% meer stemmen dan de op één na beste methode.

• Efficiëntie:

  • Omdat DOS geen iteratieve updates vereist, is de inferentietijd vergelijkbaar met de basismodel (ongeveer 13 seconden).
  • Latente methoden zoals A&E en CONFORM zijn 4 tot 5 keer trager (ongeveer 58-59 seconden) vanwege de noodzaak tot herhaaldelijke gradiëntupdates.

5. Betekenis en Conclusie

DOS biedt een praktische en efficiënte oplossing voor een van de grootste beperkingen van huidige T2I-modellen: het correct genereren van meerdere objecten. Door in te spelen op de eigenschappen van CLIP-embeddings en richtingsinformatie te benutten, slaagt DOS erin om objectverwaarlozing en -mixing te reduceren zonder de inferentiesnelheid te vertragen of visuele artefacten toe te voegen.

De studie toont aan dat het aanpassen van de input-embeddings een krachtige en onderbenutte strategie is om de beperkingen van downstream generatieve modellen te overwinnen. De methode is robuust, werkt over verschillende modelarchitecturen (SDXL, SD3.5) en kan zelfs worden gecombineerd met andere methoden (zoals A&E) voor nog betere resultaten.