Technische Samenvatting: IR-gestuurde Tekst-naar-Beeld Generatie voor het Verbeteren van One-and-Only Alignment

1. Probleemstelling

Tekst-naar-beeld (T2I) diffusiemodellen slagen er vaak niet in om expliciete tekstuele beschrijvingen getrouw weer te geven, met name wanneer die beschrijvingen in strijd zijn met de sterk aangeleerde visuele priors van het model. Dit fenomeen wordt concept association bias genoemd. De bias is het meest ernstig voor One-and-Only (OAO) entiteiten—objecten die in een enkele canonieke vorm bestaan (bijv. de Aarde, de Mona Lisa, de Eiffeltoren). Voor deze entiteiten overschrijft de diepgewortelde visuele identiteit van het model vaak expliciete tekstuele instructies (bijv. het niet genereren van een "grijze Aarde" of een "gebreide Mona Lisa").

De auteurs hypothetiseren dat dit falen voortkomt uit de informatietheoretische eigenschappen van tekstencoders. Terwijl eenvoudige concepten in de vroege lagen van de encoder verschijnen, verwerpt de uiteindelijke tekstembedding (gebruikt voor conditionering) specifieke conceptuele informatie door excessieve abstractie. Bijgevolg is de wederzijdse informatie tussen de invoertekst en de uiteindelijke embedding lager dan die van intermediaire verborgen toestanden (hidden states), wat leidt tot de onderdrukking van specifieke attributen tijdens het denoising-proces.

2. Methodologie: IR-gestuurde Diffusie

Het paper stelt Intermediate Text Representation (IR)-gestuurde diffusie voor, een training-vrije, optimalisatie-vrije methode die onderdrukte concepten herstelt door de intermediaire verborgen toestanden van de tekstencoder in het conditioneringssignaal te injecteren.

2.1 Theoretische Fundering

Met behulp van een informatietheoretisch perspectief formaliseren de auteurs het probleem van concept-omissie. Ze demonstreren dat voor een tekstprompt $Y$ die een object $A$ beschrijft met een attribuut $b$, de gegenereerde latent $x_t$ vaak verwaarloosbare informatie bevat over $b$ zodra $A$ is meegerekend ($I(b; x_t | A) \approx 0$).
Door de tekstencoder te analyseren als een Markov-keten $Y \rightarrow c_h \rightarrow c_f$ (waarbij $c_h$ een intermediaire representatie is en $c_f$ de uiteindelijke embedding), passen ze de Data Processing Inequality (DPI) toe. Dit bewijst dat de wederzijdse informatie tussen de invoertekst en de intermediaire representatie groter is dan of gelijk aan die van de uiteindelijke embedding:
$$I(Y; c_h) \ge I(Y; c_f)$$
De auteurs stellen dat het conditioneren van het denoising-proces op $c_h$ (of een combinatie van $c_h$ en $c_f$) de attribuut-specifieke informatie behoudt die verloren gaat in $c_f$.

2.2 Injectiemechanisme

De methode construeert een IR-gestuurde embedding $\tilde{c}$ door de intermediaire representatie toe te voegen aan de uiteindelijke embedding:
$$\tilde{c} = c_f + \lambda c_h$$
waarbij $\lambda \in [0, 1]$ de injectiekracht regelt. Om compatibiliteit te garanderen, ondergaat de intermediaire representatie $c_h$ de finale layer normalization van de tekstencoder om de distributie uit te lijnen met $c_f$. Deze aangepaste embedding $\tilde{c}$ wordt gebruikt om de scorefunctie $\nabla_{x_t} \log p_\theta(x_t | \tilde{c})$ te berekenen.

De aanpak ondersteunt zowel single-encoder architecturen (bijv. Stable Diffusion 2.1) als multi-encoder architecturen (bijv. Stable Diffusion 3.0) door intermediaire toestanden uit alle encoders te extraheren, deze te concateneren en het resultaat toe te voegen aan de geconcateneerde finale embeddings.

2.3 Adaptieve Scheduling

Het injecteren van intermediaire representaties gedurende het gehele denoising-proces kan artefacten introduceren. De auteurs observeren dat diffusiemodellen globale structuren vastleggen in de vroege stappen en details verfijnen in de latere stappen. Daarom gebruiken ze een Adaptive Scheduler om het optimale overgangspunt $t^*$ te bepalen:

1. Vroege stappen ($t > t^*$): Het model wordt geconditioneerd op $\tilde{c}$ (intermediaire-gestuurd) om de globale structuur vast te leggen en onderdrukte attributen te incorporeren.
2. Latere stappen ($t \le t^*$): Het model keert terug naar de standaard finale embedding $c_f$ voor detailverfijning.

Het overgangspunt $t^*$ wordt dynamisch bepaald door de structurele acceleratie $\Delta D_t$ van de geschatte schone afbeelding $\hat{x}_{0|t}$ te monitoren. De scheduler stopt de injectie wanneer de structurele veranderingen stabiliseren ($\Delta D_t \le 0$).

3. Belangrijkste Bijdragen

1. Informatietheoretische Analyse: Het paper identificeert dat finale tekstembeddings conceptuele informatie die aanwezig is in intermediaire lagen weggooien, wat de beschikbare wederzijdse informatie voor het denoising-proces vermindert.
2. IR-gestuurde Diffusie: Een nieuwe, training-vrije methode die intermediaire tekstrepresentaties injecteert in het conditioneringssignaal tijdens de vroege denoising-stappen. Het herstelt onderdrukte concepten zonder externe modellen, vooraf gedefinieerde conceptensets of extra optimalisatie te vereisen.
3. OAO-AttackBench: Een nieuwe benchmark bestaande uit 504 contrafeitelijke prompts die ontworpen zijn om de kernvisuele identiteit van OAO-entiteiten aan te vallen over drie categorieën: hemellichamen, landmerken en kunstwerken. Deze benchmark evalueert systematisch de concept association bias.

4. Experimentele Resultaten

De methode werd geëvalueerd op vier benchmarks: OAO-AttackBench, Whoops (common sense-schendende prompts), Gecko(R), en Gecko(S), met behulp van Stable Diffusion 2.1 en 3.0.

• Tekst-naar-Beeld Alignment: IR-gestuurde diffusie behaalde tot wel 19,1 procentpunt verbetering in VQAScore op OAO-AttackBench vergeleken met de baseline. Het presteerde consequent beter dan de baseline en alternatieve post-processing strategieën (bijv. Mean-Std normalisatie, orthogonale projectie) in het vastleggen van fijnmazige attributen.
• Fidelity en Menselijke Voorkeur: De methode behield de generatie-getrouwheid (fidelity), met Kernel Inception Distance (KID) scores die vergelijkbaar met of beter zijn dan de baseline. Menselijke voorkeursscores (HPSv2 en HPSv2.1) verbeterden ook, wat aangeeft dat de gegenereerde afbeeldingen niet alleen getrouwer aan de prompt waren, maar ook visueel plausibeler.
• Generalisatie: Op algemene datasets zoals Gecko behield de methode een vergelijkbare prestatie als de baseline, wat aantoont dat het de kwaliteit voor standaard prompts niet verslechtert.
• Kwalitatieve Verbeteringen: De methode slaagde erin sterke priors te overstijgen (bijv. het genereren van een "glazen Saturnus" of een "achtvlokkige Aarde") terwijl de identiteit van het object behouden bleef, terwijl baselines vaak het attribuut negeerden of er niet mee associeerden.

5. Betekenis en Claims

Het paper claimt dat IR-gestuurde diffusie een fundamentele beperking in huidige T2I-modellen aanpakt: het onvermogen om diep ingesleten visuele priors voor OAO-entiteiten te overstijlen zonder hertraining. Door gebruik te maken van de "onbenutte interne bron" van de intermediaire toestanden van de tekstencoder, biedt de methode een praktische oplossing tijdens de inferentie die geen extra training of externe modellen vereist.

De auteurs benadrukken dat hun aanpak verschilt van eerder werk dat gericht is op het verwijderen van features of het introduceren van diversiteit; in plaats daarvan lost het het complementaire probleem op van het genereren van expliciet gespecificeerde concepten die het model gewoonlijk onderdrukt. De introductie van OAO-AttackBench biedt een rigoureus protocol voor het evalueren en aanpakken van concept association bias in toekomstig onderzoek. De methode wordt gepresenteerd als een robuuste, adaptieve strategie die de alignment verbetert terwijl de hoge kwaliteitsstandaarden van state-of-the-art diffusiemodellen behouden blijven.