Technische Samenvatting: Creatieve Beeldgeneratie met Diffusiemodellen

1. Probleemstelling

Huidige tekst-naar-beeld generatieve modellen (bijv. Stable Diffusion, DALL-E) blinken uit in het produceren van hoogwaardige afbeeldingen die overeenkomen met de distributies van de trainingsdata. Ze vertonen echter een fundamentele "counter-creative bias" (tegencreatieve bias). Hun verliesfuncties en evaluatiemetrieken (zoals FID) geven prioriteit aan typikaliteit en reconstructiefaillibiliteit, wat leidt tot outputs die vaak conventioneel, saai of louter replicatief zijn van bestaande concepten.

Het kernprobleem dat wordt aangepakt, is hoe men echte creativiteit kan induceren—gedefinieerd als de generatie van nieuwe, hoogwaardige outputs met een lage waarschijnlijkheid van bestaan—zonder te vertrouwen op handmatige prompt engineering, expliciete conceptversmelting of de uitsluiting van bekende subcategorieën. Bestaande benaderingen worstelen vaak met de afweging tussen beeldkwaliteit en nieuwheid, wat regelmatig resulteert in ofwel laagwaardige "out-of-domain" ruis, ofwel veilige, oncreatieve beelden.

2. Methodologie

De auteurs stellen een framework voor dat creativiteit herformuleert als een probabilistisch probleem: creatieve beelden bevinden zich in de laag-waarschijnlijke staarten van de beeld-embeddingdistributie. De methode werkt op een Latent Diffusion Model (specifiek Kandinsky 2.1) en bestaat uit vier primaire componenten:

2.1. Prior Distributie Sampling

Het systeem stelt eerst een baseline distributie van beeld-embeddings ($e$) vast die worden gegenereerd door de diffusie-prior $\epsilon_\theta$ voor een gegeven tekstprompt.

• Proces: Een groot aantal samples wordt getrokken, geprojecteerd in een lager-dimensionale ruimte met behulp van Principal Component Analysis (PCA), en gefit aan een multivariate Gaussische distributie $\hat{G}$.
• Doel: Deze $\hat{G}$ vertegenwoordigt de "typische" of "saaie" regio van de semantische ruimte.

2.2. Creatieve Optimalisatie

Om creatieve outputs te genereren, wordt het model geoptimaliseerd om weg te bewegen van het gemiddelde van $\hat{G}$ naar de staarten ervan.

• Conceptuele Ruimte: Optimalisatie vindt plaats over een gecombineerde ruimte van een leerbare token embedding (bijv. het onderwerp "voertuig") en LoRA (Low-Rank Adaptation) parameters van de diffusie-prior.
• Creatieve Verliesfunctie ($L_{creative}$): Het doel is om de log-likelihood van de gegenereerde embedding onder de baseline distributie te minimaliseren:
  $$L_{creative}(\tilde{e}) = \log \hat{G}(\tilde{e})$$
  Het minimaliseren van deze loss duwt de embedding naar regio's met een lagere waarschijnlijkheid, wat theoretisch de "arousal potential" (nieuwheid en verrassing) verhoogt.

2.3. Pullback Mechanismen

Om te voorkomen dat het model degradeert naar incoherente ruis (out-of-domain falen) terwijl het naar laag-waarschijnlijke regio's zoekt, worden twee beperkingen toegepast:

1. Anchor Loss ($L_{anchor}$): Dwingt semantische uitlijning af door de cosinus-gelijkenis te maximaliseren tussen de gegenereerde beeld-embedding en de tekst-embedding van de originele prompt ($P_{pos}$).
2. Semantic Validity Checker (MLLM): Periodiek wordt een gegenereerde afbeelding gerenderd en bevraagd door een Multimodal Large Language Model (bijv. Janus of LLaVA) met de prompt: "Is dit nog steeds een {subject}? Ja of Nee." Als de MLLM de afbeelding afwijst, wordt de optimalisatiepoging beëindigd. Dit fungeert als een robuuste bewaker tegen adversarial-achtige fouten die eenvoudige CLIP-beperkingen mogelijk missen.

2.4. Directionality Control (Richtingcontrole)

Om te voorkomen dat het model convergeert naar laag-waarschijnlijke regio's die simpelweg "lelijk" of ongewenst zijn, maakt het systeem gebruik van Negative Cluster Modeling.

• Als de optimalisatie visueel onaangename outputs produceert, worden hun embeddings verzameld om een negatieve Gaussische distributie $\hat{G}_{neg}$ te vormen.
• Een strafterm ($L_{neg}$) wordt toegevoegd aan de verliesfunctie om het model weg te duwen van deze specifieke "ongunstige" richtingen, waardoor exploratie naar nieuwe maar esthetisch aangename regio's wordt gestuurd.

3. Belangrijkste Bijdragen

1. Probabilistisch Perspectief op Creativiteit: Het paper introduceert een framework waarbij creativiteit expliciet wordt gedefinieerd als de inverse waarschijnlijkheid van het bestaan van een beeld in de CLIP-embeddingruimte, waarmee het afwijkt van handmatige conceptversmelting.
2. Creativiteitsgerichte Optimalisatie: Een gespecialiseerde verliesfunctie is ontworpen om het model naar laag-waarschijnlijke embeddingregio's te drijven, wat direct voor nieuwheid optimaliseert.
3. Pullback en Directional Control: De introductie van anchor losses en MLLM-gebaseerde semantische checkers zorgt ervoor dat hoge creativiteit niet ten koste gaat van semantische getrouwheid of visuele coherentie. Daarnaast stuurt negative cluster modeling het model weg van ongewenste creatieve richtingen.
4. Efficiëntie: De methode demonstreert snelle convergentie en produceert creatieve resultaten binnen enkele minuten (ca. 50 stappen), wat aanzienlijk sneller is dan methoden die vertrouwen op iteratieve uitsluiting van subcategorieën.

4. Experimentele Resultaten

• Visuele Kwaliteit: De methode genereert succesvol nieuwe afbeeldingen over diverse categorieën (bijv. gebouwen, voertuigen, aliens, fruit) die visueel intrigerend en onderscheidend zijn van standaard outputs.
• Distributieverschuiving: Visualisatie van de embeddingruimte bevestigt dat de gegenereerde distributie tijdens de training progressief verschuift naar de staarten van de baseline distributie.
• Menselijke Evaluatie: In een gebruikersstudie met acht proefpersonen werd de voorgestelde methode in de meerderheid van de gevallen verkozen boven de baseline (ConceptLab) (bijv. 70,8% voorkeur voor alien-afbeeldingen, 75% voor voertuigen). Gebruikers beoordeelden de outputs als creatiever en boeiender.
• Ablatie-studies:
  • Optimalisatie Target: Het optimaliseren van LoRA-parameters en subject tokens leverde coherente creatieve resultaten op, terwijl directe optimalisatie van beeld-embeddings leidde tot snelle kwaliteitsdegradatie.
  • Noodzaak van Pullback: Het verwijderen van de MLLM-checker resulteerde in "misleidende" trouw aan prompts (bijv. het transformeren van een vrucht in een menselijk figuur met fruitmotieven), terwijl het verwijderen van de anchor loss ervoor zorgde dat het model volledig uit-of-domain driftte.
  • Directionality: Negative cluster modeling voorkwam succesvol dat het model neigde naar onaangename esthetische stijlen, waardoor het werd gedwongen om meer diverse en aangename creatieve richtingen te ontdekken.
• Vergelijking: In tegen tegenstelling tot ConceptLab, dat vereist om subcategorieën te identificeren en uit te sluiten (ineffectief voor concepten zonder duidelijke subklassen zoals "aliens"), opereert deze methode direct op de waarschijnlijkheidsdistributie, wat creativiteit efficiënter en breder bereikt.

5. Betekenis en Claims

Het paper claimt een nieuw perspectief op creativiteit in generatieve modellen te bieden, waarbij de focus verschuift van het imiteren van trainingsdistributies naar het verkennen van de laag-waarschijnlijke staarten van de embeddingruimte. De auteurs stellen dat hun benadering een geprincieerde methode biedt om innovatie in visuele inhoudsynthese te stimuleren zonder te vertrouwen op handmatige prompt engineering of expliciete uitsluiting van subcategorieën.

Het werk wordt gepresenteerd als een fundamentele stap naar meer expressieve en flexibele AI-systemen, waarbij wordt aangetoond dat het mogelijk is om mathematisch te definiëren en te optimaliseren voor "arousal potential" (een psychologisch concept van nieuwheid en verrassing) terwijl de semantische validiteit behouden blijft via robuuste pullback-mechanismen. De auteurs positioneren dit als het eerste probabilistische creativiteitsframework voor tekst-naar-beeld generatie dat niet afhankelijk is van het bestaan van bekende subcategorieën.