The Intricate Dance of Prompt Complexity, Quality, Diversity, and Consistency in T2I Models

Dit onderzoek onthult dat het verhogen van de complexiteit van prompts bij tekst-naar-beeldmodellen de diversiteit en consistentie van gegenereerde beelden vermindert, maar tegelijkertijd de distributieverschuiving ten opzichte van realiteit verkleint, waarbij prompt-uitbreiding via een taalmodel de beste balans biedt tussen diversiteit en esthetiek.

De kern

Stel je voor dat je een magische schilder hebt die elke afbeelding kan maken die je maar kunt beschrijven. Dit is wat Text-to-Image (T2I) modellen doen: ze tekenen foto's op basis van wat je hen vertelt. Maar hoe goed die schilder is, hangt niet alleen af van de kwaliteit van de verf (het model), maar vooral van hoe je de opdracht geeft (de "prompt").

Deze paper, geschreven door onderzoekers van Meta en het Mila-instituut, onderzoekt wat er gebeurt als je die opdracht complexer maakt. Ze kijken naar drie belangrijke eigenschappen van de geschilderde beelden:

1. Kwaliteit: Is het plaatje mooi en realistisch?
2. Diversiteit: Krijg je elke keer een ander, verrassend plaatje, of tekenen ze steeds hetzelfde?
3. Consistentie: Ziet het plaatje eruit zoals je hebt gevraagd?

Hier is de kern van hun ontdekkingen, vertaald naar alledaagse taal:

1. De "Alles-of-Niets" Valstrik (Complexiteit)

Stel je voor dat je de schilder vraagt: "Teken een hond."
De schilder is hier heel goed in. Hij kan een Golden Retriever, een Duitse Herder of een Chihuahua tekenen. Er is veel diversiteit.

Maar als je de opdracht complexer maakt: "Teken een bruine Golden Retriever met een rode sjaal die op een groen grasveld zit," dan wordt het lastiger.

• Het probleem: De paper laat zien dat als je de opdracht te specifiek maakt, de schilder minder vrijheid heeft. Hij begint steeds hetzelfde plaatje te tekenen (minder diversiteit).
• De omgekeerde wereld: Het is voor de schilder juist heel moeilijk om terug te gaan van een specifieke opdracht naar een algemene. Als hij getraind is op "bruine hond met sjaal" en jij vraagt plotseling alleen "hond", raakt hij in de war. Hij probeert dan een gemiddelde te maken van alles wat hij kent, wat vaak resulteert in een wazig of raar plaatje.

De metafoor: Het is als een pianist die getraind is op een heel moeilijk, specifiek stukje muziek. Als je hem vraagt dat stukje te spelen, doet hij het perfect. Maar als je hem vraagt "speel maar wat jazz", kan hij dat niet, omdat hij niet geleerd heeft hoe die "vrije" muziek klinkt. Hij probeert het moeilijke stukje te spelen, maar dan zonder de noten, en dat klinkt als een brij.

2. De "Creatieve Uitbreider" (Prompt Expansion)

De onderzoekers ontdekten een slimme truc om dit op te lossen. Ze gebruiken een tweede AI (een taalmodel) als een creatieve schrijver.
In plaats van dat jij de opdracht geeft ("Teken een hond"), laat je die schrijver de opdracht uitbreiden naar: "Teken een hond, maar maak het een speelse puppy met een blauwe bandana, of een oude hond met een hoed, of een hond die springt..."

• Het resultaat: De schilder krijgt nu weer meer vrijheid. De beelden worden weer veel diverser en vaak zelfs mooier dan de echte foto's in de database.
• De prijs: Omdat de schilder nu zo creatief is, kan het zijn dat het plaatje niet precies meer lijkt op wat je oorspronkelijk wilde (minder consistentie). Het is alsof je een vriend vraagt om een verjaardagscadeau te kopen, maar je laat hem de lijst zelf invullen. Je krijgt een geweldig cadeau, maar misschien niet precies datgene waar je aan dacht.

3. De Balans tussen Vrijheid en Waarheid

De paper laat zien dat er een spanningsveld is:

• Als je de opdracht korter en algemener houdt, krijg je meer variatie, maar de beelden kunnen soms raar of onrealistisch worden.
• Als je de opdracht langer en specifieker maakt, krijg je mooie, realistische beelden, maar ze lijken allemaal op elkaar (geen verrassingen).

De grote ontdekking: De nieuwste en slimste modellen (zoals LDMv3.5) zijn fantastisch in het maken van mooie plaatjes, maar ze zijn soms te goed in het volgen van de regels. Ze worden saai en herhalen patronen. Om dit te doorbreken, moet je de "creatieve schrijver" (prompt expansion) inschakelen.

Samenvattend in één zin:

Om de beste synthetische beelden te krijgen, moet je niet alleen kijken naar hoe mooi het model is, maar vooral naar hoe je het vraagt: te simpel en het wordt saai, te complex en het wordt star; de beste oplossing is een slimme tussenstap die je opdracht net even creatief uitbreidt voordat de schilder aan het werk gaat.

De onderzoekers concluderen dat we voorzichtig moeten zijn met het gebruik van deze AI's voor belangrijke taken (zoals het trainen van andere AI's), omdat ze soms wel mooi zijn, maar de echte diversiteit van de wereld missen tenzij je ze bewust uitdaagt.

Technische samenvatting

Probleemstelling

Tekst-naar-afbeelding (T2I) modellen hebben het potentieel om synthetische data te genereren die een waardevol alternatief vormt voor beperkte, reële datasets. Echter, de bruikbaarheid (utility) van deze synthetische data wordt doorgaans beoordeeld op drie assen: kwaliteit (aesthetiek en realisme), diversiteit en consistentie (alignement met de prompt).

Hoewel prompt engineering de primaire manier is om met T2I-modellen te interageren, is de systematische impact van prompt-complexiteit (de hoeveelheid details of specificiteit in een prompt) op deze nuttigheidsassen onderbelicht. Bestaande studies tonen aan dat verbeteringen in beeldkwaliteit vaak ten koste gaan van de diversiteit. De auteurs stellen de vraag: hoe beïnvloedt de complexiteit van de prompt de balans tussen kwaliteit, diversiteit en consistentie, en hoe presteren modellen bij generalisatie naar prompts die complexer of juist simpeler zijn dan die tijdens het training werden gebruikt?

Methodologie

De auteurs hanteren een tweeledige aanpak: theoretische synthetische experimenten en een grootschalige empirische evaluatie.

1. Synthetische Experimenten (Theoretisch Onderpand)

• Opzet: Er wordt een vereenvoudigde setting gebruikt met een mengsel van vier Gaussische verdelingen (vertegenwoordigend voor categorieën zoals "witte hond", "zwarte kat", etc.).
• Modellen: Twee conditionele U-Net-modellen worden getraind: één met fijngranulaire prompts (specifiek: "witte hond") en één met generieke prompts (algemeen: "hond").
• Generalisatie: Inference wordt uitgevoerd in een cross-complexiteit setting (bijv. een model getraind op specifieke prompts wordt getest op generieke prompts en vice versa).
• Theoretische Afleiding: De auteurs tonen wiskundig aan dat generalisatie naar generieke prompts (een "OR"-operator: witte hond OF zwarte hond) moeilijker is dan naar specifieke prompts (een "AND"-operator). Diffusiemodellen leren de scorefunctie, maar niet de likelihood-weights die nodig zijn om een "OR"-conditie correct te combineren. Dit leidt tot een gemiddelde van de trainingsdistributies in plaats van een correcte samenvoeging.

2. Nieuw Evaluatiekader (Benchmarking Framework)
Om dit in de praktijk te testen, stellen de auteurs een nieuw framework voor dat synthetische data vergelijkt met reële data over verschillende complexiteitsniveaus:

• Datasets: CC12M (internet-crawled), ImageNet-1k (object-gecentreerd) en DCI (dicht beschreven, lange captions).
• Prompt Variatie: Voor elke datapunt worden captions gegenereerd op verschillende complexiteitsniveaus (van zeer kort/generiek tot lang/gedetailleerd).
• Modellen: Evaluatie van diverse state-of-the-art modellen (LDMv1.5, LDM-XL, LDMv3.5M, LDMv3.5L, Flux-schnell, Infinity).
• Inference Interventies: Vergelijking van standaard Classifier-Free Guidance (CFG) met geavanceerde methoden zoals Prompt Expansion (uitbreiden van prompts met een LLM), APG, CADS en Interval Guidance.
• Metingen:
  • Referentievrije metrics: Aesthetische score (kwaliteit), Vendi Score (diversiteit), DSG-score (consistentie).
  • Referentie-gebonden metrics: Fréchet Distance (FDD), Precision, Density, Coverage (vergelijking met de verdeling van de reële data).

Belangrijkste Bijdragen

1. Theoretisch Inzicht: Het paper bewijst dat generalisatie naar minder specifieke (generieke) prompts fundamenteel moeilijker is voor diffusiemodellen dan generalisatie naar meer specifieke prompts, vanwege de onmogelijkheid om de likelihood-weights correct te schatten bij "OR"-operaties.
2. Evaluatie Framework: Een robuust framework dat de utility van synthetische data analyseert als een functie van prompt-complexiteit, inclusief een strikte alignering tussen reële en synthetische datasets voor eerlijke vergelijking.
3. Systematische Analyse: De eerste systematische studie die de interactie tussen prompt-complexiteit, inference-interventies en de drie utility-assen (kwaliteit, diversiteit, consistentie) in kaart brengt op grote schaal.

Resultaten

De empirische resultaten bevestigen en verfijnen de synthetische bevindingen:

• Asymmetrie in Generalisatie:
  • Generalisatie naar kortere/generiekere prompts leidt tot een scherpe daling in kwaliteit (aesthetiek) en een toename in distributieverschil (FDD).
  • Generalisatie naar langere/detailrijke prompts resulteert in een geleidelijke daling, maar de kwaliteit blijft relatief stabiel tot een bepaald punt.
• Diversiteit en Prompt Lengte:
  • Diversiteit neemt af naarmate de prompt complexer wordt, maar bereikt een plateau (een "ondergrens aan diversiteit") bij ongeveer 30 woorden.
  • Prompt Expansion (het gebruik van een LLM om prompts uit te breiden) is zeer effectief: het kan de diversiteit van synthetische data zelfs boven die van de reële data tillen, vooral bij korte prompts. Dit gaat echter ten koste van de consistentie.
• Kwaliteit vs. Consistentie:
  • Geavanceerde guidance-methoden (zoals APG, CADS) verbeteren de diversiteit maar verlagen vaak de consistentie en de precisie (fideliteit aan de reële data).
  • Prompt Expansion verhoogt de aesthetische kwaliteit, maar verlaagt de precisie en dichtheid, wat aangeeft dat de gegenereerde beelden soms buiten de ondersteuning van de reële data-distributie vallen (creativiteit vs. fideliteit).
• Modelvergelijking:
  • Nieuwere modellen (zoals LDMv3.5L) hebben over het algemeen betere kwaliteit en consistentie, maar vertonen vaak lagere diversiteit dan oudere modellen (zoals LDMv1.5) als er geen expliciete interventies worden toegepast.
  • De combinatie van Prompt Expansion met geavanceerde guidance (met name APG) biedt de beste trade-off, met hoge diversiteit en kwaliteit, terwijl de consistentie redelijk behouden blijft.

Significantie en Conclusie

Dit paper benadrukt dat prompt-complexiteit een cruciale, maar vaak verwaarloosde variabele is bij het genereren van synthetische data. De bevindingen hebben belangrijke implicaties:

1. Voor Onderzoek: Het is noodzakelijk om synthetische data te evalueren over een spectrum van prompt-complexiteit, niet alleen op standaard prompts.
2. Voor Toepassingen:
   • Voor creatieve toepassingen (idee-generatie) is prompt expansion ideaal om mode-collapse te voorkomen en diversiteit te maximaliseren, zelfs als dit ten koste gaat van strikte fideliteit.
   • Voor kritische downstream taken (zoals training van detectiemodellen) moet men voorzichtig zijn met synthetische data die via prompt expansion is gegenereerd, omdat deze de verdeling van de reële data kan verlaten (lage precisie/dichtheid).
3. Toekomstige Richting: Er is meer onderzoek nodig naar hoe T2I-modellen kunnen worden getraind of gefinetuned om beter te generaliseren naar zeer generieke prompts zonder in te leveren op diversiteit of kwaliteit.

Samenvattend biedt dit werk een diepgaand inzicht in de "intricate dance" tussen prompt-ontwerp en de kwaliteit van gegenereerde beelden, en biedt het praktische richtlijnen voor het optimaliseren van synthetische data voor verschillende doeleinden.