The Cow of Rembrandt - Analyzing Artistic Prompt Interpretation in Text-to-Image Models

Technische Samenvatting: De Koe van Rembrandt: Analyse van Artistieke Prompt-interpretatie in Tekst-naar-Afbeeldingsmodellen

Probleemstelling
Hoewel tekst-naar-afbeelding (txt2img) diffusiemodellen opmerkelijke capaciteiten hebben aangetoond bij het genereren van artistieke inhoud door te leren van miljarden afbeeldingen, blijft de fundamentele vraag hoe deze modellen intern concepten van "inhoud" (wat wordt afgebeeld) en "stijl" (hoe het wordt afgebeeld) representeren en scheiden, onontgonnen terrein. Traditionele computervisie behandelt inhoud en stijl vaak als orthogonaal, doch diffusiemodellen ontvangen tijdens het trainen geen expliciete richtlijnen met betrekking tot dit onderscheid. Bijgevolg is het onduidelijk of deze modellen deze elementen conceptueel ontwarren of ze behandelen als verstrengelde representaties.

Methodologie
De auteurs onderzoeken hoe transformer-gebaseerde txt2img diffusiemodellen inhoud en stijl coderen door de ruimtelijke verdeling van cross-attention warmtekaarten te analyseren. De studie hanteert de volgende technische aanpak:

• Data en Prompts: Een dataset van 16.000 unieke prompts werd samengesteld met behulp van 80 objectklassen uit MS-COCO en 50 stijlbeschrijvers (23 kunstenaars, 27 bewegingen) uit WikiArt. Vier verschillende prompt-sjablonen werden gebruikt om inhouds- en stijlvariabelen te isoleren (bijvoorbeeld "een schilderij van een in de stijl").
• Model: Experimenten werden uitgevoerd met Stable Diffusion XL (SDXL), een open-source model dat toegang biedt tot interne representaties.
• Attention-analyse: De studie maakt gebruik van Diffusion Attentive Attribution Maps (DAAM) om token-specifieke attributiekaarten te extraheren. Deze kaarten visualiseren de ruimtelijke relatie tussen specifieke prompt-tokens en afbeeldingspixels door cross-attention arrays te aggregeren over ruimtelijke, temporele en architecturale dimensies van het U-Net-ontruisingsnetwerk.
• Kwantitatieve Metriek: Om inhoud-stijl-scheiding te meten, worden de continue attributiewarmtekaarten gethreshold tot binaire maskers. De Intersection over Union (IoU) wordt berekend tussen het inhoud-tokenmasker ($IoU_{CS}$) en het stijltokenmasker. Dit wordt vergeleken met een baseline gemiddelde IoU ($mIoU_B$) die is berekend over alle mogelijke tokenparen in de prompt om rekening te houden met algemene attention-landschappen.
• Significantie-metriek: Een verschilmetriek, $\Delta = mIoU_B - IoU_{CS}$, wordt geïntroduceerd. Een positieve $\Delta$ geeft aan dat inhouds- en stijltokens aandacht schenken aan distincte ruimtelijke gebieden (scheiding), terwijl een negatieve $\Delta$ een hogere ruimtelijke correlatie en conceptuele verstrengeling suggereert.

Belangrijkste Resultaten
De analyse levert zowel kwantitatieve als kwalitatieve inzichten op in het gedrag van het model:

• Algemene Scheiding: Gemiddeld is $IoU_{CS}$ significant lager dan de baseline $mIoU_B$ (met $p < 0.001$), wat aangeeft dat inhouds- en stijltokens over het algemeen complementaire gebieden van de gegenereerde afbeelding beïnvloeden. Inhoudstokens activeren voornamelijk objectgerelateerde gebieden, terwijl stijltokens achtergrond- en textuurgebieden beïnvloeden.
• Variabiliteit per Token: De mate van scheiding is niet uniform; deze varieert aanzienlijk op basis van de specifieke inhouds- en stijlbegrippen die worden gebruikt.
  • Hoge Scheiding: Diergerelateerde termen (bijvoorbeeld giraf, schaap) en figuratieve kunstbewegingen (bijvoorbeeld Nieuwe Realisme, Rococo) vertonen hoge $\Delta$-waarden, wat duidt op duidelijke ruimtelijke ontwarren.
  • Lage/Negatieve Scheiding: De term "persoon" vertoont de laagste $\Delta$-waarden. Opmerkelijk is dat de kunstenaar "Rembrandt" het enige stijlelement is met een negatieve gemiddelde $\Delta$, wat aangeeft dat het model de stijl verward met de inhoud.
• Kwalitatieve Observaties:
  • In gevallen van hoge scheiding tonen warmtekaarten distincte gebieden voor het onderwerp en de stijl.
  • In gevallen van lage scheiding (bijvoorbeeld Rembrandt-stijl) activeert het stijltoken gebieden die geassocieerd zijn met het onderwerp zelf. Bijvoorbeeld, bij het genereren van "een koe in Rembrandt-stijl" lijkt het model de koe te "kleden", waarbij de stijl wordt toegepast op de kleding van het onderwerp, wat suggereert dat het model de stijl van Rembrandt inherent gekoppeld interpreteert aan specifieke menselijke of figuratieve vormen.
  • Edge-cases onthullen dat onderwerpen die frequent voorkomen in specifieke stijlmatige contexten (bijvoorbeeld vrouwen in schilderijen van Kirchner) door het model kunnen worden geïnternaliseerd als stijl-elementen op zich.

Betekenis en Bijdragen
Het paper claimt de eerste systematische onderzoeke te bieden naar hoe grootschalige generatieve modellen intern het onderscheid tussen artistieke inhoud en stijl conceptualiseren zonder expliciete supervisie. De belangrijkste bijdragen zijn:

1. Emergent Begrip: De bevindingen suggereren dat diffusiemodellen een emergent, zij het onvolmaakt, begrip tonen van het inhoud-stijl-onderscheid, waarbij deze concepten vaak ruimtelijk worden gescheiden tijdens de generatie.
2. Data-gedreven Gedrag: De studie benadrukt dat het gedrag van het model sterk wordt beïnvloed door de trainingsdata; frequente co-occurrences van onderwerpen en stijlen in de trainingsset kunnen leiden tot conceptuele verstrengeling waarbij stijltokens aandacht schenken aan inhoudsgebieden.
3. Tooling: De auteurs publiceren de code, de dataset en een verkennend hulpmiddel voor het visualiseren van attention-kaarten om verder onderzoek naar de interpreteerbaarheid van generatieve modellen te faciliteren.

Het werk concludeert dat hoewel een algemene scheiding bestaat, de specifieke interactie tussen inhoud en stijl niet-triviaal is en sterk afhankelijk is van de specifieke artistieke prompts en de statistische eigenschappen van het trainingscorpus.