Technische Samenvatting: Door de ogen van Van Gogh: Global Style Transfer met Diffusiemodellen

Probleemstelling

Artistieke beeldsynthese streeft ernaar de expressieve visuele identiteit van een doelkunstenaar te recreëren. Bestaande benaderingen vallen over het algemeen uiteen in twee paradigma's, die beide kampen met significante beperkingen:

1. Conventionele Stijltransfer (Eén-op-één): Deze methoden extraheren stijl uit een enkel of enkele referentiewerken en dragen deze over aan een inhoudelijke afbeelding. Hoewel ze effectief zijn voor de stilisatie van specifieke kunstwerken, slagen ze er niet in om de bredere, coherente stilistische distributie te vatten die de algehele visuele identiteit van een kunstenaar definieert. Ze leiden vaak tot overfitten op instantieniveau.
2. Text-to-Image (T2I) Diffusiesynthese: Methoden die geconditioneerd zijn op kunstenaarsnamen (bijv. "in de stijl van Van Gogh") bieden flexibiliteit, maar lijden aan tekst-geïnduceerde bias. Deze modellen hebben de neiging om texturen en composities van een handvol iconische werken (bijv. De Sterrennacht) te reproduceren, waardoor de diverse stilistische spectra van de kunstenaar inklapt naar een smalle, modus-gebiaste distributie.

Geen van beide paradigma's vangt betrouwbaar de globale stijl van een kunstenaar, wat vereist dat visuele statistieken over een groot corpus van werken worden geaggregeerd in plaats van te vertrouwen op enkelvoudige instanties of linguïstische prompts.

Methodologie

De auteurs stellen Global Style Transfer (GST) voor, een "Veel-naar-één"-paradigma dat meerdere kunstwerken van een doelkunstenaar aggregeert om hun gedeelde globale stijl over te dragen aan een enkele inhoudelijke afbeelding. Het framework bestaat uit twee complementaire componenten die opereren binnen een Latent Diffusion Model (LDM):

1. Global Style Guidance (GSG)

GSG opereert in de intermediaire feature-ruimte (h-ruimte) van de bottleneck van de diffusie U-Net. Het doel is om een residuele globale stijl-offset ($\Delta h_t$) te leren die de representatie van het model moduleert zonder afhankelijk te zijn van tekstprompts.

• Trainingsproces: Een lichtgewicht Style Extraction Function (SEF), $f_t$, wordt getraind op honderden kunstwerken van een enkele kunstenaar. Cruciaal is dat alle kunstwerken gekoppeld zijn aan een vaste, uniforme tekstprompt (bijv. "Een schilderij").
• Mechanisme: Door de prompt vast te zetten, wordt de variantie van de tekstconditiering teruggebracht tot bijna nul. De SEF leert de residuele offset $\Delta h_t$ puur vanuit visuele statistieken te voorspellen via een ruis-reconstructieverlies. Dit zorgt ervoor dat de geleerde stijlsemantiek tekstonafhankelijk is en geworteld is in het visuele corpus van de kunstenaar.
• Inferentie: Tijdens het omgekeerde diffusieproces wordt de geleerde $\Delta h_t$ toegevoegd als een residu aan de U-Net bottleneck-features, waardoor het denoising-traject wordt gestuurd naar de globale stijlverdeling van de kunstenaar.

2. Content Alignment Guidance (CAG)

Om de semantische structuur van de invoerinhoud te behouden terwijl er ruimte is voor kunstspecifieke geometrische deformaties, introduceren de auteurs een trainingsvrij mechanisme genaamd CAG.

• Proces: De inhoudelijke afbeelding wordt eerst naar een ruisende latente vector gemapt via DDIM-inversie.
• Perceptuele Begeleiding: Bij elke diffusie-tijdstap berekent de methode een perceptueel verlies met behulp van de CLIP-beeldencoder. Het vergelijkt de hoogwaardige semantische features van de benaderde schone afbeelding ($\tilde{x}_0$), afgeleid van de huidige latente vector, met de features van de gegenereerde afbeelding ($x_t$).
• Optimalisatie: Het latente traject wordt aangepast via gradiëntafdaling om dit perceptuele verlies te minimaliseren. Dit behoudt de abstracte structuur en semantische compositie van de inhoud, terwijl het de door stijl gedreven deformaties toestaat die kenmerkend zijn voor de doelkunstenaar.

Belangrijkste Bijdragen

1. Global Style Transfer (GST) Paradigma: De auteurs introduceren een nieuwe Veel-naar-één formulering voor artistieke synthese die een verenigde globale stijlverdeling leert van meerdere kunstwerken, waarmee de instantieniveau-bias van traditionele stijltransfer en de tekstafhankelijke bias van T2I-modellen wordt overwonnen.
2. Global Style Guidance (GSG): Een begeleidingsmechanisme dat opereert in de h-ruimte en de artistieke stijlsemantiek puur vanuit visuele statistieken leert. Door tijdens de training een vaste prompt te gebruiken, wordt de linguïstische afhankelijkheid verminderd en wordt voorkomen dat het model inklapt naar iconische visuele patronen.
3. Content Alignment Guidance (CAG): Een trainingsvrij perceptueel begeleidingsmechanisme dat de semantische integriteit van de inhoudelijke afbeelding behoudt, terwijl het expressieve, stijl-gebaseerde geometrische deformaties tijdens het diffusieproces mogelijk maakt.

Experimentele Resultaten

Het framework werd geëvalueerd op de WikiArt dataset (voor stijlreferenties) en de VanGogh2Photo dataset (voor inhoud).

• Kwantitatieve Prestaties: Vergeleken met state-of-the-art stijltransfermethoden (bijv. StyleInjection, StyTR2) en personalisatietechnieken (bijv. Textual Inversion, Custom Diffusion, LoRA fine-tuning), behaalde GST superieure prestaties in:

  • Stilistische Getrouwheid: Lagere ArtFID-scores duiden op een betere afstemming met de globale stijl van de kunstenaar.
  • Inhoudelijke Behoud: Competitieve CFSD-scores tonen aan dat de inhoudelijke structuur behouden blijft.
  • Diversiteit: GST behaalde de hoogste CLIP-Diversity-scores, wat aangeeft dat het een bredere stilistische distributie vangt in plaats van specifieke patronen te memoriseren. De diversiteitswaarden kwamen nauw overeen met die van het echte corpus van de kunstenaar.
  • Vermijden van Memorisatie: Hoge 1-Precision scores suggereren dat GST niet overfit op dominante visuele motieven die aanwezig zijn bij personalisatie-baselines.

• Kwalitatieve Analyse:

  • Visuele Vergelijking: GST produceert coherente globale stilisatie die de volledige corpus van de kunstenaar weerspiegelt, terwijl baselines die vertrouwen op enkelvoudige afbeeldingen of het middelen van meerdere outputs resulteren in wazige of inconsistente stijlen.
  • Tekstonafhankelijkheid: Ablatie-studies toonden aan dat het veranderen van de trainingsprompt (bijv. van "Een schilderij" naar "Een kunstwerk") resulteerde in vrijwel identieke gegenereerde afbeeldingen, wat de tekstonafhankelijkheid van de geleerde stijl bevestigt.
  • Bias Mitigatie: In tegen tegenover T2I-baselines (bijv. Nano Banana 2, ChatGPT) die herhaaldelijk iconische composities genereren (bijv. draaiende patronen voor Van Gogh), produceert GST diverse outputs die de werkelijke globale stijl-spectra reflecteren.
  • Componentanalyse: Het verwijderen van CAG leidde tot significante degradatie van de inhoud (hogere ArtFID), wat de noodzaak ervan bevestigt voor het behoud van de structuur. Daarnaast bleek het toepassen van CAG op hogere CLIP-lagen (Laag 11) cruciaal te zijn voor het behoud van de globale compositie vergeleken met lagere lagen.

Betekenis en Claims

Het artikel claimt dat Global Style Transfer een meer getrouwe en onbevooroordeelde methode biedt voor het modelleren van de coherente visuele identiteit van een kunstenaar. Door de verschuiving van instantieniveau-transfer en tekstafhankelijke synthese naar een visuele statistieken-gestuurde, Veel-naar-één aanpak, vangt GST succesvol de globale stilistische distributie van een kunstenaar. De auteurs benadrukken dat hun methode diverse en expressieve inhoudelijke herrendering mogelijk maakt die de volledere breedte van het werk van een kunstenaar weerspiegelt, in plaats van beperkt te zijn tot een paar iconische exemplaren of specifieke tekstuele beschrijvingen.