StyleVAR: Controllable Image Style Transfer via Visual Autoregressive Modeling

Probleemstelling

Het doel van referentie-gebaseerde beeldstijltransformatie is het genereren van een afbeelding die de structurele semantiek van een content-afbeelding behoudt, terwijl de artistieke textuur en het kleurenpalet worden overgenomen van een stijl-afbeelding. Bestaande methoden hebben moeite om een balans te vinden tussen deze twee eisen:

• Te veel focus op content: De stijltransformatie is zwak en het resultaat lijkt te veel op het origineel.
• Te veel focus op stijl: Objectvormen worden vervormd of er ontstaan artefacten die de semantische coherentie breken.
• Bestaande oplossingen: CNN/GAN-gebaseerde modellen vereisen vaak aanpassing per stijl en zijn instabiel. Diffusiemodellen leveren hoge kwaliteit maar zijn computatie-intensief en traag door de vele iteratieve denoising-stappen.

Er is behoefte aan een efficiënter model dat sterke generatieve capaciteit biedt en direct kan conditioneren op zowel content als stijl, zonder de snelheid van diffusiemodellen te verliezen.

Methodologie: StyleVAR

De auteurs stellen StyleVAR voor, een framework dat het Visual Autoregressive Modeling (VAR) raamwerk toepast op stijltransformatie. In plaats van tokens één voor één te genereren (zoals bij tekst), genereert VAR afbeeldingen schaal voor schaal (van grof naar fijn).

1. Architectuur en Blended Cross-Attention

• Tokenisatie: Afbeeldingen worden via een VQ-VAE omgezet in discrete tokens op meerdere schalen (een hiërarchie van feature maps).
• Generatieproces: De doelafbeelding wordt schaal voor schaal gegenereerd. De generatie van schaal $k$ is afhankelijk van de eerdere gegenereerde tokens ($r_{<k}$) én de corresponderende tokens van de stijl- en content-afbeeldingen.
• Blended Cross-Attention: Een kerninnovatie is de introductie van een Blended Cross-Attention mechanisme.
  • De doel-features (de gegenereerde afbeelding) fungeren als Key (K) en Value (V).
  • De stijl- en content-features fungeren als Query (Q).
  • Reden: Dit zorgt ervoor dat het model eerst de autoregressieve continuïteit van de gegenereerde structuur behoudt (via K en V), terwijl de stijl en content (via Q) bepalen welke delen van die geschiedenis moeten worden benadrukt. Een blending-coëfficiënt $\alpha$ regelt de balans tussen stijl en content per schaal.

2. Tweestaps Training

Het model wordt getraind in twee fasen om de kloof tussen token-level supervisie en perceptuele kwaliteit te overbruggen:

• Fase 1: Supervised Fine-Tuning (SFT)

  • Het model wordt getraind op een groot dataset met triplets (content, stijl, doel) met een cross-entropy loss.
  • Dit leert het model om plausibele stylisaties te reproduceren, maar optimaliseert niet direct voor perceptuele kwaliteit.

• Fase 2: Reinforcement Fine-Tuning met GRPO

  • Om de perceptuele kwaliteit te verbeteren, wordt Group Relative Policy Optimization (GRPO) gebruikt.
  • Reward: De gegenereerde afbeeldingen worden gescoord met DreamSim, een perceptuele similariteitsmeting die beter is dan pixel-gebaseerde metrics of LPIPS.
  • Credit Assignment (PANW): Omdat VAR schalen heeft met zeer verschillende token-aantallen (van 1 token tot 256 tokens), zou een standaard GRPO de fijnste schalen laten domineren. De auteurs gebruiken Per-Action Normalization Weighting (PANW) om de gradienten te herschalen, zodat de grove schalen (die de globale structuur bepalen) voldoende gewicht krijgen.
  • Iteratieve Referentie: Het referentiebeleid wordt periodiek bijgewerkt om te voorkomen dat het model te ver afwijkt van de oorspronkelijke SFT-verdeling, terwijl het toch vooruitgang boekt.

Belangrijkste Bijdragen

1. VAR voor Stijltransformatie: Het eerste werk dat VAR succesvol toepast op referentie-gebaseerde stijltransformatie, wat een efficiënter alternatief biedt voor diffusiemodellen.
2. Blended Cross-Attention: Een nieuw attention-mechanisme dat de autoregressieve continuïteit behoudt terwijl het stijl en content effectief injecteert.
3. GRPO met PANW: Een toepassing van reinforcement learning op multi-scale autoregressieve modellen, waarbij Per-Action Normalization Weighting wordt gebruikt om het onevenwichtige credit assignment-probleem op te lossen dat inherent is aan VAR.
4. Perceptuele Optimalisatie: Het direct optimaliseren van DreamSim-rewards via GRPO, wat leidt tot een betere balans tussen stijl en inhoud dan traditionele SFT.

Resultaten

StyleVAR werd getest op drie benchmarks: in-distribution (OmniStyle), near-distribution (ImagePulse) en out-of-distribution (COCO + WikiArt).

• Kwantitatieve Prestaties: StyleVAR presteert consistent beter dan de AdaIN-baseline op alle metrics, inclusief Style Loss, Content Loss, LPIPS, SSIM, DreamSim en CLIP-similariteit.
  • De GRPO-fase levert verdere verbeteringen op ten opzichte van het SFT-model, vooral op DreamSim en CLIP-similariteit.
  • De methode behoudt de contentstructuur veel beter dan AdaIN (hoge SSIM, lage LPIPS).
• Kwalitatieve Prestaties: Het model slaagt erin texturen en kleurenpaletten over te dragen terwijl de ruimtelijke lay-out en semantische inhoud behouden blijven, vooral bij landschappen en architectuur.
• Inferentie: Hoewel StyleVAR trager is dan AdaIN (door de autoregressieve aard), is het aanzienlijk sneller dan diffusiemodellen.

Beperkingen en Discussie

• Generalisatiekloof: Het model presteert minder goed op onbekende internet-afbeeldingen. Dit wordt toegeschreven aan overfitting op de trainingsdata, waar de content-afbeeldingen beperkt waren tot ongeveer 1.800 unieke bronnen (ondanks 150k triplets).
• Moeilijkheden met Gezichten: Het model heeft moeite met menselijke gezichten. Dit komt door de complexe topologie van gezichten en de hoge perceptuele gevoeligheid voor structurele vervormingen in gezichtskenmerken.
• Toekomstige Richting: Er is behoefte aan meer diverse trainingsdata en sterkere structurele priors om de generalisatie te verbeteren.

Significantie

StyleVAR demonstreert dat autoregressieve modellen, vaak gezien als langzaam voor beeldgeneratie, zeer effectief kunnen zijn voor gecontroleerde beeldmanipulatie zoals stijltransformatie. Door de combinatie van VAR's multi-scale structuur met GRPO en perceptuele rewards, biedt het een nieuw paradigma voor het creëren van artistieke afbeeldingen die zowel semantisch correct als visueel rijk zijn, zonder de rekenkosten van iteratieve diffusiemodellen.