StyleVAR: Controllable Image Style Transfer via Visual Autoregressive Modeling

1. Il Problema

Il trasferimento di stile basato su riferimento (reference-based image style transfer) mira a generare un'immagine che preservi la struttura semantica e il layout spaziale di un'immagine di contenuto, adottando al contempo la texture artistica e i colori di un'immagine di stile.
Le sfide principali includono:

• Bilanciamento: Mantenere un equilibrio tra la fedeltà alla struttura del contenuto e l'intensità dello stile. Un eccesso di attenzione al contenuto rende il risultato debole, mentre un eccesso di stile distorce gli oggetti o rompe la coerenza semantica.
• Limitazioni dei metodi esistenti:
  • I modelli basati su CNN e GAN spesso richiedono addestramenti specifici per stile o sono instabili.
  • I modelli basati su diffusion offrono alta qualità ma richiedono molti passi iterativi di denoising, risultando lenti e computazionalmente costosi. Inoltre, dipendono spesso da meccanismi di guida aggiuntivi non ideali per il trasferimento puro da immagine a immagine.

2. Metodologia

Il progetto propone StyleVAR, un framework che adatta il Visual Autoregressive Modeling (VAR) al compito del trasferimento di stile, formulandolo come modellazione di sequenze discrete condizionate in uno spazio latente multi-scala.

Architettura e Modellazione

• Decomposizione Multi-Scala: Le immagini (contenuto, stile e target) vengono decomposte in una gerarchia di mappe di caratteristiche a diverse risoluzioni e tokenizzate in codici discreti tramite un VQ-VAE.
• Generazione Autoregressiva: L'immagine target viene generata scala per scala (da grossolana a fine). Ogni scala è condizionata dalla storia delle scale precedenti dell'immagine target e dalle corrispondenti caratteristiche di stile e contenuto.
• Meccanismo di Attenzione Incrociata Ibrida (Blended Cross-Attention):
  • A differenza delle attention standard dove il target è la Query, in StyleVAR le caratteristiche del target agiscono come Chiave (K) e Valore (V), mentre le caratteristiche di stile e contenuto agiscono come Query (Q).
  • Questo design permette al modello di aggregare la propria storia generativa (mantenendo la continuità autoregressiva) mentre le query di stile e contenuto decidono quali aspetti di quella storia enfatizzare.
  • Un coefficiente di blending ($\alpha$) controlla il peso relativo tra stile e contenuto a ogni scala.

Ottimizzazione in Due Fasi

Il modello viene addestrato in due stadi distinti:

1. Fine-Tuning Supervisionato (SFT):
   • Utilizza una funzione di perdita Cross-Entropy a livello di token su triplette (contenuto, stile, target).
   • Insegna al modello a riprodurre stilizzazioni plausibili, ma lascia un divario tra la supervisione a livello di token e la qualità percettiva dell'immagine decodificata.
2. Fine-Tuning con Rinforzo (GRPO):
   • Utilizza Group Relative Policy Optimization (GRPO) per ottimizzare direttamente una ricompensa percettiva sull'immagine decodificata.
   • Ricompensa: Basata su DreamSim, una metrica di similarità percettiva allineata al giudizio umano, che valuta layout, contenuto e aspetto globale.
   • Assegnazione del Credito (Credit Assignment): Poiché VAR genera token in modo asincrono (dalle scale grossolane a quelle fini), c'è uno sbilanciamento nel numero di token (es. 1 token a 1x1 vs 256 token a 16x16). Viene applicata la Per-Action Normalization Weighting (PANW), che riduce il peso dei token delle scale fini e aumenta quello delle scale grossolane, garantendo che le decisioni strutturali globali ricevano un credito adeguato durante l'aggiornamento del gradiente.
   • Aggiornamento Iterativo del Riferimento: Il policy di riferimento ($\pi_{ref}$) viene aggiornato iterativamente man mano che il modello migliora, evitando che il termine KL penalizzi i progressi ottenuti.

3. Risultati

Il modello è stato valutato su tre benchmark: in-distribution (OmniStyle), near-distribution (ImagePulse) e out-of-distribution (COCO + WikiArt).

• Performance Quantitativa: StyleVAR supera costantemente il baseline AdaIN su tutte le metriche di qualità (Style Loss, Content Loss, LPIPS, SSIM, DreamSim, CLIP Similarity).
  • I miglioramenti più significativi si osservano su SSIM (fino a +0.26) e LPIPS (riduzione fino a -0.28), indicando una preservazione della struttura del contenuto molto superiore rispetto ai metodi basati su statistica delle feature.
  • La fase GRPO porta ulteriori miglioramenti rispetto al checkpoint SFT, specialmente sulle metriche allineate alla ricompensa (DreamSim e CLIP).
• Performance Qualitativa: Il metodo trasferisce efficacemente texture e palette di colori mantenendo la struttura semantica, specialmente in paesaggi e scene architettoniche.
• Costo Computazionale: Come previsto, l'inferenza di StyleVAR è più lenta (circa 0.4s per campione) rispetto al baseline AdaIN (0.007s) a causa del processo di campionamento autoregressivo multi-scala, ma offre una qualità superiore.

4. Contributi Chiave

1. Formulazione VAR per lo Stile: Adattamento del framework VAR per il trasferimento di stile, trattandolo come modellazione di sequenze discrete condizionate in uno spazio latente multi-scala.
2. Blended Cross-Attention: Introduzione di un meccanismo innovativo dove stile e contenuto agiscono come Query per guidare la storia generativa del target, preservando la continuità autoregressiva.
3. Ottimizzazione GRPO con PANW: Applicazione di GRPO al dominio visivo autoregressivo, risolvendo il problema dello sbilanciamento dei gradienti tra le scale diverse tramite la Per-Action Normalization Weighting.
4. Ricompensa Percettiva: Utilizzo di DreamSim come segnale di ricompensa per allineare l'ottimizzazione del modello alla percezione umana, superando i limiti delle loss a livello di pixel o token.

5. Significato e Limitazioni

Significato:
StyleVAR dimostra che i modelli autoregressivi possono essere competitivi con i modelli diffusion per la generazione di immagini, offrendo un controllo più diretto e un campionamento più efficiente (in termini di passi, sebbene non di tempo totale). L'approccio ibrido SFT + GRPO con ricompense percettive rappresenta una direzione promettente per allineare i modelli generativi a obiettivi complessi non differenziabili.

Limitazioni:

• Generalizzazione: Il modello mostra un divario di generalizzazione su immagini internet non viste, suggerendo un overfitting sui prior strutturali del dataset di addestramento (che conteneva un pool limitato di immagini di contenuto).
• Volto Umano: Il modello fatica con i volti umani a causa della complessità topologica e della sensibilità percettiva umana alle deformazioni strutturali, indicando la necessità di dataset più diversificati e prior strutturali più forti.

In conclusione, StyleVAR offre un nuovo paradigma per il trasferimento di stile controllabile, combinando l'efficienza strutturale del VAR con l'ottimizzazione guidata dalla ricompensa percettiva.