Riassunto Tecnico: Reti a Due Stream con Disaccoppiamento tra Colore e Stile per il Trasferimento di Stile Universale Senza Tuning

Definizione del Problema

Il trasferimento di stile, pur essendo un problema classico della computer vision, rimane mal definito, coinvolgendo il complesso trasferimento di attributi quali tratto, texture, materiale, colore, luce e struttura. Le soluzioni esistenti affrontano tre limitazioni primarie:

1. Similitudine di Stile Inadeguata: Gli attuali modelli spesso falliscono nel ricostruire accuratamente specifici attributi di stile come tratti o materiali.
2. Capacità di Editing Limitata: I modelli che eccellono nella ricostruzione dello stile faticano a seguire i prompt testuali o a permettere l'editing del contenuto.
3. Invasione del Colore: In scenari che coinvolgono sia riferimenti di contenuto che di stile, i modelli spesso trasferiscono eccessivamente il colore del riferimento di stile al contenuto, alterando le caratteristiche intrinseche del contenuto stesso.

Inoltre, i metodi di tuning al tempo di test (ad esempio, StyleDrop) sono computazionalmente costosi e impraticabili per applicazioni del mondo reale che richiedono riferimenti di stile personalizzati. Sebbene esistano modelli senza tuning, non hanno ancora risolto la sfida del trasferimento di stile con preservazione delle caratteristiche — ovvero il trasferimento degli attributi di stile preservando rigorosamente la distribuzione e le caratteristiche del colore dell'immagine di contenuto.

Metodologia

Gli autori propongono CDST (Color Disentangled Style Transfer), un nuovo paradigma di addestramento a due stream progettato per isolare completamente il colore da altri attributi di stile. Il framework opera su un singolo modello addestrato capace di inferenza zero-shot per varie attività di trasferimento di stile.

1. Paradigma di Addestramento: Disaccoppiamento a Due Stream

CDST formula il trasferimento di stile come un compito di costruzione di un'immagine di riferimento condizionale utilizzando un'architettura a doppio stream:

• Stream dello Stile: Per prevenire la contaminazione del colore, l'immagine di riferimento dello stile viene convertita in scala di grigi. Le caratteristiche vengono estratte tramite DinoV2, utilizzando una strategia di compressione degli embedding multi-feature. Ciò comporta:
  • L'estrazione dei deep grid features e del token CLS dall'ultimo blocco.
  • La compressione degli embedding della griglia in 4 token tramite uno Style Transformer.
  • L'estrazione di rappresentazioni superficiali dai Blocchi 5, 11 e 17 per catturare indizi di basso livello, che vengono elaborati da MLP e mediati tramite pooling (average-pooling).
  • La concatenazione di questi 7 token per formare l'embedding dello stile ($e_s$).
• Stream del Colore: Il colore è rappresentato indipendentemente tramite un istogramma di colore quantizzato. L'istogramma viene estratto tramite il pacchetto Rayleigh (convertendo lo spazio HSV in LAB e quantizzando le distanze euclidee), risultando in un vettore di 180 dimensioni. Questo viene gonfiato tramite un MLP in 4 token per formare l'embedding del colore ($e_c$).

Entrambi gli stream vengono iniettati nel Denoising UNet tramite matrici lineari apprendibili ($W^K, W^V$) e meccanismi di cross-attention. L'obiettivo di addestramento è ricostruire l'immagine di riferimento utilizzando la perdita MSE standard.

2. Inferenza: Disaccoppiamento della UNet e Calibrazione Globale

Durante l'inferenza, CDST impiega strategie specifiche per bilanciare la fedeltà dello stile e la capacità di editing:

• Nuova Definizione di Stile (Meccanismo di Oblio): A differenza dell'addestramento, dove i token di stile mappano tutti i 70 blocchi di cross-attention della SDXL UNet, l'inferenza mappa i token di stile solo a intervalli specifici: cross_attention_list[0:14] (Encoder) e cross_attention_list[44:70] (Decoder).
  • I pesi sono impostati a $\lambda_s = 0.2$ per l'Encoder (preservando spazio/struttura) e $\lambda_s = 0.9$ per il Decoder (preservando aspetto/texture).
  • Questo "meccanismo di oblio" previene l'overfitting e l'invasione del contenuto, migliorando significativamente le capacità di editing.
• Calibrazione Globale del Colore: Per correggere piccoli errori di approssimazione dell'istogramma di colore quantizzato, un passaggio di post-processing converte l'immagine generata e il riferimento di colore nello spazio YUV. Esegue un allineamento statistico (corrispondenza di media e varianza) e fonde il risultato nello spazio RGB utilizzando un iperparametro $\alpha$ (default 0.8).

3. Workflow di CDST

Il modello addestrato supporta molteplici workflow regolando input e pesi:

• Trasferimento di Stile con Preservazione delle Caratteristiche: Trasferisce lo stile (escluso il colore) da un riferimento di stile preservando le caratteristiche a livello di pixel del contenuto. Ciò si ottiene iniettando un Content Prior Latent (versione rumorosa dell'immagine di contenuto) e utilizzando ControlNet (Canny edge) per mantenere la struttura spaziale. Lo stream del colore viene efficacementmente bypassato o impostato a peso zero, poiché il Content Prior Latent domina il colore a livello di pixel.
• Stile + Colore + Contenuto: Combina riferimenti di stile, colore e contenuto utilizzando ControlNet.
• Stile + Colore + Prompt: Genera immagini basate su un prompt testuale, un riferimento di stile e un riferimento di colore separato.

Contributi Chiave

1. Framework CDST: Un paradigma di addestramento a due stream che disaccoppia completamente il colore dallo stile, consentendo un trasferimento di stile universale senza tuning. È il primo a risolvere il trasferimento di stile con preservazione delle caratteristiche con riferimenti di stile e contenuto in modalità senza tuning.
2. Miglioramento di Similitudine ed Editing: Attraverso la compressione degli embedding dell'immagine multi-feature (DinoV2 shallow+deep) e una nuova definizione di stile basata sul disaccoppiamento della UNet, CDST raggiunge un compromesso superiore tra similitudine dello stile e capacità di editing rispetto ai precedenti modelli open-source e commerciali.
3. Prestazioni allo Stato dell'Arte: Ampie valutazioni quantitative e umane dimostrano la superiorità di CDST in termini di similitudine dello stile, allineamento al prompt, coerenza del colore e preservazione delle caratteristiche in varie attività.

Risultati e Valutazione

Gli autori hanno condotto esperimenti esaustivi utilizzando un benchmark di 25 riferimenti di stile e diverse attività.

• Metriche Quantitative: Nel compito "Style/Color Ref + Prompt", CDST ha ottenuto i punteggi migliori nell'allineamento al prompt (CLIP Score: 0.291), nella similitudine dello stile (CSD Score: 0.587) e nella distanza del colore (0.116), superando InstantStyle, CSGO e Adobe Firefly. Si è posizionato solo dietro a Midjourney v6.1 per i punteggi estetici.
• Valutazione Umana:
  • Stile + Contenuto: CDST ha vinto contro il modello allo stato dell'arte CSGO in similitudine dello stile (78.0%), coerenza del colore (81.6%) e preferenza complessiva (84.4%).
  • Trasferimento con Preservazione delle Caratteristiche: Rispetto a GPT-4O, CDST ha mostrato una maggiore similitudine dello stile (63.2%) e coerenza del colore (94.8%), sebbene GPT-4O sia stato superiore nella coerenza delle caratteristiche e nell'estetica. La preferenza dell'utente complessiva è stata quasi equilibrata (52.8% per CDST).
• Studi di Ablazione:
  • Embeddings: Gli embedding DinoV2 shallow+deep hanno superato significativamente gli embedding CLIP e quelli esclusivamente deep.
  • Definizione dello Stile: Mappare i token di stile su blocchi specifici della UNet (Encoder+Decoder) con meccanismi di oblio ha prodotto risultati migliori rispetto all'uso di tutti i blocchi o del solo decoder.
  • Disaccoppiamento: L'uso di riferimenti di stile in scala di grigi è stato fondamentale; l'uso di riferimenti colorati ha causato confusione e distorsione del colore quando i riferimenti di stile e colore differivano.

Significato e Rivendicazioni

L'articolo sostiene che CDST rappresenti un avanzamento significativo risolvendo il problema dell' "invasione del colore" che affligge i precedenti modelli senza tuning. Isolando il colore tramite uno stream dedicato e imponendo uno stream di stile cieco al colore, CDST abilita la possibilità di eseguire un trasferimento di stile con preservazione delle caratteristiche, un compito precedentemente instabile o impossibile senza fine-tuning.

Gli autori sottolineano che CDST è un modello universale, senza tuning. Nonostante sia stato addestrato su una configurazione specifica, può gestire diversi scenari (Stile+Prompt, Stile+Contenuto, Trasferimento con Preservazione delle Caratteristiche) con un singolo modello. Il documento nota che, sebbene il modello sia stato addestrato nel 2025, rimane utile nel 2026, essendo stato utilizzato per la sintesi di dati di addestramento per i successivi modelli TeleStyle, dimostrando la sua robustezza anche mentre i modelli di base evolvono verso architetture DiT.