💻 computer science

CDST: Color Disentangled Style Transfer for Universal Style Reference Customization

Dit artikel introduceert CDST, een nieuw twee-stroom trainingsparadigma dat kleur van stijl ontkoppelt om tuning-vrije, universele stijloverdracht met state-of-the-art prestaties mogelijk te maken terwijl de inhoudskenmerken behouden blijven.

Oorspronkelijke auteurs: Shiwen Zhang, Zhuowei Chen, Lang Chen, Yanze Wu

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shiwen Zhang, Zhuowei Chen, Lang Chen, Yanze Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische kunststudio hebt waar je een foto van je kat kunt maken (de Content) en deze direct kunt laten lijken alsof hij door Van Gogh is geschilderd (de Style).

Lama tijd had deze magie een foutje. Wanneer je de studio vroeg om je kat in de "Van Gogh-stijl" te schilderen, kopieerde het niet alleen de penseelstreken en krullen; het stal ook de kleuren van het referentiewerk. Als het Van Gogh-schilderij vol met felgeel en blauw was, werd je kat geel en blauw, waardoor de oorspronkelijke oranje vacht verloren ging. Dit wordt "kleurinvasie" genoemd, en het verpest het specifieke uiterlijk van je kat.

Het paper introduceert een nieuw systeem genaamd CDST (Color Disentangled Style Transfer) dat dit foutje oplost. Zo werkt het, met behulp van eenvoudige analogieën:

1. De Twee-Stromen Keuken (Het Kernidee)

Stel je een keuken voor met twee aparte chefs die aan hetzelfde gerecht werken:

Chef A (De Stijl-Chef): Deze chef heeft een blinddoek om. Hij kan alleen de vorm van de ingrediënten zien, de textuur van het deeg en het patroon van de sprinkles. Hij krijgt een zwart-wit foto van het Van Gogh-schilderij gevoerd. Hij leert de "krullen" en "penseelstreken" te kopiëren, maar is fysiek niet in staat om het geel en blauw te zien of te kopiëren.
Chef B (De Kleur-Chef): Deze chef is kleurenblind voor patronen. Hij kijkt alleen naar een kleurhistogram (een statistisch diagram van kleuren) van een referentiebeeld. Hij geeft niets om krullen of vormen; hij weet alleen: "Dit gerecht moet voor 40% oranje en voor 60% blauw zijn."

Door deze twee chefs te scheiden, zorgt CDST ervoor dat de "Stijl" (penseelstreken) nooit per ongeluk de "Kleur" van de verkeerde plek steelt.

2. De "Tuning-Free" Magische Truk

Normaal gesproken moet je om de stijl van een specifieke kunstenaar te krijgen, urenlang een AI "trainen" op die specifieke kunstenaar (zoals een student een heel semester lang lesgeven). Dit is traag en duur.

CDST is Tuning-Free. Denk aan een meesterkok die de "grammatica" van de kunst al heeft geleerd. Je hoeft hem niet elke keer een nieuwe stijl te leren. Je overhandigt hem gewoon een referentiefoto, en hij weet direct hoe hij die stijl op jouw foto moet toepassen zonder extra training. Het is als een universele afstandsbediening die direct op elk tv-kanaal werkt.

3. Het Oplossen van het "Kenmerken"-Probleem

Het paper belicht een specifieke, moeilijke taak: Characteristics-Preserved Style Transfer.

Het Doel: Neem een foto van een persoon, pas de "Van Gogh-stijl" toe op deze persoon, maar houd het gezicht precies zoals dat van hen (dezelfde huidskleur, dezelfde belichting, dezelfde gelaatstrekken), niet zoals het Van Gogh-schilderij.
De Oude Manier: Eerdere methoden zouden het gezicht van de persoon veranderen in een werveling van gele verf, waardoor hun identiteit werd vernietigd.
De CDST-Manier: Omdat de Stijl-Chef een blinddoek draagt (hij ziet alleen zwart-wit), past hij alleen de textuur van het schilderij toe. De Kleur-Chef (of een speciale "Content Prior"-techniek die in het paper wordt genoemd) zorgt ervoor dat de oorspronkelijke huidtinten en belichting van de persoon intact blijven. Het is alsover een Van Gogh-filter over een foto te leggen zonder het eigenlijke gezicht van de persoon te veranderen.

4. De "Global Color Calibration" (De Laatste Afwerking)

Zelfs met twee chefs kunnen de kleuren iets afwijken omdat de "Kleur-Chef" met een vereenvoudigd schema (een histogram) werkt.
Om dit te herstellen, gebruikt CDST een laatste stap genaamd Global Color Calibration. Stel je een fotobewerker voor die naar de uiteindelijke schildering en de originele kleurreferentie naast elkaar bekijkt. Hij stuurt de kleuren van de schildering voorzichtig bij totdat het "gemiddelde" exact overeenkomt met de referentie. Het is als het afstemmen van een radio om het duidelijkste signaal te krijgen.

Samenvatting van wat CDST kan doen

Volgens het paper kan dit enkele model drie hoofdtaken aan zonder opnieuw getraind te hoeven worden:

Stijl + Prompt: "Schilder een bergmeer in de stijl van dit referentiebeeld."
Stijl + Content: "Verander deze foto van een kat in een Van Gogh-schilderij, maar behoud de kleuren van de kat."
Stijl + Kleur + Content: "Neem deze foto van een kat, schilder deze met de penseelstreken van een Van Gogh-schilderij, maar gebruik de kleuren van een zonsondergangfoto."

Waarom het ertoe doet

Het paper beweert dat dit de eerste keer is dat een "tuning-free" model erin is geslaagd om het probleem op te lossen van het behouden van de oorspronkelijke kenmerken van een afbeelding (zoals het gezicht van een persoon of de kleur van de vacht van een kat) terwijl een complexe artistieke stijl wordt toegepast. Het bereikt dit door de "look" (stijl) strikt te scheiden van de "hue" (kleur) tijdens het trainingsproces, met behulp van een slimme mix van zwart-wit inputs en kleurdiagrammen.

Kortom: CDST is een universeel kunstinstrument dat je de "textuur" van een afbeelding laat veranderen zonder per ongeluk de "ziel" (de oorspronkelijke kleuren en kenmerken) te veranderen.

Technische Samenvatting: Color-Style Disentangled Two-Stream Networks voor Universele Tuning-Free Style Transfer

Probleemstelling

Stijltransfer (style transfer), hoewel een klassiek computervisieprobleem, blijft slecht gedefinieerd en omvat de complexe overdracht van attributen zoals penseelstreek, textuur, materiaal, kleur, licht en structuur. Bestaande oplossingen kampen met drie primaire beperkingen:

Onvoldoende Stijl-gelijkenis: Huidige modellen slagen er vaak niet in om specifieke stijlattributen zoals penseelstreken of materialen accuraat te reconstrueren.
Beperkte Bewerkingsmogelijkheid: Modellen die uitblinken in stijlreconstructie, hebben vaak moeite om tekstuele prompts op te volgen of inhoudelijke bewerking toe te staan.
Kleurinvasie (Color Invasion): In scenario's met zowel content- als stijlereferenties, dragen modellen vaak de kleur van de stijlereferentie te sterk over naar de content, waardoor de inherente kenmerken van de content veranderen.

Bovendien zijn methoden voor tuning tijdens de testfase (zoals StyleDrop) computationeel duur en onpraktisch voor real-world toepassingen die aangepaste stijlereferenties vereisen. Hoewel tuning-free modellen bestaan, hebben zij nog niet de uitdaging van characteristics-preserved style transfer opgelost — het overdragen van stijlattributen terwijl de kleurverdeling en kenmerken van de contentafbeelding strikt behouden blijven.

Methodologie

De auteurs stellen Color Disentangled Style Transfer (CDST) voor, een nieuw twee-stromen trainingsparadigma dat ontworpen is om kleur volledig te isoleren van andere stijlattributen. Het framework werkt op een enkel getraind model dat in staat is tot zero-shot inferentie voor diverse taken van stijltransfer.

1. Trainingsparadigma: Twee-stromen Ontkoppeling (Two-Stream Disentanglement)

CDST formuleert stijltransfer als een conditionele referentie-afbeeldingsconstructietaken met behulp van een dual-stream architectuur:

Stroom voor Stijl (Style Stream): Om kleurcontaminatie te voorkomen, wordt de stijlereferentieafbeelding omgezet naar grijswaarden. Kenmerken worden geëxtraheerd met behulp van DinoV2, waarbij gebruik wordt gemaakt van een multi-feature embedding compressiestrategie. Dit omvat:
- Het extraheren van diepe grid-features en de CLS-token uit de laatste block.
- Het comprimeren van grid-embeddings naar 4 tokens via een Style Transformer.
- Het extraheren van ondiepe representaties uit Blocks 5, 11 en 17 om laag-niveau cues te vangen, die worden verwerkt door MLPs en gemiddeld worden gepooled.
- Het concateneren van deze 7 tokens om de stijl-embedding ( $e_s$ ) te vormen.
Stroom voor Kleur (Color Stream): Kleur wordt onafhankelijk gerepresenteerd met behulp van een gekwantiseerd kleurhistogram. Het histogram wordt geëxtraheerd via het Rayleigh-pakket (het converteren van HSV naar de LAB-ruimte en het kwantiseren van Euclidische afstanden), wat resulteert in een 180-dimensionale vector. Deze wordt via een MLP opgeblazen naar 4 tokens om de kleur-embedding ( $e_c$ ) te vormen.

Beide stromen worden geïnjecteerd in de Denoising UNet via leerbare lineaire matrices ( $W^K, W^V$ ) en cross-attention mechanismen. De trainingsdoelstelling is het reconstrueren van de referentieafbeelding met behulp van een standaard MSE-loss.

2. Inferentie: UNet Ontkoppeling en Globale Kalibratie

Tijdens de inferentie hanteert CDST specifieke strategieën om de balans tussen stijlgetrouwheid en bewerkingsmogelijkheid te bewaken:

Nieuwe Stijldefinitie (Vergetingsmechanisme): In tegenstelling tot de training, waarbij stijl-tokens naar alle 70 cross-attention blocks van de SDXL UNet mappen, mapt de inferentie stijl-tokens alleen naar specifieke bereiken: cross_attention_list[0:14] (Encoder) en cross_attention_list[44:70] (Decoder).
- Gewichten worden ingesteld op $\lambda_s = 0.2$ voor de Encoder (behoud van ruimte/structuur) en $\lambda_s = 0.9$ voor de Decoder (behoud van verschijning/textuur).
- Dit "vergetingsmechanisme" voorkomt overfitting en content-invasie, wat de bewerkingsmogelijkheden aanzienlijk verbetert.
Globale Kleurkalibratie: Om kleine benaderingsfouten van het gekwantiseerde kleurhistogram te corrigerken, past een post-processing stap de gegenereerde afbeelding en de kleurreferentie om naar de YUV-ruimte. Het voert een statistische uitlijning uit (het matchen van gemiddelde en variantie) en mengt het resultaat terug naar de RGB-ruimte met behulp van een hyperparameter $\alpha$ (standaard 0.8).

3. CDST Workflows

Het enkel getrainde model ondersteunt meerdere workflows door de inputs en gewichten aan te passen:

Characteristics-Preserved Style Transfer: Draagt stijl (exclusief kleur) over van een stijlereferentie terwijl de pixel-niveau kenmerken van de content behouden blijven. Dit wordt bereikt door een Content Prior Latent (een ruizige versie van de contentafbeelding) te injecteren en ControlNet (Canny edge) te gebruiken om de ruimtelijke structuur te behouden. De kleur-stream wordt effectief gepasseerd of op nul gezet, aangezien de Content Prior Latent de pixel-niveau kleur domineert.
Stijl + Kleur + Content: Combineert stijl-, kleur- en contentreferenties met behulp van ControlNet.
Stijl + Kleur + Prompt: Genereert afbeeldingen op basis van een tekstuele prompt, een stijlereferentie en een aparte kleurreferentie.

Belangrijkste Bijdragen

CDST Framework: Een twee-stromen trainingsparadigma dat kleur volledig ontkoppelt van stijl, wat universele tuning-free stijltransfer mogelijk maakt. Het is de eerste die characteristics-preserved style transfer oplost met zowel stijl- als contentreferenties op een tuning-free wijze.
Verbeterde Gelijkenis en Bewerking: Door middel van multi-feature image embedding compressie (DinoV2 shallow+deep) en een nieuwe stijldefinitie gebaseerd op UNet ontkoppelingswetten, bereikt CDST een superieur evenwicht tussen stijl-gelijkenis en bewerkingsmogelijkheid vergeleken met eerdere open-source en commerciële modellen.
State-of-the-Art Prestaties: Uitgebreide kwantitatieve metrieken en menselijke evaluaties tonen de superioriteit van CDST aan op het gebied van stijl-gelijkenis, prompt-alignement, kleurconsistentie en het behoud van kenmerken over diverse taken.

Resultaten en Evaluatie

De auteurs hebben uitgebreide experimenten uitgevoerd met een benchmark van 25 stijlereferenties en diverse taken.

Kwantitatieve Metrieken: In de taak "Style/Color Ref + Prompt" behaalde CDST de beste scores in prompt-alignement (CLIP Score: 0.291), stijl-gelijkenis (CSD Score: 0.587) en kleurafstand (0.116), waarmee het InstantStyle, CSGO en Adobe Firefly verslaat. Het kwam slechts achter Midjourney v6.1 wat betreft esthetische scores.
Menselijke Evaluatie:
- Stijl + Content: CDST won van het state-of-the-art CSGO-model op het gebied van stijl-gelijkenis (78.0%), kleurconsistentie (81.6%) en algemene voorkeur (84.4%).
- Characteristics-Preserved Transfer: Vergeleken met GPT-4O vertoonde CDST een hogere stijl-gelijkenis (63.2%) en kleurconsistentie (94.8%), hoewel GPT-4O beter presteerde op het gebied van kenmerkconsistentie en esthetiek. De algemene gebruikersvoorkeur was bijna gelijk (52.8% voor CDST).
Ablatie Studies:
- Embeddings: DinoV2 shallow+deep embeddings presteerden significant beter dan CLIP embeddings en deep-only embeddings.
- Stijldefinitie: Het mappen van stijl-tokens naar specifieke UNet-blocks (Encoder+Decoder) met vergetingsmechanismen leverde betere resultaten op dan het gebruik van alle blocks of alleen de decoder.
- Ontkoppeling (Disentanglement): Het gebruik van grijswaarden stijlereferenties was cruciaal; het gebruik van kleurrijke referenties veroorzaakte verwarring en kleurvervorming wanneer stijl- en kleurreferenties verschilden.

Betekenis en Claims

Het artikel beweert dat CDST een significante vooruitgang vertegenwoordigt door het "kleurinvasie"-probleem op te lossen dat eerdere tuning-free modellen teistert. Door kleur te isoleren via een toegewijde stroom en een kleur-blinde stijl-stroom af te dwingen, ontsluit CDST de mogelijkheid om characteristics-preserved style transfer uit te voeren, een taak die voorheen instabiel of onmogelijk was zonder fine-tuning.

De auteurs benadrukken dat CDST een universeel, tuning-free model is. Ondanks dat het is getraind op een specifieke opstelling, kan het diverse scenario's aan (Style+Prompt, Style+Content, Characteristics-Preserved) met een enkel model. Het artikel merkt op dat hoewel het model in 2025 is getraind, het in 2026 nog steeds nuttig is, aangezien het is gebruikt voor de synthese van trainingsdata voor latere TeleStyle-modellen, wat de robuustheid ervan aantoont naarmate fundamentele modellen evolueren richting DiT-architecturen.