Technische Samenvatting: Multimodale Kleurstelling van Afbeeldingen

Probleemstelling

Automatische zwart-wit naar kleur transformatie van afbeeldingen is een fundamentele uitdaging in computer vision omdat de taak slecht gedefinieerd (ill-posed) is: een enkele grijswaardenintensiteit bepaalt niet uniek de oorspronkelijke kleur. Bijgevolg kan een enkele input overeenkomen met meerdere geldige kleurstellingen, afhankelijk van de identiteit van het object, de context van de scène of artistieke intentie. Hoewel moderne deep learning-benaderingen probabilistische modellen en semantische feature-extractie gebruiken om deze ambiguïteit aan te pakken, blijft de inherente multimodaliteit van het probleem een centrale hindernis.

Een veelbelovende strategie om deze ambiguïteit op te lossen, is het integreren van natuurlijke taalbeschrijvingen als conditionerende signalen. Tekst kan expliciet attributen definiëren (bijv. "rode auto" versus "blauwe auto") die ononderscheidbaar zijn in grijswaarden. Echter, eerdere werken die tekstconditionering integreren (bijv. TIC, DiffColor, Diffusing Colors), introduceren tegelijkertijd meerdere architecturale wijzigingen, zoals aangepaste backbones, nieuwe verliesfuncties of diffusie-frameworks. Dit vertroebelt de resultaten, waardoor het onmogelijk is om de specifieke kwantitatieve bijdrage van tekstuele sturing te isoleren van andere architecturale verbeteringen.

Methodologie

Om de impact van tekstconditionering te isoleren, voert deze studie een gecontroleerde ablatie-studie uit waarbij twee verschillende architecturale niveaus worden vergeleken. In beide niveaus is de enige variabele de aanwezigheid van tekstconditionering; alle andere hyperparameters, datasets en trainingsprocedures worden constant gehouden.

Dataset:
De experimenten maken gebruik van de Open Image Preferences v1 dataset (7.459 prompt-afbeelding paren). Een deterministische splitsing reserveert 90% voor training en 10% voor evaluatie, wat lekken in de testset voorkomt.

Architectuur Niveau 1: U-Net

• Basismodel (UN-NP): Een aangepaste U-Net getraind vanaf nul op grijswaarden-inputs om RGB-outputs te voorspellen. Het gebruikt MSE-loss en bevat ~13,4M parameters.
• Tekst-geconditioneerd (UN-P): Een identieke backbone uitgebreid met cross-attention lagen op specifieke dieptes in de encoder en decoder. Deze lagen attenderen op embeddings van een bevroren CLIP ViT-B/32 encoder. Het model bevat ~16,4M parameters.
• Training: Beide modellen gebruiken Adam-optimalisatie. UN-P wordt getraind met 10% lege prompt-dropout om overfitting op tekst te voorkomen.

Architectuur Niveau 2: Stable Diffusion 1.5

• Basismodel (SD-NP): Een gefinetuned Stable Diffusion 1.5 checkpoint waarbij elke caption is vervangen door een lege string, wat effectief een onconditioneel model traint.
• Tekst-geconditioneerd (SD-P): Hetzelfde checkpoint gefinetuned met echte captions.
• Configuratie: Beide varianten opereren in de CIELAB-ruimte (voorspellen van de ab kanalen). Cruciaal is dat beide een guidance scale van 1.0 gebruiken (geen Classifier-Free Guidance amplificatie). Dit ontwerpkeuze isoleert het effect van tekstconditionering via cross-attention alleen, waardoor het risico wordt vermeden dat tekstsignalen de grijswaarden-conditionering overstemmen, wat werd waargenomen in eerdere experimenten met hoge schalen.

Evaluatiemetrieken:
Prestaties worden gemeten op een onafhankelijke testset van 745 afbeeldingen met behulp van:

1. PSNR & SSIM: Pixel-niveau en structurele getrouwheid.
2. LPIPS: Perceptuele gelijkenis (lager is beter).
3. Colorfulness: Hasler–Süsstrunk index (hoger is levendiger).
   Alle metrieken worden berekend op 512×512 resolutie (U-Net voorspellingen worden bilineair geüp sampled voor een eerlijke vergelijking).

Belangrijkste Bijdragen

1. Gecontroleerde Ablatie: De eerste studie die de impact van tekstconditionering op kleurstelling kwantificeert door alle andere variabelen constant te houden over twee totaal verschillende architecturale schalen (een ~13M parameter U-Net en een ~859M parameter Stable Diffusion model).
2. Kwantitatieve Evaluatie: Een rigoureuze statistische analyse met gepaarde t-testen op per-afbeelding metrieken om de significantie van verbeteringen te bepalen.
3. Kwalitatieve Analyse: Een onderzoek naar specifieke scenario's waar tekstconditionering het meeste voordeel biedt (het disambigueren van ambigue objecten) versus waar het beperkt voordeel biedt (stereotypische scènes).

Resultaten

De studie toont aan dat tekstconditionering consistente, meetbare verbeteringen biedt over beide architecturale schalen.

U-Net Niveau (UN-NP vs. UN-P):

• PSNR: +5,6% verbetering (19,13 → 20,21).
• SSIM: +1,2% verbetering.
• LPIPS: -7,6% reductie (verbetering).
• Colorfulness: +36,6% toename.
• Significantie: Alle verbeteringen zijn zeer statistisch significant ($p < 10^{-13}$) met gemiddelde effectgroottes.

Stable Diffusion Niveau (SD-NP vs. SD-P):

• PSNR: +5,8% verbetering (19,65 → 20,79).
• SSIM: +1,5% verbetering.
• LPIPS: -11,3% reductie (verbetering).
• Colorfulness: +0,6% toename (statistisch insignificant, $p=0,71$).
• Significantie: Verbeteringen in PSNR, SSIM en LPIPS zijn zeer significant.

Vergelijkende Analyse:
Hoewel de PSNR-winsten vergelijkbaar zijn tussen de niveaus (~5,6–5,8%), verschilt de aard van de verbetering. Het U-Net niveau laat een dramatische toename in colorfulness zien, wat suggereert dat tekst een cruciale externe bron van semantische informatie levert voor modellen die vanaf nul worden getraind. In contrast hiermee vertoont het Stable Diffusion niveau, dat beschikt over rijke vooraf getrainde visuele priors van miljarden tekst-afbeelding paren, een grotere reductie in perceptuele fout (LPIPS) maar een minimale winst in colorfulness, aangezien de backbone al sterke kleurassociaties codeert.

Betekenis en Claims

Het artikel concludeert dat tekstconditionering een architectuur-onafhankelijk mechanisme is dat de kwaliteit van kleurstelling verbetert. De consistentie van de PSNR- en LPIPS-verbeteringen over een 50× verschil in aantal parameters suggereert dat het voordeel niet louter een functie is van modelcapaciteit, maar een fundamentele oplossing voor de slecht gedefinieerde aard van het probleem.

De auteurs stellen dat voor modellen die vanaf nul worden getraind (zoals de U-Net), tekstconditionering fungeert als een noodzakelijk signaal om de kleurambiguïteit op te lossen die grijswaardenpixels alleen niet kunnen bieden, waardoor effectief een informatiebottleneck wordt doorbroken in plaats van een capaciteitsbottleneck. Voor grote vooraf getrainde modellen (Stable Diffusion) verfijnt tekstconditionering de output om meer semantisch accuraat en perceptueel dichter bij de grondwaarheid te zijn, zelfs als de marginale winst in kleurintensiteit lager is.

De studie benadrukt dat eerdere claims van superieuriteit door tekstgestuurde methoden moeilijk toe te schrijven waren aan enkel tekst vanwege gelijktijdige architecturale wijzigingen. Door de variabele te isoleren, bevestigt dit werk dat natuurlijke taalsturing een onderscheidende en krachtige bijdrager is aan automatische beeldkleurstelling.