SketchDeco: Training-Free Latent Composition for Precise Sketch Colourisation

1. Het Probleem

Het omzetten van lijntekeningen (sketches) naar volledig gekleurde afbeeldingen is een fundamentele taak in creatieve workflows, zoals animatie en productontwerp. Bestaande methoden kampen met een fundamenteel compromis tussen controle en kwaliteit:

• Tekstgebaseerde prompts: Zijn semantisch krachtig maar ruimtelijk vaag. Ze leiden vaak tot onnauwkeurige kleurendistributie, "kleurbloeding" (kleuren die in het verkeerde gebied terechtkomen) en semantische fouten.
• Handmatige of referentiegebaseerde methoden: Bieden wel precisie, maar zijn te arbeidsintensief voor moderne workflows of vereisen complexe training.
• Bestaande diffusion-modellen: Vereisen vaak volledige hertraining of fine-tuning om specifieke kleurenpaletten en ruimtelijke maskers te respecteren, wat computatievrij is en de flexibiliteit beperkt.

De kernuitdaging is het vinden van een methode die ontwerpers directe controle geeft over waar en hoe kleur wordt toegepast (via maskers en paletten), zonder de rijke generatieve priors van grote modellen te verstoren of extra training te vereisen.

2. Methodologie: SketchDeco

SketchDeco is een training-vrije (training-free) aanpak die het probleem van sketch-kleuring herformuleert als een latent-space compositiesprobleem. De methode maakt gebruik van vooraf getrainde diffusion-modellen (zoals Stable Diffusion) en verdeelt het proces in twee sequentiële fasen:

Fase 1: Globale Sketch-kleuring (Global Sketch Colourisation)

Het doel is om een realistische, volledig gekleurde basisafbeelding te genereren die de structuur van de originele sketch behoudt en een algemeen kleurenpalet volgt.

• Semantische Inferentie: Omdat sketches geen tekstlabels hebben, gebruikt het systeem BLIP-2 (een Vision-Language model) in een VQA-instelling (Visual Question Answering) om de objectklasse van de sketch te voorspellen (bijv. "een kat").
• Kleurnaam Zoeken: Gebruikers geven hexadecimale kleurencodes op. Omdat diffusion-modellen tekst nodig hebben, worden deze codes via een K-D Tree (K-Dimensionale Boom) gemapt naar de dichtstbijzijnde standaard CSS3-kleurnamen (bijv. "#FF0000" -> "red").
• Generatie: Een Scribble ControlNet (vooraf getraind) wordt gebruikt om de sketch-structuur te behouden. De tekst-prompt bevat de voorspelde objectklasse, positieve prompts voor realisme, en de afgeleide kleurnamen.
• Resultaat: Er worden meerdere globale varianten gegenereerd ($I^G$), inclusief een "achtergrond" variant zonder specifieke kleurbeschrijving, die dient als basis voor de volgende fase.

Fase 2: Lokale Sketch-kleuring (Local Sketch Colourisation)

In deze fase worden de specifieke kleurenpaletten van de gebruiker precies op de gedefinieerde maskers toegepast en harmonieus samengevoegd.

• Pixelruimte Composities: De gebruiker definieert regionale maskers ($M$) en kiest een palet. De globale resultaten worden in pixelruimte gecomposeerd: de gekleurde delen van de specifieke palet-varianten worden gecombineerd met de achtergrondvariant.
• ODE Inversie: De gecomposeerde afbeelding ($I^*$) wordt via ODE-inversie (met behulp van de DPM-Solver++ algoritme) teruggevoerd naar de noisy latent ruimte ($z^*$). Dit zorgt ervoor dat de kleurenpaletten direct in de latent representatie worden verankerd.
• Gaussian Noise Incorporatie: Om overgangen tussen gebieden soepel te maken, wordt extra Gaussisch ruis toegevoegd aan de randen van de maskers. Dit laat de generatieve priors van het model de overgangsgebieden "inpainten".
• Self-Attention Injectie & Scaling Factor ($\tau$): Dit is de kerninnovatie. Tijdens het denoising-proces wordt een self-attention map van de gecomposeerde afbeelding geïnjecteerd om de structuur en lokale kleuren te behouden. Een schalingsfactor $\tau$ reguleert de balans:
  • In de vroege fasen (hoge $\tau$) wordt de attention-map gebruikt om de sketch-structuur en lokale kleurconsistentie te behouden.
  • In de latere fasen (lage $\tau$) wordt de tekst-prompt dominant om globale harmonie en vloeiende overgangen te garanderen.

3. Belangrijkste Bijdragen

1. Training-Free Framework: Het is de eerste methode die precieze, regio-gestuurde sketch-kleuring bereikt zonder enige fine-tuning van het onderliggende diffusion-model.
2. Latent-Space Composities: Een nieuwe techniek die diffusion-inversie combineert met guided sampling om lokale kleurwijzigingen naadloos te integreren in een globale context.
3. Geavanceerde Attention Mechanisme: Een aangepaste self-attention injectie met een dynamische schalingsfactor ($\tau$) die de spanning oplost tussen het behoud van de originele sketch-structuur en het creëren van harmonieuze kleurovergangen.
4. Efficiëntie: Het systeem produceert hoogwaardige resultaten in slechts 15-20 inferentiestappen op consumenten-GPU's (zoals de NVIDIA RTX 4090), wat het toegankelijk maakt voor professionele workflows.

4. Resultaten

De auteurs evalueren SketchDeco op diverse datasets (AFHQ voor dieren, Place365 voor scènes, Danbooru2023 voor anime, en PascalVOC).

• Kwalitatief: SketchDeco overtreft state-of-the-art (SOTA) methoden zoals DiffBlender, T2I-Adapter, ColorizeDiffusion en Cobra. Het toont superieure schets-fideliteit (de lijnen blijven herkenbaar), kleurvibrantie en lokale precisie. In tegenstelling tot tekstgebaseerde methoden, bloeden de kleuren niet over de maskers heen.
• Kwantitatief: De methode behaalt de beste scores op FID (Frechet Inception Distance) en DCCW (Dynamic Closest Colour Warping) voor kleurconsistentie, wat aantoont dat de gegenereerde afbeeldingen dichter bij de echte verdeling liggen en de gekozen paletten nauwkeuriger volgen dan concurrenten.
• Ablatie Studies:
  • Het gebruik van de K-D Tree voor het mappen van hex-codes naar CSS-namen bleek cruciaal voor de compatibiliteit met CLIP/SD.
  • De Self-Attention injectie bleek noodzakelijk om de structuur te behouden; zonder deze injectie verdwijnen details of ontstaat er kleurverlies.
  • De ODE-inversie (in plaats van simpele ruis-toevoeging zoals bij SDEdit) is essentieel voor het behoud van textuur en detail.

5. Betekenis en Impact

SketchDeco vertegenwoordigt een belangrijke stap voorwaarts in de interactieve creatieve AI.

• Democratisering van Design: Het stelt professionele ontwerpers in staat om complexe kleurschema's en regio-specifieke instructies toe te passen met dezelfde eenvoud als het tekenen van een masker in Photoshop, zonder dat ze diepgaande kennis van AI-training nodig hebben.
• Efficiëntie: Door training-vrij te zijn, elimineert het de hoge kosten en tijd die nodig zijn voor het fine-tunen van modellen voor elke nieuwe stijl of taak.
• Toekomstperspectief: Het bewijst dat grote generatieve modellen, wanneer ze op de juiste manier worden "gecomponiseerd" in de latent space, zeer nauwkeurige en controleerbare resultaten kunnen leveren, wat de weg vrijmaakt voor meer geavanceerde, training-vrije creatieve tools.

Kortom, SketchDeco lost het probleem van "kleur versus controle" op door een slimme combinatie van inversie, attention-mechanismen en vooraf getrainde priors, waardoor het een krachtig, snel en gebruiksvriendelijk hulpmiddel wordt voor creatieve professionals.