Towards High-resolution and Disentangled Reference-based Sketch Colorization

Deze paper introduceert een nieuw raamwerk voor referentiegebaseerde kleuring van schetsen dat door middel van een dubbelvertakkingsarchitectuur en Gram-regularisatie de distributieshift tussen trainings- en inferentiegegevens direct minimaliseert, waardoor state-of-the-art prestaties worden bereikt in kwaliteit, resolutie en controleerbaarheid.

De kern

Stel je voor dat je een tekenaar bent die een schets maakt van een personage. De lijnen zijn er, maar het is nog zwart-wit. Je wilt dat een computer de tekening inkleurt, maar niet zomaar met willekeurige kleuren. Je wilt dat het eruitziet alsof je een specifieke foto hebt gebruikt als inspiratie: dezelfde haarkleur, dezelfde kledingstijl, dezelfde sfeer.

Dit is wat sketch colorization (het inkleuren van schetsen) doet. Maar tot nu toe hadden computers hier een groot probleem mee.

Het Probleem: De "Verkeerde Vriend"

Stel je voor dat je een computer leert kleuren te kiezen door hem duizenden voorbeelden te laten zien. In al die voorbeelden zijn de schets en de kleurrijke foto precies op elkaar afgestemd (ze komen uit dezelfde tekening).

Het probleem is dat de computer hierdoor een slechte gewoonte ontwikkelt. Hij leert niet alleen welke kleuren bij welke vormen horen, maar hij leert ook waar de vormen moeten zijn. Hij denkt: "Oh, in de foto staat een boom links, dus ik moet een boom links tekenen in de schets."

Wanneer je hem nu een nieuwe schets geeft met een andere foto als inspiratie (bijvoorbeeld een schets van een meisje, maar een foto van een bos), raakt de computer in de war. Hij probeert de boom uit de foto in de tekening van het meisje te plakken. Dit noemen de auteurs "ruimtelijke verwarring" (spatial entanglement). Het resultaat is een rommelig plaatje met extra objecten die er niet horen, of vervormde gezichten.

De Oplossing: Twee Sporen Tegelijk

De onderzoekers van deze paper (van o.a. de Universiteit van Tokio) hebben een slimme oplossing bedacht. Ze hebben een nieuw systeem gebouwd dat werkt als een tweesporig treinnetwerk:

1. Spoor A (De Oefensessie): Hier leert de computer met perfecte voorbeelden (schets en foto komen van dezelfde tekening).
2. Spoor B (De Echte Wereld): Hier leert de computer met "verkeerde" voorbeelden (een willekeurige schets en een willekeurige foto die niets met elkaar te maken hebben).

Het geheim zit in een speciale regelset (de "Gram Regularization Loss"). Deze regelset dwingt de computer om in beide sporen exact hetzelfde te doen wat betreft de vormen.

• De regel is simpel: "De schets bepaalt de vormen. De foto bepaalt alleen de kleuren en de stijl."

Door deze twee sporen constant met elkaar te vergelijken en de computer te straffen als hij de vormen van de foto probeert over te nemen, leert hij eindelijk het verschil tussen "wat er moet staan" (de schets) en "hoe het eruit moet zien" (de foto).

De Extra Tools: De "Tagger" en de "Plugin"

Om het resultaat nog mooier te maken, hebben ze nog twee slimme hulpmiddelen toegevoegd:

• De Anime-Tagger (De Vertaler):
  Normaal gesproken begrijpen AI-modellen niet precies wat er op een foto staat. Deze onderzoekers hebben een speciale "vertaler" (een Tagger Network) gebouwd die gespecialiseerd is in anime. Deze vertaler kijkt naar de foto en zegt niet alleen "dit is een foto", maar "dit is een meisje met blauw haar, een rode sjaal en een bos op de achtergrond". Hierdoor kan de computer veel preciezer de juiste kleuren toewijzen aan de juiste delen van de tekening.

• De Plugin (De Detail-Verfijner):
  Soms ziet de achtergrond er nog wat vaag of wazig uit. Ze hebben een extra module toegevoegd die zich focust op de fijne details en de textuur van de achtergrond. Dit zorgt ervoor dat de hele afbeelding er scherp en consistent uitziet, zelfs in hoge resolutie (zoals 1024x1024 pixels of groter).

Het Resultaat: Een Meesterwerk

Wat levert dit op?

• Hoge kwaliteit: De tekeningen zijn haarscherp en hebben prachtige texturen.
• Geen rommel: Er staan geen vreemde bomen of extra hoofden in de tekening die er niet horen.
• Controle: Je kunt precies kiezen welke kleuren en stijlen je wilt, zonder dat de vorm van je tekening verandert.

In tests en bij mensen die de resultaten bekeken, won dit nieuwe systeem het van alle andere bestaande methoden. Het is alsof ze de computer hebben leren onderscheiden tussen een blauwdruk (de schets) en een verfdoos (de foto), zodat hij de verf perfect op de blauwdruk kan aanbrengen zonder de lijnen te verstoren.

Kortom: Ze hebben een manier gevonden om AI te leren dat de structuur van een tekening heilig is, en dat de stijl vrij mag worden gekozen.

Technische samenvatting

Probleemstelling: Distributieverplaatsing en Ruimtelijke Verstrengeling

Het paper adresseert een fundamenteel probleem in de referentie-gebaseerde schetskleurering (sketch colorization): de distributieverplaatsing (distribution shift) tussen trainingsdata en inferentie-data.

• De Oorzaak: Tijdens het trainen worden semantisch uitgelijnde tripletten gebruikt (een schets en een referentieafbeelding die beide van dezelfde grondwaarheid/ground-truth afkomstig zijn). Tijdens de inferentie (toepassing) worden echter vaak willekeurige paren gebruikt waarbij de schets en de referentie niet overeenkomen.
• Het Gevolg: Het model leert een valse correlatie: het interpreteert de ruimtelijke structuur van de referentieafbeelding als een leidraad voor de output. Dit fenomeen wordt ruimtelijke verstrengeling (spatial entanglement) genoemd.
• De Symptomen: Dit leidt tot structurele tegenstrijdigheden in het gekleurde resultaat, zoals onverwachte objecten, kleurbloeding over lijnen heen, wazigheid en vervorming van lichaamsdelen, vooral bij hoge resoluties. Bestaande methoden proberen deze artefacten te verzachten, maar lossen het fundamentele distributieprobleem niet op.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat de distributieverplaatsing expliciet modelleert en oplost via drie kerncomponenten:

1. Dual-Branch Feature Alignment (DBFA) Architectuur

Om de verstrengeling op te lossen, wordt een architectuur met twee takken (branches) gebruikt die gewichtsdelen (weight-sharing):

• Semantisch uitgelijnde tak: Simuleert het trainingsproces (schets en referentie komen van dezelfde bron).
• Semantisch niet-uitgelijnde tak: Simuleert het inferentieproces (willekeurig gekozen schets en referentie).
• Doel: Door beide takken te laten concurreren, wordt het model gedwongen om ruimtelijke informatie uitsluitend uit de schets te halen, in plaats van uit de referentie.

2. Gram Regularization Loss

Om te garanderen dat de ruimtelijke segmentatie consistent blijft tussen de twee takken, wordt een nieuwe Gram Regularization Loss toegepast.

• Deze loss berekent de Gram-matrix (een maat voor ruimtelijke correlaties tussen feature patches) van de feature maps in de encoder en decoder van de U-Net.
• De loss forceert dat de Gram-matrix van de "niet-uitgelijnde" tak overeenkomt met die van de "uitgelijnde" tak.
• Mechanisme: Dit zorgt ervoor dat de ruimtelijke structuur invariant blijft ten opzichte van de kleurreferentie. Het model leert dus geen ruimtelijke informatie uit de referentie, maar alleen uit de schets. De loss wordt pas geactiveerd na de eerste 33% van het trainingsproces om vroege instabiliteit te voorkomen.

3. Verfijnde Controle en Tekstuurtransfer

Om de kwaliteit en controle te verbeteren, worden twee extra modules geïntegreerd:

• WD-Tagger Network: Vervangt de standaard CLIP-L encoder in Stable Diffusion XL (SDXL). Deze is getraind op een anime-dataset voor multi-label classificatie. Dit zorgt voor fijnmazige attributcontrole (bijv. specifieke haarkleuren, kledingtypes) en betere semantische gronding dan generieke CLIP-embeddings.
• Plugin Module: Een aanvullende module die op feature-niveau werkt om lage-niveau visuele kenmerken (zoals texturen en achtergronden) over te dragen. Dit lost het probleem op dat de Gram-loss soms leidt tot willekeurige achtergronden als de referentie geen duidelijke achtergrond bevat.

Belangrijkste Bijdragen

1. Expliciete Modellering van Distributieverplaatsing: Het introduceren van een dual-branch framework dat het trainings- en inferentieproces apart modelleert om de kloof te dichten.
2. Gram Regularization Loss: Een nieuwe loss-functie die ruimtelijke verstrengeling effectief elimineert door cross-domein distributiecoherentie af te dwingen zonder externe netwerken (zoals VGG) te nodig hebben.
3. Hoge Resolutie en Controle: Het bereiken van State-of-the-Art (SOTA) resultaten in hoge resoluties (1024px tot 1280px) met precieze controle over attributen dankzij de WD-Tagger en SDXL backbone.
4. Uitgebreide Validatie: Een combinatie van kwalitatieve en kwantitatieve evaluaties, inclusief een gebruikersstudie, die de superioriteit van de methode bevestigt.

Resultaten

De methode is getest op diverse benchmarks en vergeleken met state-of-the-art methoden zoals Yan et al., ColorizeDiffusion, MangaNinja, en IP-Adapter.

• Kwalitatieve Resultaten: De methode produceert resultaten met scherpere texturen, betere kleurbewaring en geen structurele artefacten (zoals "bleeding" kleuren of vervormde objecten), zelfs bij complexe achtergronden en hoge resoluties.
• Kwantitatieve Resultaten:
  • FID (Fréchet Inception Distance): De methode scoort het beste (8.28), wat aangeeft dat de verdeling van gegenereerde beelden het dichtst bij de echte data ligt.
  • MS-SSIM & CLIP Score: Ook hier scoort de methode het hoogst, wat wijst op betere structurele gelijkenis en semantische alignement.
  • PSNR: Scoort tweede (28.83), net onder MangaNinja. Dit wordt toegeschreven aan het feit dat MangaNinja door zijn beperkte generatiecapaciteit en lage resolutie (512px) minder complexe achtergronden genereert, wat de PSNR kunstmatig verhoogt, maar ten koste gaat van visuele kwaliteit.
• Gebruikersstudie: In een studie met 30 deelnemers werd de voorgestelde methode in 68,8% tot 79,6% van de gevallen verkozen boven alle andere methoden. De resultaten waren statistisch significant (p < 0.01).
• Cross-content Validatie: De methode slaagt erin om schetsen en referenties uit totaal verschillende domeinen (bijv. portret vs. landschap) te combineren zonder dat de ruimtelijke structuur van de schets wordt verstoord door de stijl van de referentie.

Betekenis en Impact

Dit paper biedt een fundamentele doorbraak in het veld van digitale illustratie en animatieproductie. Door het probleem van ruimtelijke verstrengeling aan de bron aan te pakken (in plaats van alleen symptomen te behandelen), maakt het mogelijk om:

• Hoge resolutie kleurresultaten te genereren die geschikt zijn voor professioneel gebruik.
• Precieze controle uit te oefenen over specifieke attributen zonder de algehele compositie te verstoren.
• De workflow voor animatoren en illustratoren te stroomlijnen door betrouwbare, geautomatiseerde kleuringshulpmiddelen te bieden die werken met willekeurige referenties, wat essentieel is voor creatieve exploratie.

De code is openbaar beschikbaar, wat de reproduceerbaarheid en adoptie in de community verder stimuleert.