Towards High-resolution and Disentangled Reference-based Sketch Colorization

Cet article présente un cadre novateur pour la colorisation de croquis à haute résolution et désenchevêtrée qui résout fondamentalement le problème du décalage de distribution grâce à une architecture à double branche, une régularisation Gram et l'intégration de réseaux spécifiques à l'anime pour surpasser les méthodes existantes en qualité et en contrôlabilité.

L'essentiel

🎨 Le Problème : Le "Mélange des Cartes"

Imaginez que vous êtes un chef cuisinier (l'intelligence artificielle) chargé de colorier des dessins au crayon (des esquisses).

• La situation idéale (l'entraînement) : On vous donne un dessin de chat et une photo exacte du même chat en couleur. Vous apprenez que "ce trait noir" correspond à "ce poil orange". C'est facile.
• La réalité (l'utilisation) : Plus tard, on vous donne un dessin d'un chat, mais la photo de référence est celle d'un chien ! Ou pire, c'est un chat, mais la photo de référence montre un chat avec des lunettes de soleil et un chapeau que le dessin n'a pas.

Le problème : Les anciennes méthodes d'IA se perdaient. Elles regardaient la photo du chien et disaient : "Ah, il y a des oreilles pointues sur la photo, donc je vais en mettre sur le dessin !" Résultat : le chat dessinait des oreilles de chien, ou les couleurs "fuyaient" partout, comme de l'encre sur un papier mouillé. C'est ce que les chercheurs appellent l'"enchevêtrement spatial" (Spatial Entanglement). L'IA confond la forme du dessin avec le style de la photo.

---

🛠️ La Solution : La Méthode "Double Fil"

Les auteurs de cette paper (Yan et al.) ont inventé une nouvelle façon d'entraîner l'IA pour régler ce problème. Voici comment ils font, avec une analogie simple :

1. L'Entraînement en "Double Fil" (Dual-Branch)

Au lieu d'apprendre l'IA une seule fois, ils lui font faire deux exercices en même temps, comme un athlète qui s'entraîne avec et sans poids :

• Fil A (Le Fil Sincère) : On donne à l'IA le dessin et la photo correspondante. Elle apprend la couleur.
• Fil B (Le Fil Piège) : On donne à l'IA le même dessin, mais avec une photo de référence totalement différente (un chien, un paysage, n'importe quoi).

L'objectif ? Forcer l'IA à comprendre que peu importe la photo de référence, la forme du dessin (les contours) doit toujours venir du crayon, pas de la photo. Si l'IA essaie de copier la forme du chien sur le chat, elle se fait "gronder" par le système.

2. Le "Contrôle de Qualité" (Gram Regularization Loss)

Comment savent-ils que l'IA ne triche pas ? Ils utilisent une sorte de thermomètre mathématique appelé "Gram Loss".

Imaginez que l'IA a deux cerveaux (les deux fils). Le "thermomètre" compare ce que les deux cerveaux "voient" à l'intérieur de leurs pensées.

• Si le cerveau du "Fil Piège" commence à penser "Oh, c'est un chien !" à cause de la photo, le thermomètre sonne l'alarme.
• Le système force alors le cerveau à dire : "Non, peu importe la photo, je dois voir un chat parce que le dessin est un chat."

C'est comme si vous appreniez à un enfant à dessiner en lui disant : "Peu importe la photo de l'océan que je te montre, si ton dessin a des roues, c'est une voiture. Ne dessine pas de vagues sur les roues !"

3. Le "Détective de Style" (WD-Tagger)

Pour que les couleurs soient précises (pas juste "bleu", mais "bleu ciel du Japon"), ils ont remplacé le cerveau généraliste de l'IA par un détective spécialisé dans l'anime.
Ce détective ne regarde pas juste "il y a un chat". Il dit : "Il y a un chat, avec des yeux verts, des cheveux roses, un fond de forêt, et un style manga." Cela permet de contrôler chaque petit détail avec une précision chirurgicale.

4. L'Éponge à Détails (Plugin Module)

Parfois, l'IA fait de beaux dessins mais avec des textures un peu "floues" ou sans vie, surtout dans les arrière-plans. Ils ont ajouté un petit module spécial qui agit comme une éponge à détails. Il va chercher les textures fines (la fourrure, les tissus, les feuilles) dans la photo de référence et les applique délicatement sur le dessin, sans toucher aux formes.

---

🏆 Le Résultat : Pourquoi c'est génial ?

Grâce à cette méthode, l'IA produit des résultats :

1. En haute définition : On peut zoomer sans voir de pixels flous (jusqu'à 1280px, contre 512px pour les autres).
2. Sans erreurs bizarres : Le chat reste un chat, même si la photo de référence est un chien.
3. Contrôlable : On peut dire "Je veux le chapeau rouge de la photo, mais le fond bleu du ciel". L'IA écoute.

En résumé :
C'est comme si on avait appris à un artiste numérique à ignorer les distractions. Au lieu de copier bêtement une photo de référence, il apprend à utiliser cette photo uniquement comme une palette de couleurs, tout en respectant scrupuleusement les contours du dessin original. Le résultat ? Des illustrations magnifiques, nettes et fidèles à l'intention de l'artiste, sans les bugs habituels des anciennes IA.

Résumé technique

1. Problématique : Le Décalage de Distribution et l'Enchevêtrement Spatial

L'article identifie le défi central de la colorisation de croquis basée sur une référence (image-guided sketch colorization) comme étant le décalage de distribution (distribution shift) entre les données d'entraînement et les données d'inférence.

• Le problème : Lors de l'entraînement, le modèle utilise des triplets sémantiquement alignés (croquis, référence et image de vérité terrain dérivés de la même source). Cependant, lors de l'inférence, le croquis et l'image de référence peuvent être arbitrairement appariés et totalement disjoints.
• La conséquence : Le modèle apprend une corrélation spurieuse, croyant à tort que l'image de référence détermine la structure spatiale de la sortie. Cela conduit à un phénomène appelé "enchevêtrement spatial" (spatial entanglement).
• Symptômes : Des artefacts visuels graves tels que des objets redondants, des distorsions anatomiques, des saignements de couleurs (color bleeding) et une perte de cohérence structurelle, particulièrement aux hautes résolutions. Les méthodes précédentes tentaient de mitiger ces artefacts sans résoudre la cause racine.

2. Méthodologie : Architecture à Double Branche et Régularisation Gram

Les auteurs proposent un cadre novateur basé sur Stable Diffusion XL (SDXL) pour surmonter ces limitations.

A. Architecture à Double Branche (Dual-Branch Feature Alignment - DBFA)

Pour modéliser explicitement le décalage de distribution, l'architecture utilise deux branches partageant les poids :

1. Branche alignée sémantiquement : Simule le processus d'entraînement (croquis et référence provenant de la même image de vérité terrain).
2. Branche désalignée sémantiquement : Simule le processus d'inférence (croquis et référence aléatoirement échantillonnés et potentiellement non liés).

B. Perte de Régularisation Gram (Gram Regularization Loss)

C'est le cœur de la solution pour briser l'enchevêtrement spatial.

• Principe : La matrice de Gram d'une carte de caractéristiques capture les corrélations spatiales entre les patches.
• Mécanisme : Une perte est calculée entre les matrices de Gram des deux branches. L'objectif est de forcer la branche désalignée (inférence) à maintenir la même segmentation spatiale que la branche alignée, indépendamment de l'image de référence.
• Effet : Cela contraint le réseau à dériver les informations structurelles et de segmentation uniquement du croquis, et non de l'image de référence, garantissant ainsi la désenchevêtrement (disentanglement) entre la géométrie (croquis) et le style (couleur).
• Stratégie d'entraînement : La perte Gram est activée après 33 % des étapes d'entraînement pour stabiliser l'optimisation.

C. Contrôle Fin par Tagger WD (WD-Tagger Network)

Pour améliorer le contrôle des attributs spécifiques à l'anime :

• Le encodeur textuel CLIP-L standard est remplacé par un WD-Tagger (basé sur Swin Transformer v2), pré-entraîné sur un grand dataset d'images d'anime.
• Ce tagger extrait des attributs fins (couleur des cheveux, type de vêtements, etc.) et génère des embeddings plus précis que CLIP, permettant un contrôle sémantique supérieur lors du processus de diffusion.

D. Module Plugin pour le Transfert de Texture

Un module plugin indépendant est ajouté pour la phase de raffinement. Il injecte des caractéristiques de bas niveau (low-level features) issues de l'image de référence pour améliorer la texture et la cohérence du style global, en particulier dans les zones de fond où la régularisation Gram pourrait introduire trop de hasard.

3. Contributions Clés

1. Modélisation explicite du décalage de distribution : Introduction d'une architecture à double branche qui traite le problème de l'enchevêtrement spatial à la source plutôt que de simplement le corriger a posteriori.
2. Perte de régularisation Gram : Une nouvelle fonction de perte qui assure la cohérence de la distribution entre les domaines d'entraînement et d'inférence, éliminant les artefacts structurels.
3. Amélioration du contrôle et de la résolution : Intégration de SDXL, d'un tagger spécialisé pour l'anime et d'un module plugin, permettant une colorisation haute résolution (1024px à 1280px) avec une fidélité texturale et un contrôle des attributs supérieurs.

4. Résultats et Évaluations

Les expériences comparent la méthode proposée avec des états de l'art récents (Yan et al., ColorizeDiffusion, MangaNinja, Cobra, IP-Adapter).

• Qualitatif :

  • La méthode produit des résultats haute résolution sans artefacts, avec des textures riches et une distribution des couleurs harmonieuse.
  • Elle réussit là où les autres échouent : maintien de la géométrie du croquis même avec des références très différentes (validation cross-content, ex: portrait vs paysage).
  • Meilleure cohérence des attributs (ex: couleur du chapeau, ciel, saturation).

• Quantitatif :

  • FID (Fréchet Inception Distance) : La méthode obtient le meilleur score (8.28) comparé aux concurrents (ex: 12.09 pour Yan et al., 13.42 pour ColorizeDiff), indiquant une distribution d'images générées plus proche de la réalité.
  • MS-SSIM et CLIP Score : Supériorité dans la similarité structurelle et l'alignement sémantique.
  • Note : MangaNinja obtient un bon PSNR mais échoue à générer des arrière-plans complexes et des détails fins en haute résolution.

• Étude Utilisateur :

  • Sur 25 ensembles d'images testés avec 30 participants, la méthode proposée a été préférée dans toutes les comparaisons (taux de préférence allant de 68,8 % à 79,6 %), confirmant une perception subjective nettement supérieure.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la colorisation assistée par IA, en particulier pour l'industrie de l'animation et de l'illustration numérique.

• Résolution du problème fondamental : En s'attaquant directement au décalage de distribution via une architecture dual-branch, l'article offre une solution théoriquement solide au problème d'enchevêtrement spatial, un obstacle majeur pour les méthodes précédentes.
• Haute Résolution et Contrôle : La capacité à générer des images de 1024x1280px avec un contrôle précis des attributs (via le Tagger) et une texture cohérente (via le Plugin) rend cette méthode directement applicable aux flux de travail professionnels.
• Généralisation : La méthode démontre une robustesse exceptionnelle face à des paires croquis-référence non alignées, ce qui est crucial pour les applications réelles où les références ne proviennent pas nécessairement de la même scène que le croquis.

Le code est disponible publiquement, facilitant l'adoption et le développement futur dans ce domaine.