Clair Obscur: an Illumination-Aware Method for Real-World Image Vectorization

Ce papier présente COVec, un cadre de vectorisation d'images inspiré du principe du clair-obscur qui introduit pour la première fois la décomposition d'images intrinsèques dans le domaine vectoriel afin d'améliorer la fidélité visuelle et l'édition des images réelles complexes.

L'essentiel

🎨 COVec : L'Art de Dessiner la Lumière et l'Ombre

Imaginez que vous avez une magnifique photo d'un paysage ou d'un portrait. C'est une image "raster" (comme un pixel art ou une photo classique). Si vous essayez de la grossir, elle devient floue et pixelisée.

Les ordinateurs adorent les images vectorielles (comme les logos SVG). Ce sont des dessins faits de courbes mathématiques parfaites. On peut les agrandir à l'infini sans perte de qualité, et on peut modifier chaque partie facilement (changer la couleur d'un œil, déplacer un arbre).

Le problème ?
Les méthodes actuelles pour transformer une photo complexe en dessin vectoriel sont comme un enfant qui essaie de copier une peinture à l'huile avec des feutres. Pour reproduire les nuances subtiles de la lumière sur une peau ou les ombres d'un arbre, ils créent des milliers de petites formes décousues. Le résultat est lourd, difficile à modifier, et perd la "magie" de l'image originale.

La solution : COVec (Clair Obscur Vectoriel)
Les chercheurs de l'Université de Peking ont créé une nouvelle méthode appelée COVec. Leur idée géniale vient d'un vieux principe artistique appelé le Clair-Obscur (le jeu entre la lumière et l'ombre, utilisé par des peintres comme Le Caravage).

Au lieu de tout mélanger dans un seul gros tas de formes, COVec décompose l'image en trois couches magiques, comme un gâteau à trois étages :

1. Le Gâteau de Base : La Couleur (Albedo) 🎨

C'est la couche du "vrai" objet, sans aucune lumière ni ombre.

• Analogie : Imaginez que vous peignez un mannequin en plastique avec de la peinture mate. Le nez est rose, les cheveux sont noirs, la peau est beige. Peu importe où vous placez la lampe, ces couleurs restent les mêmes.
• Ce que fait COVec : Il identifie ces zones de couleur pure et crée une couche vectorielle propre pour elles.

2. Le Voile d'Ombre : L'Atténuation (Shade) 🌑

C'est la couche qui dit "où il fait sombre".

• Analogie : Imaginez un voile gris transparent que l'on pose par-dessus le mannequin. Là où le voile est plus épais, l'objet devient plus sombre. C'est ce qui donne du volume et de la profondeur (les creux du nez, les plis du vêtement).
• Ce que fait COVec : Il crée une couche séparée qui ne fait que "multiplier" les couleurs pour assombrir les zones nécessaires.

3. L'Éclat : La Lumière (Light) ✨

C'est la couche des reflets et des brillances.

• Analogie : Imaginez que vous ajoutez des paillettes ou de la peinture blanche brillante sur les pointes du nez ou les yeux pour simuler le reflet du soleil.
• Ce que fait COVec : Il ajoute une dernière couche qui "ajoute" de la lumière aux endroits stratégiques.

---

🛠️ Comment ça marche ? (La Recette)

Pour réussir ce tour de force, COVec utilise une recette en deux étapes :

1. Le Découpage Intelligent (Initialisation) :
   Au lieu de deviner au hasard, le système utilise une intelligence artificielle pour "découper" l'image en zones logiques (comme un visage, un arbre, un ciel). Il ne traite pas toute l'image d'un coup, mais regarde chaque objet individuellement pour décider où placer les ombres. C'est comme si un chef cuisinier préparait chaque ingrédient séparément avant de les assembler.

2. L'Assemblage et le Polissage (Optimisation) :
   Le système assemble ces trois couches (Couleur + Ombre + Lumière) et les compare à la photo originale. Si ce n'est pas parfait, il ajuste les courbes mathématiques. Il fait cela deux fois : d'abord pour avoir la bonne forme globale, puis pour ajouter les petits détails fins (comme la brillance d'une larme ou la texture de la fourrure).

---

🌟 Pourquoi c'est génial ? (Les Avantages)

• C'est plus simple (Concision Sémantique) :
  Au lieu d'avoir 1000 petits morceaux de puzzle pour faire un visage, COVec n'en a besoin que de quelques-uns bien placés. C'est comme passer d'un dessin fait de milliers de points à un dessin fait de quelques courbes élégantes.
• C'est facile à modifier (Éditabilité) :
  C'est le plus grand avantage !
  • Exemple : Vous voulez changer la couleur des yeux d'un personnage de bleu à vert ?
  • Avec les anciennes méthodes : Il faudrait modifier des centaines de petits morceaux pour ne pas casser l'ombre ou la brillance.
  • Avec COVec : Vous changez juste la couleur de la couche "Base" (le gâteau). Les ombres et les reflets s'adaptent automatiquement ! C'est comme changer la couleur d'une voiture sans avoir à refaire la peinture des zones d'ombre.
• C'est beau et réaliste :
  En séparant la lumière de la matière, le résultat final ressemble beaucoup plus à une vraie photo qu'à un dessin animé plat.

En résumé

COVec, c'est comme donner aux ordinateurs le sens artistique des grands peintres. Au lieu de copier bêtement chaque pixel, ils comprennent que la réalité est faite de matière, d'ombre et de lumière. En séparant ces trois éléments dans des couches distinctes, ils créent des images vectorielles qui sont à la fois magnifiques, légères et incroyablement faciles à modifier.

Résumé technique

1. Problématique

La vectorisation d'images vise à convertir des images raster (matricielles) en représentations vectorielles (SVG) éditables et scalables. Bien que les méthodes existantes fonctionnent bien sur des images simples (icônes, emojis), elles échouent souvent sur les photographies du monde réel.

• Limites actuelles : Les méthodes actuelles peinent à représenter les variations tonales complexes induites par l'éclairage et les ombres. Pour compenser, elles génèrent souvent un grand nombre de formes fragmentées et redondantes.
• Conséquence : Cette fragmentation nuit à la concision sémantique (la capacité à représenter l'image avec peu de formes cohérentes) et réduit considérablement l'éditabilité du résultat final. Il est difficile de modifier une couleur ou une zone sans perturber l'ensemble de la structure lumineuse.

2. Méthodologie : COVec

Les auteurs proposent COVec, un cadre de vectorisation conscient de l'éclairage, inspiré du principe artistique du Clair-Obscur (contraste entre lumière et ombre). La méthode décompose l'image en trois couches vectorielles sémantiquement distinctes au sein d'un SVG unifié :

1. Couche Albedo ($V_A$) : Représente la couleur intrinsèque de la surface, indépendante de l'éclairage.
2. Couche Ombre ($V_S$) : Modélise l'atténuation de la lumière due à la géométrie et à l'orientation (ombres portées et propres).
3. Couche Lumière ($V_L$) : Modélise les effets additifs comme les reflets, les hautes lumières et la lumière diffusée.

Le modèle de formation de l'image vectorielle est formulé comme suit :
$$V_{final} = V_A \ast V_S + V_L$$
où $\ast$ représente le mode de fusion "multiplier" (pour l'ombre) et $+$ le mode "plus clair" (pour la lumière), exploitant les modes de fusion natifs du SVG.

Pipeline de traitement (Coarse-to-Fine)

Le processus se déroule en trois étapes principales :

A. Initialisation des couches

• Albedo : Une carte d'albedo est extraite via un modèle de décomposition intrinsèque pré-entraîné. Ensuite, un modèle de segmentation (SAM) est utilisé sur cette carte pour générer des masques binaires sémantiques, assurant que les régions vectorielles correspondent à des objets cohérents et non à des variations d'éclairage.
• Éclairage (Ombre/Lumière) : Les auteurs proposent une stratégie de binarisation sémantique par région. Au lieu d'appliquer un seuil global à l'image, le seuil est calculé localement pour chaque région sémantique (basé sur l'intensité moyenne des pixels dans cette région). Cela permet de capturer les variations spatiales de l'ombre tout en respectant les contours des objets.

B. Optimisation Structurelle (Deux étapes)

• Étape 1 (Optimisation conjointe) : Les couches Albedo et Éclairage sont optimisées conjointement via un rendu différentiable.
  • Perte de structure ($\mathcal{L}_{struct}$) : Assure l'alignement géométrique entre les chemins vectoriels et les masques d'initialisation.
  • Perte de reconstruction ($\mathcal{L}_{recon}$) : Minimise l'erreur entre l'image composite rendue et l'image cible.
• Étape 2 (Raffinement de l'éclairage) : La couche Albedo est figée. De nouveaux chemins vectoriels sont ajoutés progressivement à la couche d'éclairage pour capturer les détails fins (hautes lumières, variations subtiles). Une opération de nettoyage (fusion/suppression de chemins redondants) est effectuée pour maintenir la concision.

C. Séparation des couches
Après le raffinement, la couche d'éclairage est séparée en Ombre et Lumière :

• Les chemins dont les valeurs de couleur restent dans la plage normale $[0, 1]$ sont assignés à la couche Ombre.
• Les chemins dépassant cette plage (indiquant des reflets additifs) sont déplacés vers la couche Lumière, dont les couleurs sont recalculées à partir de la carte résiduelle.

3. Contributions Clés

1. Première décomposition intrinsèque dans le domaine vectoriel : COVec est la première méthode à intégrer la décomposition intrinsèque (Albedo, Ombre, Lumière) directement dans la représentation vectorielle SVG, permettant une séparation explicite de la matière et de l'éclairage.
2. Stratégie de binarisation sémantique par région : Une méthode d'initialisation innovante qui adapte le seuillage de l'éclairage à la sémantique de chaque objet, évitant ainsi la fragmentation des ombres aux bords des objets.
3. Éditabilité améliorée : Grâce à la séparation des couches, il est possible de modifier la couleur d'un objet (couche Albedo) sans affecter sa structure d'ombre et de lumière, offrant un contrôle éditorial intuitif.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données : visages (FFHQ), scènes complexes (Things, TID2013) et emojis.

• Fidélité Visuelle : COVec obtient des erreurs de reconstruction (MSE) et des distances perceptuelles (LPIPS) inférieures à celles des méthodes de l'état de l'art (DiffVG, LIVE, O&R, LayerVec), même avec un nombre de chemins vectoriels plus faible.
• Concision Sémantique : Contrairement aux méthodes concurrentes qui fragmentent l'image, COVec produit des formes plus cohérentes et moins nombreuses, mieux alignées avec la structure sémantique de l'image.
• Éditabilité : Dans les tests de modification de couleur, COVec permet d'atteindre l'apparence cible en modifiant très peu de chemins (seulement la couche Albedo), tandis que les autres méthodes nécessitent des modifications massives et souvent inefficaces car l'éclairage est intrinsèquement lié à la couleur.
• Ablation : Les études montrent que l'initialisation basée sur l'albedo et la binarisation sémantique sont essentielles pour la stabilité de l'optimisation et la qualité finale.

5. Signification et Impact

Ce travail marque une avancée significative dans la vectorisation d'images réalistes. En s'inspirant des principes artistiques classiques (Clair-Obscur) et en les combinant avec la décomposition intrinsèque moderne, COVec résout le compromis traditionnel entre fidélité visuelle et concision structurelle.

• Applications : La méthode ouvre la voie à une édition plus naturelle des images vectorielles complexes, à une compression plus efficace, et à l'animation de scènes réalistes où la séparation de la lumière et de la matière est cruciale.
• Innovation : Elle démontre que l'intégration de connaissances physiques (formation de l'image) et sémantiques (segmentation) dans le processus d'optimisation vectorielle est supérieure aux approches purement géométriques ou basées sur des données d'entraînement massives.

En résumé, COVec transforme la vectorisation d'images du monde réel d'un problème de "remplissage de pixels" en un processus de modélisation de la scène, produisant des SVG non seulement visuellement précis, mais aussi structurellement intelligents et facilement modifiables.