SketchingReality: From Freehand Scene Sketches To Photorealistic Images

1. Problématique et Contexte

L'intelligence artificielle générative a considérablement progressé, utilisant principalement le langage naturel comme conditionnement. Cependant, pour un contrôle plus fin, les chercheurs explorent d'autres signaux comme les cartes de profondeur ou les bords.

Le problème central abordé par cet article est la génération d'images photoréalistes à partir de croquis libres (freehand sketches) de scènes. Contrairement aux cartes de bords (edge maps) souvent utilisées dans la littérature, les croquis libres sont :

• Abstraits et déformés : Ils ne respectent pas toujours les proportions réelles ni les alignements pixel par pixel.
• Ambigus : Un même trait peut représenter plusieurs concepts ou objets.
• Sans vérité terrain alignée : Il n'existe pas d'image de référence unique et parfaitement alignée avec un croquis dessiné à la main (les utilisateurs dessinent de mémoire, comme illustré dans le jeu de données FS-COCO).

Les méthodes existantes (comme ControlNet ou T2I-Adapter) échouent souvent car elles sont conçues pour des entrées structurées (bords nets) et ne parviennent pas à interpréter la sémantique profonde d'un croquis libre, produisant soit des images irréalistes, soit des images qui ignorent le croquis.

2. Méthodologie Proposée

Les auteurs proposent une approche basée sur les modèles de diffusion latents (LDM) qui privilégie l'interprétation sémantique plutôt que l'adhésion stricte aux pixels.

A. Extraction de Caractéristiques Sémantiques

Au lieu d'utiliser un encodeur d'images standard (comme le VAE de Stable Diffusion) qui traite le croquis comme une image brute, l'équipe utilise un encodeur de croquis basé sur CLIP (pré-entraîné sur FS-COCO pour la segmentation sémantique).

• Affinement : Les dernières couches de cet encodeur sont affines (fine-tuned) pour mieux aligner les caractéristiques du croquis avec la tâche de génération.
• Avantage : Cela permet d'extraire des informations sur "ce qui est où" (sémantique) plutôt que sur la position exacte des pixels.

B. Réseau de Modulation (Modulation Network)

Pour injecter ces caractéristiques sémantiques dans le modèle de diffusion sans modifier son architecture de base, les auteurs conçoivent un réseau de modulation (architecture CNN encodeur-décodeur).

• Fonctionnement : Le réseau prend en entrée les caractéristiques du croquis, le bruit latent ($z_t$) et la prédiction de bruit actuelle ($\epsilon_\theta$).
• Sortie : Il génère des cartes de mise à l'échelle ($S_t$) et de décalage ($B_t$).
• Application : Ces cartes modulent la prédiction de bruit du modèle de diffusion :
  $$\epsilon'_{\theta} = \epsilon_{\theta} \odot (1 + S_t) + B_t$$
  Cela permet d'ajuster dynamiquement le processus de débruitage pour respecter la structure sémantique du croquis.

C. Nouvelle Fonction de Perte (Attention Supervision)

Le défi majeur est l'absence d'images de vérité terrain alignées pixel par pixel. Pour contourner cela, les auteurs introduisent une perte de supervision d'attention :

• Principe : Ils utilisent l'encodeur sémantique pour générer des "cartes d'attention de vérité terrain" ($M_{grth}$) indiquant où les objets doivent se trouver dans l'image.
• Mécanisme : Pendant l'entraînement, le modèle est contraint pour que les cartes d'attention croisée (cross-attention) entre les tokens textuels et l'image latente générée correspondent à ces cartes sémantiques.
• Résultat : Cela force le modèle à apprendre la structure spatiale et sémantique du croquis sans avoir besoin d'une image de référence parfaitement alignée.

D. Stratégie d'Entraînement Hybride

Le modèle est entraîné sur un mélange de :

1. Croquis libres réels (FS-COCO) : Pour apprendre l'abstraction et la distorsion.
2. Croquis synthétiques (générés algorithmiquement à partir d'images MS-COCO) : Pour fournir un alignement pixel parfait et stabiliser l'apprentissage de la structure fine.

3. Contributions Clés

1. Méthode de génération nouvelle : Une approche capable de transformer des croquis de scènes libres et abstraits en images photoréalistes, en équilibrant adhésion au croquis et réalisme.
2. Intégration de caractéristiques sémantiques : Utilisation d'un encodeur CLIP spécialisé pour les croquis, couplé à un réseau de modulation dans l'espace latent, évitant ainsi de réentraîner tout le backbone du modèle de diffusion.
3. Fonction de perte innovante : Une perte de supervision d'attention qui permet l'entraînement sur des croquis libres sans nécessiter d'images de référence alignées pixel par pixel, résolvant le problème de l'absence de vérité terrain.
4. Performance supérieure : Démonstration que cette méthode surpasse les approches de l'état de l'art (ControlNet, T2I-Adapter) tant sur l'alignement sémantique que sur la qualité photoréaliste.

4. Résultats et Évaluations

Les expériences ont été menées sur le jeu de données FS-COCO (475 croquis de test) en utilisant les backbones Stable Diffusion 2.1 (SD2.1) et SDXL.

• Métriques Quantitatives :

  • FID (Fréchet Inception Distance) : La méthode obtient le meilleur score (121.97 contre 135.59 pour ControlNet SD2.1), indiquant une meilleure qualité et diversité d'images.
  • Similarité CLIP : Meilleure cohérence entre le croquis et l'image générée (1.291 contre 1.136).
  • LPIPS : Meilleure similarité perceptuelle (0.739).

• Études Utilisateurs :

  • Une étude avec 23 participants a montré que la méthode proposée est systématiquement préférée pour le compromis entre photoréalisme et ressemblance au croquis (66% à 88% de préférence selon les comparaisons).
  • Les méthodes de base (ControlNet, T2I) produisent souvent des images floues, décolorées ou qui ignorent les détails du croquis.

• Ablations :

  • L'utilisation de l'encodeur sémantique (CLIP) est cruciale : l'utilisation d'un encodeur VAE standard dégrade fortement les performances.
  • La perte d'attention est essentielle : sans elle, l'alignement avec le croquis chute drastiquement.
  • L'entraînement sur un mélange de croquis réels et synthétiques est nécessaire pour généraliser correctement.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de la génération d'images conditionnée par des croquis. En passant d'une approche basée sur l'alignement pixel (qui échoue sur les croquis libres) à une approche basée sur la sémantique, les auteurs ouvrent la voie à des outils de création plus naturels et intuitifs.

L'approche permet aux utilisateurs de dessiner rapidement des idées complexes (comme dans un brainstorming) et d'obtenir instantanément des rendus photoréalistes, sans avoir besoin de compétences techniques pour ajuster des paramètres complexes. De plus, la méthode est légère (ne modifie pas le backbone de diffusion) et généralisable à d'autres architectures (SDXL), ce qui en fait une solution robuste et efficace pour l'IA générative centrée sur l'humain.