Semantic-Guided Two-Stage GAN for Face Inpainting with Hybrid Perceptual Encoding

Each language version is independently generated for its own context, not a direct translation.

🎨 Le "Super-Restaurateur" de Visages : Une Histoire en Deux Temps

Imaginez que vous avez une vieille photo de famille abîmée. Une grande tache d'encre noire a effacé le nez de votre grand-père et une partie de son sourire. Votre but ? Remplir ce trou noir pour que la photo redevienne parfaite, sans que ça ressemble à un dessin bizarre ou flou.

C'est exactement ce que fait cette nouvelle intelligence artificielle (IA), appelée "Semantic-Guided Two-Stage GAN". Mais au lieu de simplement "deviner" les pixels manquants, elle utilise une méthode très intelligente en deux étapes, comme un artiste qui dessine d'abord le croquis, puis la peinture.

1. Le Problème : Pourquoi c'est difficile ?

Avant, les ordinateurs essayaient de remplir les trous directement, pixel par pixel. C'était comme essayer de peindre un portrait en regardant uniquement les couleurs autour du trou.

Le résultat ? Souvent, le nez était de travers, les yeux ne se regardaient pas, ou la peau était floue comme un brouillard.
La raison : L'IA ne comprenait pas la "structure" du visage. Elle voyait des couleurs, mais pas la logique d'un visage humain.

2. La Solution : L'Approche en Deux Temps

Les auteurs (Abhigyan, Hiranmoy et Debotosh) ont créé un système qui fonctionne comme un architecte suivi d'un décorateur.

Étape 1 : L'Architecte (Le Plan Sémantique)
Avant de peindre, il faut savoir où placer les choses.

L'outil : L'IA utilise deux types de "cerveaux" combinés :
- Un CNN (comme un expert des détails locaux, il voit les textures de la peau).
- Un Transformer (comme un expert de la vue d'ensemble, il comprend la structure globale : "Ah, si c'est un œil ici, il doit y avoir un autre œil de l'autre côté").
L'action : Au lieu de dessiner la peau tout de suite, l'IA dessine d'abord un plan de couleur (une carte sémantique). Elle dit : "Ici, ce sera la peau, ici ce sera l'œil, ici la bouche".
L'analogie : C'est comme si un architecte dessinait le plan d'une maison en indiquant où sont les murs et les fenêtres, avant même de poser une brique. Cela évite que la maison soit construite de travers.

Étape 2 : Le Décorateur (La Génération de Texture)
Une fois le plan validé, on passe à la peinture.

L'outil : Un générateur de texture qui regarde les zones qui ne sont pas abîmées pour copier le style (la couleur de la peau, les rides, les cheveux).
L'action : Il remplit les trous en respectant le plan de l'architecte. Il utilise une "attention" intelligente : il regarde loin autour du trou pour s'assurer que le motif continue naturellement.
L'analogie : C'est comme un peintre qui regarde la partie intacte du tableau pour mélanger les bonnes couleurs et les appliquer sur la zone manquante, en suivant scrupuleusement le plan de l'architecte.

3. Pourquoi c'est mieux que les autres ?

Pas de flou : Les anciennes méthodes faisaient des images floues. Ici, grâce à la séparation "Plan" puis "Détail", les textures sont nettes et réalistes.
Pas de visage bizarre : Comme l'IA a d'abord compris la structure (l'œil est au-dessus du nez), le résultat respecte l'anatomie humaine.
Adaptabilité : Peu importe la forme ou la taille du trou (même une énorme tache noire), le système s'adapte sans avoir besoin d'être réentraîné spécifiquement pour chaque forme.

4. Les Résultats (La Preuve par l'Image)

Les chercheurs ont testé leur méthode sur des milliers de photos de visages (des célébrités et des gens ordinaires).

Le verdict : Leur modèle bat les meilleurs systèmes actuels.
Les chiffres : Les images restaurées sont plus nettes (meilleur PSNR), plus fidèles à la structure originale (meilleur SSIM) et ressemblent plus à de vraies photos (meilleur FID).
La vitesse : C'est étonnamment rapide. L'IA peut restaurer une photo en 11 millisecondes (plus vite que vous ne pouvez cligner des yeux !).

En Résumé

Imaginez que vous devez réparer une vitre cassée.

Les anciennes méthodes : Elles essaient de coller des morceaux de verre au hasard. Ça tient, mais c'est moche et ça ne laisse pas passer la lumière correctement.
La nouvelle méthode : Elle commence par mesurer l'ouverture et dessiner le plan exact de la vitre manquante (Étape 1). Ensuite, elle coupe un morceau de verre parfait qui s'adapte exactement à ce plan et colle les bords sans trace (Étape 2).

C'est cette combinaison de compréhension intelligente (le plan) et de détail précis (la texture) qui rend cette nouvelle IA si performante pour redonner vie aux visages effacés.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

L'inpainting (ou restauration) d'images faciales vise à combler les régions manquantes ou corrompues tout en préservant l'identité du sujet, la cohérence structurelle et la qualité photoréaliste. Bien que les modèles génératifs profonds aient connu des avancées significatives, les méthodes existantes rencontrent plusieurs limites majeures, notamment :

Incohérence sémantique : La prédiction directe des pixels RGB conduit souvent à des structures faciales irréalistes (yeux décalés, contours déformés).
Flou des textures : Les approches basées sur des pertes de reconstruction simples ( $\ell_1$ ou $\ell_2$ ) produisent des résultats lisses, dépourvus de détails haute fréquence.
Artifacts aux frontières : Des discontinuités visibles (lignes, incohérences de couleur) apparaissent souvent entre les zones restaurées et les zones connues.
Manque de diversité : Les modèles tendent à produire des résultats monotones, limitant la variété des complétions réalistes possibles.

2. Méthodologie

Les auteurs proposent une architecture novatrice en deux étapes, guidée par la sémantique et utilisant un encodage perceptuel hybride.

A. Architecture Globale

Le modèle sépare la génération de la disposition sémantique (étape 1) de la synthèse des textures (étape 2).

Étape 1 : Génération de la disposition sémantique (Semantic Layout Generation)
- Encodeur Hybride CNN-Transformer : Pour encoder les entrées partiellement masquées, l'architecture utilise deux branches parallèles :
  - Une branche CNN (Convolutional Neural Network) qui capture les priors de texture locale via des blocs résiduels.
  - Une branche Vision Transformer (ViT) qui modélise les dépendances à longue portée en traitant l'image comme une séquence de patches.
- Fusion : Les caractéristiques des deux branches sont fusionnées via une convolution $1\times1$ .
- Générateur de carte sémantique : Un décodeur produit une carte sémantique probabiliste ( $S$ ) définissant les composants faciaux (yeux, nez, bouche, etc.) avec $K=20$ classes. Cette carte sert de guide structurel pour l'étape suivante.
Étape 2 : Génération de textures multi-modales (Multi-Modal Texture Generation)
- Attention Contextuelle Multi-Résolution : Un module d'attention rassemble des informations des régions connues vers les régions masquées à différentes échelles, garantissant une cohérence globale et locale.
- Synthèse Stochastique : De l'bruit gaussien est injecté dans les couches du décodeur pour permettre la génération de résultats diversifiés (multi-modaux) tout en respectant la carte sémantique guidée.

B. Entraînement et Fonctions de Perte

L'entraînement utilise une stratégie progressive sur trois phases pour assurer la stabilité :

Discriminateurs : Trois discriminateurs sont employés : un discriminateur global (réalisme global), un discriminateur local (PatchGAN pour les détails haute fréquence) et un discriminateur sémantique (conditionné par la carte sémantique pour assurer la cohérence structurelle).
Fonctions de Perte :
- Perte de reconstruction ( $\ell_1$ ).
- Perte de cohérence sémantique (Entropie croisée).
- Perte perceptuelle multi-échelle (basée sur VGG-19).
- Perte contextuelle aux frontières (pour lisser les transitions).
- Perte adversaire WGAN-GP (Wasserstein GAN with Gradient Penalty) pour une convergence stable.

3. Contributions Clés

Encodage Perceptuel Hybride : Conception d'un encodeur combinant CNN et Transformers pour extraire simultanément des textures fines et une structure globale robuste, même avec des masques importants.
Génération Guidée par la Sémantique : Utilisation de cartes sémantiques probabilistes pour orienter la synthèse de textures, évitant ainsi les incohérences structurelles.
Module d'Attention Contextuelle Multi-échelle : Capacité à agréger des informations à différentes résolutions pour une cohérence visuelle optimale.
Stratégie d'Entraînement Progressive : Un calendrier d'apprentissage adaptatif qui introduit progressivement les différentes fonctions de perte pour stabiliser l'entraînement du GAN.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données CelebA-HQ et FFHQ (résolution 128x128).

Performances Quantitatives : Le modèle complet ("hybrid+attn") obtient les meilleurs résultats sur les métriques clés :
- PSNR : 24.82 dB (CelebA-HQ)
- SSIM : 0.87
- LPIPS : 0.08 (plus bas est mieux, indiquant une meilleure similarité perceptuelle)
- FID : 11.56 (plus bas est mieux, indiquant une meilleure distribution des données générées)
Études d'Abalation : Les résultats montrent que l'architecture hybride (CNN + ViT) surpasse les versions utilisant uniquement CNN ou uniquement ViT. L'ajout du module d'attention améliore significativement la fidélité des textures et la cohérence structurelle.
Comparaison Qualitative : Le modèle produit des résultats visuellement supérieurs aux méthodes de l'état de l'art (comme DeepFill v2, LaMa, MAT) en termes de netteté des textures et de préservation de l'identité, notamment pour les masques de grande taille et irréguliers.
Efficacité : Le modèle contient environ 51,6 millions de paramètres et atteint un débit d'inférence de 88,53 FPS sur une carte graphique NVIDIA RTX 3060.

5. Signification et Conclusion

Ce travail propose une avancée significative dans le domaine de la restauration faciale en adressant le compromis traditionnel entre la cohérence structurelle et la richesse texturale. En séparant la compréhension sémantique de la synthèse de texture et en exploitant la complémentarité des CNN (local) et des Transformers (global), l'approche proposée surpasse les méthodes existantes pour les scénarios d'inpainting difficiles.

Limitations et Perspectives :
Bien que performant, le modèle peut encore rencontrer des difficultés avec des masques très larges sur des visages complexes ou pour des détails fins comme les cheveux individuels. Les auteurs prévoient d'étendre leur méthode à des résolutions plus élevées (512x512) pour permettre des comparaisons directes avec les méthodes de l'état de l'actuel les plus récentes.