Résumé technique : Inpainting de visage avec des modèles de diffusion latente préservant l'identité

Énoncé du problème

L'inpainting de visages vise à reconstruire des régions faciales manquantes ou occluses avec un réalisme visuel et une cohérence sémantique. Bien qu'essentiel pour des applications telles que la restauration de photos et la criminalistique numérique, un défi critique persiste : préserver l'identité unique du sujet dans le résultat reconstruit. Les modèles de diffusion standards, malgré leur fidélité générative, manquent souvent de mécanismes explicites pour encoder l'identité spécifique au sujet, ce qui entraîne une dérive des régions reconstruites vers une apparence faciale « moyenne ». Les solutions existantes conscientes de l'identité reposent généralement sur un ajustement fin par sujet coûteux en calcul (par exemple, MyStyle, Custom Diffusion) ou présentent une robustesse limitée face à des occlusions et des poses diverses. De plus, l'évaluation de la préservation de l'identité est compliquée par des ensembles de données existants (par exemple, CelebA-HQ, FFHQ) qui emploient souvent des occlusions aléatoires ou de grande surface, rendant difficile la distinction entre une génération faciale plausible et une véritable récupération d'identité.

Méthodologie : ID-ControlNet

Les auteurs proposent ID-ControlNet, un cadre d'inpainting de visages préservant l'identité construit sur des modèles de diffusion latente (LDM). L'approche intègre directement des indices d'identité faciale dans le processus de diffusion sans nécessiter d'ajustement fin par sujet.

Architecture

• Modèle de base : Le cadre utilise une colonne vertébrale de diffusion latente Stable Diffusion (SD1.5) figée pour la génération d'images.
• Extension ControlNet : Inspiré par ControlNet, les auteurs introduisent une branche auxiliaire entraînable qui injecte des signaux de conditionnement externes. Contrairement au ControlNet standard qui utilise des indices spatiaux (contours, profondeur), ID-ControlNet injecte des embeddings d'identité.
• Extraction d'identité : Un réseau de reconnaissance faciale préentraîné (ArcFace) extrait les embeddings d'identité à partir de l'image de référence non masquée.
• Intégration latente : Les embeddings d'identité sont traités par la branche de contrôle, qui les suréchantillonne de $8 \times 8$ à $64 \times 64$ pour s'aligner avec le chemin du décodeur U-Net. Des couches de convolution initialisées à zéro injectent ces caractéristiques guidées par l'identité dans la colonne vertébrale de diffusion figée, orientant la trajectoire de débruitage vers l'identité cible tout en préservant la cohérence globale.

Stratégie d'entraînement

Le modèle est entraîné en utilisant une fonction objectif composite qui combine une perte de débruitage standard avec une supervision explicite de l'identité :

1. Perte de débruitage ($\mathcal{L}_{denoise}$) : Perte LDM standard pour prédire le bruit dans l'espace latent.
2. Perte de cohérence d'identité ($\mathcal{L}_{id}$) : Une perte de distance cosinus garantissant que l'embedding de l'image générée correspond à l'embedding d'identité de conditionnement.
3. Perte triplet ($\mathcal{L}_{trip}$) : Une perte au niveau du lot pour maximiser la séparabilité entre l'identité cible et les échantillons négatifs au sein du lot.
4. Efficacité : Pour éviter le coût computationnel de la rétropropagation à travers une chaîne complète de débruitage de $T$ étapes, les auteurs emploient une approximation de débruitage en une seule étape. Le latent est perturbé vers un petit pas de temps, une étape de débruitage est appliquée, et l'image résultante est décodée pour calculer la perte d'embedding.

Contributions clés

1. Cadre ID-ControlNet : Une architecture novatrice qui conditionne la diffusion latente sur des embeddings d'identité extraits d'un réseau de reconnaissance faciale préentraîné, permettant un inpainting préservant l'identité sans ajustement fin par sujet.
2. Stratégie d'entraînement : Une stratégie de perte de cohérence d'identité et de triplet qui impose un alignement entre les visages générés et les représentations d'identité cibles de manière auto-supervisée.
3. Jeu de données E-Mask : L'introduction d'un nouvel ensemble de données de référence où les occlusions sont strictement restreintes à la région des yeux. Cela répond à la limitation des jeux de données existants en se concentrant sur la zone faciale la plus informative pour l'identité, permettant une évaluation plus précise des capacités de restauration d'identité.
4. Capacité Zero-Shot : La méthode atteint une préservation d'identité à la pointe de l'état de l'art dans un cadre zero-shot, éliminant le besoin d'adaptation coûteuse ou d'ajustement fin requis par les méthodes antérieures de personnalisation basées sur la diffusion.

Résultats expérimentaux

Les auteurs ont évalué ID-ControlNet sur CelebA-HQ, FFHQ et l'ensemble de données E-Mask proposé, en le comparant à des modèles de diffusion standards (SD1.5, SD2) et à des méthodes conscientes de l'identité (PVA, MyStyle, Custom Diffusion).

• Qualité perceptuelle : ID-ControlNet atteint une qualité perceptuelle (FID, mFID, LPIPS) comparable aux modèles de diffusion standards, indiquant que le conditionnement par l'identité ne dégrade pas significativement le réalisme visuel.
• Préservation de l'identité :
  • Sur le benchmark CelebA-HQ-IDI-5, ID-ControlNet correspond à la fidélité d'identité de PVA (une méthode à la pointe de l'état de l'art) tout en opérant dans un cadre zero-shot, alors que PVA nécessite généralement un ajustement fin.
  • Sur l'ensemble de données E-Mask (occlusions spécifiques aux yeux), ID-ControlNet surpasse significativement à la fois la référence et PVA (No-Tune) dans les scores de similarité d'identité (0,78 contre 0,63 pour PVA No-Tune), démontrant une récupération supérieure des caractéristiques définissant l'identité.
• Généralisation : Les modèles entraînés sur CelebA-HQ-IDI se généralisent efficacement au jeu de données FFHQ jamais vu sans ajustement fin supplémentaire.

Importance et revendications

L'article affirme que ID-ControlNet représente une avancée significative dans l'équilibre entre réalisme visuel et fidélité d'identité dans l'inpainting de visages. En intégrant directement les embeddings d'identité dans le processus de diffusion via une architecture inspirée de ControlNet, la méthode surmonte la dérive vers le « visage moyen » des modèles standards et les limitations d'échelle des approches basées sur l'ajustement fin.

Les auteurs soulignent que leur approche fournit une solution légère et efficace pour la génération cohérente avec l'identité, particulièrement précieuse pour des applications en aval telles que la reconnaissance faciale, la criminalistique numérique et l'interaction homme-machine, où des distorsions subtiles de l'identité peuvent dégrader de manière critique les performances du système ou la confiance. L'introduction de l'ensemble de données E-Mask est mise en avant comme une étape nécessaire pour une évaluation rigoureuse, car elle isole les régions faciales les plus critiques pour la reconnaissance d'identité.

Les auteurs concluent que, bien que leurs résultats actuels soient prometteurs, les travaux futurs devraient se concentrer sur la mise à niveau des modèles de base et la réalisation d'études utilisateurs pour valider davantage la robustesse de la qualité de l'image et de la préservation de l'identité.