Résumé Technique : Le Diable est dans la Fuite : Un Cadre de Double Purification Désentrelacé pour un Transfert de Coiffure à Haute Fidélité

1. Énoncé du Problème

Le transfert de coiffure vise à synthétiser un portrait photoréaliste en transplantant une coiffure d'une image de référence sur un sujet source tout en préservant strictement l'identité de ce dernier. Bien que les modèles de fondation récents à grande échelle (par exemple, les modèles de diffusion) possèdent de fortes capacités génératrices, ils peinent avec le désentrelacement zero-shot requis pour une édition locale précise. Ces modèles présentent un entrelacement inhérent entre la coiffure de référence et l'identité faciale, la pose et l'éclairage d'origine, ne fournissant pas de contrôle explicite.

Les pipelines existants tentent généralement de résoudre cela via une conception à deux flux : la génération d'une image « chauve » à partir de la source (flux géométrique) et l'extraction de caractéristiques de coiffure indépendantes de l'identité à partir de la référence (flux de style), puis leur fusion. Cependant, les auteurs identifient que ce paradigme souffre d'un problème fondamental de fuite (leakage) composé de deux modes de défaillance distincts :

1. Fuite d'Identité dans la Coiffure : Les caractéristiques de la coiffure extraites de la référence restent entrelacées avec l'identité et la pose de la référence. Lors de la fusion, ces caractéristiques déforment le visage de la personne source, entraînant une incohérence d'identité.
2. Fuite de Défauts dans le Chauve : Lors de la génération de l'image « chauve » (généralement via l'inpainting), des défauts géométriques subtils (par exemple, des ombres ou des restes de la bordure originale des cheveux) subsistent souvent. Le modèle génératif exploite ces artefacts comme des « raccourcis », créant des corrélations spécieuses qui font que la coiffure synthétisée reproduit incorrectement la coiffure d'origine de la source plutôt que celle de la référence.

2. Méthodologie : Cadre de Double Purification (DPF)

Les auteurs proposent le Dual-Purification Framework (DPF), une nouvelle architecture conçue pour purifier explicitement et conjointement les flux d'informations de coiffure et de géométrie. Le cadre est construit sur un squelette de Modèle de Diffusion Latente (LDM), intégré avec ControlNet pour le contrôle spatial et un module inspiré de l'IP-Adapter pour l'injection de style.

2.1 Architecture Centrale

Le DPF opère via un paradigme d'entraînement de Auto-Reconstruction à Double Cible. Étant donné une image source ($I_{src}$) et un masque capillaire, un portrait « chauve » ($I_{bald}$) est généré. Le modèle synthétise une reconstruction ($\hat{I}_{src}$) à travers deux voies parallèles :

• Voie de Style : Un encodeur de style gelé extrait des caractéristiques de patch entrelacées de la source. Un Générateur de Style ($G$) entraînable purifie ces caractéristiques en une représentation de style désentrelacée de longueur fixe ($S_{pure}$).
• Voie Géométrique : Un ControlNet ($C_{Net}$) entraînable et un encodeur d'identité gelé extraient les conditions spatiales et d'identité du portrait chauve.

2.2 Purification de Coiffure Adversaire (AHP)

Pour traiter la Fuite d'Identité, le module AHP emploie un jeu adversaire entre le Générateur de Style ($G$) et un Discriminateur ($D$) sensible au contenu.

• Objectif : Le générateur vise à minimiser l'information mutuelle entre la représentation de coiffure purifiée ($S_{pure}$) et la représentation d'identité ($C_{bald}$).
• Mécanisme : Contran'en tant que GAN standard où le générateur tente de tromper le discriminateur en faisant croire que les données fausses sont réelles, ici, le générateur est entraîné pour rendre les paires positives (même identité) indiscernables des paires négatives (identités différentes). Le discriminateur est poussé vers une incertitude maximale (probabilité de 0,5), forçant ainsi efficacement le générateur à supprimer les indices liés à l'identité des caractéristiques de la coiffure.

2.3 Purification Géométrique Contrastive (CGP)

Pour traiter la Fuite de Défauts, le module CGP introduit un objectif contrastif pour pénaliser la dépendance du ControlNet aux artefacts géométriques dans l'entrée $I_{bald}$.

• Mécanisme : Pour une condition géométrique unique ($I_{bald}$), le ControlNet est alimenté par deux conditions de style contrastées : le style purifié cible ($S_{pure}$) et un style négatif ($S_{neg}$) provenant d'une image aléatoire.
• Fonction de Perte : Le modèle calcule la similitude cosinus spatiale entre les cartes de caractéristiques résultantes du ControlNet ($C_{pos}$ et $C_{neg}$) strictement au sein de la région capillaire. Une perte contrastive ($L_{CGP}$) pénalise la similitude élevée, forçant les caractéristiques à diverger.
• Effet : Cela empêche le ControlNet d'apprendre un « raccourci » basé sur des artefacts statiques dans l'image chauve, garantissant que la géométrie générée est pilotée par le style cible plutôt que par des défauts résiduels.

2.4 Stratégie de Caractéristiques Hybrides

Reconnaissant qu'aucun encodeur pré-entraîné ne peut exceller à la fois dans la texture et la structure, les auteurs emploient une approche hybride. Ils combinent les caractéristiques de CLIP-B/16 (un « champion de la texture ») et de DINOv2 (un « champion de la structure ») comme entrées du générateur, exploitant leurs forces complémentaires.

2.5 Stratégie d'Inférence

Lors de l'inférence, le cadre utilise une stratégie de Guidage par Classificateur-Sans-Classe (Classifier-Free Guidance - CFG) Incrémental. En entraînant une branche inconditionnelle ($\epsilon_{uncond}$) pour reconstruire spécifiquement le portrait chauve, le système établit une base géométrique stable. La sortie finale est générée en extrapolant la différence entre les prédictions conditionnelles et inconditionnelles, assurant une injection de texture riche tout en maintenant un alignement structurel précis et une absence de dérive de la carnation.

3. Contributions Clés

1. Formalisation du Problème : L'article identifie et formalise systématiquement le « problème de fuite » dans le transfert de coiffure, définissant ses deux composantes : la Fuite d'Identité dans la Coiffure et la Fuite de Défauts dans le Chauve.
2. Cadre de Double Purification (DPF) : Une nouvelle architecture intégrant deux modules ciblés :
   • AHP : Purge explicitement l'information d'identité des caractéristiques de coiffure via la minimisation de l'information mutuelle adversaire.
   • CGP : Supprime la dépendance aux défauts géométriques dans l'image chauve via un objectif contrastif sensible au style.
3. Conception d'Encodeur Hybride : Une démonstration que la combinaison d'encodeurs optimisés pour la texture (CLIP) et la structure (DINOv2) produit des résultats supérieurs aux approches à encodeur unique.
4. Performance de l'État de l'Art : Des expériences approfondies montrent que le DPF surpasse les méthodes précédentes (incluant les approches basées sur les GAN et la diffusion) tant en fidélité qualitative qu'en métriques quantitatives sur des benchmarks standards et « in-the-wild ».

4. Résultats Expérimentaux

Le cadre a été évalué sur le benchmark CelebA-HQ (portraits standards) et le jeu de données Human-Matting (images complexes « in-the-wild »).

• Performance Quantitative :
  • Sur CelebA-HQ, le DPF a atteint la similitude d'identité la plus élevée (ID-Sim : 0,80) et une fidélité compétitive (FID : 16,53), surpassant les bases de référence basées sur les GAN comme HairCLIPv2 et HairFastGAN.
  • Sur le jeu de données exigeant Human-Matting, le DPF a nettement surpassé les méthodes existantes, réduisant le FID de 15,81 (HairFusion) à 7,75 et atteignant un ID-Sim de 0,75.
• Études d'Ablation :
  • La base (IP-Adapter + ControlNet) souffrait d'un taux élevé de défaillance de fuite (LFR) de 37,86 %.
  • L'ajout de l'AHP a amélioré l'ID-Sim mais n'a pas réduit significativement le LFR.
  • L'ajout du CGP a drastiquement réduit le LFR à 10,33 %.
  • Le DPF complet avec les caractéristiques hybrides a obtenu le LFR le plus bas (3,17 %) et les meilleures métriques globales.
• Efficacité : Le DPF fonctionne avec une empreinte mémoire d'environ 5,4 Go et un temps de synthèse d'environ 6 secondes par image, ce qui le rend plus efficace en ressources que StableHair (16 Go) et HairFusion (10,9 Go).
• Étude Utilisateur : Dans une étude en aveugle (N=22), le DPF a reçu les scores les plus élevés en termes de précision du transfert de style, de préservation de l'identité et de réalisme.

5. Signification et Revendications

L'article affirme que la limitation principale des méthodes actuelles de transfert de coiffure n'est pas un manque de puissance génératrice, mais la présence d'une fuite fondamentale dans le processus de fusion des caractéristiques. En traitant explicitement ces fuites via la Purification de Coiffure Adversaire et la Purification Géométrique Contrastive, les auteurs démontrent qu'un transfert de haute fidélité et préservant l'identité est réalisable, même avec des entrées géométriques imparfaites (images chauves).

Les auteurs positionnent le DPF comme une solution robuste pour des applications réelles (par exemple, l'essai virtuel dans les salons de coiffure) où les variations de pose, d'éclairage et de fond sont courantes. Ils suggèrent que le principe de « purification explicite » des flux conditionnels peut être généralisable à d'autres domaines de la génération conditionnelle où l'entrelacement des caractéristiques et l'apprentissage par raccourci sont prévalents. Le travail ne prétend pas résoudre toutes les tâches d'édition générative, mais cible spécifiquement les défis de désentrelacement inhérents au transfert de coiffure.