💻 computer science

DiffSwap++: 3D Latent-Controlled Diffusion for Identity-Preserving Face Swapping

DiffSwap++ est un nouveau cadre de diffusion par contrôle de latent 3D qui améliore la préservation de l'identité et la cohérence géométrique dans l'échange de visages en exploitant la structure faciale 3D pour désentrelacer l'identité de la pose et de l'expression, surpassant les méthodes existantes sur de multiples benchmarks.

Auteurs originaux : Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le domaine de l'imagerie numérique, la capacité de transposer le visage d'une personne sur le corps d'une autre a longtemps été une fascination, mêlant l'art à des mathématiques complexes. Pendant des années, les outils utilisés pour créer ces images reposaient sur un type d'intelligence artificielle connue sous le nom de réseau antagoniste génératif, ou GAN. Ces systèmes fonctionnent comme deux artistes en compétition : l'un tente de créer une image truquée, tandis que l'autre tente de repérer la contrefaçon. Au fil du temps, cette compétition force le créateur à devenir incroyablement habile. Cependant, ce processus est notoirement instable, aboutissant souvent à des images qui semblent légèrement décalées, avec des traits flous ou des distorsions étranges que l'œil humain peut facilement repérer. Plus récemment, une approche différente appelée diffusion a émergé. Au lieu d'un jeu compétitif, les modèles de diffusion fonctionnent comme un sculpteur affinant lentement un bloc de pierre, éliminant progressivement le bruit pour révéler une image claire. Bien que ces nouveaux modèles produisent des images plus nettes, ils sont toujours confrontés à un problème spécifique : préserver l'identité réelle de la personne lorsqu'elle est placée dans une nouvelle pose ou expression. Sans une compréhension profonde de la structure tridimensionnelle d'un visage, l'ordinateur confond souvent les traits uniques de la personne avec l'angle de sa tête ou la forme de son sourire, menant à des résultats qui semblent réalistes mais appartiennent à la mauvaise personne.

Une équipe de chercheurs de l'Université de Caroline du Nord à Charlotte a développé une nouvelle méthode appelée DiffSwap++ pour résoudre ce casse-tête spécifique. Leur travail se concentre sur l'apprentissage à l'ordinateur pour comprendre le squelette tridimensionnel invisible d'un visage, même si l'image finale qu'il crée est plate et bidimensionnelle. Les chercheurs ont réalisé que pour échanger un visage parfaitement, le système doit savoir non seulement à quoi ressemble le visage de face, mais aussi comment les traits sont disposés dans l'espace. Pour y parvenir, ils ont entraîné leur modèle en utilisant un type spécial de carte numérique qui capture la profondeur et le volume d'un visage. Durant la phase d'entraînement, l'ordinateur apprend à projeter une photo plate dans cet espace tridimensionnel, analysant la structure sous-jacente avant de la reconvertir en une image standard. Ce processus permet au modèle de séparer l'identité de la personne — sa structure osseuse unique et la texture de sa peau — de la pose et de l'expression, qui ne sont que les positions temporaires de cette structure.

L'innovation réside dans la manière dont cette connaissance tridimensionnelle est utilisée. Les chercheurs ne demandent pas à l'ordinateur de construire un modèle 3D complet à chaque fois qu'il échange un visage ; au lieu de cela, ils utilisent l'information 3D uniquement pendant que le système apprend. Une fois entraîné, le modèle peut effectuer l'échange en utilisant uniquement des images 2D standard, rendant le processus rapide et pratique. Le système prend une image source d'une personne et une image cible d'une autre personne dans une pose différente. Il utilise ensuite les leçons apprises de l'entraînement tridimensionnel pour reconstruire le visage de la cible, en remplaçant les traits par ceux de la personne source tout en maintenant strictement l'angle de la tête et l'expression faciale de la cible. Cela garantit que l'image finale donne l'impression que la personne source est naturellement présente dans la scène, plutôt que d'avoir simplement un autocollant collé sur un autre visage.

Pour tester si leur méthode fonctionnait réellement, les chercheurs ont mené des expériences approfondies en utilisant des milliers d'images provenant de bases de données publiques contenant des portraits de haute qualité de personnes réelles. Ils ont comparé leur nouveau système à plusieurs des meilleures méthodes existantes, incluant à la fois les anciens outils basés sur les GAN et les nouveaux modèles de diffusion. Les résultats ont montré un avantage clair pour DiffSwap++. Lorsque les chercheurs ont mesuré la capacité des visages échangés à conserver l'identité de la personne originale, leur méthode a systématiquement obtenu un score plus élevé que toute approche précédente. Lors de tests conçus pour voir si les visages échangés pouvaient tromper un système de reconnaissance biométrique, DiffSwap++ a été nettement plus efficace pour préserver l'identité de la source que ses concurrents. Parallèlement, il n'a pas sacrifié l'aspect naturel de la pose ou de l'expression de la cible. Alors que d'autres méthodes produisaient souvent des visages légèrement déformés ou échouaient à transférer complètement l'identité, DiffSwap++ a produit des images qui étaient à la fois hautement réalistes et fidèles à la personne originale.

L'équipe a également mené une étude avec des volontaires humains pour voir à quel point les images semblaient convaincantes à l'œil nu. Les participants ont été confrontés à des ensembles de visages échangés et ont été invités à évaluer la manière dont l'identité, l'expression et la pose étaient préservées. Les résultats ont confirmé ce que les mesures informatiques suggéraient : les gens ont trouvé les images créées par DiffSwap++ les plus réalistes et les plus convaincantes. Les visages paraissaient naturels, sans artefacts étranges ou mélange artificiel qui trahissent souvent une manipulation numérique. En revanche, d'autres méthodes laissaient parfois des signes révélateurs de contrefaçon, tels que des yeux creux ou des textures irrégulières autour de la bouche. En intégrant une conscience structurelle tridimensionnelle dans le processus d'apprentissage, les chercheurs ont démontré qu'il est possible d'atteindre un niveau de détail et de précision auparavant hors de portée, créant des échanges de visages qui sont non seulement visuellement impressionnants, mais aussi scientifiquement robustes dans leur préservation de l'identité.

Résumé technique : DiffSwap++ : Diffusion à contrôle de latent 3D pour l'échange de visages préservant l'identité

1. Énoncé du problème

L'échange de visages consiste à transférer l'identité d'un visage source sur un visage cible tout en préservant la pose, l'expression et l'arrière-plan de la cible. Bien que les réseaux antagonistes génératifs (GAN) aient été largement utilisés, ils souffrent d'une instabilité d'entraînement et produisent souvent des résultats avec des artefacts notables et une faible cohérence d'identité. Les approches récentes basées sur la diffusion ont amélioré la fidélité, mais luttent encore contre les artefacts fins et une faible préservation de l'identité. Une limitation principale identifiée dans les méthodes de diffusion existantes est le manque de modélisation explicite de la structure faciale 3D sous-jacente. Sans conscience de la 3D, les modèles peinent à désenchevêtrer efficacement l'identité de la pose et de l'expression, conduisant à des échanges qui soit échouent à transférer l'identité de la source, soit déforment les attributs de la cible. De plus, les méthodes de diffusion dotées d'une conscience 3D existantes (par exemple, DiffSwap) limitent souvent les caractéristiques 3D à la génération de points de repère (landmarks) lors de l'inférence plutôt que de les utiliser pour guider directement le processus d'entraînement.

2. Méthodologie : DiffSwap++

Les auteurs proposent DiffSwap++, un nouveau pipeline qui exploite des représentations latentes conscientes de la 3D pour guider le processus de génération par diffusion. La méthode opère entièrement dans l'espace latent sémantique d'un modèle de diffusion latente (LDM) pré-entraîné en utilisant des modèles de diffusion implicites de débruitage (DDIM) pour l'efficacité.

Composants principaux

Entraînement conscient de la 3D, Inférence 2D : Une innovation clé est que DiffSwap++ incorpore des informations faciales 3D pendant l'entraînement, mais fonctionne sans caractéristiques 3D lors de l'inférence. Cela garantit que le modèle apprend un désenchevêtrement géométrique robuste sans nécessiter de capacités de reconstruction 3D lors du déploiement.
Extraction de latent 3D : Le système utilise un modèle de reconstruction faciale 3D pré-entraîné (basé sur EG3D) pour projeter les images faciales 2D en plongements (embeddings) latents 3D. Ces plongements sont organisés hiérarchiquement en trois niveaux de granularité :
- Grosse granularité (Couches 1-4) : Contrôle la géométrie structurelle à basse fréquence (forme de la tête, pose).
- Granularité moyenne (Couches 5-9) : Dirige les caractéristiques localisées (forme des yeux, structure de la bouche).
- Fine granularité (Couches 10-14) : Représente les détails à haute fréquence (texture de la peau, éclairage).
  Ces caractéristiques sont agrégées pour former un vecteur latent 3D holistique ( $f_{3D}$ ) qui capture l'identité structurelle.
Pipeline de conditionnement : Le modèle de diffusion est conditionné sur trois ensembles de caractéristiques distincts :
1. Caractéristiques d'identité ( $f_{ID}$ ) : Extraites de l'image source à l'aide d'un modèle de reconnaissance faciale pré-entraîné (par exemple, ArcFace) et projetées via un MLP.
2. Caractéristiques de points de repère ( $f_{LM}$ ) : Dérivées des points de repère faciaux 2D de l'image cible pour préserver la pose et l'expression.
3. Caractéristiques de latent 3D ( $f_{3D}$ ) : Les représentations 3D agrégées des images source et cible, qui guident le désenchevêtrement de l'identité de la pose/expression.
  Ces caractéristiques sont combinées via une agrégation pondérée et injectées dans l'UNet via des mécanismes d'attention croisée (cross-attention).

Objectif d'entraînement

Le processus d'entraînement est formulé comme une tâche d'inpainting conditionnelle et optimisé à l'aide d'une fonction d'objectif en deux étapes :

Perte de reconstruction ( $L_{Recon}$ ) : Une perte de diffusion de débruitage standard garantissant que le modèle peut reconstruire le visage cible à partir du bruit.
Perte de préservation de l'identité ( $L_{ID}$ ) : Calculée à l'aide de la similitude cosinus entre le visage échangé et l'identité de la source (via ArcFace) pour assurer la rétention de l'identité de la source.
Perte de similitude perceptuelle ( $L_{PS}$ ) : Utilise LPIPS pour garantir que le visage généré se mélange de manière transparente avec l'arrière-plan cible et maintient une cohérence visuelle.

La perte totale est une somme pondérée : $L_{Total} = L_{Recon} + w_{ID}L_{ID} + w_{PS}L_{PS}$ .

3. Principales contributions

L'article expose trois contributions majeures :

Premier cadre de diffusion guidé par la 3D : DiffSwap++ est le premier cadre d'échange de visages qui exploite les caractéristiques latentes faciales 3D pour guider un pipeline de génération basé sur la diffusion. Il intègre des indices géométriques 3D pendant l'entraînement tout en restant entièrement en 2D lors de l'inférence.
Performance et robustesse supérieures : Des expériences approfondies sur CelebA-HQ, FFHQ et CelebV-Text démontrent que la méthode surpasse les bases de référence de l'état de l'art en termes de rétention d'identité et de réalisme perceptuel. Une étude utilisateur confirme que les échanges générés sont plus convaincants visuellement que les méthodes précédentes.
Évaluation biométrique novatrice : Les auteurs introduisent une perspective d'évaluation rigoureuse en analysant le compromis entre le taux d'acceptation de présentation d'attaque d'imposteur (IAPAR) et le taux de faux rejet (FRR). Cela fournit une mesure quantitative de l'efficacité de la méthode pour préserver l'identité de la source face aux systèmes de reconnaissance biométrique.

4. Résultats expérimentaux

La méthode a été évaluée sur trois jeux de données publics (CelebA-HQ, FFHQ, CelebV-Text) par rapport à des bases de référence incluant DiffFace, DiffSwap, REFace, HiFiFace et SimSwap.

Préservation de l'identité : DiffSwap++ a atteint les taux de récupération d'identité Top-1 (94,7 %) et Top-5 (98,2 %) les plus élevés sur CelebA-HQ, et 95,1 % / 98,4 % sur FFHQ. Cela surpasse de manière significative les bases de référence de diffusion comme DiffSwap (16,9 % Top-1) et les méthodes basées sur les GAN comme HiFiFace (86,4 % Top-1).
Qualité visuelle : La méthode a obtenu la distance d'information de Fréchet (FID) la plus faible, soit 6,42 sur CelebA-HQ et 6,57 sur FFHQ, indiquant un haut degré de photoréalisme.
Pose et expression : Bien que certaines méthodes aient obtenu des scores de pose/expression légèrement meilleurs en apportant des modifications minimales au visage cible (et donc en échouant à transférer l'identité), DiffSwap++ a maintenu un compromis équilibré, préservant les attributs de la cible avec une dégradation minimale (distance $\ell_2$ de pose : 3,29 ; expression : 1,00).
Analyse biométrique : Dans l'analyse IAPAR vs FRR, DiffSwap++ a démontré des échanges de haute fidélité qui ont réussi à préserver l'identité de la source, maintenant un seuil élevé d'acceptation par les systèmes biométriques.
Efficacité : DiffSwap++ nécessite 3,35 secondes par image pour l'inférence, ce qui le rend environ 1,5 fois plus rapide que DiffSwap et 11 fois plus rapide que DiffFace, tout en utilisant 18,69 Go de VRAM.
Études d'ablation : Les expériences ont confirmé que la stratégie "Avg. Pool" pour l'agrégation des caractéristiques 3D (combinant les couches de fine, moyenne et grosse granularité) produit la meilleure récupération d'identité (79,30 %) par rapport à l'utilisation de couches spécifiques uniquement. L'étude a également vérifié que les caractéristiques d'identité et de points de repère sont essentielles pour l'entraînement, et que 4 étapes DDIM fournissent l'équilibre optimal pendant l'entraînement.

5. Signification et affirmations

L'article affirme que DiffSwap++ répond à la limitation critique de la conscience 3D dans l'échange de visages par diffusion. En incorporant des caractéristiques latentes 3D pendant l'entraînement, le modèle parvient à désenchevêtrer l'identité de la pose et de l'expression, produisant des échanges qui sont à la fois photoréalistes et hautement efficaces pour le transfert de l'identité de la source.

Les auteurs soulignent que leur méthode ne nécessite pas de caractéristiques 3D lors de l'inférence, ce qui la rend pratique pour le déploiement. La signification de ce travail réside dans sa capacité à produire des échanges de visages difficiles à distinguer des images authentiques (IAPAR élevé) tout en maintenant l'intégrité structurelle du visage cible. L'article conclut que DiffSwap++ offre le meilleur équilibre entre une fidélité moyenne élevée et une qualité de génération constante, validé à la fois par des mesures quantitatives et des études utilisateurs humaines. Le code est rendu public pour faciliter la recherche ultérieure dans ce domaine.