💻 computer science

GeoFace: Consistent Multi-View Face Generation with Geometry-Constrained Diffusion

GeoFace est un cadre de diffusion à double flux contraint par la géométrie qui génère des images de visages multi-vues cohérentes en synthétisant conjointement le RGB et la géométrie 3D via un mécanisme d'attention partagé guidé par une perte d'alignement géométrique, surmontant ainsi les problèmes d'incohérence entre les vues prévalents dans les méthodes existantes.

Auteurs originaux : Yeji Choi, Jinhyeok Choi, Jaewon Min, Minkyung Kwon, Jin Hyeon Kim, Seungryong Kim

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yeji Choi, Jinhyeok Choi, Jaewon Min, Minkyung Kwon, Jin Hyeon Kim, Seungryong Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez la photographie du visage d'un ami. Maintenant, imaginez que vous vouliez voir à quoi ressemble ce visage de profil, de dessus, ou même de dos. C'est un casse-tête classique pour les ordinateurs : une seule photo est plate, mais un visage est en 3D. Si vous essayez de deviner l'arrière de la tête simplement en regardant l'avant, vous risquez d'obtenir un résultat étrange et déformé où le nez disparaît ou la mâchoire se tord de manière impossible.

GeoFace est un nouveau programme informatique conçu pour résoudre ce casse-tête. Considérez-le comme un « sculpteur 3D » qui ne se contente pas de peindre une image, mais qui construit réellement un modèle 3D cohérent dans son esprit tout en peignant.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le monstre à deux têtes

Les programmes d'IA précédents qui tentaient de faire cela étaient comme des artistes qui ne s'intéressaient qu'à la peinture. Ils pouvaient créer une belle vue de profil, mais ils n'avaient pas de règle stricte pour définir comment la forme 3D devait tenir ensemble.

Le Résultat : Si vous demandiez de tourner la tête, le nez pouvait soudainement se déplacer vers l'oreille gauche, ou le menton pouvait disparaître. Ils étaient « photoréalistes » mais géométriquement brisés. C'est comme dessiner un visage sur un ballon ; si vous étirez le ballon, les traits se déforment et deviennent incohérents.

2. La Solution : Une équipe à double flux

GeoFace change la donne en utilisant une équipe de deux personnes travaillant ensemble en temps réel :

Le Peintre (Flux d'apparence) : Cette partie se concentre sur la réalisation d'une image réaliste — la texture de la peau, l'éclairage et les couleurs.
L'Architecte (Flux de géométrie) : Cette partie se concentre strictement sur la forme 3D. Il ne se soucie pas de la couleur ; il se soucie de l'endroit où le nez, la mâchoire et le front se situent réellement dans l'espace 3D.

Au lieu de travailler séparément, ces deux « flux » communiquent constamment entre eux. L'Architecte dit au Peintre : « Hé, le nez est ici, donc tu ne peux pas peindre un œil là. » Le Peintre dit à l'Architecte : « L'éclairage suggère que la joue est bombée de cette façon, alors ajuste la forme. »

3. La Recette Secrète : Le « Plan Universel »

Pour s'assurer qu'ils soient d'accord, GeoFace utilise un outil spécial appelé Carte de position UV canonique.

L'Analogie : Imaginez une carte du monde standard et plate (comme une projection de Mercator). Peu importe où vous vous trouvez sur Terre, « Londres » est toujours au même endroit sur cette carte.
Comment ça marche : GeoFace crée une « carte plate » similaire pour le visage, basée sur un modèle de visage 3D standard (appelé FLAME). Chaque vue (face, profil, dos) est forcée de s'aligner sur cette même carte plate.
Le Bénéfice : Parce que chaque vue est ancrée à ce plan unique et immuable, l'IA ne peut pas tricher. Elle ne peut pas faire disparaître le nez dans la vue de profil parce que le plan stipule que le nez doit être là. Cela garantit que le visage ressemble à la même personne sous tous les angles.

4. Le « Professeur » (La perte d'alignement)

L'article mentionne une « fonction de perte » spéciale (une façon de mesurer les erreurs). Considérez cela comme un professeur strict qui note l'équipe.

Le professeur vérifie la conversation entre le Peintre et l'Architecte.
Si le Peintre regarde le nez dans la vue de face, le professeur vérifie : « Est-ce que l'Architecte regarde le nez dans la carte 3D ? »
S'ils ne regardent pas la même chose, le professeur leur donne une « mauvaise note » et les force à corriger leur attention. Cela garantit que la forme 3D et l'image 2D sont parfaitement verrouillées ensemble.

5. Les Résultats : Qu'ont-ils trouvé ?

Les chercheurs ont testé GeoFace sur des ensembles de données comprenant de nombreux visages et de nombreux angles.

Une meilleure cohérence : Contrairement aux autres méthodes qui produisaient des visages « glitchés » lors du changement d'angle, GeoFace a maintenu un visage solide et cohérent. Le nez est resté sur le nez, et la ligne de la mâchoire est restée sur la mâchoire.
Une meilleure reconstruction 3D : Parce que GeoFace génère une forme 3D parfaite en même temps que les images, il devient beaucoup plus facile pour d'autres programmes de construire un véritable modèle 3D du visage par la suite. C'est comme donner à un constructeur un ensemble de plans parfaits plutôt qu'un tas de briques.

Résumé

GeoFace est comme donner à une IA un squelette 3D auquel se tenir pendant qu'elle peint. En forçant l'IA à construire une forme 3D cohérente en même temps qu'elle peint l'image, cela empêche le visage de se déformer ou de se briser lorsqu'on le regarde sous différents angles. Cela transforme une photo plate en un personnage 3D fiable et rotatif.

Résumé Technique : GeoFace

Énoncé du Problème

La génération d'images faciales photoréalistes multi-vues à partir d'une seule entrée est un défi critique pour la reconstruction 3D, les avatars numériques et la création de contenu immersif. Bien que les modèles de diffusion multi-vues récents atteignent une haute fidélité visuelle au niveau de chaque vue, ils manquent souvent de mécanismes explicites pour imposer une structure 3D partagée entre les différents points de vue. Par conséquent, ces modèles produisent fréquemment des résultats géométriquement incohérents, particulièrement lors de variations de pose importantes, entraînant des artefacts tels que la dégradation de l'identité et le désalignement structurel (par exemple, des formes de nez ou de mâchoire incohérentes). Les approches existantes reposant sur des modèles paramétriques (comme les 3DMM ou FLAME) ajustés à partir d'images uniques sont intrinsèquement sous-déterminées, convergeant souvent vers des structures statistiquement moyennes plutôt que vers une géométrie propre au sujet. De même, les méthodes de diffusion pilotées par l'apparence qui incorporent des indices géométriques (comme des cartes de normales) dépendent toujours de signaux spécifiques à chaque vue plutôt que d'une représentation 3D unifiée et partagée, laissant le problème de l'alignement géométrique global non résolu.

Méthodologie

GeoFace répond à ces limitations en proposant un cadre de diffusion à double flux unifié qui génère conjointement des images RGB multi-vues et la géométrie faciale 3D à partir d'une seule image de référence.

1. Architecture à Double Flux

GeoFace étend un squelette de diffusion multi-vues (basé sur CAT3D) pour opérer deux flux parallèles au sein d'un seul U-Net :

Flux d'Apparence : Débruite les latents des vues cibles conditionnés par des plongements de rayons de Plücker pour générer $N-1$ nouvelles images RGB.
Flux de Géométrie : Débruite un latent géométrique partagé représentant une carte de position UV canonique. Cette carte encode les coordonnées de surface 3D denses sur un maillage FLAME dans une paramétrisation invariante à la vue.

Les deux flux interagissent via des couches d'attention 3D partagées, permettant aux flux d'apparence et de géométrie de se contraindre mutuellement pendant le processus de débruitage. Cette intégration traite la géométrie non pas comme un signal auxiliaire, mais comme une représentation intrinsèque partagée entre toutes les vues.

2. Représentation Géométrique et Conditionnement

Carte de Position UV Canonique : La géométrie 3D est représentée sous la forme d'une grille de type image $H \times W \times 3$ où chaque texel stocke la coordonnée canonique 3D du point correspondant sur le maillage FLAME. Cette représentation est sensible à la topologie et invariante à la vue, ce qui la rend directement compatible avec les architectures de convolution 2D sans modification.
Jeton de Caméra Apprenable : Puisque la carte UV canonique ne correspond pas à un point de vue de caméra spécifique, les plongements de rayons de Plücker standards sont remplacés par un jeton apprenable ( $e_{geo}$ ). Ce jeton est optimisé de bout en bout comme un plongement positionnel implicite pour la géométrie canonique, évitant ainsi les hypothèses de point de vue fallacieuses.

3. Perte d'Alignement d'Attention Guidée par la Géométrie

Pour imposer explicitement une attention croisée 3D cohérente entre les flux de géométrie et d'apparence, les auteurs introduisent une perte d'alignement d'attention guidée par la géométrie.

Cette perte supervise l'attention croisée entre les jetons de géométrie (carte UV) et les jetons d'apparence (images faciales) en utilisant des correspondances 3D cohérentes dérivées de la carte de position UV de FLAME et des poses de caméras calibrées.
La perte est définie comme une entropie croisée bidirectionnelle entre les cartes d'attention prédites et les correspondances de vérité terrain (basées sur les distances L2 par paires des positions 3D).
Ce mécanisme encourage le flux d'apparence à référencer des indices géométriques invariants à la pose pour un alignement robuste, particulièrement dans les régions occultées ou ambiguës, tout en ancrant le flux de géométrie dans le contexte de l'apparence.

4. Construction du Jeu de Données

Comme la supervision géométrique multi-vues canonicalisée n'est pas disponible nativement, les auteurs ont construit un jeu de données à partir de collections de vidéos faciales multi-vues (RenderMe-360 et NeRSemble v2). Ils ont utilisé le pipeline VGGTFace pour agréger les cartes de points et les coordonnées UV, en les affinant via un ajustement de faisceaux (bundle adjustment) et en les projetant sur un espace canonique FLAM partagé via un alignement de Procruste pour créer des signaux de supervision géométrique invariants à la vue.

Principales Contributions

Cadre Unifié à Double Flux : Une nouvelle architecture de diffusion où les flux d'apparence et de géométrie interagissent via des couches d'attention partagées, imposant la cohérence géométrique inter-vues comme une propriété intrinsèque de la génération.
Alignement d'Attention Guidé par la Géométrie : Une fonction de perte qui supervise l'attention croisée avec des correspondances 3D cohérentes, garantissant que les deux flux se contraignent mutuellement.
Carte de Position UV Canonique : Une représentation géométrique invariante à la vue définie dans l'espace FLAME qui est nativement compatible avec les modèles de diffusion, facilitant une génération contrainte par la géométrie partagée.
Validation Empirique : Des expériences approfondies démontrant que la génération conjointe de la géométrie améliore significativement la qualité visuelle et la cohérence géométrique par rapport aux bases de référence axées uniquement sur l'apparence.

Résultats Expérimentaux

GeoFace a été évalué sur les jeux de données RenderMe-360 et NeRSemble v2 sur des plages allant de la vue frontale à la vue de profil.

Performance Quantitative : GeoFace a systématiquement surpassé les bases de référence existantes (incluant les méthodes basées sur NeRF comme PanoHead et les méthodes de diffusion comme CAP4D, DiffPortrait360 et SEVA) sur tous les indicateurs : PSNR, SSIM, LPIPS et Similitude Cosinus (CSIM) pour la préservation de l'identité. Notamment, l'écart de performance s'est creusé dans les vues de profil, là où les méthodes basées uniquement sur l'apparence peinent face aux variations de pose importantes.
Améliorations Qualitatives : La méthode a produit des résultats géométriquement cohérents avec une meilleure préservation des structures faciales (nez, ligne de la mâchoire, front) lors de changements de pose importants. Elle a efficacement résolu les ambiguïtés de profondeur dans les régions auto-occultées où les modèles basés uniquement sur l'apparence échouaient.
Utilité en Aval : La géométrie générée conjointement a servi de prior d'initialisation efficace pour le Gaussian Splatting 3D. Comparée à une initialisation aléatoire ou basée sur COLMAP, l'initialisation par maillage a conduit à une convergence plus rapide et à un LPIPS plus faible lors de la reconstruction, démontrant l'utilité de la géométrie générée pour les tâches 3D en aval.
Études d'Ablation : Le retrait du flux de géométrie, l'utilisation de jetons de caméra fixes au lieu de jetons apprenables, ou l'omission de la perte d'alignement ont tous entraîné des baisses de performance mesurables, confirmant la nécessité de chaque composant.

Signification et Revendications

L'article affirme que GeoFace représente une avancée significative en dépassant la génération pilotée par l'apparence pour un cadre où la cohérence géométrique est imposée intrinsèquement durant le processus génératif. En modélisant conjointement l'apparence et une représentation de géométrie canonique, GeoFace atteint une préservation de l'identité et une fidélité structurelle supérieures, particulièrement dans les scénarios complexes impliquant de grands changements de point de vue. Les auteurs postulent que cette approche facilite une reconstruction 3D plus efficace et précise en fournissant un fort prior structurel.

L'article reconnaît des limites, notant que la dépendance à FLAME comme squelette géométrique peut limiter la représentation des régions situées en dehors de la surface faciale (ex: cheveux, oreilles, dents), ce qui pourrait affecter les sujets avec des coiffures ou accessoires complexes. Des travaux futurs sont suggérés pour étendre les représentations géométriques au-delà de la région faciale et valider davantage la généralisation aux images "in-the-wild".