Learning to Generate Conditional Tri-plane for 3D-aware Expression Controllable Portrait Animation

L'article présente Export3D, une méthode d'animation de portraits en une seule prise qui génère des vues 3D contrôlables par l'expression sans échange d'apparence, grâce à un générateur de tri-planes conditionné et un cadre de pré-entraînement contrastif pour isoler les paramètres d'expression de l'identité.

L'essentiel

🎭 L'Art du Masque Numérique : Comment Export3D fait parler les portraits

Imaginez que vous avez une photo de vous-même (le Source) et que vous voulez que cette photo prenne vie en imitant les expressions d'une autre personne sur une vidéo (le Driving). Vous voulez que votre photo cligne des yeux, sourie ou parle comme l'autre personne, mais sans que votre visage ne se transforme en celui de l'autre personne. C'est comme si vous gardiez votre propre tête, mais que vous portiez le masque expressif de quelqu'un d'autre.

C'est exactement le défi que relève Export3D.

1. Le Problème : Le "Vol d'Identité" 🚫

Jusqu'à présent, les technologies pour animer des visages avaient un gros défaut : elles étaient comme des photocopieuses mal réglées.

• L'approche classique : Pour faire sourire votre photo, le logiciel prenait les traits du sourire de l'autre personne et les "étirait" sur votre visage.
• Le résultat : Souvent, votre photo finissait par avoir les yeux de l'autre personne, la forme de son nez, ou même sa peau. C'est ce qu'on appelle un "swap d'apparence" (un échange d'identité). C'est bizarre et peu réaliste.

2. La Solution : Le "Moteur 3D" Invisible 🧊

Les auteurs proposent une méthode différente. Au lieu de simplement "tordre" l'image 2D comme un élastique, ils construisent un monde 3D invisible autour de votre photo.

Imaginez que votre photo n'est pas une image plate, mais un cube de glace transparent (appelé Tri-plane). À l'intérieur de ce cube, il y a toutes les informations de votre visage en 3D.

• Export3D prend ce cube de glace de votre photo.
• Il y injecte les "commandes" du sourire de l'autre personne.
• Il projette ensuite ce cube modifié sous un nouvel angle pour créer une nouvelle image.

Le secret ? Ce cube 3D permet de comprendre la structure du visage, donc quand on change l'expression, on ne change pas la forme de base de votre tête.

3. Le Génie : Le "Filtre Anti-Identité" 🧪

C'est ici que la vraie magie opère. Le problème est que les paramètres mathématiques qui décrivent un sourire (appelés 3DMM) sont souvent mélangés avec les informations de l'identité de la personne (la forme de son crâne, la couleur de sa peau). C'est comme si la recette d'un gâteau contenait à la fois la liste des ingrédients (sucre, farine) et la photo du chef qui l'a cuisiné.

Si on utilise cette recette pour faire un gâteau pour quelqu'un d'autre, on risque d'ajouter la photo du chef dans le gâteau !

La solution de l'équipe :
Ils ont créé un filtre spécial (appelé CLeBS) qui agit comme un tamis ultra-puissant.

• Ils entraînent ce filtre sur des milliers de vidéos pour apprendre à séparer le "mouvement" (le sourire, le clignement d'yeux) de "l'identité" (la forme du visage).
• Imaginez que vous avez un jus de fruit (l'expression) mélangé à de la boue (l'identité). Ce filtre lave le jus pour ne garder que le goût pur du fruit, sans la boue.
• Une fois le "jus pur" (l'expression sans l'identité) obtenu, ils l'injectent dans votre cube de glace 3D.

4. Le Résultat : Une Animation Propre et Fluide ✨

Grâce à cette méthode, Export3D peut :

1. Prendre une photo de n'importe qui.
2. Lui faire faire les expressions d'une autre personne (même un inconnu).
3. Changer l'angle de la caméra (comme si on tournait autour du visage).
4. Sans que le visage ne change de personne. Votre nez reste votre nez, vos yeux restent vos yeux, mais vous souriez comme l'autre.

En résumé 🌟

Pensez à Export3D comme à un théâtre numérique.

• L'acteur (votre photo) reste sur scène avec son propre costume et son propre visage.
• Le metteur en scène (l'algorithme) lui donne les instructions de jeu (les expressions) d'un autre acteur.
• Grâce à un filtre magique, l'acteur apprend ces nouvelles émotions sans jamais oublier qui il est ni changer de costume.

C'est une avancée majeure pour créer des avatars virtuels réalistes, des doublages de films ou des chats vidéo, où l'on peut contrôler l'émotion sans perdre son propre visage.

Résumé technique

1. Problématique

L'animation de portraits (ou "face reenactment") vise à générer une vidéo d'une personne source en transférant les mouvements d'une image ou vidéo pilote (driving). Bien que prometteur pour des applications comme le doublage de films ou les avatars virtuels, ce domaine fait face à deux défis majeurs, en particulier lors du transfert d'expressions entre des identités différentes (cross-identity transfer) :

• Enchevêtrement Apparence-Expression : Dans les méthodes existantes (basées sur le warping d'images ou les champs de déformation), l'expression faciale et l'apparence (forme du visage, contours, taille des yeux) sont fortement corrélées. Transférer l'expression d'une personne à une autre entraîne souvent un changement indésirable de l'identité de la personne source (phénomène de "swap" d'apparence).
• Incohérence 3D et Artéfacts : Les méthodes 2D souffrent d'incohérences temporelles et de problèmes de vue. Les méthodes 3D basées sur les NeRF (Neural Radiance Fields) ou les GAN 3D peinent soit à reconstruire fidèlement l'identité source, soit à générer des vidéos avec des scintillements (flickers) dus à des champs de déformation instables.
• Manque de données appariées : Il est difficile d'apprendre une représentation désenchevêtrée (disentanglement) car il manque de données où différentes personnes affichent exactement la même expression.

2. Méthodologie : Export3D

Les auteurs proposent Export3D, une méthode d'animation de portrait en un seul coup (one-shot) qui génère des images 3D-aperçues avec un contrôle explicite de l'expression et de la caméra. L'architecture repose sur trois piliers principaux :

A. Pré-entraînement Contrastif pour des Expressions "Libres d'Apparence" (CLeBS)

Le problème central est que les paramètres d'expression des modèles morphables 3D (3DMM), notés $\beta \in \mathbb{R}^{64}$, contiennent encore des informations sur l'identité (apparence).

• Approche : Les auteurs introduisent un cadre de pré-entraînement par apprentissage contrastif sur des vidéos.
• Mécanisme : Ils utilisent un encodeur d'expression $f_e(\cdot)$ pour mapper les paramètres 3DMM bruts vers une représentation orthogonale $\beta'$.
• Objectif : En utilisant des paires positives (même vidéo, même apparence, expressions différentes) et négatives, le modèle apprend à ignorer l'apparence et à ne garder que l'information pure de l'expression.
• Structure Orthogonale : Ils introduisent une base orthonormée apprise $V$ (via une décomposition QR) pour que chaque direction de la base corresponde à une expression spécifique (ex: clignement des yeux, ouverture de la bouche) indépendante de l'identité.

B. Générateur Hybride Tri-plane avec EAdaLN

Au lieu de prédire un champ de déformation (ce qui cause des artefacts), Export3D génère directement un Tri-plane (représentation 3D composée de trois plans 2D) conditionné par l'expression.

• Architecture : Le générateur combine des blocs de convolution et un Vision Transformer (ViT).
• Conditionnement (EAdaLN) : Au lieu d'utiliser l'attention croisée (cross-attention), les auteurs proposent une Expression Adaptive Layer Normalization (EAdaLN). Les paramètres d'expression raffinés $\beta'$ (issus de CLeBS) modulent directement les tokens visuels via des facteurs d'échelle ($\sigma$) et de décalage ($\mu$) appliqués avant les couches d'attention et de feed-forward du ViT.
• Avantage : Cela permet d'injecter sémantiquement l'expression dans les caractéristiques visuelles de l'image source sans altérer l'identité.

C. Rendu Volumique Différentiable et Super-Résolution

• Le Tri-plane généré est décodé en une image 2D via un rendu volumique différentiable (inspiré de EG3D/NeRF), permettant de changer la vue de la caméra.
• Une étape de super-résolution (basée sur des blocs de convolution de plan) est appliquée pour passer d'une résolution basse (rendue) à la résolution cible haute définition, évitant ainsi les coûts computationnels d'un rendu direct en haute résolution.

3. Contributions Clés

1. Export3D : Une méthode d'animation de portrait "one-shot" 3D-aperçue capable de contrôler explicitement l'expression faciale et la vue de la caméra sans changer l'identité de la personne source.
2. Cadre CLeBS (Contrastive Learned Basis Scaling) : Un mécanisme de pré-entraînement qui extrait des paramètres d'expression "libres d'apparence" à partir des paramètres 3DMM, formant une structure orthogonale pour désenchevêtrer l'expression de l'identité.
3. EAdaLN : Une nouvelle couche de normalisation adaptative qui permet un transfert d'expression efficace au sein d'un générateur ViT, surpassant les méthodes d'attention croisée pour cette tâche spécifique.
4. Résultats Empiriques : Démonstration que la méthode évite le "swap" d'apparence lors du transfert d'expression entre identités différentes, tout en maintenant une cohérence temporelle et 3D.

4. Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données VFHQ et TalkingHead-1KH, comparant Export3D à des méthodes de pointe (StyleHEAT, DPE, ROME, OTAvatar, HiDe-NeRF).

• Transfert Same-Identity (Même identité) : Export3D obtient les meilleurs scores sur la plupart des métriques (PSNR, SSIM, AKD), surpassant même les méthodes 3D existantes.
• Transfert Cross-Identity (Identités différentes) :
  • Préservation de l'identité (CSIM) : Export3D préserve l'identité source beaucoup mieux que les méthodes basées sur le warping (DPE, StyleHEAT) qui montrent des artefacts de changement de visage.
  • Transfert d'expression (AED/APD) : La méthode transfère fidèlement l'expression du pilote sans déformer les traits du visage source.
  • Qualité visuelle : Contrairement à HiDe-NeRF qui peut produire des changements de lumière imprévisibles ou des scintillements, Export3D génère des vidéos stables sans artefacts de niveau vidéo.
• Études d'ablation :
  • Sans CLeBS (utilisation directe des paramètres 3DMM), le transfert d'expression entre identités différentes échoue (changement de forme des sourcils, contours).
  • L'EAdaLN est supérieur à l'attention croisée pour le conditionnement de l'expression dans ce contexte.

5. Signification et Limites

Signification :
Ce travail représente une avancée majeure dans l'animation de portraits en résolvant le problème fondamental de l'enchevêtrement entre l'identité et l'expression. En passant d'une approche basée sur la déformation de l'espace 2D/3D à une génération directe de représentations 3D conditionnées par des paramètres d'expression purifiés, Export3D offre un contrôle plus robuste et réaliste, essentiel pour les applications de création de contenu et d'avatars virtuels.

Limites et Travaux Futurs :

• Arrière-plan : La méthode génère le premier plan (visage) et l'arrière-plan comme un tout, ce qui peut causer des distorsions si la pose de la tête change radicalement. Elle ne permet pas encore de séparer facilement le fond.
• Contrôle non-facial : Le modèle ne peut pas contrôler les parties du corps non faciales (cou, épaules) ni le regard (eye-gaze), car les paramètres 3DMM utilisés ne modélisent pas ces mouvements.
• Éthique : Comme toute technologie de deepfake réaliste, elle comporte des risques de mauvaise utilisation (fake news), nécessitant l'ajout de filigranes et de restrictions d'utilisation.