Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar

Ce papier présente le Neural Point-based Volumetric Avatar, une méthode innovante qui utilise des points neuronaux contraints par des cartes de déplacement UV pour générer des avatars de tête volumétriques photoréalistes et dynamiques, surmontant ainsi les limitations des approches basées sur maillage concernant les régions faciales complexes comme la bouche, les yeux et les cheveux.

L'essentiel

Imaginez que vous voulez créer un avatar numérique (un double virtuel) qui ressemble exactement à une vraie personne, capable de sourire, de parler et de montrer ses dents sans jamais avoir l'air bizarre ou flou. C'est le défi que relève cette recherche.

Voici une explication simple de leur méthode, NPVA, en utilisant des images du quotidien.

1. Le Problème : Les anciens modèles sont comme des masques rigides

Avant, pour créer ces avatars, les scientifiques utilisaient des "maillages" (des sortes de filets de triangles) qui recouvraient le visage, un peu comme un masque de carnaval très fin.

• Le souci : Ce masque est rigide. Si vous voulez ouvrir la bouche pour montrer l'intérieur ou dessiner une barbe fine, le masque a du mal à suivre. Il devient flou ou crée des artefacts bizarres (comme si la peau était collée). C'est comme essayer de sculpter de la glace avec une cuillère en plastique : ça ne rentre pas dans les détails.

2. La Solution : Des "Points Magiques" qui flottent

Au lieu d'utiliser un filet rigide, les auteurs de cette étude ont inventé une méthode basée sur des points neuronaux.

• L'analogie : Imaginez que le visage n'est pas fait de peau, mais d'un nuage de milliards de petites particules de poussière lumineuse (les points).
• Comment ça marche : Ces points ne sont pas fixés à jamais. Ils peuvent bouger librement autour de la forme du visage.
  • Si la personne sourit, les points autour de la bouche se dispersent pour remplir l'espace vide à l'intérieur de la bouche.
  • Si la personne a une barbe, les points se densifient pour créer cette texture fine et translucide.
  • C'est comme si vous aviez une boîte de LEGO invisible : vous pouvez en ajouter autant que vous voulez exactement là où c'est nécessaire (dans la bouche, dans les cheveux) sans avoir à reconstruire tout le visage.

3. Les Trois Astuces pour que ce soit rapide et beau

Créer un nuage de points aussi précis prendrait normalement des heures. Les chercheurs ont ajouté trois "super-pouvoirs" pour que ce soit rapide (70 fois plus rapide que les méthodes précédentes) et parfait :

• A. Le Guide de Profondeur (La carte au trésor) :
  Au lieu de chercher des points au hasard dans tout l'espace, le système utilise une carte de profondeur (comme un GPS) pour savoir exactement où se trouve la peau. Il ne perd pas de temps à chercher des points dans le vide. C'est comme chercher un objet dans une pièce : si vous savez qu'il est sur la table, vous ne cherchez pas sous le lit.

• B. Le Décodage Léger (Le cerveau rapide) :
  Pour déterminer la couleur de chaque point, le système utilise une version simplifiée de son "cerveau" (un réseau de neurones). Au lieu de faire un calcul complexe pour chaque point individuellement, il regroupe les points voisins et fait une moyenne intelligente. C'est comme si un chef cuisinier préparait un grand plat pour tout le monde d'un coup, au lieu de cuisiner un petit plat séparé pour chaque convive. C'est beaucoup plus rapide et ça évite les erreurs.

• C. L'Entraînement Ciblé (Le coach sportif) :
  Pendant l'apprentissage, le système ne s'entraîne pas de la même façon partout. Il repère les zones difficiles (comme l'intérieur de la bouche ou les yeux) et y consacre plus d'énergie, tout comme un coach sportif qui ferait faire plus d'exercices à un athlète sur ses points faibles. Cela permet d'avoir un résultat parfait partout, même dans les zones complexes.

4. Le Résultat : Un visage qui vit

Grâce à cette méthode, l'avatar final est :

• Ultra-réaliste : On voit les dents, l'intérieur de la bouche et les poils de barbe avec une netteté incroyable.
• Rapide : Il peut être affiché en temps réel, ce qui est crucial pour la réalité virtuelle (VR) ou les appels vidéo.
• Flexible : Il peut changer d'expression sans se déformer bizarrement.

En résumé :
Cette recherche remplace le vieux "filet rigide" par un "nuage de points intelligents" qui s'adapte comme de l'eau autour d'une forme. Grâce à des astuces de calcul malin, ils ont réussi à rendre ce processus aussi rapide que de regarder un film, tout en obtenant une qualité d'image qui ressemble à la réalité. C'est un grand pas vers des avatars virtuels qui ne font plus peur, mais qui ressemblent vraiment à des humains.

Résumé technique

1. Problématique

La génération d'avatars humains photoréalistes et animables est cruciale pour les applications de réalité augmentée/virtuelle (AR/VR), les jeux vidéo et les conférences vidéo. Cependant, les méthodes existantes, souvent basées sur des maillages (meshes) ou des représentations implicites continues (comme NeRF), présentent des limitations majeures :

• Limites topologiques : Les maillages pré-définis ont une topologie fixe et une résolution limitée, ce qui rend difficile la modélisation de régions changeantes (intérieur de la bouche, yeux) ou de structures fines et translucides (barbe, cheveux).
• Artéfacts et flou : Les méthodes basées sur des textures neuronales ou des primitives volumétriques attachées à un maillage souffrent souvent de correspondances imprécises entre les images, entraînant des résultats flous ou des artéfacts visibles dans les zones complexes.
• Efficacité : Les méthodes volumétriques pures (comme NeRF) offrent une haute fidélité mais sont extrêmement lentes à l'inférence, les rendant peu pratiques pour des applications en temps réel.

L'objectif est donc de créer un système capable de modéliser des géométries topologiquement changeantes et des structures fines tout en maintenant une efficacité de rendu comparable aux méthodes basées sur des maillages.

2. Méthodologie : NPVA

Les auteurs proposent NPVA (Neural Point-based Volumetric Avatar), une approche hybride combinant des points neuronaux explicites et un rendu volumétrique neuronal, guidés par une surface de référence.

A. Représentation par Points Neuronaux Animables

Au lieu d'un maillage rigide ou d'un champ continu infini, NPVA utilise un ensemble de points neuronaux $A = \{(p_i, f_i)\}$, où $p_i$ est la position et $f_i$ la caractéristique (feature).

• Guidage par surface : Pour assurer un contrôle précis des expressions, les points sont contraints autour de la surface de l'expression cible. Cette surface est définie par une carte de position UV ($\hat{G}_o$) de basse résolution (256x256), décodée à partir d'un code latent.
• Carte de déplacement (Displacement Map) : Pour augmenter la capacité de modélisation, une carte de déplacement haute résolution ($\hat{G}_d$, 1024x1024) est ajoutée. Elle permet aux points de se déplacer de manière adaptative autour de la surface (dans la direction normale), formant une "coquille" (shell) plus épaisse dans les zones difficiles (comme l'intérieur de la bouche ou la barbe). Cela permet de capturer des détails fins sans changer la topologie du maillage de base.

B. Décodage de Radiance Léger (Lightweight Radiance Decoding)

Pour extraire la couleur et la densité d'un point d'interrogation, NPVA agrège les informations des $K$ points neuronaux les plus proches.

• Innovation : Contrairement aux méthodes précédentes (comme Point-NeRF) qui appliquent un MLP par point avant l'agrégation, NPVA calcule d'abord une moyenne pondérée des caractéristiques et des positions relatives, puis passe ce vecteur "moyen" à un MLP léger.
• Avantage : Cette approche élimine le traitement redondant par point, accélérant le décodage d'environ 7 fois tout en améliorant la généralisation aux nouvelles expressions.

C. Stratégies d'Échantillonnage et d'Entraînement Efficaces

Pour atteindre une vitesse de rendu élevée, trois innovations techniques sont introduites :

1. Échantillonnage guidé par la profondeur en patch (Patch-wise Depth-guided Sampling) : Au lieu d'échantillonner uniformément ou pixel par pixel, la méthode utilise une carte de profondeur rasterisée à partir du maillage grossier. Elle analyse un patch local de profondeur pour détecter s'il existe plusieurs niveaux de profondeur (ex: mâchoire et cou). Si oui, elle alloue le budget d'échantillonnage à chaque niveau, évitant ainsi les artéfacts de type "maillage" sur les barbes.
2. Stratégie d'échantillonnage de rayons GEP (Grid-Error-Patch) : L'entraînement se fait en trois étapes pour optimiser l'allocation des ressources :
   • G-Stage (Grid) : Échantillonnage uniforme pour une couverture initiale.
   • E-Stage (Error) : Échantillonnage d'importance basé sur l'erreur, concentrant les calculs sur les régions difficiles (bouche, yeux).
   • P-Stage (Patch) : Échantillonnage par patch pour appliquer une perte perceptuelle (LPIPS), réduisant le flou et améliorant la netteté.
3. Pertes d'entraînement : Le modèle est optimisé avec une combinaison de pertes photométriques, de pertes de profondeur, de pertes de maillage grossier et de régularisations (TV, KL, contrainte de déplacement).

3. Résultats Principaux

Les expériences ont été menées sur le jeu de données Multiface (3 sujets, multiples expressions et vues).

• Qualité d'image : NPVA surpasse les méthodes de l'état de l'art (DAM, PiCA, MVP) en termes de MSE (Mean Squared Error) et de LPIPS (perception). Les résultats sont particulièrement supérieurs dans les zones difficiles comme l'intérieur de la bouche, les yeux et la barbe, où les autres méthodes produisent du flou ou des artéfacts.
• Vitesse d'inférence :
  • NPVA est environ 70 fois plus rapide que NeRF (524 ms vs 38 392 ms pour une image).
  • Bien que légèrement plus lent que les méthodes purement basées sur des maillages (ex: PiCA à 73 ms), NPVA offre une qualité visuelle nettement supérieure, notamment pour les structures translucides.
• Contrôle des expressions : Grâce à la carte de déplacement, le modèle peut augmenter sa capacité de modélisation localement (épaississement de la "coquille" de points) pour les expressions extrêmes, assurant un rendu stable et réaliste.

4. Contributions Clés

1. Nouvelle représentation volumétrique : Une approche basée sur des points neuronaux dynamiquement alloués autour d'une surface cible, capable de gérer les changements topologiques et les géométries fines mieux que les maillages ou les champs implicites purs.
2. Innovations techniques pour l'efficacité :
   • Un processus de décodage de radiance léger (7x plus rapide).
   • Une stratégie d'échantillonnage guidée par la profondeur en patch pour gérer les surfaces complexes.
   • Une stratégie d'entraînement GEP pour concentrer les ressources sur les zones critiques.
3. Performance supérieure : Démonstration expérimentale d'un avatar de tête volumétrique offrant un compromis optimal entre photoréalisme (surtout pour les cheveux/barbe) et vitesse de rendu, surpassant les SOTA actuels.

5. Signification et Impact

Ce travail comble le fossé entre la haute fidélité des méthodes volumétriques (NeRF) et l'efficacité des méthodes basées sur des maillages. En introduisant une représentation hybride guidée par la surface, NPVA résout le problème récurrent de la modélisation des structures fines et des changements topologiques dans les avatars humains.

Cela ouvre la voie à des applications pratiques en temps réel pour les métaverses, les téléconférences immersives et les jeux vidéo, où la qualité visuelle (notamment pour les détails comme la barbe ou les dents) et la rapidité de rendu sont toutes deux critiques. La méthode démontre également que l'utilisation de géométrie explicite (maillage grossier) comme guide pour des représentations neurales flexibles est une voie prometteuse pour le contrôle précis des avatars animables.