Résumé Technique : EgoRelight

Énoncé du Problème

L'article aborde le défi de la création d'avatars numériques corporels entiers, photoréalistes et éclairables, exclusivement à partir de la vue contrainte d'un affichage monté sur la tête (HMD). Bien que la téléprésence en Réalité Mixte (MR) promette des expériences immersives où des humains virtuels se fondent de manière indistinguable dans des environnements réels ou virtuels, les solutions existantes échouent à résoudre de manière holistique trois exigences fondamentales simultanément :

1. Capture Précise du Mouvement et de la Géométrie : Enregistrer fidèlement le mouvement corporel entier et les dynamiques des vêtements d'un utilisateur à partir d'un seul HMD, qui souffre d'une auto-occlusion sévère et d'un champ de vision limité.
2. Apparence Éclairable : Synthétiser un ombrage réaliste (à la fois diffus et spéculaire) sous des conditions d'éclairage nouvelles et arbitraires, plutôt que de dépendre d'un éclairage « pré-calculé ».
3. Estimation de l'Éclairage de l'Environnement : Récupérer des cartes d'environnement à haute plage dynamique (HDR) à partir du HMD pour intégrer de manière transparente l'avatar dans le monde physique.

Les approches actuelles traitent généralement ces éléments comme des problèmes isolés, se concentrant soit sur la capture de mouvement sans capacités d'éclairage, soit exigeant des configurations de studio complexes (par exemple, des lightstages) pour l'éclairage, qui ne sont pas portables.

Méthodologie

EgoRelight est un cadre holistique qui opère en trois étapes principales : Perception Egocentrique, Modélisation d'Avatar Éclairable et Capture de Carte d'Environnement au Moment du Test.

1. Perception Egocentrique et Récupération de Géométrie

Pour piloter l'avatar, le système extrait des signaux géométriques denses à partir de caméras stéréo orientées vers le bas sur le HMD :

• Estimation de la Pose : Une version modifiée du réseau FRAME est utilisée pour prédire des points clés 3D épars à partir d'images stéréo et de la pose de la tête. Cela est suivi d'un solveur de Cinématique Inverse (IK) qui optimise le mouvement du squelette pour qu'il soit temporellement plausible, en utilisant un modèle PCA pour contraindre les gestes des mains et assurer la cohérence temporelle.
• Estimation de la Profondeur : Un estimateur de profondeur spécifique à la personne (basé sur DepthAnythingV2) est affiné pour prédire des cartes de profondeur métriques à partir de l'entrée stéréo. Ces cartes sont déprojetées en nuages de points 3D.
• Animation Conditionnée par la Profondeur : Au lieu d'une optimisation au moment du test, le système emploie un « AnimationNet » en feed-forward. Ce réseau prend le mouvement du squelette et le nuage de points de profondeur déprojeté comme signaux de conditionnement. Il prédit hiérarchiquement des paramètres de déformation de graphe intégré et des décalages par sommet pour déformer un modèle de maillage paramétrique personnalisé, assurant une récupération précise de la géométrie du corps frontal visible.

2. Modélisation de l'Apparence de l'Avatar Éclairable

L'apparence de l'avatar est modélisée à l'aide d'une représentation à deux couches : un maillage déformé pour la géométrie et une couche de primitives gaussiennes 3D paramétrées dans l'espace UV du maillage pour la texture haute fidélité. Le pipeline de rendu sépare l'ombrage diffus et spéculaire pour améliorer l'efficacité de l'apprentissage et la précision physique :

• Lifting de Géométrie : Un GeoLiftingNet traite les séquences de maillages temporelles pour générer des cartes de normales à haute fréquence et des textures d'albédo éclairées à plat, résolvant les ambiguïtés entre géométrie et matériau.
• Séparation Diffuse et Spéculaire :
  • Diffus : Un DiffuseNet (CNN) prédit un ombrage diffus indépendant de la vue et des paramètres gaussiens (couleur, échelle, rotation) basés sur l'albédo, les cartes d'ombres et les cartes de normales.
  • Spéculaire : Un SpecularNet utilise un mécanisme d'attention croisée pour gérer la nature invariante par permutation des directions de lumière entrantes. Il échantillonne un sous-ensemble de rayons (top-k basé sur un score d'importance Blinn-Phong) pour encoder les informations de rayons 6D (direction de la lumière, direction de vue, vecteur médian et visibilité). Cela permet au modèle d'apprendre des transports de lumière spéculaires complexes sans priors analytiques BRDF restrictifs.
• Entraînement : Le modèle est entraîné sur des données capturées dans un lightstage avec 331 lumières programmables, en utilisant une supervision photométrique par rapport à des images HDR de référence.

3. Capture Abordable de Cartes d'Environnement HDR

Pour permettre la téléprésence en Réalité Mixte, le système estime l'éclairage de l'environnement actuel de l'utilisateur en utilisant les caméras orientées vers l'avant du HMD :

• Numérisation et Inpainting : Un panorama LDR à 360 degrés est reconstruit à partir de 20 images échantillonnées et complété (inpainting) à l'aide d'un modèle de diffusion pour remplir les régions non observées.
• Calibration par Rendu Inverse : Puisque le scan LDR ne correspond pas à l'espace colorimétrique HDR des données d'entraînement, le système effectue un processus de rendu inverse au moment du test. Il rend l'avatar éclairable pré-entraîné dans la vue orientée vers le bas du HMD et optimise les paramètres de correction de couleur (gain) et de gamma pour correspondre à l'apparence observée de l'avatar. Cela aligne efficacement la carte d'environnement LDR sur l'espace HDR requis pour un éclairage réaliste.

Contributions Clés

1. Cadre EgoRelight : Le premier système à soutenir de manière holistique la capture de mouvement corporel entier egocentrique précise, l'éclairage d'humains virtuels photoréalistes et la récupération de l'éclairage de l'environnement en utilisant uniquement un seul HMD.
2. Suivi de Maillage Conditionné par la Profondeur : Une méthode novatrice exploitant les cartes de profondeur stéréo comme signaux de conditionnement pour un réseau d'animation en feed-forward, atteignant une récupération de géométrie haute fidélité sans optimisation coûteuse au moment du test.
3. Avatar Éclairable Piloté par le Mouvement : Un modèle d'apparence appris de bout en bout qui sépare l'ombrage diffus et spéculaire, utilisant une stratégie spécialisée d'échantillonnage de rayons et d'attention croisée pour généraliser à un éclairage non vu sans dépendre de BRDF analytiques.
4. Capture HDR « In-the-Wild » : Une technique abordable pour capturer et calibrer en couleur des cartes d'environnement HDR à partir de caméras egocentriques LDR, permettant une intégration transparente de l'avatar dans des environnements physiques.

Résultats Expérimentaux

Les auteurs ont évalué EgoRelight sur quatre sujets en utilisant un jeu de données lightstage personnalisé et des séquences de test « in-the-wild ».

• Reconstruction Géométrique : L'avatar conditionné par la profondeur a surpassé les bases de l'état de l'art (y compris les méthodes basées sur l'optimisation comme EgoAvatar en termes d'efficacité) en termes de distance point-surface, en particulier sur les surfaces frontales visibles.
• Qualité de l'Éclairage : Les métriques quantitatives (PSNR, SSIM, LPIPS, FID) ont montré qu'EgoRelight surpasse significativement les méthodes concurrentes d'avatars éclairables (par exemple, Relighting4D, MeshAvatar) et les bases non éclairables. Les résultats qualitatifs ont démontré une préservation supérieure des détails à haute fréquence (rides, cheveux) et un ajustement précis des tons de couleur sous un éclairage nouveau.
• Études d'Ablation : La suppression de composants tels que le réseau de lifting de géométrie, la séparation diffuse/spéculaire ou le mécanisme d'attention croisée a entraîné une dégradation notable, telle que la perte de détails des rides, un échec de convergence ou des reflets métalliques irréalistes.
• Estimation de l'Éclairage : Le pipeline de capture HDR proposé a produit un ombrage et une cohérence des couleurs plus naturels par rapport aux outils d'harmonisation basés sur l'image (par exemple, IC-Light, Photoshop) qui échouaient souvent à capturer les directions d'ombrage correctes ou détruisaient les détails du visage.

Importance et Revendications

L'article revendique qu'EgoRelight représente une étape significative vers la vision de la téléprésence immersive en Réalité Mixte. En unifiant la capture de performance, l'éclairage et l'estimation de l'environnement dans un seul pipeline piloté par HMD, il surmonte les limitations des systèmes liés au studio et le manque de photoréalisme des avatars egocentriques existants. Les auteurs positionnent ce travail comme une étape fondamentale pour la prochaine génération de visioconférence et de téléprésence sociale, permettant aux utilisateurs d'insérer de manière transparente leurs jumeaux numériques dans n'importe quel environnement physique ou virtuel avec un éclairage cohérent et physiquement plausible. Le travail reconnaît des limitations concernant les performances en temps réel (actuellement ~200 ms par image, hors IK) et la dépendance aux données lightstage spécifiques à la personne pour l'entraînement, suggérant un travail futur sur des priors universels et une optimisation en temps réel.