Hybrid Neural Radiance Fields and Diffusion-Based Framework for Geometry-Preserving Selfie Perspective

Chaque fois qu'une personne tient un smartphone à bout de bras pour prendre un selfie, elle invite inconsciemment un tour de passe-passe géométrique. Parce que la caméra est si proche du visage, les lois de la perspective font que les traits les plus proches de l'objectif — généralement le nez et les joues — paraissent disproportionnés, tandis que les oreilles et l'arrière de la tête semblent rétrécir et s'aplatir. Cette distorsion n'est pas seulement un désagrément esthétique ; elle altère la structure fondamentale d'un visage, créant des proportions artificielles qui peuvent confondre les systèmes de reconnaissance faciale, entraver la sécurité biométrique et donner aux avatars numériques un aspect étrange. Pendant des années, les informaticiens ont tenté de corriger cela à l'aide de logiciels qui se contentent d'étirer ou de déformer l'image plate, mais ces méthodes échouent souvent car elles ne comprennent pas qu'un visage est un objet en trois dimensions, et non une image en deux dimensions. Elles peuvent lisser une ride, mais ne peuvent pas reconstruire la forme sous-jacente d'un nez qui a été étiré par un objectif grand angle.

Pour résoudre ce problème, les chercheurs se sont tournés vers une approche plus sophistiquée qui traite le visage comme un volume d'espace plutôt que comme une surface plane. Cela implique de reconstruire la géométrie 3D cachée du visage à partir d'une seule photo, de calculer exactement comment la caméra était positionnée, puis de « déplacer » mathématiquement le point de vue vers une distance plus naturelle. Cependant, réaliser cela avec suffisamment de précision pour que le résultat paraisse réel a été difficile. Les méthodes traditionnelles produisent souvent des résultats flous ou font perdre l'identité unique de la personne au processus. Une nouvelle étude menée par une équipe de chercheurs issus d'institutions en Inde et aux États-Unis propose un système hybride qui combine trois technologies distinctes pour surmonter ces obstacles. En tissant ensemble une méthode de construction de scènes 3D, un outil mathématique puissant pour trouver la meilleure solution, et un système génératif pour affiner les détails de l'image, l'équipe a créé un cadre capable de corriger la distorsion des selfies tout en faisant en sorte que le visage de la personne ressemble exactement à elle-même.

Le cœur de ce nouveau cadre repose sur une technologie connue sous le nom de Champs de Radiance Neuraux, ou NeRF (Neural Radiance Fields). Imaginez un nuage numérique de points qui remplit l'espace autour d'un visage, où chaque point connaît sa couleur et sa densité. Au lieu de construire un visage à partir d'un maillage filaire, ce système apprend à peindre un volume continu de lumière et de matière. Lorsque les chercheurs injectent un selfie distordu dans ce système, celui-ci estime d'abord la profondeur du visage et la position de la caméra. Il utilise ensuite cette information pour reconstruire la forme 3D complète du visage, « déformant » ainsi la géométrie en simulant ce à quoi le visage ressemblerait si la caméra était plus éloignée. Cette étape est cruciale car elle restaure les relations spatiales correctes entre le nez, les yeux et les oreilles avant même que l'image ne soit générée.

Cependant, la construction de ce modèle 3D est un casse-tête mathématique complexe. Trouver l'arrangement parfait de points et de réglages de caméra nécessite un processus d'optimisation, qui est essentiellement une recherche de la meilleure réponse possible parmi des milliards de possibilités. Les chercheurs ont constaté que les méthodes de recherche standard se retrouvent souvent bloquées dans des pièges locaux ou progressent trop lentement pour trouver la véritable solution. Pour y remédier, ils ont intégré une technique numérique d'ordre supérieur appelée optimisation de Runge-Kutta. Plut lieu de faire de petits pas hésitants, comme un randonneur tâtonnant pour descendre une montagne, cette méthode calcule la pente du terrain en plusieurs points à l'avance pour prédire le chemin le plus efficace vers le bas. Cela permet au système de converger vers la géométrie 3D correcte beaucoup plus rapidement et avec une plus grande stabilité, garantissant que le visage reconstruit est structurellement sain et exempt des erreurs qui affectent les méthodes plus simples.

Une fois que le système a généré une reconstruction 3D et l'a rendue à nouveau en une image 2D, le résultat est souvent géométriquement correct mais peut encore paraître légèrement flou ou manquer de la texture fine de la peau. Pour y remédier, l'équipe a ajouté une étape finale utilisant un module de raffinement basé sur la diffusion. Ce composant agit comme un perfectionneur d'image haut de gamme qui apprend à éliminer le flou et les artefacts laissés par le processus de rendu 3D. Il fonctionne en nettoyant l'image de manière itérative, en ajoutant les détails nets des pores de la peau et des cheveux tout en respectant strictement la structure géométrique établie lors de l'étape précédente. Crucialement, ce raffinement est guidé par une fonction de perte qui garantit que l'identité de la personne reste inchangée, empêchant le système de modifier accidentellement les traits ou de créer une version « hallucinée » du visage.

Les chercheurs ont testé leur système sur six ensembles de données différents contenant des milliers de visages, allant de portraits de studio contrôlés à des selfies réels désordonnés avec des angles extrêmes et un mauvais éclairage. Les résultats ont été mesurés à l'aide de métriques standards qui évaluent la qualité de l'image et la préservation de l'identité. Le nouveau cadre a atteint un rapport signal sur bruit de crête de 32,8 décibels et un score de similitude structurelle de 0,94, des chiffres qui indiquent un très haut degré de fidélité. Plus important encore, le système a maintenu un score de similitude d'identité de 0,95, prouvant que les images corrigées ressemblaient toujours aux sujets originaux. En comparaison directe, la nouvelle méthode a surpassé les approches existantes basées sur les réseaux de neurones convolutifs et les réseaux antagonistes génératifs, qui luttaient souvent pour équilibrer l'exactitude géométrique et le réalisme visuel.

L'étude confirme que la combinaison de la reconstruction volumétrique 3D avec une optimisation avancée et un raffinement génératif offre une solution robuste au problème ancestral de la distorsion des selfies. En traitant le visage comme un objet physique dans l'espace plutôt que comme une image plate, le système peut corriger les traits exagérés causés par la photographie à courte distance sans perdre la ressemblance de la personne. Bien que le modèle actuel nécessite une puissance de calcul importante et ne soit pas encore prêt pour une utilisation en temps réel sur les téléphones mobiles, les conclusions suggèrent une voie claire pour des applications dans la réalité augmentée, la réalité virtuelle et la création de contenu numérique. Ce travail démontre que lorsque la géométrie, l'optimisation et l'art génératif sont alignés, il est possible de restaurer les proportions naturelles du visage humain, transformant un selfie distordu en un portrait fidèle.