Frequency-Decomposed Avatar Representation for Varying Camera Distances

Imaginez essayer de capturer une personne dans un monde numérique de manière si parfaite que vous puissiez vous approcher d'elle, inspecter le tissage de sa chemise, ou reculer pour voir tout son corps dans une pièce bondée. Pendant des années, les informaticiens ont lutté pour créer ces « humains numériques » qui paraissent réels à chaque distance. Le problème est un compromis : les méthodes qui sont nettes lorsque vous êtes proche deviennent souvent floues ou glitchées lorsque vous reculez, tandis que les méthodes qui fonctionnent bien de loin perdent les détails fins nécessaires pour une vue rapprochée. Cette limitation a freiné les applications dans la réalité virtuelle, les jeux vidéo et la téléprésence, où les utilisateurs doivent interagir avec des personnes numériques de manière naturelle, en se déplaçant librement sans que l'image ne se décompose.

La solution à ce problème a longtemps été un concept connu sous le nom de « niveau de détail », une technique utilisée en informatique graphique pour simplifier les objets complexes lorsqu'ils sont loin et ajouter du détail lorsqu'ils sont proches. Cependant, les méthodes existantes pour créer des avatars humains animés n'ont pas réussi à appliquer cette idée de manière fluide. Elles reposent soit sur des formes 3D rigides qui manquent de texture, soit sur des milliers de petits points flottants qui deviennent désordonnés et lents lorsque la caméra s'approche trop près. Une équipe de chercheurs a maintenant développé une nouvelle façon de construire ces humains numériques qui résout ce problème de distance, permettant une représentation unique et de haute qualité qui paraît réaliste, que vous soyez à quelques centimètres ou à l'autre bout de la pièce.

Les chercheurs, travaillant avec des données provenant de caméras haute résolution, ont créé un système qu'ils appellent CloseUpAvatar. Au lieu d'essayer de construire la personne à partir d'un maillage solide ou d'un nuage de millions de points, ils représentent le corps humain comme une collection de petits carrés plats et texturés. Considérez ces carrés comme de minuscules panneaux publicitaires flexibles qui recouvrent la surface du corps. Chacun de ces panneaux porte sa propre image, qui peut changer à mesure que la personne bouge. L'innovation clé réside dans la façon dont ces images sont stockées. L'équipe a réalisé qu'un seul fichier image ne peut pas gérer à la fois les couleurs larges d'un visage et les détails nets d'un pore de la peau sans s'embrouiller.

Pour corriger cela, ils ont divisé l'information visuelle en deux couches distinctes pour chaque panneau. Une couche contient les détails de basse fréquence, qui sont les couleurs et les formes lisses et générales définissant l'aspect global de la personne. La seconde couche contient les détails de haute fréquence, qui sont les textures nettes et précises comme les rides, les pores et les motifs de tissu. Le système est conçu pour être intelligent quant à l'utilisation de l'une ou l'autre de ces couches. Lorsque la caméra est éloignée, le système n'affiche que la couche de basse fréquence, ce qui est efficace et parfait pour la distance. À mesure que la caméra se rapproche, le système intègre automatiquement et progressivement la couche de haute fréquence. Cette transition se fait si fluidement que le spectateur ne remarque jamais le changement ; l'image devient simplement plus nette à mesure qu'on s'approche, sans sauts soudains ni flou.

Les chercheurs ont testé cette approche en utilisant un large ensemble de données de personnes réelles filmées sous de nombreux angles, incluant des séquences haute résolution permettant de simuler des gros plans extrêmes. Ils ont comparé leur nouvelle méthode aux meilleures techniques actuelles du domaine. Les résultats ont montré que, tandis que d'autres méthodes peinaient à produire une image claire lors d'un zoom, entraînant souvent des visages flous ou déformés, leur nouveau système maintenait une qualité photoréaliste. En fait, la nouvelle méthode a pu rendre ces avatars détaillés à une vitesse de plus de 200 images par seconde, ce qui est assez rapide pour une interaction en temps réel dans la réalité virtuelle. Cette vitesse a été obtenue en utilisant beaucoup moins de blocs de construction que les méthodes précédentes, prouvant qu'avoir moins de pièces, mais plus intelligentes, est plus efficace que d'en avoir des millions de simples.

L'une des découvertes les plus significatives fut que le système pouvait apprendre à gérer ces distances variables durant son processus d'entraînement. Les chercheurs ont enseigné à l'ordinateur en lui montrant la même personne de très près et de très loin, une technique qui faisait échouer les autres méthodes ou produisait des artefacts étranges. En utilisant leur approche de division par fréquence, le système a appris à séparer la forme générale des détails fins, lui permettant de s'adapter instantanément à la position de la caméra. Cela signifie qu'un humain numérique créé avec cette méthode peut être observé, inspecté de près et vu de loin sans que la qualité de l'image ne se dégrade jamais.

Ce travail démontre qu'il est possible d'avoir un humain numérique qui soit à la fois efficace et incroyablement détaillé. Les chercheurs ont noté que, bien que leur système soit hautement efficace pour le corps et les traits généraux, il fait encore face à des défis concernant les détails extrêmement fins comme les doigts individuels ou les expressions faciales complexes, qui restent des domaines d'amélioration future. Cependant, pour la tâche globale de création de personnes numériques interactives et réalistes, cette nouvelle approche offre un bond en avant significatif. Elle lève la barrière entre l'utilisateur et le monde numérique, garantissant que, peu importe votre proximité, la personne à l'écran paraîtra aussi réelle qu'à distance.