SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

Imaginez que vous essayez de construire un monde virtuel pour un jeu vidéo ou une expérience de réalité virtuelle. Vous voulez montrer un personnage ou un objet sous n'importe quel angle, pas seulement de face. Pendant longtemps, les ordinateurs étaient comme des peintres plats ; ils pouvaient prendre la photo d'un visage et la transformer en dessin animé, mais ils ne comprenaient pas vraiment qu'un visage possède de la profondeur, un nez qui ressort ou des oreilles sur les côtés. Si vous essayiez de tourner l'image de côté, l'ordinateur se contenterait d'étirer l'image, faisant ressembler le visage à une crêpe fondue. Pour corriger cela, les scientifiques travaillent sur la génération « consciente de la 3D ». Il s'agit de l'art d'apprendre aux ordinateurs que les objets existent dans un espace tridimensionnel, avec du volume et une structure, afin qu'ils puissent créer de nouvelles vues qui paraissent réelles et restent cohérentes. Les outils qu'ils utilisent sont comme de l'argile numérique (les NeRF, qui construisent des formes 3D à partir de la lumière et des ombres) et des artistes numériques (les GAN, qui peignent des textures réalistes sur ces formes). La grande question est la suivante : comment rendre ce processus plus rapide, plus précis et capable de gérer différents types d'objets sans avoir besoin d'une bibliothèque massive de photos pour chaque chose que nous voulons créer ?

C'est ici qu'intervient une nouvelle étude appelée « SemPix3D ». Les chercheurs, Souvik Bandyopadhyay et Tamal Pal, proposent une approche « hybride » ingénieuse qui combine deux technologies différentes pour résoudre le problème de la génération d'images 3D à partir de seulement quelques indices. Considérez leur méthode comme une ligne d'assemblage en deux étapes. D'abord, ils utilisent un système appelé Champ de Radiance Neurale (NeRF) pour agir comme un « bâtisseur de squelette ». Cette partie du système ne se soucie pas des couleurs ou des tons de peau ; au lieu de cela, elle apprend la forme et la structure pures d'un objet, comme un mannequin. Elle prend quelques photos et détermine où se trouvent les contours, où se trouve le nez et quelle est la profondeur des yeux, créant ainsi une carte de la forme 3D de l'objet.

Une fois ce « squelette » construit, la seconde partie de la machine entre en jeu : un Réseau Antagoniste Génératif (GAN). Si le NeRF est le squelette, le GAN est le maquilleur et le costumier. Il prend la carte de forme créée par la première étape et peint une image colorée réaliste et de haute qualité sur celle-ci. La magie réside dans le fait que le GAN est « conditionnel », ce qui signifie qu'il peint uniquement ce qui correspond à la forme qui lui est donnée. Cela permet au système de générer une image photoréaliste d'un visage ou d'une chaise sous un nouvel angle, même s'il n'a jamais vu cet angle spécifique auparavant. Les chercheurs ont testé cela sur deux choses très différentes : des formes 3D synthétiques (comme des chaises ou des voitures générées par ordinateur) et des visages humains provenant d'un large ensemble de données appelé CelebMaskHQ.

Les résultats suggèrent que cette équipe en deux étapes fonctionne mieux que les méthodes précédentes qui tentaient de tout faire en même temps. Dans leurs simulations, le modèle SemPix3D a montré des améliorations dans la diversité des images générées et dans leur ressemblance avec des photos réelles. Plus précisément, sur l'ensemble de données de formes synthétiques, ils ont observé une amélioration de 15 % sur un score de qualité appelé FID et une amélioration de 5 % sur un autre score appelé KID par rapport à une méthode appelée Pix2Pix3D. Lorsqu'ils ont testé le modèle sur des visages humains, il a été environ 10 % plus performant en termes de diversité et a montré une amélioration de 2 % du KID par rapport aux modèles existants. Les auteurs ont constaté qu'en séparant la tâche de « comprendre la forme » de la tâche de « peindre la couleur », ils pouvaient créer des vues 3D plus cohérentes et plus précises avec moins de cycles d'entraînement. Ils ont également noté que cette approche réduit le besoin de quantités massives de données pour chaque objet, car la partie « squelette » apprend la forme générale d'une catégorie (comme « tous les visages humains ») et le « peintre » ajoute simplement les détails spécifiques. Bien que l'article ne prétende pas que ce problème est résolu pour toute la science, les simulations indiquent que cette stratégie hybride est une étape prometteuse pour rendre les expériences de réalité virtuelle et de réalité augmentée beaucoup plus réelles et immersives.